GPT-2에서 크기 기준 MLP 뉴런 가지치기를 30% 수준으로 적용하면 간접목적어 식별(IOI) 회로의 어텐션 헤드 26개가 모두 남는데도 모델이 틀린 이름을 체계적으로 고르는 것으로 나타났다. 이때 정확도는 17.7%였다. 연구진은 가지치기한 언어 모델이 거의 전적으로 정확도와 퍼플렉서티로 평가된다고 지적하며, 출력이 유지되면 내부 계산도 유지된다는 가정을 실험으로 검증했다고 밝혔다.
실험은 요인 설계로 진행됐다. 중요도 기준 두 가지(크기, 무작위), 제거 대상 두 가지(어텐션 헤드, MLP 뉴런), 희소도 세 단계(3%, 50%, 70%)를 교차했다. 기준 사례로는 내부 구조가 충분히 규명된 IOI 회로를 썼고, 회로 온전성은 활성 패칭, 경로 패칭, 직접 로짓 기여도 분석으로 측정했다.
서로 다른 두 가지 붕괴 방식
크기 기준 헤드 가지치기는 일정 희소도 이상에서 회로를 아예 지운다. 출력과 가까운 헤드가 제거되면서 모델 성능이 무작위에 가까운 수준으로 떨어졌다. 반대로 크기 기준 뉴런 가지치기는 회로 헤드를 그대로 두지만 Name Mover 헤드의 기여 부호가 뒤집혀 오답을 선호하게 된다.
퍼플렉서티만 보면 뉴런 가지치기 모델이 더 멀쩡해 보인다. 17.7% 정확도를 보인 이 모델의 퍼플렉서티는 74.6으로, 무작위 헤드 가지치기 모델의 140.1보다 낮았다. 구조 점검과 출력 지표가 모두 내부 손상을 놓칠 수 있다는 뜻이다.
연구진이 Greater-Than 회로로 같은 실험을 반복한 결과, 어느 구성요소가 치명적인지는 회로 구조에 따라 달랐다. 연구진은 압축 모델 평가에 회로 수준의 인과 분석을 보완 수단으로 더해야 한다고 제안했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.