지식 증류로 만든 DistilGPT-2는 원본 GPT-2의 내부 회로 가운데 일부만 남긴 것으로 나타났다. arXiv에 공개된 논문은 GPT-2와 6층짜리 학생 모델 DistilGPT-2를 두 가지 대표 회로로 비교했다. 간접목적어 식별(IOI) 회로는 완전히 무너졌고, 크기 비교(Greater-Than, GT) 회로는 살아남았다고 보고했다.
논문은 지식 증류가 대형 언어 모델을 작은 학생 모델로 압축하면서 평균 성능 지표를 보존하지만, 층을 줄이는 증류가 내부 작동 방식에 어떤 결과를 낳는지는 거의 규명되지 않았다고 설명했다. 이번 연구는 이 빈틈을 기계적 해석 가능성 방법으로 들여다봤다.
두 회로의 엇갈린 운명
IOI 회로에서 DistilGPT-2의 정확도는 35.2%로, GPT-2의 94.8%에 크게 못 미쳤다. 이름을 옮겨 주는 name-mover 구성 요소는 하나도 보존되지 않았다. 연구진은 이를 회로의 완전한 기계적 붕괴로 규정했다.
GT 회로는 달랐다. 교사 모델 GPT-2의 9번 층에 있던 비교 헤드가 학생 모델의 4번 층 부근으로 옮겨 가는 능동적 재배치가 일어났고, 과제 성능은 87.7%가 회복됐다. 재배치된 헤드의 평균 피어슨 상관계수는 0.945였다.
분석 방법과 결론
연구진은 선형 CKA, 로짓 렌즈 분석, 어텐션 패턴 분해, 희소 오토인코더 특징 통계, 활성 패칭을 함께 적용했다.
연구진은 회로가 얼마나 압축에 적합한지가 증류 뒤 회로의 생존을 좌우하고, 평균 지표만으로는 회로가 온전한지 진단할 수 없다고 결론지었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.