트랜스포머 근거 판단 담당 어텐션 헤드 찾는 기법, 8개 차단에 정확도 8.2%p 하락

연구진이 트랜스포머 언어 모델에서 근거의 양이 답에 미치는 영향을 만드는 어텐션 헤드를 찾는 방법을 arXiv에 공개했다. Pythia-410M에서 기호 입력만으로 고른 헤드 8개를 차단하자, 어느 상태를 더 많은 보고가 뒷받침하는지 묻는 자연어 과제의 평균 정확도가 8.2%포인트 낮아졌다. 크기와 층을 맞춰 무작위로 고른 헤드 묶음은 0.8%포인트 하락에 그쳤다.

논문 발행일은 2026년 10월 27일이다. 제목은 「Causal Localization of Evidence Effects in Transformers」이며, 연구진은 통제된 기호 탐침으로 자연어 판단에까지 인과적 영향이 미치는 소수의 어텐션 헤드 집합을 찾을 수 있다고 결론 내렸다.

기호 두 개의 개수와 순서만 바꾸는 실험

연구진은 이 설계를 통제된 근거 집계(CEA)라고 불렀다. 나머지는 고정한 프롬프트에서 기호 두 개의 개수와 순서만 바꾸고, 가중치를 고정한 트랜스포머가 두 정답 후보 토큰 중 어느 쪽을 더 선호하는지 본다. 선호도는 두 토큰의 로짓 차이로 재며, 프롬프트에는 정해진 정답이 없다.

헤드를 고르는 방법은 균형 효용 인과 선택(BUC)이다. 헤드 출력을 지웠을 때 개수 효과가 얼마나 사라지는지, 개수 조건 사이에서 평균 출력을 바꿔 넣었을 때 효과가 양방향으로 얼마나 복원되는지를 함께 평가해 작은 헤드 묶음을 가려낸다.

연구진은 헤드 기여도와 개입 효과를 잇는 조건부 한계식도 유도했다. 이 식은 유한한 표본으로 후보 목록을 복원할 수 있는 조건을 밝힌다고 한다.

결과

Pythia-410M에서 네 가지 순서 조건마다 따로 고른 헤드 1~12개를 차단하자 개수 효과의 65.5~91.6%가 사라졌다. 선택에 쓰지 않은 개수 비교에서도 이 헤드들의 영향은 유지됐다.

기호 입력을 넘어서는지 보려고 어느 상태를 더 많은 보고가 뒷받침하는지 묻는 자연어 과제도 평가했다. 이때 차단한 헤드 8개는 기호 예/아니오 프롬프트에서만 고른 것이다.