어텐션 헤드 일부를 빼면 특정 과제 성능이 오를 수 있다는 연구

트랜스포머 기반 언어모델에서 소수의 어텐션 헤드를 제거하면 특정 과제의 성능이 오를 수 있다는 연구 논문이 2026년 10월 15일 arXiv에 올라왔다. 논문 제목은 'Can Capability Enhancement be Localized?'다. 연구진은 여러 모델 계열에서 추가 미세 조정 없이 헤드 조합을 빼는 것만으로 과제별 성능이 개선되는 사례를 찾았다고 밝혔다. 다만 초록에는 모델 이름, 과제, 개선 폭 등 구체적인 수치가 나와 있지 않다.

기존 연구는 과제마다 어텐션 헤드의 중요도가 다르다고 보았다. 불필요한 헤드는 빼도 영향이 거의 없고, 소수의 중요한 헤드를 빼면 성능이 크게 떨어진다는 것이다. 이번 연구는 이를 보완하는 질문을 다룬다. 모델과 과제가 주어졌을 때, 제거하면 성능이 오르는 작은 헤드 집합이 있는지 묻고, 이를 '능력 강화 국소화(CEL)'라고 불렀다.

실험에서는 두 단계 절차를 썼다. 먼저 후보 헤드를 거르고, 이어 후보들을 함께 제거했을 때의 효과를 평가한다. 이 방식으로 제거하면 과제별 성능이 오르는 희소한 헤드 조합을 찾았다고 연구진은 밝혔다.

연구진은 이런 현상이 모델 학습 과정에서 자연스럽게 생길 수 있는지도 이론으로 따졌다. 단순화한 다중 헤드 소프트맥스 어텐션 모델과, 서로 충돌하는 특징을 가진 두 과제를 설정했다. 작은 무작위 초기값에서 경사 하강법으로 학습하면 충돌하는 특징이 특정 헤드에 모이는 것을 증명했다고 밝혔다.

단순화한 모델에서 이런 헤드를 제거하면 한 과제의 성능은 오르고 다른 과제는 나빠진다. 학습이 두 과제를 합친 목표의 전역 최적에 수렴한 경우에도 마찬가지다. 연구진은 이것이 CEL이 학습 과정에서 생겼을 수 있다는 이론적 설명이 될 수 있다고 밝혔다.