어텐션 헤드를 넓히면 장문 검색 성능 향상, 사전 학습 손실은 비슷

언어 모델의 멀티헤드 어텐션에서 헤드 하나의 차원을 키우면 긴 문맥 속 정보를 찾는 성능이 오른다는 연구 결과가 2026년 10월 23일 arXiv에 공개됐다. 같은 크기의 모델에서 매개변수 예산을 고정하고 헤드 수를 줄이는 대신 헤드를 넓게 만든 경우를 비교했다.

연구진은 사전 학습 손실과 짧은 문맥의 비검색 과제 성능은 헤드 차원에 크게 좌우되지 않았다고 밝혔다. 반면 모델 크기가 같을 때 장문 검색 성능은 헤드가 넓을수록 좋아졌다. 정해진 매개변수를 더 적고 넓은 헤드에 배분하는 것이 정보 검색에 도움이 되는지는 그동안 분명하지 않았다고 논문은 설명한다.

헤드가 넓은 모델은 전체 헤드 가운데 검색 헤드가 차지하는 비율이 더 높았다. 총 매개변수는 그대로인데 검색과 연관된 매개변수의 몫이 커졌다고 연구진은 밝혔다.

제거 실험에서는 장문 연속 사전 학습 중 어텐션 모듈의 투영 가중치를 고정해도 헤드가 넓을수록 검색 성능이 올랐다. 연구진은 이 결과를 근거로, 넓은 헤드가 어텐션 모듈의 갱신에 도움이 될 뿐 아니라 임베딩과 MLP 같은 구성 요소가 장문 학습에 적응하는 과정도 더 효과적으로 만드는 것으로 추정했다.

이 결과는 모델을 설계할 때 헤드 수와 차원의 배분이 장문 처리 능력에 영향을 준다는 근거가 된다. 다만 공개된 초록에는 실험한 모델의 크기와 구체적인 성능 수치가 담겨 있지 않아, 효과의 크기는 논문 본문에서 따로 봐야 한다.