어텐션 헤드 기울기 순위로 RL 파인튜닝 대상 선별, 수학·코딩 실험

언어 모델의 어텐션 헤드에 순위를 매기고 나눠서 강화 학습 미세 조정을 하는 방법이 arXiv 논문으로 2026년 10월 15일 공개됐다. 희소 학습과 연속 학습 두 경우를 다룬다.

희소 학습에서는 기울기 노름(gradient norm)으로 헤드의 순위를 매겨, 효과적으로 학습되는 작은 부분집합을 찾는다. 연속 학습에서는 과제마다 서로 다른 헤드를 배정해 과제 사이 간섭을 줄이고, 이미 익힌 능력을 보존한다.

논문은 이론 분석도 제시한다. 기울기 노름과 학습 효과의 관계를 설명하고, 헤드를 희소하고 분리해서 갱신해도 학습이 안정적일 수 있는 이유를 이론적으로 특성화했다고 밝혔다.

실험은 수학, 지시 따르기, 코딩 과제에서 이뤄졌다. 저자들은 순위가 높은 헤드를 학습한 결과가 낮은 헤드를 학습한 결과보다 일관되게 좋았고, 밀집 기준선과는 자주 대등한 수준이었다고 보고했다. 헤드 분할은 새 과제 적응을 유지하면서 기존 능력 보존도 개선했다고 한다.

초록에는 구체적인 모델 이름, 성능 수치, 학습 비용이 나오지 않는다.