트랜스포머 어텐션이 과제별 커널을 스스로 학습한다는 이론 연구

트랜스포머가 문맥 내 학습(in-context learning, ICL)을 할 때 어텐션이 과제에 맞는 비등방성 커널을 스스로 학습한다는 내용의 연구 논문이 arXiv에 공개됐다. 논문은 2026년 10월 17일자로 올라왔고 제목은 'Transformers as Adaptive Kernel Learners across Tasks for In-Context Learning'이다.

ICL은 트랜스포머 모델이 매개변수를 갱신하지 않고 프롬프트를 조건으로 삼아 새 과제에 적응하는 능력이다. 이 논문은 저랭크(low-rank) 선형 회귀와 다중 인덱스 비선형 회귀를 대상으로 ICL을 분석했다.

고정 커널 가정에서 학습되는 커널로

기존 이론 연구는 어텐션을 고전적인 통계 추정기로 해석해 왔고, 최근에는 어텐션과 커널 방법의 연결도 밝혀졌다. 다만 이들 연구는 대체로 커널 함수를 고정된 것으로 가정했다. 실제 어텐션에서는 쿼리와 키 행렬이 학습되므로 어텐션이 적응형 커널 방법으로 동작할 수 있다는 것이 연구진의 출발점이다.

수치 실험과 이론 분석

연구진은 수치 시뮬레이션에서 학습된 어텐션 점수가 두 함수 부류의 이상적(oracle) 커널과 매우 비슷하다고 보고했다. 이어 트랜스포머를 각 함수 부류의 oracle 커널 추정기와 연결해 ICL의 일반화 오차를 분석하는 틀을 세웠다.

이 이론은 폭이 넓고 깊이가 얕은 트랜스포머 구조로 oracle 커널 추정기를 명시적이고 구성적으로 구현하는 방법을 제시한다. 이 구조에서는 쿼리 토큰과 문맥 토큰이 상호작용해 예측이 이뤄진다. 연구진은 어텐션이 선형과 비선형 환경 모두에서 비등방성 커널에 적응한다는 수치적, 이론적 근거를 내놓아 기존 연구를 보완한다고 밝혔다.

이 결과는 저랭크 선형 회귀와 다중 인덱스 비선형 회귀, 그리고 넓고 얕은 트랜스포머 구조에 한정된다.