언어모델 능력 획득 시점, 출력 읽기층 학습 속도에 따라 달라질 수 있다

언어모델이 사전 학습 도중 언제 어떤 능력을 얻는지를 모델이 올바른 토큰을 내놓기 시작한 시점으로 재 왔는데, 이 방식이 실제 습득 시점을 왜곡할 수 있다는 연구가 2026년 10월 14일 arXiv에 공개됐다. 모델의 은닉 상태에는 과제 정보가 이미 담겨 있어도, 출력 단계의 읽기층이 아직 이를 표현하지 못할 수 있다는 것이다.

논문 제목은 "Learning to Read Out: Unembedding Dynamics in Language Model Pretraining"이다. 예측값은 언임베딩 행렬(읽기층)을 거쳐 나오는데, 이 행렬도 사전 학습 중에 계속 학습된다. 그래서 출력에서 읽어 낸 시간표에는 모델이 인코딩한 것과 읽기층이 표현해 내는 것이 섞인다고 연구진은 설명한다.

읽기층을 직접 추적한 방법과 결과

연구진은 읽기층을 직접 따라가기 위해 파라미터 궤적 크로스코딩이라는 방법을 새로 제안했다. 모든 토큰의 읽기 행을 모든 체크포인트에 걸쳐 하나의 희소 사전으로 맞추는 방식이며, 활성값을 쓰는 기존 크로스코더와 달리 체크포인트의 가중치만 있으면 된다.

이 방법을 Pythia에 적용하자 사전 학습의 0.4~1.1% 지점에 읽기층이 재편되는 좁은 구간이 나타났다. 이 구간에서 WordNet 단어 범주를 읽기층의 행에서 해독할 수 있게 된다. 이 무렵에는 이미 은닉 상태에 선형 프로브를 적용하면 모델 자체의 출력에는 아직 드러나지 않은 과제 정보가 해독된다.

격차가 읽기층의 학습 속도에 좌우되는지 시험하기 위해 연구진은 읽기층의 학습률만 다르게 한 소형 모델을 처음부터 학습시켰다. 학습률을 높이자 읽기층이 더 일찍 발달하고 격차도 더 빨리 좁혀졌으며, 최종 손실에는 거의 영향이 없었다.

연구진은 이 결과를 학습 초기에 적용해 이렇게 정리한다. 발달 전환이 많이 기록되는 초기 구간에서는 행동으로 잡은 날짜가 모델이 능력을 배운 시점이 아니라 읽기층이 과제 정보를 표현하게 된 시점일 수 있다는 것이다.