층 묶음 하나를 여러 번 되풀이해 쓰는 루프 트랜스포머는 흔히 마지막 k번의 반복에만 역전파를 건다. 새 arXiv 논문(2026년 10월 20일 게재)은 이렇게 하면 가중치 기울기가 얼마나 버려지는지를 루프 언어 모델 9개에서 측정했다. 한 번의 역전파로 모든 k값에 대해 정확한 값을 구했다고 논문은 밝혔다.
논문은 세 가지 결과를 보고했다. 학습을 마친 모델에서는 잃는 기울기가 출력 가까이에서 정해진다. 반복 횟수가 k보다 한참 크면 반복 횟수를 바꿔도 거의 변하지 않으며, 테스트한 모델 3개에서 반복을 32회에서 64회로 늘려도 변화가 약 0.03 안이었다. 사전 등록한 검증이 Parcae에 대해 예측한 결과와 같았다고 한다.
신호 감쇠와 미세 조정 중 변화
역방향 신호가 줄어드는 모델에서는 반복마다 줄어드는 비율 ρ를 맞춰 얻은 ρ^k가 중간 정도의 반복 횟수에서 잃는 기울기를 근사한다. 반복이 길어지면 이 식은 잃는 기울기를 과대 추정한다. 더 많은 반복을 넣어 맞출수록 ρ 값이 올라가기 때문이다. 반대로 Ouro는 신호가 커지는 모델이어서, 4번 반복 중 2번만 남겨도 최종 출력 기울기의 81%를 잃는다.
미세 조정 중에는 잃는 기울기가 줄었다. 모델 4개 중 3개에서 300단계 안에 0.07~0.22 감소했고, 따로 떼어 둔 문제에서도 같았다. 출력 읽기층의 몫만으로는 설명되지 않는다. 루프 밖 층만 학습해도 감소분의 최대 절반이 재현됐고, 잘린 역전파로 학습해도 줄었다. 그래서 학습된 모델에서 잰 값은 나중에 잘림이 제거하는 양을 실제보다 크게 보게 한다고 논문은 지적했다.
이 측정값이 측정이 필요 없는 규칙보다 잘림의 학습 비용을 더 잘 예측한다고는 보이지 못했다. 새 모델 2개에서 같은 k일 때 Parcae의 비용과 비슷했으나, 둘을 가르기에는 검증 규모가 작았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.