장문맥 지속 사전학습(LCCP)을 일찍 멈추기보다 계속 확대하자고 주장하는 논문이 2026년 10월 21일 논문 공개 사이트 arXiv에 올라왔다. 연구진은 LCCP로 얻는 장문맥 성능이 모델 크기와 학습 토큰 수에 따라 어떻게 달라지는지 경험적 스케일링 법칙으로 정리했다.
LCCP는 장문맥 능력을 높이기 위해 널리 쓰인다. 다만 LCCP에 쓰는 토큰을 늘릴수록 이득이 어떻게 커지는지는 분명하지 않았다고 연구진은 설명했다.
연구진이 세운 법칙은 장문맥 성능을 모델 크기, 짧은 문맥 사전 학습의 토큰 예산, LCCP의 토큰 예산으로 설명하는 가산형 거듭제곱 법칙이다. 다섯 가지 모델 규모와 100개가 넘는 짧은·긴 문맥 예산 조합으로 실험했고, 이 법칙이 관측된 추세를 재현하며 학습에 쓰지 않은 모델 규모에서도 예측이 잘 맞았다고 밝혔다.
연구진은 Constant-Last4라는 학습·관측 절차도 제안했다. 학습률을 일정하게 유지한 한 번의 학습에서 가장 최근 연속 체크포인트 네 개를 평균 내는 방식이다. 연구진은 이 절차가 하나의 이어서 늘릴 수 있는 학습 경로에서 안정적인 모니터링을 가능하게 하려는 것이라고 설명했다.
이 절차에서도 같은 형태의 법칙이 잘 맞았다고 연구진은 밝혔다. 12억 2000만 매개변수 모델을 약 1000억 LCCP 토큰까지 학습시킨 성능 궤적을 이 법칙이 정확하게 예측한다는 것이 연구진의 주장이다.
같은 궤적을 따라 후속 평가를 한 결과 장문맥 성능은 계속 개선됐고, 평가한 범위 안에서는 포화 징후가 뚜렷하지 않았다. 이 이득은 128K 문맥 확장과 지도 미세 조정을 거친 뒤에도 유지됐다. 연구진은 장문맥 이해와 에이전트 과제에서도 이득이 이어졌다고 밝혔다.
연구진은 이를 근거로 LCCP를 일찍 멈추기보다 계속 확대하자고 주장한다. 이득이 이어 붙인 학습 경로에서 안정적으로 관측되고, 수치로 예측할 수 있으며, 후속 과제로 이어진다는 이유다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.