LLM 중간 학습에서 데이터를 넣는 순서와 학습률을 줄이는 시점을 따로 정하면 안 된다는 연구가 2026년 10월 21일 arXiv에 올라왔다. 연구진은 중간 학습 데이터를 학습 끝에만 몰아 넣는 방식이 학습률 스케줄에 따라 최선일 수도, 아닐 수도 있다고 밝혔다.
중간 학습(MT)은 LLM 학습 과정에서 사전 학습(PT)을 이어 가며 더 작고 가치 높은 데이터셋을 쓰는 단계다. 보통은 PT 데이터만으로 학습을 시작해 어느 시점에 MT 데이터로 완전히 갈아탄다. 연구진은 이 전면 전환을 더 넓은 데이터 혼합 스케줄의 특수한 경우로 보았다. 혼합 스케줄은 배치마다 PT와 MT 토큰의 비율이 학습 중에 어떻게 변하는지를 정한다.
실험은 총 학습 연산량과 MT 토큰 예산을 고정하고, 최종 MT 손실을 가장 낮추는 데이터 스케줄이 무엇인지 따졌다. 결과는 학습률(LR) 스케줄에 좌우됐다. 한 스케줄이 다른 스케줄보다 나았다가도 학습률 스케줄만 바꾸면 순위가 뒤집혔다. 학습률을 계속 낮추는 경우에는 MT 데이터를 일찍 PT 데이터와 섞어 넣는 편이 끝에 몰아 넣는 것보다 최종 MT 손실이 낮았다. 학습률을 일정하게 유지하면 결과가 반대로 나왔다.
연구진은 MT 데이터를 언제 넣고 학습률을 언제 줄일지 함께 고르는 방법을 절제 실험으로 살폈다. 그 결과 학습률 감쇠는 MT 데이터가 학습에 들어온 뒤에 시작하는 편이 낫다고 밝혔다. 고정된 MT 토큰 예산에서 최적의 데이터 스케줄이 학습률 스케줄에 따라 달라지는 이유를 설명하는 이론 모델도 제시했다.
학습 파이프라인을 설계하는 쪽에서는 데이터 배합과 학습률 스케줄을 각각 최적화한 뒤 합치는 방식이 최적이 아닐 수 있다는 뜻이다. 한 변수를 바꿔 얻은 결론이 다른 변수 설정에서는 반대가 될 수 있기 때문이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.