CAST 공개, LLM 사전학습 손실 낮추고 학습 단계 7.2% 줄여

대규모 언어 모델(LLM) 사전학습에서 기울기를 다듬는 새 기법 CAST(Clipping with Adaptive Scales and Thresholds)가 논문으로 공개됐다. 논문은 2026년 10월 14일 arXiv에 올라왔다. 연구진은 전체 파라미터 190억 8천만 개의 전문가 혼합(MoE) 모델을 토큰 838억 9천만 개로 학습해 비교했고, CAST가 기준 기법 아홉 가지보다 학습 손실과 평균 검증 손실이 모두 낮았다고 밝혔다.

연구진에 따르면 아홉 가지 기준 기법 가운데 CAST가 상대 기울기 스파이크(relative gradient spikes) 수가 가장 적었다. 기준 기법 중 가장 좋은 쪽의 최종 평활 학습 손실(smoothed training loss)에는 7.2% 적은 단계로 도달했다.

학습 이력으로 임계값을 정한다

CAST는 기울기 행렬의 특잇값을 줄이는 소프트 스펙트럼 클리핑(SSC)을 확장한 기법이다. 논문은 SSC의 효과가 기울기 크기와 클리핑 임계값에 좌우된다는 점에서 출발한다.

작동 방식은 두 갈래다. 먼저 AdamW의 이전 2차 모멘트(previous second moment)로 행과 열의 크기 조정값을 정한다. 이어 클리핑을 거친 출력의 스펙트럼 노름 추정치에 지수이동평균을 적용해 행렬마다 임계값을 정한다. 클리핑이 끝나면 AdamW 업데이트 전에 원래 좌표로 되돌린다.