EnergyCal, 희소 MoE 학습의 손실 급등 부담 99.51% 줄이는 기법

희소 전문가 혼합(MoE) 언어 모델을 Muon 계열 최적화 알고리즘으로 학습할 때 손실이 크게 치솟는 문제를 줄이는 기법 EnergyCal이 논문으로 제안됐다. 논문은 2026년 10월 27일 arXiv에 올라왔다.

EnergyCal은 가벼운 규칙이다. 라우팅된 전문가의 업데이트를 유한 단계 Newton-Schulz 방향의 정규화된 제곱 Frobenius 노름에 따라 약하게 조정한다. 스펙트럼 변환은 바꾸지 않고, 옵티마이저에 지속적으로 유지하는 상태도 더하지 않는다.

실험은 40억 매개변수 MoE 모델에서 했다. 개발 단계에서 고른 낮은 학습률의 MuonH 설정과 비교하니, EnergyCal을 적용한 MuonH는 임계값을 넘는 손실 급등의 평균 부담이 99.51% 줄었다. 최종 기하평균 Perplexity는 4.06% 낮아졌고, 처리량은 소폭 줄었다고 연구진은 밝혔다.

명목 학습률과 가중치 감쇠를 맞춘 일반 Muon에서는 시험한 두 지수에 걸쳐 평균 급등 부담이 평균 95.98% 줄었다. 최종 엔드포인트 지표도 작게 개선됐다. 연구진은 평가한 설정에서 이 결과가 Hyperball을 쓸 때와 쓰지 않을 때 모두 안정화를 뒷받침한다고 밝혔다.