ALTO, MXFP4로 MoE 학습해 BF16과 손실 차이 0.007로 좁혀

연구진이 200억 매개변수 전문가 혼합(MoE) 모델 GPT-OSS-20B를 4비트 MXFP4 형식으로 학습하면서 BF16 기준과의 성능 격차를 줄인 공개 학습 레시피 ALTO를 논문으로 발표했다. 논문은 2026년 10월 23일 arXiv에 올라왔다.

실험은 MLPerf Small MoE Training 벤치마크에서 C4 검증 데이터로 전역 배치 크기 16 조건에서 진행했다. 16,128 스텝 시점의 검증 손실은 3.3350으로, BF16 기준(3.3283)보다 0.007 높았다. 탈진동(de-oscillation) 없이 RHT·SR을 적용한 MXFP4(3.3418)와 비교하면 BF16과의 격차가 약 50% 줄었다.

MLPerf 품질 목표(검증 손실 3.34)에 도달하는 데 필요한 스텝 수로 보면, 탈진동 기법으로 FP4의 수렴 부담이 BF16 대비 +20.0%에서 +5.0%로 낮아졌다.

연구진은 4비트 부동소수점 형식이 양자화 오차를 키워 최적화를 불안정하게 만들 수 있다고 설명했다. ALTO는 Abecassis, Felix 등의 선행 연구에 나온 하이브리드 1D/2D 블록 양자화, 무작위 아다마르 변환(RHT), 확률적 반올림(SR)을 기반으로 한다. 여기에 TetraJet-v2에서 가져와 단순화한 가중치 탈진동 방식을 더했다.

연구진은 차등 기울기 추정, 이상값 클리핑, 매크로 블록 스케일링도 시험했지만 종단 간 결과는 좋지 않았다고 밝혔다. 세 기법 모두 연산자 단위의 신호 대 잡음비(SNR)는 개선됐다.

모든 실험은 AMD MI300 하드웨어에서 MXFP4 커널을 시뮬레이션해 수행했고, 실제 실행 시간은 최적화하지 않았다. 4비트 연산이 약속하는 메모리 대역폭과 처리량 이득은 이번 실험에서 측정한 결과가 아니다.