Muon, 같은 데이터에선 AdamW보다 낫지만 시간 기준으로는 언어모델에서 AdamW가 앞섰다

Muon과 AdamW를 같은 데이터, 시간, 튜닝 예산 조건에서 짝지어 비교한 벤치마크 논문이 2026년 10월 15일 arXiv에 올라왔다. 같은 양의 데이터를 쓰면 Muon이 검증 손실 곡선 아래 면적을 3.25~22.44% 줄였고, 주요 비교 20쌍 모두에서 테스트 손실이 더 낮았다. 학습 시간을 기준으로 하면 언어모델에서는 AdamW가 앞섰다.

실험은 GPU A100 한 장에서 했다. 대상은 매개변수가 각각 1770만 개와 3360만 개인 인과 언어모델, 그리고 매개변수 270만 개의 비전 트랜스포머다. 단일 장치용 참조 구현 Muon을 AdamW와 견주었다.

두 최적화 알고리즘에 같은 23개 후보 설정의 개발 예산을 주고 설정을 골랐다. 선택한 설정은 시드 5개, 전체 검증 궤적, 최적화 단계별 시간 측정, 한 번만 쓰는 고정 테스트로 평가했다.

시간 기준에서는 결과가 갈렸다

시간으로 정규화한 손실 면적은 비전 모델에서 Muon이 19.68~22.31% 나았다. 언어모델에서는 AdamW가 3.38~6.96% 나았다.

보조 AdamW 갱신을 포함한 Muon의 전체 최적화 호출은 학습 시간의 56.1~69.6%를 차지했다. AdamW 기준선은 6.1~9.1%였다. 이 후보 풀들에 접근이 제한된 조건에서는 Muon의 기대 후회도 AdamW보다 높았다.

저자들은 이 결과가 참조 커널을 쓴 소규모 모델에 한정되며, 시간 기준 순위를 더 큰 모델이나 최적화된 구현에 그대로 적용할 수 없다고 밝혔다.