Muon에 샤프니스 인식 방식을 결합한 두 가지 옵티마이저가 논문으로 공개됐다. 논문은 2026년 10월 27일 arXiv에 올라왔으며, 제목은 "Sharpness-Aware Muon: Matrix-Aware Optimization with Momentum-Guided Perturbations"다. 연구진은 MuSAM과 이를 개선한 MoMuSAM을 제안했고, 표준 벤치마크 실험에서 샤프니스 인식을 더하면 Muon이 일관되게 나아진다는 결과를 얻었다고 밝혔다. 초록은 방법별 결과나 벤치마크, 수치를 밝히지 않았다.
Muon은 모멘텀과 직교화를 결합해 구조를 갖춘 업데이트 방향을 만드는 행렬 인지 옵티마이저다. 논문은 Muon이 업데이트 자체의 기하만 다듬을 뿐, 주변 영역의 최악 손실을 직접 제어하거나 평평한 영역으로 학습을 유도하지는 않는다고 지적한다. 평평한 영역은 흔히 더 나은 일반화와 연결된다.
MuSAM과 MoMuSAM의 구조
MuSAM은 샤프니스 인식 최소화(SAM) 방식의 섭동을 Muon의 직교화된 업데이트에 넣은 방식이다. 연구진은 이를 샤프니스 인식 학습과 행렬 인지 최적화를 잇는 원리적 다리라고 설명한다. 다만 섭동을 만들려면 기울기를 한 번 더 계산해야 하고, 섭동이 미니배치 하나의 기울기에서 나오기 때문에 노이즈가 크다. 논문은 이를 효율과 안정성 사이의 긴장이라고 부른다.
MoMuSAM은 Muon의 모멘텀을 업데이트 변수에서 샤프니스 탐색 신호로 바꿔 쓴다. 정규화한 모멘텀을 섭동 방향으로 삼으면 추가 기울기 계산이 필요 없고, 단일 배치 기반 섭동은 시간에 걸쳐 누적한 섭동으로 대체된다.
이론 분석에서 연구진은 두 방법이 같은 차수의 점근적 1차 정상성에 도달함을 증명했다고 밝혔다. 또 MoMuSAM이 MuSAM보다 안정적인 확률적 선형화를 제공한다고 보였다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.