ProQuant, MoE 모델 초저비트 양자화에서 전문가별 정밀도 배분 제안

연구진이 전문가 혼합(MoE) 대형 언어 모델을 아주 낮은 비트로 압축하면서 생성 품질을 지키는 가중치 전용 사후 양자화 틀 ProQuant를 제안했다. 논문은 2026년 10월 22일 arXiv에 올라왔다. 연구진은 광범위한 실험에서 다양한 생성 과제를 기준으로 ProQuant가 기존 방법을 능가했다고 보고했다.

MoE 모델은 일부 전문가만 활성화해 계산량을 줄이지만 저장 비용은 여전히 크다. 구성 요소마다 비트 수를 달리 두는 혼합 정밀도 양자화가 이 비용을 줄이는 방법인데, 비트 예산이 빠듯하면 기존 방법은 생성 품질을 지키기 어려웠다고 연구진은 지적했다.

연구진이 짚은 두 가지 문제

첫째, 층 사이로 오차가 전파되는 점을 무시하면 극저정밀도에서 생기는 비선형 양자화 오차가 과소평가된다. 둘째, 라우터를 직접 미세 조정하면 전문가를 고르는 경로가 흔들리는 라우팅 드리프트가 생길 수 있다. 이와는 별개로, 보정 데이터에서 얻은 이득이 하위 과제로 일반화되지 않을 수도 있다고 연구진은 짚었다.

ProQuant의 두 구성 요소

Prune-or-Prioritize Mixed-Precision Allocation(PoP)은 전문가 가지치기와 비트 폭 배정을 한꺼번에 최적화한다. 심하게 품질이 떨어진 전문가를 더 높은 정밀도의 전문가가 대신할 수 있게 하고, 주어진 비트 예산도 더 효율적으로 쓴다고 연구진은 설명했다.

Routing-Consistent RMSNorm Finetune(RoCo)은 수학적으로 동등한 변환으로 전문가 입력 표현을 조정한다. 양자화 오차를 보정해 라우팅 드리프트를 줄이는 방식이다. 초록에는 코드가 공개되어 있다고 적혀 있다.