DPA-MoE, MoE 추론 중 전문가별 정밀도 실행 시점에 조절

DPA-MoE는 전문가 혼합(MoE) 모델이 추론하는 동안 전문가별 가중치 정밀도를 실행 시점에 조절하는 프레임워크다. 2026년 10월 15일 arXiv에 공개된 논문에서 제안했다. MoE 모델은 토큰마다 소수의 전문가만 골라 연산을 줄이지만, 선택된 전문가는 지금까지 고정된 정밀도로 쓰였다고 논문은 설명한다.

인코딩된 체크포인트 하나로 여러 가중치 예산에서 모델을 돌릴 수 있고, 재학습이나 재인코딩이 필요 없다고 연구진은 밝혔다. 실험은 Qwen3-30B-A3B와 DeepSeekMoE-16B에서 했다. 같은 예산에서 균등하게 청크를 배정한 방식보다 KL 발산과 후속 과제 정확도가 나아졌다고 한다.

작동은 세 단계다. 전문가의 피드포워드 가중치를 SharedScale AnyBCQ 방식으로 앞부분부터 해독할 수 있는 청크로 인코딩한다. 전문가별 복원 잔차는 오프라인에서 미리 측정해 둔다. 추론할 때는 라우터가 내놓는 게이트 점수를 보고, 라우팅이 끝난 뒤 청크를 배정한다.

연구진의 프로토타입에서 정상 상태 처리량 오버헤드는 크지 않았다고 논문은 밝혔다.