전문가 혼합(MoE) 모델의 디코딩에서 보정 데이터 없이 채널을 고르는 기법이 2026년 10월 27일 arXiv에 논문으로 공개됐다. 연구진은 사후 학습을 마친 MoE 모델 세 종에서, 모델 가중치만으로 만든 리더가 라우팅된 전문가 가중치 읽기의 17.8%만으로 전체 모델 정확도의 98.1%를 유지했다고 밝혔다. 이 리더는 3진 스케치로 채널을 거르고 건너뛴 채널을 저랭크 맵으로 복원한다.
연구진은 이 가중치 기반 리더를 쓴 MoE 블록이 Triton 커널에서 최적화된 vLLM보다 배치 크기 1에서 1.60~1.90배, 더 큰 배치에서는 최대 2.69배 빠르다고 밝혔다. 비교는 앞서 말한 세 모델에서 했다.
MoE 모델은 대화처럼 배치가 작은 디코딩에서 라우팅된 전문가의 가중치를 메모리에서 불러오는 과정이 병목이다. 전문가 내부 중간 채널 대부분은 단일 토큰에 기여하는 정도가 작다. 이 때문에 채널 선택기는 중요한 채널을 예측해 그 가중치만 읽는다.
기존 선택기는 오프라인 데이터로 보정한 임계값을 넘는 채널만 남기는 방식이 일반적이다. 연구진은 임계값을 넘는 채널 수가 입력마다 달라서, 보정한 임계값이 읽기량을 고정하지 못한다고 지적했다. 읽기 예산 18%에 맞춰 임계값을 보정한 Prox는 연구진이 사용한 벤치마크 전체 평균에서 12.9%만 읽었다.
연구진이 내놓은 대안은 Top-k다. 토큰마다 점수가 가장 높은 k개 채널을 남기므로 보정 데이터가 필요 없다. 같은 점수를 쓰는 선택기끼리 비교하면, 읽기 예산 13%와 18%에서 선택기의 Top-k 버전이 임계값 버전과 같거나 나은 경우가 43번 가운데 40번이었다. 생성 과제 23건은 모두 Top-k가 같거나 나았다.
Gemma 4에서는 보정된 임계값이 반복 루프 붕괴를 일으켰는데, Top-k 버전은 이를 피했다. 연구진은 읽기량 변동, 43번 중 40번의 비교 결과, Gemma 4의 붕괴를 근거로 임계값 보정이 읽기 예산을 알려 주지도, 그 예산에서 일관된 정확도 이득을 주지도 못한다고 결론 내렸다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.