MoE 강화학습 성능 저하 막는 RDC 제안, 비동기 학습서 TIS 결합 시 AIME 정확도 5.5점 높아

전문가 혼합(MoE) 모델을 강화 학습할 때 생기는 성능 저하를 줄이는 기법 Router Drift Control(RDC)이 논문으로 제안됐다. 논문은 2026년 10월 15일 arXiv에 올라왔다. 연구진은 비동기 학습에서 RDC를 Truncated Importance Sampling(TIS)과 결합했더니 AIME 2024와 AIME 2025의 평균 최고 검증 정확도가 TIS보다 5.5점, R3보다 4.5점 높았다고 밝혔다.

강화 학습은 추론과 학습 환경의 불일치, 미니배치 갱신, 비동기 학습 등으로 오프폴리시 상태가 될 수 있다. MoE 모델에서는 롤아웃과 학습 단계의 차이가 전문가 선택을 바꿔 라우터 드리프트를 일으키고, 이 때문에 불일치의 피해가 더 크다고 논문은 설명한다.

기존 R3의 문제와 RDC의 방식

기존 방법인 Rollout Routing Replay(R3)는 롤아웃에서 고른 전문가 선택을 학습에도 그대로 다시 쓴다. 연구진은 분석 결과 이 방식이 학습 라우터는 골랐지만 롤아웃 라우터는 고르지 않은 전문가의 기여를 놓쳐 기울기 편향을 만든다고 지적했다.

RDC는 롤아웃과 학습 사이의 라우팅 불일치를 오프폴리시 낡음의 신호로 보고, 드리프트가 큰 응답을 선택적으로 걸러낸다. 시퀀스 단위로 거르기 때문에 리플레이가 만드는 기울기 편향을 피하고, 남긴 응답에는 원래의 전문가 선택과 그에 딸린 학습 신호가 유지된다고 연구진은 밝혔다.

실험에서 RDC는 정책의 낡음 정도가 클수록 이득이 커졌고 비동기 강화 학습에서도 효과를 유지했다고 연구진은 밝혔다.