동결 MoE 모델 하나로 복수 풀이 문제 2배로, ACR 연구

가중치를 고정한 희소 전문가 혼합(MoE) 모델 하나만으로 서로 다른 풀이법을 더 많이 끌어내는 방법이 arXiv에 공개됐다. 논문이 제안한 Agent-Conditioned Routing(ACR)은 병렬로 생성하는 m개의 풀이 경로마다 학습하지 않은 고정 전문가 사용 마스크를 배정한다. 입력에 따라 달라지는 토큰 라우터는 그대로 유지한다.

연구진은 사용자가 역할이나 풀이 방법을 지정하지 않고, 미세 조정이나 모델 복제도 없이 문제 프롬프트 하나로 다양성을 얻을 수 있는지 살폈다. 풀이를 여러 개 만들어도 대개 같은 접근법을 말만 바꿔 되풀이한다는 문제의식에서 출발했다. 마스크는 공유 전문가와 개별 전문가가 각 경로에서 선택 가능한지를 정한다.

평가에는 여러 풀이법이 가능한 수학·물리 문항을 걸러 만든 126문항 벤치마크를 썼다. 모델 심사자가 풀이 전체를 읽고, 경로 4개에서 나온 느슨한 기준의 정답(soft-correct) 풀이 가운데 서로 다른 주된 방법이 둘 이상인 문제의 수를 셌다. 같은 출력 예산에서 GLM 5.3은 ACR이 37.3으로, 가장 강한 샘플링 온도 설정(18.7)의 약 2배였다. GPT-5.6 Sol은 45.00 대 27.00으로, 이 역시 가장 강한 온도 설정과 비교해 1.67배였다.

문제 30개를 층화 추출해 전문가 4명이 가린 채 진행한 감사에서도 두 모델 모두 ACR에서 복수 방법 풀이가 더 많았다. 다만 이 감사에서 ACR의 정답률은 온도 조절보다 낮았다.

전문가 사용 가능 수를 같게 맞춘 비교 실험에서도 ACR은 복수 방법 건수에서 근소한 우위를 보였으나 그 폭은 크지 않았고, 토큰마다 마스크를 다시 뽑는 방식은 정답률이 더 높았다. 이전 풀이를 보여 주고 다른 방법을 명시적으로 요청하는 순차 프롬프트는 ACR보다도 다양성이 더 컸다.

ACR이 더하는 마스크 상태는 약 160 KiB다. 문제 3개를 토큰 1,024개로 제한해 돌린 소규모 마이크로벤치마크에서 지연 시간과 최대 VRAM 사용량은 배치 온도 샘플링의 3% 이내였다.