입력마다 추론을 얼마나 깊게 할지 대규모 언어 모델(LLM)이 스스로 정하게 하는 학습 틀 Route-and-Generate(Rouge)가 2026년 10월 21일 arXiv에 논문으로 공개됐다. 저자들은 이 방식이 여러 추론 벤치마크에서 정확도와 효율의 균형을 개선했다고 밝혔다.
논문은 LLM이 복잡한 추론을 가리지 않고 적용하는 점을 문제로 꼽았다. 이 때문에 쉬운 과제에서는 필요 이상으로 길게 생각하고, 어려운 과제에서는 오히려 덜 생각하는 일이 생긴다는 설명이다.
Rouge는 추론 강도를 정하는 부분과 답을 만드는 부분을 분리한다. 라우팅 정책이 고정된 샘플링 예산을 여러 추론 방식에 나누어 배정하고, 기반 모델은 샘플별 보상을 쓰는 GRPO로 최적화한다.
효율을 높이기 위해 맞힌 풀이 가운데 짧은 것에 더 높은 점수를 주는 순위 기반 보상을 쓴다. 라우팅 정책은 KL 정규화를 적용한 폐쇄형 정책 개선 단계로 갱신하고, 그 결과를 신경망 라우터에 증류한다.
저자들은 이 설계로 쉬운 문제에는 간결한 답을 내게 하고 긴 추론은 어려운 문제에 남겨 둔다고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.