연구진이 검증 가능한 보상 강화 학습(RLVR) 과정에서 모델이 비슷한 풀이 경로만 반복하는 문제를 줄이는 방법 Guided-RLVR를 arXiv에 공개했다. RLVR에 가벼운 제어기를 붙이는 방식이다. 연구진은 수학 추론과 코드 생성 벤치마크 실험에서 기존 RLVR 방법보다 일관되게 성능이 높았고, 추론 경로도 더 다양하게 만들어 냈다고 밝혔다.
제어기는 대규모 언어 모델이 토큰을 뽑는 샘플링 분포에 의미 있는 안내 토큰을 전략적으로 주입한다. 모델이 한 문제를 여러 관점에서 풀어 보게 해 탐색 범위를 넓히려는 목적이다.
롤아웃이 한곳으로 몰리는 문제
RLVR는 수학이나 프로그래밍처럼 정답을 자동으로 검증할 수 있는 과제에서 추론 능력을 높이는 데 뚜렷한 효과를 보였다. 다만 최근 연구들은 학습 중 롤아웃(모델이 생성한 풀이 시도)이 좁은 범위의 추론 경로로 몰리는 현상을 보고했고, 이 때문에 탐색되는 추론 공간이 제한된다.
Guided-RLVR는 핵심 단계에 놓인 사고 토큰이 추론 경로의 구조를 이루는 중요한 요소라는 기존 연구 결과에서 출발했다. 이 결과에 착안해 연구진은 제어기가 샘플링 분포에 의미 있는 안내 토큰을 주입하는 설계를 택했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.