ReAPO, 실패한 시도 뒤 재시도만 보상해 추론 학습 토큰 31~39% 절감

ReAPO(Retry-Aware Policy Optimization)는 추론 능력을 키우는 강화 학습에서 실패한 풀이 뒤의 재시도를 따로 평가해 보상하는 학습 방법이다. 논문은 2026년 10월 20일 arXiv에 올라왔다. Qwen3-0.6B 실험에서 ReAPO는 집단 크기를 두 배로 늘린 GRPO와 학습 단계를 두 배로 늘린 GRPO보다 모두 성능이 높았다. 각 설정이 최고 정확도에 이르기까지 생성한 토큰은 집단 크기 2배 설정보다 39%, 학습 단계 2배 설정보다 31% 적었다고 저자들은 밝혔다.

실험 대상은 Qwen3와 OLMo-2 모델로, 크기는 0.6B부터 4B까지다. 수학과 과학 추론 벤치마크 8개에서 첫 시도 성능이 GRPO와 최근의 비교 알고리즘보다 높았다고 논문은 밝혔다. 소거 실험은 직렬 샘플링과 ReAPO의 기여 배분 방식이 모두 유용하다는 점을 보였다고 한다.

작동 방식

검증 가능한 보상을 쓰는 강화 학습(RLVR)은 추론 모델의 성능을 높이지만, 보통 서로 독립적인 무작위 풀이를 뽑아 탐색한다. 이 방식은 비슷한 실패 전략을 반복해서 뽑을 수 있다. 앞선 연구에는 오답을 다음 시도의 맥락에 포함해 탐색을 이끄는 접근이 있었는데, 이 경우 시도마다 공을 어떻게 나눌지라는 문제가 새로 생긴다.

저자들은 이 문제를 고전 강화 학습의 확률적 최단 경로 틀로 풀었다. 이 틀은 검증된 성공 응답이라는 종료 상태에 닿기까지 기대 누적 비용을 최소화한다. 단순화 가정 아래에서 이 관점은 GRPO를 조금 고치는 수준의 방법으로 이어졌고, 그것이 ReAPO다. ReAPO는 실패한 궤적에 생성을 추가로 배정해, 성공한 재시도는 강화하되 앞선 실패는 보상하지 않을 수 있게 한다. 각 시도의 기여는 이론에 근거해 나눈다.

토큰 31~39% 절감은 Qwen3-0.6B 실험에서 나온 결과다. 0.6B부터 4B까지 모델 전반에서 확인된 것은 첫 시도 성능 향상이다. 더 큰 모델에서도 같은 효과가 나는지는 논문의 실험 범위 밖이다.