한 문제의 롤아웃이 모두 실패하면 GRPO는 성공 사례도, 0이 아닌 그룹 상대 이점(advantage)도 얻지 못해 그 문제에서 아무것도 배우지 못한다. 연구진은 이 빈틈을 메우려고 RSHD(Replay-Selected Hindsight Distillation)라는 기법을 제안했다. 논문 'Failure Is the Mother of Success: Recovering Supervision with Grounding Hindsight'는 2026-10-14 arXiv에 올라왔다.
RSHD는 학습 중인 모델이 실패한 시도마다 교정 메모를 쓰게 한다. 이때 정답이나 풀이는 보여 주지 않는다. 이어 모델은 그 메모를 프롬프트에 넣고 같은 문제를 다시 푼다. 연구진은 추론 과정이 틀렸어도 다음에 무엇을 시도할지 알려 줄 수 있다고 본다.
메모를 걸러 내는 방식
메모가 곧바로 학습에 쓰이지는 않는다. 정답을 그대로 적은 메모는 먼저 걸러 낸다. 남은 메모는 그것으로 다시 푼 시도들이 원래 그룹보다 더 자주 성공할 때만 채택한다. 채택된 메모의 재풀이는 메모 없는 일반 프롬프트 모델로 증류한다.
채택 여부를 실패한 롤아웃 자체가 아니라 새로 얻은 성공이 결정하므로, 연구진은 모든 시도가 실패한 그룹에서도 신호를 되찾을 수 있다고 설명했다. 성공과 실패가 섞인 그룹의 실패 사례에도 똑같이 적용된다. 학습 대상은 정책 모델뿐이고, 판정은 결과 검증기만 맡는다. 배포할 때 메모나 추가 추론은 필요 없다.
연구진은 여러 모델 계열과 크기, 두 학습 영역에서 RSHD가 도메인 내 벤치마크에서 GRPO보다 꾸준히 나았고, 향상 폭이 도메인 밖 평가 세트에도 이어졌다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.