GRPO나 RLOO 같은 그룹 상대 추정기는 모델이 풀지 못하는 어려운 문제에서 롤아웃이 전부 실패하면 어드밴티지가 0이 되어 갱신이 사라진다. 이 문제를 풀려는 강화 학습 기법 PICO(Policy-Compatible Reinforcement Learning)를 제안한 논문이 2026년 10월 27일 arXiv에 올라왔다. 논문 제목은 'When All Rollouts Fail: Policy-Compatible Joint Decoding for Hard-Problem Reasoning'이다.
연구진은 여러 추론 데이터셋과 에이전트 벤치마크로 실험했고, PICO가 표준 RLVR과 기존 오프폴리시 기준선보다 일관되게 좋은 성능을 냈다고 밝혔다. 구체적인 점수와 개선 폭, 공개 코드나 적용 가능한 모델은 초록에 나오지 않는다.
RLVR(검증 가능한 보상 기반 강화 학습)은 정답이면 1, 아니면 0이라는 이진 보상을 쓰고, 모델이 직접 생성한 풀이로 추론 능력을 키운다. 그러나 모든 롤아웃이 실패하면 샘플에서 정답에 대한 정보를 얻지 못한다. GRPO나 RLOO처럼 같은 문제의 풀이 묶음 안에서 상대 점수를 계산하는 방식은 이때 어드밴티지가 0이 되어 갱신이 사라진다.
전문가 풀이를 쓰는 방법이 있지만 한계가 있다. 전문가 풀이는 현재 정책과 맞지 않고 학생 모델이 낮은 확률로 보는 영역에 놓이는 일이 많다. 그래서 남는 갱신은 매개변수를 크게 바꿔야 하고, 전이 가능한 추론보다 겉모양을 흉내 내는 모방으로 흐른다고 연구진은 지적했다.
연구진은 어려운 문제의 학습 신호가 검증으로 확인된 정답이면서 현재 정책과도 충분히 맞아야 한다고 주장한다. PICO는 분포를 제한한 공동 디코딩으로 이를 구현한다. 전문가 데이터가 토큰 단위로 디코딩을 이끌되 학생 모델의 토큰 간 상대 확률은 유지한다. 동적 Top-k 장치가 유한한 발산 예산 안에서 샘플링 분포를 묶으며, 연구진은 이 구성상 검증되고 정책 호환적인 궤적이 나온다고 주장한다.
이렇게 만든 풀이는 일반 온폴리시 롤아웃과 함께 혼합 행동 목적함수로 최적화한다. 두 풀이의 분포 차이는 중요도 샘플링으로 줄인다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.