Perplexity·NVIDIA, JOLT 공개 MATH서 GRPO 대비 토큰 6.5배 절감

Perplexity와 NVIDIA 연구진이 언어 모델의 사후 학습 기법 JOLT(Joint On-policy Learning and Teaching)를 공개했다. 하나의 모델이 교사와 학생 역할을 동시에 맡아 함께 학습하는 방식이다. 연구진은 MATH 벤치마크에서 정확도 63.44%에 이르는 데 GRPO 체크포인트는 처리 학습 토큰 840만 개를 썼고, JOLT는 130만 개로 충분해 6.5배 적게 들었다고 밝혔다.

실험은 다섯 가지 설정에서 했고, 설정마다 기반 모델과 교사가 받는 특권 정보가 다르다. GSM8K는 DeepSeek-V2-Lite에 검증된 정답을, MATH는 Qwen3-0.6B에 풀이 참조를 줬다. LiveCodeBench v6는 Qwen3-8B에 통과한 풀이 또는 실행 피드백을, AppWorld는 Qwen3-4B-Instruct에 과거 시도 요약을, Terminal-Bench 2.1은 Qwen3-30B-A3B-Instruct에 검증 파일을 줬다. 교사와 학생이 한 모델을 공유하므로 별도 교사 모델은 필요 없다. 학습에 쓴 하드웨어는 공개되지 않았고, 코드도 아직 나오지 않았다.

교사도 함께 학습하는 구조

결과 보상만 주는 강화 학습 방식인 GRPO는 시도 한 번에 보상 하나를 준다. 어떤 토큰이 도움이 됐는지 알려 주지 못하고, 성공이 드문 긴 에이전트 작업에서는 학습이 느리다. 교사가 학생의 토큰마다 점수를 매기는 온폴리시 증류가 이를 보완하며, OPSD는 정답 같은 특권 정보를 받은 같은 모델을 교사로 쓴다.

연구진은 정답을 쥔 교사가 학생이 따라갈 수 없는 지름길을 택할 수 있다고 지적했다. 논문에서는 MATH 학습 중 OPSD의 교사와 학생 사이 불일치가 커졌다.

JOLT에서 교사는 특권 정보를 보고 결과 보상과 학생에게서 멀어지지 않게 하는 KL 페널티로 학습한다. 학생은 과제만 보고 자기 시도에 대한 교사의 토큰 단위 증류 신호로 학습한다. 각 역할은 자기 맥락에서 생성한 궤적으로 배운다. JOLT+는 여기에 학생 자신의 결과 보상을 더한 버전이다.

벤치마크 결과

JOLT+는 다섯 설정 모두에서 GRPO, OPSD, π-Distill보다 평균 점수가 높았고, 이 가운데 GRPO가 가장 강한 기준선이었다. 모든 점수는 Perplexity가 방법별로 하이퍼파라미터를 조정해 직접 돌린 결과다.

GRPO 대비 JOLT+의 향상 폭은 GSM8K 1.5점, MATH 4.2점, LiveCodeBench v6 3.0점, AppWorld 9.9점이다. Terminal-Bench 2.1의 기반 모델은 pass@1 5.18%, pass@32 22.81%였다. 학생 보상이 없는 기본 JOLT는 MATH에서 GRPO를 72.14% 대 68.36%로 앞섰지만, AppWorld와 Terminal-Bench에서는 GRPO에 못 미쳤다.

토큰 절감 비교에서 GRPO는 체크포인트 기준이고, JOLT는 정확도 곡선을 맞춘 값이다. 생성 토큰만 세면 차이는 약 13배로 벌어진다. 목표 정확도 55~65% 구간에서 절감폭은 처리 토큰 기준 4.3~7.4배다. 정확도는 JOLT가 약 72%, GRPO가 약 70%, OPSD가 약 62%에서 더 오르지 않았다.

이 기사의 성능 비교는 모두 Perplexity가 자체 실험으로 낸 결과다.