멀티모달 추론 모델의 강화 학습에서 응답의 토큰마다 보상을 달리 배분하는 기법 PACE(Pairwise token contrast and Adaptive trajectory ConfidencE)가 논문으로 제안됐다. 2026-10-15 arXiv에 공개된 이 논문에서 연구진은 세 가지 백본 모델에서 평균 정확도가 가장 높았다고 밝혔다.
Qwen3-VL-8B-Instruct에서는 평가한 멀티모달 추론 벤치마크 전부에서 1위였다고 연구진은 설명했다.
기존 방식의 문제
검증 가능한 보상을 쓰는 강화 학습(RLVR)은 멀티모달 추론 성능을 높인다. 그러나 그룹 상대 정책 최적화는 응답 전체에 매긴 하나의 이점 값을 모든 토큰에 똑같이 적용한다. 연구진은 오류가 대개 몇몇 결정적인 단계에 몰려 있다는 점을 문제로 짚었다.
최근에는 교사 모델과 학생 모델의 가능도 차이로 보상을 세밀하게 나누는 자기 증류 방식이 나왔다. 연구진에 따르면 이 신호는 토큰이 이미지에 근거하는지 언어적 지름길에 기대는지 구분하지 못한다. 교사 모델이 정보를 주지 못하는 경우에도 같은 강도로 적용된다.
PACE의 두 구성 요소
토큰 쌍별 대조는 각 응답을 교사 모델의 네 가지 관점에서 채점한다. 정답 힌트와 오답 힌트를 주는 경우에 이미지를 두는 경우와 지우는 경우를 교차한 것이다. 토큰마다 두 힌트의 결과를 비교하면 두 힌트가 공유하는 변동은 상쇄되고, 그 토큰의 근거가 이미지에 있는지 드러난다.
적응형 궤적 신뢰도는 정답 힌트와 이미지가 주어졌을 때 교사가 해당 응답을 얼마나 잘 예측하는지 측정한다. 이 점수를 배치 안에서 정규화해, 토큰 대조가 그 응답 안에서 보상을 얼마나 재분배할지 정하는 데 쓴다.
연구진은 두 요소가 모두 의미가 있다고 밝혔다. 토큰 쌍별 대조를 단일 관점 신호로 대체하면 PACE보다 성능이 낮았고, 적응형 궤적 신뢰도는 성능을 추가로 끌어올렸다. 개선 폭은 제시되지 않았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.