루브릭 기반 보상으로 학습한 모델이 답변을 길게 늘리고 불필요하거나 사실과 다른 내용을 더하는 문제를 줄이는 방법이 논문으로 나왔다. 'Eat Your Precision'이라는 제목의 논문은 재현율과 정밀도를 함께 최적화하는 FORK 보상을 제안한다. 논문은 2026년 10월 24일 arXiv에 올라왔다.
연구진은 FORK가 기존 루브릭 기반 강화 학습 방식보다 성능이 좋고, 루브릭 충족 범위와 전체 답변 품질 사이에서 균형을 이루는 파레토 최적 성능을 냈다고 밝혔다. 기존의 재현율 기반 보상과 비교하면 루브릭 충족 범위는 비슷하게 유지하면서 정밀도는 크게 높이고 답변 길이는 줄였다고 한다. 기본 모델과 맞붙었을 때의 승률은 기존 재현율 기반 보상으로 학습한 모델이 RubricHub-Medical에서 10.6%, HealthBench에서 22.1%였지만, FORK로 학습한 모델은 각각 68.0%, 74.1%였다.
재현율만 키우는 보상의 부작용
루브릭 기반 보상은 정답을 자동으로 검증하기 어려운 과제에서도 강화 학습을 가능하게 한다. 다만 이 보상은 대개 루브릭 항목을 얼마나 충족했는지를 가중 합산해 정의하기 때문에, 모델은 재현율을 높이는 쪽으로 주로 학습된다. 그 결과 답변은 더 완전해지지만 더 장황해지고, 불필요하거나 사실과 다른 내용도 늘어난다. 연구진은 이런 답변이 기본 모델의 답변보다 덜 선호됐다고 지적했다.
논문은 정밀도 목표가 루브릭 기반 강화 학습의 보상 해킹을 완화한다고 주장한다.
FORK가 정밀도를 재는 방식
FORK는 재현율 목표에 새로운 정밀도 목표를 더한다. 정밀도 목표는 답변의 각 단위가 꼭 필요하고 사실로도 맞아야 한다는 조건이다. 필요성은 루브릭에서 나오는 필요성 점수로, 사실 정확성은 별도의 사실성 채점기로 각각 측정한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.