연구진이 거대언어모델(LLM)의 환각이 나타난 구간을 찾아내는 강화 학습 기법 SOPO(Socratic Guided Policy Optimization)를 제안했다. 2026년 10월 23일 arXiv에 공개된 논문에 따르면 4B 규모 SOPO 모델은 환각 탐지 벤치마크 RAGTruth에서 최고 성능을 냈고, GPT-5 같은 선도 상용 모델과 표준 강화 학습 기준 모델을 앞섰다.
연구진은 1.7B와 4B 두 가지 크기의 SOPO 모델과 학습·평가 코드를 함께 공개했다고 밝혔다.
SOPO는 여러 차례 대화를 주고받는 다회차 강화 학습 틀이다. 검증 가능한 보상을 쓰는 강화 학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 추론 과제에서 유망한 응용 사례를 보였다. 그러나 환각 구간 탐지에 적용하면 환각 위치를 특정하기 모호하고, 어려운 예시에서는 보상이 드물게 주어지며, 출력 길이가 통제 없이 늘어난다고 연구진은 짚었다.
소크라테스식 피드백으로 교사 모델이 롤아웃 단계에서 정답을 바탕으로 추론한 간접적인 힌트를 주며 학습 모델의 추론 경로를 이끈다. 어려운 예시에서도 효과적인 추론 경로가 나오게 해 보상이 드문 문제를 줄인다고 연구진은 설명했다.
여기에 턴 기반 이득 조정(Turn-based Advantage Scaling)을 더했다. 대화 턴을 기준으로 이득(advantage)을 조정해 장황함 편향(verbosity bias)에 벌점을 주고, 모델이 효율적이고 자율적인 추론 능력을 기르도록 유도한다.
RAGTruth에서 SOPO(4B)는 최고 성능을 기록하며 GPT-5 같은 선도 상용 모델과 표준 강화 학습 기준 모델을 넘어섰다. 영역 밖 벤치마크 네 곳에서는 보고된 평균 점수가 GRPO보다 높았고, 같은 벤치마크에서 CAPO와 비교한 결과는 근거가 엇갈렸다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.