결정 모델 신뢰도 캐스케이드, 일부 유형서 gpt-6-sol 비용 1~3%로 맞먹어

연구진이 결정 모델을 환각 판정자로 쓰는 방법을 제안하는 논문을 arXiv에 올렸다. 논문은 2026년 10월 27일자로 게시됐고, 결정 모델 다섯 개를 생성형 판정자 gpt-6-sol과 비교했다. 연구진에 따르면 결정 모델의 신뢰도 캐스케이드는 환각 유형 세 곳에서 최고 단일 모델보다 나았고, 비용 1~3%로 gpt-6-sol과 같거나 더 나은 성능을 냈다. 초록에는 이 세 유형이 구체적으로 어떤 것인지 나오지 않는다.

LLM 평가자는 대규모 언어 모델이 다른 모델의 출력을 채점하는 방식이다. 연구진은 이 방식이 비싸고, 판정자 스스로 환각을 일으키거나 과신할 수 있다고 지적했다. 결정 모델은 자유 형식의 글 대신 미리 정한 판정 라벨과 라벨별 확률을 내놓는다. 연구진은 이런 모델이 훨씬 싸고 빠를 수 있다는 가능성을 전제로 두고 환각 탐지에서 시험했다.

유형별 시험 결과

연구진은 여섯 개 데이터셋에서 9,852개 항목을 모아 환각 유형 다섯 가지의 이진 벤치마크를 만들었다. 성능은 유형에 따라 크게 갈렸다. 균형 정확도 기준으로 가장 좋은 결정 모델은 문맥 불일치에서 gpt-6-sol과 같았고, 사실 오류에서는 3포인트 이내까지 따라붙었다. 논리 불일치와 지시 불일치에서는 4~8포인트 뒤처졌다.

결정 모델의 확률은 과신하는 경향이 있었다. 다만 GPT-6 계열 모델보다는 덜했다. 확률로 맞은 판정과 틀린 판정을 가려내는 능력도 중간 정도에 그쳤다.

결정 모델을 신뢰도에 따라 이어 붙인 캐스케이드는 세 유형에서 최고 단일 모델보다 1.9~3.3포인트 높았다. 연구진은 결정 모델이 일부 환각 유형에서 실용적인 저비용 판정자지만 쓰기 전에 검증이 필요하다고 결론지었다.