불확실성 지표로 검색 증강 생성(RAG)의 환각 위험을 잴 수 있지만, 검색된 근거가 답을 제약할 때만 그렇다는 연구 결과가 2026년 10월 15일 arXiv에 공개됐다. 논문 제목은 'When Does Uncertainty Measure RAG Hallucination Risk?'다.
연구진은 근거가 충분하면 뒷받침 없는 사실 주장이 나올 가능성이 낮아진다고 설명했다. 검색 범위가 부실하면 모델이 내부 지식으로 답하면서 근거 없는 주장에도 높은 확률을 줄 수 있다고 했다. 이때는 불확실성 점수가 환각 위험을 제대로 반영하지 못한다.
실험 설계와 결과
실험은 HotpotQA와 SQuAD 두 데이터셋에서 지시 학습을 거친 모델 네 개로 진행했다. 연구진은 충실한 답과 환각 답을 단어 수 구간별로 짝지워 길이 차이를 맞췄다. 이렇게 맞춘 뒤에는 길이만 보는 분류기가 우연 수준에 가까웠다. 반면 perplexity는 근거 없는 내용으로 의도적으로 고친 답을 가려내는 데서 네 모델 전반에 걸쳐 AUROC 0.81~0.91을 기록했다.
검색 깊이를 바꿔 보면 점수의 의미가 달라지는 이유가 드러난다. 최상위 문서 하나만 줄 때는 탐지 성능이 약해질 수 있었고, 두 번째 문서를 더하자 회복됐다. 불확실성과 의미 변화(semantic drift)를 합친 점수는 보정을 개선했다. 별도로, RAGTruth QA에서도 측정값은 우연 수준 위에 머물렀다.
논문은 이 결과를 근거로 불확실성을 조건부로 유용한 RAG 환각 위험 지표로 본다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.