답이 일관돼도 틀릴 수 있다, 오답 60%가 높은 일관성 구간

정답 라벨 없이 모델 답변의 신뢰도를 가리는 평가법에 사각지대가 있다는 연구가 2026년 10월 15일 arXiv에 공개됐다. 금융 질의응답 데이터 4종을 분석한 결과, 모델이 틀린 답변 전체의 60%가 일관성 0.8 이상의 높은 구간에 있었다.

자기일관성 필터링, 다수결 집계, 응답 간 일치도로 신뢰도를 매기는 방식은 모두 일관성을 정답의 대리 지표로 볼 수 있다는 가정에 기댄다. 연구진은 이 가정을 직접 시험했다.

실험 설계와 결과

실험에는 객관식과 서술형을 포함한 금융 질의응답 데이터 4종, 일관성 측정 차원 10개, 최첨단(frontier) 수준의 모델 계열 2종이 쓰였다. 연구진은 평균값 대신 개별 문항 단위로 일관성과 정확도의 분포를 함께 살폈다.

일관성이 0.8 이상인 구간의 오답 중 77.7%는 변형한 질문 전부에서 똑같은 오답을 내는 완전 붕괴 양상이었다. 일치도만 보는 평가 신호로는 이 영역을 가려낼 수 없다. 모델이 가장 믿을 만해 보이는 상태에서 틀리기 때문이다.

연구진은 이 현상이 일관성 기준값을 0.50에서 1.00까지 바꿔도 유지되고, 두 모델 계열에서 모두 나타났다고 밝혔다. 또 특정 변형 차원과 분야가 만나는 지점에 집중됐다고 했다. 논문은 이 영역이 나타나는 위치와 안정성을 분석하고, 사람이 매긴 라벨 대신 일치도 신호를 쓰는 평가 파이프라인에 이 결과가 갖는 함의를 논의한다.

다수결이나 일치도로 모델 답변을 거르는 팀은 일관성 점수가 높다는 이유만으로 답을 신뢰하기 어렵다. 이 실험에서는 모델이 변형된 질문마다 똑같이 틀리는 사례가 오답의 상당수를 차지했고, 일치도 신호는 이를 걸러내지 못했다.