SANE, LLM 심판 채점 기준별 신뢰도 자동 검사… 검증 테스트 3.7배

SANE은 대규모 언어 모델(LLM)이 채점자로 나설 때 그 판단이 믿을 만한지 자동으로 검사하는 에이전트 기반 프레임워크다. 논문 저장소 arXiv에 2026년 10월 20일자로 실린 논문이 제안했다. 연구진은 5개 분야에서 기존 도구인 Judge Reliability Harness(JRH)와 비슷한 종단 간 타당성을 유지하면서, 검증을 통과한 테스트 묶음(test families)을 JRH의 3.7배 만들었다고 밝혔다.

LLM 심판은 벤치마크 평가, 모델 선정, 데이터 큐레이션, 모델 학습에 쓰인다. 논문은 심판의 판단이 쓸모 있으려면 자신의 채점 기준에 영향을 주는 변화에 안정적으로 반응해야 한다고 짚는다. 기존 신뢰성 검사는 점수에 미치는 영향을 미리 아는 변형을 입력에 가하는 방식이다.

채점 기준별 테스트를 스스로 만든다

기존의 대표적인 LLM 심판 검사 하네스는 사람이 만든 변형 방식에 합성 테스트 생성을 결합한다. 채점기별 변형 방식을 구상하는 일은 자동화 밖에 있어서, 고정된 변형과 미리 가정한 채점기 유형에만 쓸 수 있다는 한계가 있다고 논문은 지적한다.

SANE은 확률적으로 동작하는 평가자가 지켜야 할 행동 요건을 재사용 가능한 에이전트 지침으로 담았다. 채점기의 명세, 구현, 대표 입력을 받으면 먼저 그 채점기만의 능력을 찾아내고, 능력마다 변형 방식과 기대하는 점수 관계를 자동으로 도출한다. 생성된 테스트는 채점기와 무관한 검증 틀로 거른다. 변형 방식이 채점기의 의도와 맞는지, 실제 테스트 사례가 그 방식을 구현하고 기대한 점수 관계를 뒷받침하는지 확인한다. 채점기마다 맞춤형 방식 목록을 만들기 때문에, 채점기 의도와 맞는(aligned) 변형 방식의 수는 채점기가 추가될수록 늘어난다.

실험 결과

SANE은 5개 분야 모두에서 채점기의 결함을 탐지했다. 전문성과 독성 분야에서는 JRH가 결함을 하나도 찾지 못했다.

충실성 평가에서는 SANE의 테스트 점수로 심판 모델 11개의 순위를 매겼더니, 사람이 라벨링한 FaithBench 성능과 일관된 순위가 나왔다고 연구진은 밝혔다. 스피어만 상관계수는 SANE이 0.852, JRH가 0.100이다.