ClaimScope, 수학 주장 감사 72과제 벤치마크 공개

수학 주장을 AI가 얼마나 제대로 감사하는지 재는 72과제 벤치마크 ClaimScope가 arXiv에 공개됐다. 자료의 발행일은 2026-10-15이다. 정답 맞히기나 증명 통과 여부만 보던 기존 평가와 달리, 주어진 주장에 대해 판정, 적용 범위, 반례, 수정안을 함께 내놓게 한다.

과제는 최적화 알고리즘(optimizer) 상태의 이동, 유한 구간 아핀 점화식, 정확한 2×2 선형대수 세 영역에 걸쳐 있다. 연구진은 Qwen3-8B를 직접 생성 방식과, 같은 초안에서 출발하는 네 가지 2단계 조건으로 평가했다.

증인 검사기는 모델이 낸 상태만 평가하며, 기준 판정을 참조하거나 대체 증인을 대신 내놓지 않는다. 그래도 피드백은 유효성에 관한 정보를 전한다. 반례가 검증되면 그 주장이 거짓임이 확정되고, 거부 사유는 구조적 수정의 단서가 될 수 있다.

검증기 피드백 조건은 무효 주장 39건 중 23건에서 반례가 받아들여졌고, 안전 완성은 72건 중 25건이었다. 검사기 없는 일반 피드백 조건은 각각 15건과 20건이었다. 엄격 완성은 두 피드백 조건 모두 72건 중 17건이었다. 판정 정확도는 47/72에서 46/72로 바뀌었다.

검증기 피드백과 검사기 없는 일반 피드백의 안전 완성 차이는 주장 단위로 묶어 계산하면 0.094이고, 부트스트랩 95% 구간은 0.000에서 0.198이다. 과제 단위 향상 7건은 모두 horizon(기간)과 입력 길이 진단을 따랐다. 직접 생성 출력에 스키마 전용 사후 보정을 적용하자 모델을 다시 호출하지 않고도 같은 25개 안전 과제에 도달했다.

저자들은 이 결과가 주장 분류와 실행 가능한 증거를 구분해 보여 준다고 설명한다. 관찰된 향상은 증인 구조를 바로잡은 데서 나온 것이며, 더 넓은 추론 능력이 좋아졌음을 보인 것은 아니라고 밝혔다.