질문을 어떻게 쓰느냐에 따라 두 언어모델 가운데 어느 쪽 점수가 높은지가 달라질 수 있는데, 모델에 도구를 쥐여 주면 이런 비교가 더 안정되는지 따져 본 논문이 2026년 10월 22일 arXiv에 올라왔다. 연구진은 오픈 모델 6개를 5개 분야에서 질문 표현 5가지로 시험했다.
프로그램이 답을 낼 수 있는 문제에서는 도구가 정확도를 높였다. 그러나 모델 둘씩 짝지어 비교한 결과 중 많은 쌍에서는 질문 표현에 따른 민감도가 오히려 커졌다. 연구진은 결과가 고정되는 보고가 안정적인 비교를 보장하지 않는다고 결론지었다.
정확도가 올랐다는 사실만으로는 이유를 설명할 수 없다. 도구가 질문과 채점되는 답 사이의 여러 단계를 한꺼번에 바꾸기 때문이다. 그래서 연구진은 답 읽어 내기, 추론, 호출 결정, 도구의 응답, 호출 없이 제공되는 보고를 나눠 비교하는 대응 비교 절차를 제안했다.
민감도가 커지는 정도는 모델이 도구를 얼마나 자주 부르는지를 따랐다. 호출 빈도가 질문 표현에 따라 달라지는 모델이 있고 그렇지 않은 모델도 있었다. 인터페이스와 지시문에 따라서도 결과가 달랐다. 분자 분야에서는 모델 고유의 도구 호출 인터페이스를 쓴 경우와 두 번째 도구 설명을 쓴 경우 모두 감지된 민감도 확대가 없었다. 반면 도구가 중간 결과를 돌려주는 분야에서는 민감도가 남았다.
연구진은 모델을 비교할 때 정확도와 함께 호출 빈도, 그리고 여러 표현에서의 비교 안정성을 보고하라고 권고했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.