LLM 채점 프롬프트 기법, 채점 모델 따라 효과 갈려

대규모 언어 모델(LLM)이 다른 모델의 출력을 채점하는 LLM 평가자 방식에서, 영어 기준으로 권장되는 프롬프트 기법이 다른 언어와 다른 채점 모델에서는 같은 효과를 내지 않는다는 연구 결과가 나왔다. 연구진은 2026년 10월 22일 논문 공개 사이트 arXiv에 게시한 논문에서, 채점 모델을 무엇으로 고르느냐가 프롬프트 기법을 무엇으로 고르느냐보다 결과에 더 큰 영향을 준다고 밝혔다.

연구진은 단계별 추론(Chain-of-Thought)이나 역할 부여(Role Conditioning) 같은 기법이 그동안 영어 벤치마크만을 근거로 권장돼 왔다고 짚었다. 기존 프롬프트 민감도 연구는 대부분 영어에 집중됐고, 다국어 채점 연구는 프롬프트 템플릿을 고정한 채 진행됐다는 것이다. 이 연구는 둘의 상호작용을 직접 측정했다.

실험 규모와 결과

실험에는 프롬프트 기법 9가지, 가중치 공개 채점 모델 4개, 언어 27개, 과제 4종(데이터셋 13개)이 쓰였다. 연구진은 정답 기준(gold-reference) 출력에 대해 항목별(pointwise)로 점수를 매겨 100만 건이 넘는 점수를 얻었고, 이를 사람의 판단과 대조해 검증했다고 밝혔다.

• 채점 모델의 선택이 프롬프트 기법의 선택보다 결과를 크게 좌우했다.
• 같은 기법의 효과가 채점 모델에 따라 반대 방향으로 나타나기도 했다.
• 자원이 적은 언어에서는 채점의 안정성이 떨어졌고, 전체 평균만 보고하면 이 차이가 가려졌다.

연구진은 프롬프트 기법이 채점 모델과 언어 사이에서 전이되지 않는다고 결론지었다. 이에 따라 프롬프트 기법은 실제로 쓸 평가 환경에서 검증해야 하고, 연구 사이의 비교에서는 채점 모델과 프롬프트 설정을 함께 고려해야 한다고 권고했다.