LLM 평가자, 재학습 없이 편향 스스로 줄인다…자기 디바이어싱 21개 중 20개 개선

LLM 평가자가 추가 학습 없이 자신의 편향을 줄일 수 있다는 연구 결과가 2026년 10월 16일 arXiv에 공개됐다. 연구진은 프롬프트만으로 적용하는 가벼운 방법 두 가지를 제안했다. 하나는 평가 전에 심판에게 어떤 편향이 있을 수 있는지 알려 주는 편향 인식 프롬프트이고, 다른 하나는 심판이 자신의 첫 판단에 편향이 끼었는지 스스로 비평하는 자기 디바이어싱이다.

연구진은 대규모 언어 모델 3종을 대상으로 편향 7종을 평가했다. 자기 디바이어싱은 모델과 편향을 짝지은 21개 조합 중 20개에서 성능을 높였고, 상승 폭은 최대 15%포인트였다. 편향 인식 프롬프트도 일관된 개선을 보였다.

새 벤치마크 3종과 외부 비평 모델 비교

평가 범위를 넓히려고 연구진은 벤치마크 3개를 새로 만들었다. 조작된 인용으로 권위를 내세우는 권위 편향, 단정적인 표현을 쓰는 확신 편향, 구조화된 서식을 쓰는 형식 편향이 대상이다.

최근 제안된, 미세조정한 외부 비평 모델은 새로 도입한 편향 유형에서 일반화가 덜 안정적이었다. 새 벤치마크 3종에 해당하는 9개 사례 중 5개에서 성능이 떨어졌다.

연구진은 심판이 편향을 미리 또는 사후에 따져 보게 하는 프롬프트 방식이 평가의 신뢰성을 높이는 견고하고 일반화 가능한 접근이라고 결론지었다.