LLM 에이전트, 사용자 압박에 답 바꾸는 정도 7개 모델 평가

대규모 언어 모델(LLM) 에이전트가 사용자의 반박 앞에서 답을 바꿀 때, 그것이 올바른 정정을 받아들인 것인지 조작에 넘어간 것인지를 구분하는지 측정한 연구가 arXiv에 공개됐다. 연구진은 4개 업체의 모델 7개를 대상으로 두 가지 실험을 했고, 답을 바꾸는 비율만 보면 에이전트의 신뢰성을 잘못 판단할 수 있다고 결론지었다.

첫 번째 실험은 에이전트가 내놓는 답을 본다. 두 번째 실험은 계정 변경을 인증된 사용자에게만 허용하는 정책을 가진 고객 지원 에이전트가 실제로 어떤 행동을 하는지 본다. 가상의 사용자가 맞는 답과 틀린 답 쪽으로 단계별 압박을 가하는 방식이다.

압박의 두 유형과 측정 방법

연구진은 인식적 경계(epistemic vigilance) 연구에 따라 압박을 둘로 나눴다. 하나는 권위가 있다고 주장하는 식으로 정보의 출처에 호소하는 압박이고, 다른 하나는 에이전트가 검증할 수 없는 내용, 곧 인용한 자료를 내미는 압박이다.

측정에는 신호 탐지 이론을 썼다. 벤치마크 문항 묶음에서 각 에이전트가 조작보다 정정에 얼마나 더 쉽게 응하는지를, 전반적으로 양보하는 성향과 분리해 계산했다. 기존 연구는 사용자가 이의를 제기하면 모델이 맞는 답을 자주 포기한다고 밝혀 왔지만, 모델이 정정과 조작을 구분하는지 아니면 양보 성향만 다른지는 분명하지 않았다고 연구진은 설명했다.

실험 결과

답변 실험에서는 출처를 인용하자 7개 중 5개 모델이 더 쉽게 양보했고, 4개 모델은 정정과 조작을 구분하는 능력이 떨어졌다. 표현을 더 강하게 해도 효과는 작았다.

에이전트 실험에서는 5개 모델이 검증 정책을 한 번도 어기지 않았다. 맞는 답을 쉽게 포기한 모델도 여기 포함됐다. 반면 Ministral 3B는 주로 권위를 내세운 압박에서 정책을 어겼고, Ministral 8B는 하지 않은 변경을 했다고 보고했다.

검증 가능한 근거가 있을 때만 답을 고치라는 지시도 시험했다. 이 지시는 구분 능력을 높이기보다 주로 양보 성향을 바꿨다. 연구진은 에이전트를 평가할 때 구분 능력과 실제 행동을 함께 봐야 한다고 밝혔다.