비전 언어 모델(VLM)의 마음이론 평가에서 감독관이 볼 수 있는 블록을 먼저 물으면 모델의 행동 선택이 달라진다는 논문이 2026년 10월 21일 arXiv에 올라왔다. 연구진은 렌더링한 Director Task에서 칸막이가 가장 큰 블록을 감독관의 시야에서 가리고, 감독관이 "가장 큰 블록"을 달라고 요청하는 상황을 만들었다.
감독관이 볼 수 있는 블록을 먼저 묻자, 가려진 블록을 고르는 응답 비율이 GPT 계열 여섯 모델에서 12~88%포인트, Qwen3.8-27B에서 17%포인트 높아졌다. 모델 대부분은 감독관에게 보이는 블록을 정확히 보고했는데도 이런 결과가 나왔다.
기존 평가는 모델에게 상대의 시점을 먼저 보고하게 한 뒤 상대를 위해 행동하게 하고, 보고는 맞고 행동이 틀리면 시점을 활용하지 못한 것으로 읽는다. 연구진은 이 해석이 시점을 묻는 질문이 행동을 바꾸지 않는다는 암묵적 가정에 기대고 있으며, 이번 결과가 그 가정을 반박한다고 주장했다.
연구진은 추론 과정 기록과 프롬프트 문구 변형을 분석해, 질문이 요청을 읽는 관점을 감독관의 시야에서 모델 자신의 시야 쪽으로 옮기는 것으로 설명했다. 프롬프트에 감독관이 아는 것과 가리키는 대상을 명시했을 때는 올바른 보고와 가려진 블록 선택이 함께 나온 응답이 1% 미만이었다.
연구진은 행동을 채점하기 전에 시점 보고를 끌어내는 평가라면 그 질문이 없는 기준선이 필요하다고 제안했다. 질문 유무만 다른 짝지은 프롬프트를 기준선으로 직접 내놨으며, 시점 이해(perspective-taking)를 다루는 어떤 벤치마크든 채택할 수 있는 설계라고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.