CogArena 공개, 멀티모달 에이전트가 행동 실험 10종을 브라우저로 푼다

사회·행동과학 실험 10종을 웹 브라우저에서 직접 수행하게 해 멀티모달 에이전트를 평가하는 벤치마크 CogArena가 arXiv에 공개됐다(2026년 10월 27일 게재). 에이전트는 온라인 실험 참가자와 같은 시각 자극과 응답 화면을 보면서 과제를 수행한다.

연구진은 과제, 채점 코드, 새 제출물을 받는 공개 리더보드를 함께 제공한다고 밝혔다. 멀티모달 모델 4종을 과제마다 10번씩 실행해 비교했다.

연구진은 기존 방식에 문제가 있다고 지적했다. 대규모 언어 모델의 인지 능력은 보통 행동 실험을 텍스트 프롬프트로 바꿔 시험하는데, 이러면 사람 참가자가 실제로 겪는 시각 화면과 시간 압박이 빠진다는 것이다. 또 인공지능 에이전트가 온라인 행동 과제를 끝내고 사람과 비슷한 데이터를 만들어 내는 만큼, 사회·행동과학의 온라인 데이터가 오염될 우려도 커졌다고 연구진은 설명했다.

채점은 세 단계다. 에이전트가 과제를 끝냈는지, 얼마나 정확히 수행했는지, 그리고 각 실험이 사람에게서 안정적으로 끌어내는 행동 특징이 에이전트의 데이터에도 나타나는지를 차례로 본다.

결과에 따르면 실험을 끝내는 것과 행동 특징을 재현하는 것은 별개였다. 끝까지 마치지 못한 세션이 많았고, 마친 세션에서도 일부 특징은 꾸준히 재현됐으나 어떤 특징은 전혀 나타나지 않았다고 연구진은 밝혔다.