사람과 AI 에이전트가 긴 작업을 함께 할 때 에이전트의 기여가 어떻게 쓰이는지 평가하는 벤치마크 Kolab이 arXiv에 논문으로 공개됐다(2026년 10월 15일 게재). Kolab은 직업 40개에 걸친 전문가 50명이 현실적인 장기 문제를 에이전트와 풀며 남긴 화면 녹화 115시간 이상을 모은 데이터셋이다.
데이터셋에는 참가자가 직접 매긴 협업 평가와 결과물 품질 평가도 들어 있다. 연구진은 최신 모델이 에이전트형이든 아니든 전문가와의 협업을 과대평가하고, 좋은 협업과 나쁜 협업을 가려내는 데도 어려움을 겪는다고 밝혔다. 작업 맥락을 더 길게 주어도 예측이 꾸준히 나아지지는 않았다.
연구진은 장기 작업에서 사람이 에이전트가 한 번에 과제를 끝내는 능력보다 계획 수정 같은 지속적인 상호작용을 더 중요하게 여긴다고 설명했다. 기존 에이전트 벤치마크는 대부분 자동화에 초점을 맞춰서, 점수가 높아도 실제 협업을 잘한다는 뜻은 아니라는 것이다. 연구진은 단계가 서로 얽히는 전문 업무가 이를 살피기에 적합한 환경이라고 봤다.
연구진은 협업형 에이전트에 자동화 벤치마크가 시험하지 않는 능력이 두 가지 필요하다고 봤다. 하나는 에이전트의 기여가 채팅창을 벗어난 뒤 전문가가 이를 채택할지, 고칠지, 거절할지 예측해 다음 단계를 안내하는 능력이다. 다른 하나는 전문가의 잦은 피드백 없이 진행 중인 워크플로에서 협업 품질을 평가하는 능력이다.
Kolab의 벤치마크 과제는 두 가지다. 다양한 워크플로에서 전문가가 에이전트의 기여를 어떻게 쓰는지 예측하는 과제, 그리고 참가자가 내린 협업 만족도와 결과물 품질 판단을 검증하는 과제다.
연구진은 분석에서 전문가마다 에이전트와 협업하는 방식이 다양했고, 언제 어떻게 조율하느냐가 중요하다는 점이 드러났다고 밝혔다. 최신 에이전트가 전문가와의 장기 협업을 아직 이해하지 못한다고 보고, Kolab을 실제 전문 업무에 기반한 협업 연구용 데이터셋으로 제시했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.