연구진이 전문 업무 에이전트를 학습시킬 때 쓰는 전문가 시연 데이터를 대규모로 만드는 프레임워크 WorkFactory를 제안했다. 이 방법으로 612개 직업에 걸친 과제 112,686개를 구성했고, 여기서 모은 교사 모델의 수행 기록으로 Qwen 모델을 미세조정해 WorkPilot 계열을 만들었다. 논문은 2026-10-27 arXiv에 올라왔다.
WorkPilot은 4B, 27B, 35B-A3B 세 가지 규모다. 세 모델 모두 네 가지 전문 업무 벤치마크에서 각자의 기반 모델보다 성능이 올랐다고 연구진은 밝혔다. GDPval-AA v2.1에서 기반 모델은 879 Elo였고, WorkPilot-35B-A3B는 1565 Elo를 기록했다. 데이터와 모델은 공개돼 있다고 논문에 적혀 있다.
과제의 빈틈을 먼저 메우는 방식
연구진은 과제 정보가 빠지거나 서로 맞지 않으면 교사 모델이 과제를 제대로 수행하지 못하고, 그 결과 학습에 쓰는 지도 신호도 약해진다고 지적했다.
WorkFactory는 전문 업무 의도에서 출발한다. 먼저 정보 수준의 계획 단계에서 정보 지원 그래프를 만든다. 이 그래프에는 목표 산출물에 필요한 정보가 무엇에 의존하고 어디에 있는지가 드러난다. 과제는 이 그래프를 바탕으로 구체화된다. 이어 시험 실행(probe execution)으로 정보 지원이 모자란 곳을 찾아내고, 의도한 업무는 그대로 두면서 그 부분을 고친다.
규모를 키울 때의 결과
규모 분석에서는 모델에 따라 투입 대비 성능 향상 폭이 줄어드는 수확 체감이 나타났고, 수행 길이는 먼저 늘다가 이후 줄어들었다. 구성 요소를 따로 떼어 본 통제 분석에서는 계획과 수리 단계가 시험 실행으로 진단한 과제 환경 결함을 줄였고, 후속 성능도 높였다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.