DynaWeave, 정적 과제를 돌발 상황 시나리오로 바꿔 에이전트 학습

연구진이 기존의 정적인 과제를 중간에 돌발 사건이 끼어드는 동적 시나리오로 바꿔 주는 자동 합성 프레임워크 DynaWeave를 arXiv에 공개했다. 이 방식으로 모은 데이터로 Qwen3.5 모델을 학습시킨 결과, CostBench에서 과제 완료율이 67.34%포인트 늘었고 ToolMaze에서는 Gemini-3.1-Pro-Preview의 성능을 넘어섰다고 논문은 밝혔다.

연구진은 36개 환경에서 검증을 거친 상호작용 궤적 2,095개를 모아 지도 미세 조정(supervised fine-tuning)에 썼다. 평가는 Gaia2, CostBench, ToolMaze 세 벤치마크에서 했고, 시험한 세 가지 모델 크기 모두 전체 성능이 일관되게 올랐다. 코드도 공개됐다.

작동 방식

대규모 언어 모델(LLM) 에이전트는 도구를 써서 상태가 있는 환경에서 과제를 수행하는 일이 늘고 있다. 그런데 학습용 환경 상당수는 에이전트 자신의 행동으로 인한 변화를 빼면 거의 고정돼 있다. 실제 환경에서는 다른 사용자나 서비스, 갑작스러운 변수가 진행 중인 계획을 무효로 만들 수 있다는 것이 연구진의 문제의식이다.

DynaWeave는 각 과제와 관련된 외부 사건을 만들어 낸다. 사건은 과제 요구 사항, 환경 상태, 외부 정보의 변화를 아우른다. 사건 사이의 의존 관계는 방향 비순환 그래프(DAG)로 나타내고, 실행 엔진이 에이전트가 상호작용하는 동안 사건을 작동시킨다. 동적 검증기는 실제로 발생한 사건의 영향을 받는 평가 항목만 고치고 나머지는 그대로 둔다.

연구진은 이 결과가 동적 시나리오 합성이 변하는 환경에 적응하는 에이전트를 훈련하는 실용적 접근이라는 근거가 된다고 주장했다.