Data World, 데이터 에이전트 학습 환경 자동 생성 제안

데이터 에이전트 학습에 쓸 환경, 과제, 채점 기준을 처음부터 합성하는 엔진 Data World가 논문으로 공개됐다. 데이터 에이전트는 코드를 써서 형식이 제각각인 파일을 처리하고 분석 결과를 끌어내는 에이전트다. 연구진은 이 엔진으로 만든 과제로 Qwen3.6-35B-A3B를 학습시켜 DataWorld-35B-A3B를 만들었다고 밝혔다. 논문은 2026년 10월 15일 arXiv에 올라왔다.

학습은 궤적 증류(trajectory distillation) 없이 합성 과제로 강화 학습(RL-zero)을 하는 방식이었다. 같은 조건으로 평가하자 기반 모델보다 DataWorld-Bench에서 7.06점, DAComp에서 14.28점, DABstep-Hard에서 20.90점, 직업 능력을 폭넓게 보는 JobBench에서 12.13점 높았다.

파일보다 세계를 먼저 정한다

연구진은 데이터 에이전트 학습을 확장하는 데 걸림돌이 셋 있다고 설명했다. 환경을 구축하는 데 비용이 많이 들고, 개인정보와 지식재산권 제한이 있으며, 알려진 생성 정답 없이는 열린 형태의 발견을 검증하기 어렵다는 것이다. 연구진은 파일을 만들기 전에 파일 뒤에 놓인 세계를 명시적 메커니즘으로 먼저 정하는 방식을 택했다. 멀티 에이전트 엔진이 이 메커니즘에서 환경, 과제, 채점 기준(루브릭)을 합성한다.

관찰 가능한 파일만으로 목표 값을 복원할 수 있는지는 독립적인 감사로 확인한다. 루브릭은 평가에도 쓰이고 강화 학습의 보상으로도 쓰인다.

벤치마크와 평가 결과

연구진은 질문의 현실성을 기준으로 사람의 선호에 따라 큐레이션해 과제 100개를 골랐다. 이 과제는 따로 떼어 둔 50개 세계, 16개 분야에서 나왔고 벤치마크 DataWorld-Bench를 이룬다. 학습용으로는 1,037개 세계에서 과제 2,135개를 얻었으며, 이 세계들은 벤치마크 세계와 별개다.

최상위 모델 10종을 평가한 결과 이 벤치마크는 여전히 어려웠다. 특히 통찰을 찾아내는 과제가 어려웠고, 계산은 해내도 통찰에는 이르지 못하는 격차가 모델마다 일관되게 나타났다고 연구진은 밝혔다.