ARIA, 멀티 에이전트 실행 중 오류를 고치는 소형 모델 공개

LLM 기반 멀티 에이전트 시스템이 작업을 수행하는 도중 생긴 오류를 찾아 바로 고치는 프레임워크 ARIA(Agent Runtime Inspection and Amendment)가 논문으로 공개됐다. 논문은 2026-10-14자로 arXiv에 올라왔고, 연구진은 코드를 공개했다고 밝혔다.

연구진은 에이전트 하나의 사소한 실수가 다른 에이전트의 작업으로 번지면서 고칠 수 있던 오류가 작업 실패로 이어진다고 지적한다. 끝난 실행을 사후에 진단하거나 같은 실행을 여러 번 되풀이하며 수정안을 찾는 방식으로는, 실행 중에 개입하는 학습된 정책을 얻기 어렵다는 것이다.¹

수정 사례를 학습 자료로 만든다

ARIA는 실행으로 검증한 수정 사례를 재사용할 수 있는 지도 신호로 바꾼다. 수정안을 찾는 탐색을 데이터 구축과 학습 단계로 옮겨, 학습된 모델이 실행 중에 대안을 일일이 시험하지 않고도 개입하게 한다는 구상이다.

연구진은 4개 멀티 에이전트 프레임워크, 6개 벤치마크, 8개 호스트 모델에서 성공·실패 실행 기록 2만 4,000여 건을 모았다. 여기서 만든 ARIA 데이터셋에는 검증된 수정 쌍 3,953개가 들어 있다. 각 쌍은 무엇이 잘못됐는지, 어디서 개입해야 하는지, 실행을 어떻게 이어 가야 하는지를 적는다. 연구진은 실패한 멀티 에이전트 실행 기록과 실행으로 검증한 수정안을 짝지은 첫 대규모 데이터셋이라고 주장한다.

이 데이터로 개입이 필요한 때와 고치는 방법을 익히도록 소형 모델을 학습시켰다. 개별 수정을 그대로 재현하는 데 그치지 않고, 새로운 구성에서 생기는 비슷한 실패에도 통하는 수정 전략을 배우는 것이 목표다. 프레임워크는 특정 시스템에 묶이지 않고, 실행 기록을 내보내고 이어질 실행을 교체할 수 있는 멀티 에이전트 시스템이면 연결하도록 설계했다.

연구진은 학습한 ARIA 모델이 사후 수정과 실행 중 수정 양쪽에서 높은 수정 성능을 보였고, 학습에 쓰지 않은 프레임워크와 호스트 모델에도 일반화됐다고 밝혔다. 초록에는 구체적인 성능 수치가 나오지 않는다.¹

공개 저장소와 재현 방법

GitHub 저장소(LabRAI/ARIA)는 Python 3.11과 uv를 쓰며, 모델 학습과 서빙에는 CUDA가 필요하다. 지원하는 멀티 에이전트 프레임워크는 AG2, OpenManus, MetaGPT, Magentic-One이고 프레임워크마다 환경을 따로 만들어야 한다. Magentic-One은 Playwright Chromium이 필요하고, GAIA는 Hugging Face 접근 권한(HF_TOKEN), SWE-bench-Lite는 Docker가 필요하다.

학습 설정은 Qwen과 Llama 계열별로 나뉘어 있다. SFT, DPO, 진단 전이, Repair GRPO, Gate GRPO 순서로 단계를 실행한다. 학습 호스트가 필요한 단계에는 configs/serving/training_host.yml 설정을 쓰며, vLLM 환경에서 실행한다. API 주소는 YAML에 적고 인증 정보는 환경 변수로 넘기며, Claude 엔드포인트는 anthropic-messages 프로토콜을 쓴다. 평가 예시로 든 RQ1은 평가 데이터를 만들고(build), 실행하고(run), 결과를 보고서로 정리하는(report) 순서다. 인용용 BibTeX 항목은 아직 채워지지 않았다.²