Ang Chen 미시간대 교수 연구팀이 AI 에이전트의 클라우드 운영 작업 능력을 재는 오픈소스 벤치마크 CloudOpsBench를 공개했다. 서비스 수리, 리소스 삭제, 접근 권한 제한, 업데이트 배포, 프로젝트 폐기처럼 DevOps 엔지니어가 흔히 맡는 일을 에이전트에게 시킨다. 가장 성적이 좋은 모델도 상당수 과제에서 실패했다.
버전 1.0은 AWS 기반 과제 45개로 구성되며, 경력 있는 DevOps 엔지니어들이 만들었다. 프로젝트는 GitHub에 Apache 2.0 라이선스로 올라 있고 실패 사례를 상세히 분석한 자료도 함께 제공된다. GCP, Azure, OCI용 확장은 계획 단계다.1
모델별 성적과 실패 원인
Claude Fable 5.1은 과제의 60%를, GPT-6 Astra는 53%를 풀었다. 모든 과제를 끝낸 모델은 없다.
연구팀은 주된 문제가 지식 부족이 아니라 추론이라고 밝혔다. 실패의 약 80%는 에이전트가 과제 범위를 잘못 판단하거나, 관련 서비스를 모두 확인하지 않거나, 중간에 멈춰서 생겼다. 별도로 오류 가운데 약 20%는 잘못된 작업을 실행한 경우였고, 일부는 인프라에 되돌릴 수 없는 결과를 남겼다.1
과제 구성과 실행 조건
모든 과제는 실제 AWS 클라우드와 에뮬레이터에서 동일하게 실행된다.1,2
과제마다 초기 상태를 만드는 설정 스크립트, 에이전트에게 주는 지시문, 자동 채점 검사, 참조 정답이 들어 있다. 내용은 폐기된 프로젝트의 S3 버킷과 EBS 볼륨을 지우되 다른 팀 자원은 남겨 두기, CloudWatch 경보 임곗값을 1000에서 100으로 낮추기, 계정 밖에서 접근할 수 있는 리소스 정책을 계정 안으로 좁히기 등이다.
저장소는 과제만 제공하므로 설정, 에이전트 실행, 채점을 묶는 하네스는 사용자가 마련해야 한다. 실제 AWS에서 돌릴 때는 과제가 자원을 수정하거나 삭제하고 요금이 발생할 수 있어, 권한을 제한한 격리 테스트 계정을 쓰도록 안내한다. 가장 최근에 추가된 과제 42개는 아직 oracle과 negative control로 실행해 검증하지 않았다.2
출처
- New open-source benchmark reveals reasoning as the biggest bottleneck for AI in cloud operations the-decoder.com
- GitHub - CloudOpsBench/CloudOpsBench: Open-source benchmark of real-world cloud operations tasks for evaluating AI agents: decommissions, migrations, config changes and incident fixes, each with seeded state, a grader and a reference solution. github.com