Agent4Sci, 코딩 에이전트 과학 ML 평가: Claude Opus 10.4% 개선

Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski가 쓴 논문이 최신 코딩 에이전트를 과학 분야 머신러닝 과제에 투입해 기존 최고 모델을 얼마나 넘어서는지 쟀다. 평가 틀인 Agent4Sci는 11개 분야 20개 벤치마크를 다룬다. 논문은 2026-10-20 arXiv에 올라왔다.¹

연구진에 따르면 최신 에이전트는 모든 벤치마크에서 공개된 최고 성능을 앞섰고, Claude Opus는 평균 상대 개선율 10.4%를 냈다. 학술 부정행위로 표시된 실행은 없었다. 코드와 데이터는 GitHub와 Hugging Face에 공개돼 있으며, 저장소는 Apache-2.0 라이선스다. 벤치마크 데이터는 Hugging Face에서 별도 조건으로 배포되고 각 벤치마크는 원래 라이선스를 유지한다.^1,2

평가 방식

Agent4Sci는 논문, 코드베이스, 학습 데이터, 목표 지표를 에이전트에 주고 사람의 도움 없이 정해진 연산 예산 안에서 공개 최고 성능을 얼마나 넘는지 본다. 저장소는 25개 과제로 이뤄져 있고, 개발진은 순위표가 아니라 에이전트가 어떻게 진전을 만드는지 살피는 탐색용 틀이라고 밝혔다. 실행마다 변동이 커서 결과를 순위가 아닌 과학적 진전의 탐침으로 읽는다는 설명이다.

각 과제는 공개된 기준 성능을 허용 오차 안에서 재현하고 데이터 분할을 고친 검증 환경이며, 컨테이너 이미지로 묶인다. 한 번의 실행은 세 단계다. 먼저 에이전트가 학습·검증 데이터만 보고 코드를 고치고 실험하며 결과물을 제출한다. 다음으로 별도 에이전트가 제출물을 보류된 시험 데이터로 채점한다. 마지막으로 세 번째 에이전트가 선택적 보고, 시험 데이터 오염, 지표 조작, 출력 하드코딩 같은 평가 조작과 부정행위가 있는지 궤적을 점검한다.

각 단계는 Docker 컨테이너로 돌아가며, 시험 데이터는 개선 단계에서 물리적으로 존재하지 않고 평가 컨테이너에만 놓인다. 사용자는 벤치마크, 모델, 시간 예산, 스킬 사용 여부 네 가지만 고르면 된다. 채점과 감사에는 항상 Claude가 쓰이므로 ANTHROPIC_API_KEY가 필요하고, Codex 프리셋으로 개선하려면 OPENAI_API_KEY가, 데이터 내려받기에는 HF_TOKEN이 필요하다.²

결과와 한계

논문은 이 성과가 연구 수준의 통찰이 아니라 여러 머신러닝 엔지니어링 기법을 모아 쓴 데서 거의 전부 나왔다고 분석했다. 실행 궤적에서는 세 가지 한계가 반복됐다. 새로움을 잘못 가늠하는 문제, 자원을 덜 쓰는 문제, 금세 지역적 엔지니어링 탐색에 빠지는 문제다.¹

연구진은 이를 줄이려고 가벼운 플러그인 스킬 세 가지를 붙였다. 문헌에 근거한 아이디어 구상(research), 실험 관리(experiment), 정기 점검 목록(checklist)이다. experiment 스킬은 GPU를 최대한 쓰고 위험이 큰 실험을 우선하며 기준 모델을 다시 튜닝하지 않도록 한다. checklist는 매시간 자가 점검으로 점진적 개선에 머무는 흐름을 잡아낸다. Claude에서는 도구 호출 훅으로 자동 적용되고, Codex에서는 필요할 때 부르는 스킬이다.²

연구진은 스킬을 적용하면 개입의 다양성과 분야 관련성도 높아졌다고 밝혔다.¹

PFDelta 2000 사례

저장소는 긴 예산에서 나타나는 결과를 보려고 전력 흐름 벤치마크를 어렵게 바꿔 3일간 돌린 사례를 소개한다. 모선 2,000개 전력망에서 지표를 신경망 수준 지연 시간의 물리 위반 손실로 다시 정의해, 느린 정밀 해법으로는 버틸 수 없게 했다.

Codex는 신경망 예측을 정답이 아닌 초기값으로 보고, 샘플마다 물리 위반 정도에 따라 0~4단계의 GPU 뉴턴-랩슨 보정을 붙였다. 3일간 이어진 2,000-bus 변형 과제 한 건에서 물리 위반 손실이 99.5% 줄었고, 개발진은 지연 예산 안에서 벤치마크를 사실상 푼 것이라고 설명했다. 20개 벤치마크 전체에 해당하는 결과는 아니다. 이 과제는 별도 프로젝트 PFDelta_2000으로 재현할 수 있다.

Agent4Sci는 NeurIPS 2026 평가·데이터셋 트랙에 채택됐다. 수치는 연구진이 자체 환경에서 낸 결과이며, 개선율이 상대값이어서 벤치마크별 폭은 다를 수 있다.²