ScholarEvolve, 논문 읽고 스스로 코드 고치는 에이전트 공개

캘리포니아대 샌타바버라(UCSB)와 Microsoft 연구진이 ScholarEvolve라는 에이전트 프레임워크를 만들었다. 에이전트가 학술 논문을 직접 읽고, 거기서 얻은 기법을 자신의 코드에 넣어 성능을 끌어올리는 방식이다. 연구진은 온라인 아카이브 arXiv에 논문을 최근 올렸다.

지금까지의 자가 개선 에이전트는 실행 기록에 남은 실패와 시행착오를 살펴 프롬프트, 메모리, 작업 흐름, 코드를 손봤다. ScholarEvolve는 실패를 분석한 뒤 관련 논문을 검색하고, 논문이 내놓은 해결책을 구현하고, 성능을 평가해 효과를 검증하는 순서로 움직인다.

모델 자체는 건드리지 않는다. 기업 입장에서는 재학습이나 별도 체크포인트 관리 없이 에이전트를 이루는 코드와 작업 절차만 바꿔 성능을 높일 수 있다.

시험 결과

시험은 여러 앱의 API를 다루는 앱월드(AppWorld)와 통신 고객 지원을 흉내 낸 타우벤치 텔레콤(tau-Bench Telecom)에서 했다. 앱월드 일반 테스트에서 오픈 웨이트 모델 큐원3.5-27B의 작업 완료율은 69.0%에서 81.4%로 12.4%포인트 올랐다. 연구진은 이 결과로 GPT-5.4와의 격차가 약 74% 줄었다고 설명했다. 타우벤치 텔레콤에서는 GPT-5.4 미니가 72.7%에서 81.9%가 됐다.

학습과 검증 때 보지 못한 API에 얼마나 잘 적응하는지 보는 앱월드 챌린지에서는 큐원3.5-27B 기반 에이전트가 49.6%에서 63.6%로 14%포인트 상승했다. 이 시험에는 Amazon과 Gmail API가 들어 있으며, 진화 과정에서는 쓰이지 않았다. 연구진은 기존 기법인 Meta-Harness보다 9%포인트 높다고 밝혔다.

파이썬 실행 오류를 겪은 사례만 보면 완료율이 개선 에이전트 59.9%, 기존 구성 44.9%였다. 연구진은 중간에 도구 오류가 났다고 해서 최종 성패를 예단할 수 없다고 했다. 성공한 작업 중 상당수가 오류 메시지를 읽고 다음 행동을 고치는 과정을 거치기 때문이다. 학술 연구를 반영하는 과정을 세 번 되풀이한 실험에서도 앱월드 일반 테스트 성능은 계속 올랐다.

작동 방식

연구진은 기존 방식의 약점으로 이미 겪은 실패와 기반 모델 지식에 기댄다는 점을 꼽았다. 기존 Meta 에이전트(meta-agent)가 개선안을 제안하는 메커니즘은 기반 모델이 아는 만큼, 추론하는 만큼만 나오고, 실패 기록은 모자란 능력을 보여 주더라도 그것을 만드는 기술까지 알려 주지는 못할 수 있다는 것이다.

• 학습 데이터에 담긴 실패를 분석해 문맥 유지 실패나 구문 오류 복구 문제 같은 공통된 약점을 뽑는다.
• arXiv 등에서 관련 논문을 찾아 기술 접근법별로 분류한다. 비슷한 연구가 거듭 뽑히는 것을 피하려는 장치다.
• 연구 에이전트가 고른 논문의 전문과 공식 코드를 읽고 구현 계획을 세운다.
• 코딩 에이전트가 해당 기능을 고친다. 모듈마다 입출력 규격을 엄격히 지켜 다른 구성 요소가 영향을 받지 않게 한다.
• 코드가 돌아가는지, 모듈 간 연결 규격이 맞는지, 동작이 유효한지를 자동으로 확인하고 검증 데이터로 성능을 잰다.
• 유전자 알고리즘의 교차와 비슷하게 성적이 좋은 모듈끼리 묶는다. 시스템 전체에서 나아졌을 때에 한해 기존 구성을 바꾼다.

대상 에이전트는 도구 인터페이스, 문맥 관리, 스킬, 메모리, 작업 흐름까지 5개 모듈로 짜여 있다. 모듈별로 시험한 뒤 조합을 고르는 이유는 개별 성능이 높아도 합쳤을 때 좋은 결과가 나온다는 보장이 없기 때문이다.

적용 사례에서 손본 대상은 API 호출 오류, 긴 대화 기록 처리, 반복 작업 절차였다. 도구 인터페이스에는 파이썬 코드를 추상 구문 트리(AST)로 분석해 실행 전에 오류를 짚는 기능이 들어갔다. API 문서도 필요할 때만 불러와 호출 매개변수를 맞춰 보게 해서, 없는 기능을 쓰거나 인수를 잘못 짐작하는 일이 줄었다.

문맥 관리 모듈은 지금 하는 작업과의 관련도, 얼마나 최근 내용인지를 따져 대화 기록의 중요도를 매기고, 정해진 토큰 한도 안에 꼭 필요한 정보만 남긴다. 스킬 모듈은 성공한 작업에서 반복되던 API 호출 순서를 추려 다시 쓸 수 있는 의사코드 템플릿으로 바꾼다.

활용 구상과 보안 한계

연구진은 논문을 근거로 삼는 진화가 문제가 터지기 전에 대응하는 개선을 낳는다고 설명했다. 새로 나온 연구가 실제 운영 환경에서 같은 실패가 일어나기 전에 개선 후보가 되기 때문이다. 예로는 운영 중인 에이전트가 매달 최신 연구를 훑고, 쓸 만한 개선안을 검증 데이터로 시험해 보는 방식이 제시됐다.

자동 점검이 보는 것은 코드가 실행되는지와 모듈 연결 규격이 맞는지까지다. 논문이나 외부 코드에 숨은 악성 의존성, 위험한 실행 패턴, 프롬프트 인젝션을 걸러 내는 보안 검사는 논문에 적혀 있지 않다. 연구진은 코드 변경을 운영 환경에 곧바로 넣지 말고 검증된 연구 자료를 쓰거나 별도의 보안 검토 절차를 두라고 권고했다.