연구진이 코딩 에이전트의 API 비용을 줄이는 방법으로 SWE-Verifier를 제안했다. 후보 샘플링과 검증을 선택적으로 작동시키는 경량 생성 모델이다. 논문은 2026년 10월 21일 arXiv에 올라왔다.
연구진에 따르면 mini-swe-agent 하네스 환경에서 MiniMax-M2.7의 해결률은 75.47%에서 77.20%로 올랐고 비용은 1.09배가 됐다. SWE-Verifier를 DeepSeek-V4-Flash의 행동으로 따로 학습하지 않았는데도 해결률이 72.60%에서 74.27%로 올랐고 비용은 1.13배였다.
작동 방식
코딩 에이전트는 행동을 만들고 긴 상호작용 기록을 처리하느라 연산을 많이 쓴다. 잘못된 행동을 고르면 가치가 낮은 상태로 들어가 연산이 낭비되고 API 비용도 늘어난다. 대안 행동을 뽑아 검증하면 판단이 나아지지만 모든 단계에 적용하면 부담이 크다는 것이 연구진의 설명이다.
SWE-Verifier는 에이전트가 제안한 행동에 점수를 매겨 후보를 더 뽑을지 정하고, 뽑힌 행동은 실행하기 전에 순위를 매긴다. Qwen3.5-4B를 기반으로 학습했다. 대비되는 행동과 그 결과 환경 관찰을 묶은 선호 데이터, 평가 기준표를 바탕으로 한 교사 모델 점수를 썼다.
두 모델 모두에서 검증한 단계는 전체의 4% 미만이었다. 연구진은 궤적 기반 방식과 모든 단계를 검증하는 방식보다 비슷하거나 높은 해결률을 훨씬 낮은 비용으로 냈다고 밝혔다. 모델, 코드, 데이터는 공개됐다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.