SpecAgent, 약한 모델이 쓰고 강한 모델이 검토해 에이전트 시간 절반으로

도구를 연달아 호출하며 일하는 대규모 언어 모델 에이전트에서 큰 모델이 모든 단계를 직접 쓰지 않고 작은 모델의 초안을 검토만 하도록 하는 협업 방식 SpecAgent가 논문으로 제안됐다. 논문은 2026년 10월 15일 arXiv에 올라왔다.

연구진은 τ²-Bench에서 SpecAgent의 성공률이 큰 모델 단독과 1점 이내로 가까우면서 메모리 이동량과 실행 시간은 대략 절반으로 줄었다고 밝혔다. AutomationBench와 VitaBench에서는 작은 모델과 큰 모델의 품질 차이 가운데 44~75%를 메웠고, 두 지표도 함께 낮췄다고 한다.

초안은 작은 모델이, 판정은 큰 모델이

기존 방식은 큰 모델이 생성자 자리를 유지한다. 라우터와 협업형 에이전트는 질의나 단계마다 어느 모델이 맡을지 정하고, 추측 실행 방식은 작은 모델의 초안을 한 단계씩 큰 모델 자신의 행동과 비교해 확인한다. SpecAgent는 큰 모델을 각 단계의 작성자에서 작은 모델이 쓴 단계의 검토자로 바꾼다.

작은 모델은 초안을 쓰면서 읽기 전용 도구 호출을 직접 실행해 모든 단계가 실제 관찰 결과에 바탕을 두게 한다. 환경을 바꾸는 첫 행동에서는 실행하지 않고 멈춘다. 큰 모델은 이렇게 쓰인 구간을 프리필 한 번으로 검증해 의미상 타당하다고 판단한 가장 긴 앞부분을 확정하고, 처음 거부된 단계를 고친다.

연구진은 검증이 자기회귀 디코딩을 병렬 프리필로 대체하기 때문에 큰 모델이 모든 단계를 생성하는 대신 짧은 판정과 가끔의 수정만 생성한다고 설명했다. 이 점이 지연 시간과 메모리 이동량이 줄어드는 근거다.

엣지와 클라우드 구성

모델 컨텍스트 프로토콜(MCP) 기반 벤치마크 MCP-Atlas에서는 엣지와 클라우드를 나눈 배치로 클라우드 모델 세 종을 시험했다. 연구진은 작은 모델과 큰 모델의 품질 차이 가운데 53~75%를 좁혔고, 이때 큰 모델이 생성하는 토큰 수는 많아야 절반 수준이라고 밝혔다.

이 수치는 논문 초록이 보고한 결과이며, 초록에는 사용한 모델 조합의 이름이 나오지 않는다.

연구진은 이 결과가 강한 모델이 에이전트의 모든 단계를 직접 쓸 필요가 없음을 시사한다고 밝혔다. 실제 관찰에 근거한 초안을 검토하는 방식으로도 품질 대부분을 유지하면서 지연 시간과 메모리 이동량을 줄일 수 있다는 것이다.