AgentOrch 벤치마크, 전역 오케스트레이션과 단계별 방식 정확도 격차 79% 줄어

기업 업무용 에이전트가 대규모 언어 모델을 매 단계 부르지 않고 전체 워크플로를 한 번에 만들어 실행하는 방식이 단계별 상호작용과 얼마나 가까워졌는지 측정한 연구가 2026년 10월 24일 arXiv에 공개됐다. 연구진은 두 방식을 같은 조건에서 직접 비교하는 벤치마크 AgentOrch를 새로 내놨다. 평가한 모든 모델에서 단계별 방식이 더 정확했지만, 초기 모델에서 가장 강한 최신 모델로 오면서 격차는 약 79% 줄었다.

AgentOrch는 기업 표준 업무 절차(SOP) 650건과 실행 환경 변형 3,220건으로 구성된다. 도구, 환경, 평가 기준을 두 방식에 똑같이 맞췄다.

두 방식의 차이

단계별 상호작용은 에이전트가 행동을 실행하고 결과를 확인한 뒤 다음 행동을 정하려고 언어 모델을 다시 호출하는 방식이다. 전역 오케스트레이션은 실행 가능한 워크플로 전체를 미리 만들고, 이후에는 모델을 호출하지 않고 실행한다. 이 때문에 추론 부담이 크게 줄지만 정확도는 단계별 방식보다 낮다.

격차를 좁히는 세 가지 경로

• 워크플로를 단계적으로 쌓아 만들면 실행 중 피드백 없이도 전역 방식의 정확도가 평균 9.98%포인트 오른다.
• 완성된 워크플로를 실행 피드백으로 고치면 평가한 모든 모델이 좋아지며, 학습에 쓰지 않은 실행 변형에서는 6.13%포인트 오른다.
• 완성된 워크플로로 목표를 정해 학습시키면 학습한 다섯 모델 모두 평균 12.18%포인트 정확도가 오른다.

연구진은 격차가 남아 있지만 전역 오케스트레이션이 더 적은 모델 호출로 더 높은 정확도를 내는 기업용 에이전트로 가는 유망한 길이라고 밝혔다.