AgentPerturb, 입력 교란 시 LLM 에이전트 성능 저하 측정

AgentPerturb는 상호작용 중에 에이전트가 받는 입력을 통제된 방식으로 교란해 LLM 에이전트의 견고성을 재는 평가 틀이다. 연구진이 2026-10-15 arXiv에 논문을 올렸고, 코드와 데이터는 공개할 예정이라고 밝혔다.

연구진은 현실의 과제가 복잡하고 잡음이 많은데도 기존 평가에는 교란 대상과 유형을 함께 짚는 체계가 없다고 지적했다. 이에 두 축을 결합한 틀로 최신 모델의 견고성을 수치로 비교하고, 교란이 일으키는 실패의 원인을 추적했으며, 견고성을 높이는 학습에 주는 시사점도 정리했다.

APEX-Agents와 Toolathlon에서 통제 평가를 한 결과, 교란은 성능을 일관되게 떨어뜨렸다. 어떤 교란에 가장 취약한지는 과제 환경마다 달랐다.

수행 과정을 분석하니 에이전트는 바뀐 입력을 거의 알아채지 못했고, 오염된 정보를 검증 없이 뒤 단계로 넘기는 경우가 많았다. 비용 분석에서는 교란을 겪고도 성공한 수행이 연산을 상당히 더 필요로 할 수 있는 것으로 나타났다.

연구진은 이 결과를 근거로 여러 형태의 잡음을 다루고, 검증과 불확실성 인식, 복구에 보상을 주는 학습 목표가 필요하다고 제안했다. 이들은 벤치마크를 엄밀하게 구성하는 절차도 함께 제공한다고 밝혔다.