신뢰할 수 없는 콘텐츠를 읽는 LLM 에이전트가 프롬프트 인젝션을 따를지는 읽는 순간 모두 정해지지 않으며, 추론을 켜면 이후 추론 과정에서 점차 형성된다는 연구 결과가 arXiv에 공개됐다. 생각 기능을 끈 Qwen3 에이전트는 결과 분산의 0.91이 읽는 시점에 정해졌고, 얼마나 고정되는지는 모델마다 다르다. 논문은 2026년 10월 16일자로 게재됐다.
기존 런타임 모니터는 에이전트가 행동하기 전에 에이전트 탈취(하이재킹)를 잡으려 하고, 벤치마크는 과제마다 한 번만 실행해 점수를 매긴다. 두 방식 모두 인젝션을 읽는 시점에 결과가 정해진다고 전제한다. 연구진은 이 전제를 검증했다.
연구진은 에이전트가 인젝션을 읽는 단계까지 에피소드를 똑같이 재현한 뒤 나머지를 여러 번 다시 뽑는 분기 롤아웃을 썼다. 결과의 분산을 읽는 시점에 고정된 부분과 그 뒤에 결정되는 부분으로 나눈 것이다.
연구진은 에이전트가 인젝션을 읽는 단계까지 에피소드를 똑같이 재현한 뒤 나머지를 여러 번 다시 뽑는 분기 롤아웃을 썼다. 결과의 분산을 읽는 시점에 고정된 부분과 그 뒤에 결정되는 부분으로 나눈 것이다.
AgentDojo 네 개 스위트에서 생각 기능을 끈 Qwen3 에이전트는 결과 분산의 0.91이 상태 사이 차이로, 대체로 읽는 시점에 정해졌다. 생각을 켜면 이 비중이 0.62로 낮아졌다(감소폭의 95% 신뢰구간 -0.38~-0.22). 공격 템플릿 세 가지와 성공 판정 기준 두 가지에서도 방향이 같았다.
읽는 시점에 결과가 얼마나 고정되는지는 모델의 특성이며, 같은 측정으로 드러난다. 추론 중간 지점에서 다시 뽑아 본 결과, 에이전트가 추론하는 동안 결정이 서서히 형성됐다.
추론 기능은 Qwen3의 공격 성공률을 낮췄지만, 다른 두 모델에서는 오히려 높였다.
저렴한 모델로 만든 제로샷 chain-of-thought 모니터는 이미 정해진 결정을 상당 부분 놓쳤다. 더 강한 모델을 쓴 모니터와, 시뮬레이션한 다음 행동을 판정하는 선행 탐색 모니터는 추론 접두부(prefix)가 결정하는 수준에 근접했다.
저렴한 모델로 만든 제로샷 chain-of-thought 모니터는 이미 정해진 결정을 상당 부분 놓쳤다. 더 강한 모델을 쓴 모니터와, 시뮬레이션한 다음 행동을 판정하는 선행 탐색 모니터는 추론 접두부(prefix)가 결정하는 수준에 근접했다.
추론하는 에이전트의 한 번 실행 라벨은 재실행했을 때 최대 35%의 경우에 결과가 달랐다. 연구진은 벤치마크가 과제마다 여러 번 실행해야 한다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.