에이전트가 허용되지 않은 행동을 하지 못하게 막는 실행 시점 정책 검증기의 판정을, 에이전트를 가르치는 보상으로 쓰는 방법이 논문으로 공개됐다. 논문은 이 방법을 Policy-Verified Self-Training(PVST)이라 부른다. 2026년 10월 14일 게재된 논문에 따르면 Qwen3-8B에 적용했을 때 AgentDojo 평가용 과제에서 규정을 어긴 궤적이 37.2%에서 10.3±0.9%(시드 3개)로 줄었다.
기존 검증기는 금지된 행동의 실행을 막는 데만 쓰이고 판정 결과는 버려졌다. PVST는 에이전트가 스스로 만든 상호작용 궤적을 서면 정책에서 컴파일한 결정론적 검증 관문으로 평가한다. 규정을 지킨 궤적은 강화하고, 위반 궤적은 선호 최적화의 부정 사례로 쓴다. 논문은 이를 사후 학습 방식이라고 설명한다.
이 방법은 검증 관문과 벤치마크의 과제 성공 신호 외에 더 강한 교사 모델, 사람의 선호 라벨, 공격별 지도 데이터가 필요 없다고 논문은 밝혔다. 다만 궤적은 벤치마크의 공격 환경에서 수집한다.
실험 결과
학습에 쓰지 않은 홀드아웃(held-out) AgentDojo 과제에서 프롬프트 인젝션 공격이 있는 조건으로 평가한 결과, 성공한 공격은 12.4%에서 0.5%로 줄었다. 과제를 합산한 유용성은 같거나 더 높았지만, travel 분야에서는 유용성이 떨어졌다.
위반 궤적 비율이 PVST의 10.3%보다 높게 나온 대조 조건도 있다. 공격 oracle이 부정 사례를 고른 경우는 22.0%였고, 위반을 포함하지 않는 부정 사례를 쓴 경우는 31.9±0.9%였다.
학습에 쓰지 않은 공격 템플릿에서는 위반이 37.7%에서 11.0%로, 학습에서 제외한 과제 묶음에서는 34.8%에서 16.7%로 줄었다. 학습 후에도 유지한 검증기가 개입하는 비율은 39.2%에서 8.8%로 내려갔다(시드 0).
효과가 큰 조건
논문은 판정이 가장 쓸모 있는 조건으로 두 가지를 꼽았다. 과제 성공이 곧 규정 준수를 뜻하지 않아야 하고, 검사 대상 행동이 허용되는 맥락과 금지되는 맥락에 모두 나와야 한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.