PerMIT, Trojan Hippo 평가서 자체 검증·가벼운 검증기 쓸 때 관측된 메모리 오염 공격 성공 0건

연구진이 지속 메모리를 쓰는 LLM 에이전트를 주입과 오염 공격에서 지키는 메모리 구조 PerMIT를 제안하는 논문을 2026년 10월 20일 arXiv에 올렸다. 사용자가 직접 입력한 값과 확인 관문(gate)에서 사용자가 승인한 값만 믿는다는 신뢰 가정 아래, 무결성이 증명된다고 밝혔다.

논문은 Trojan Hippo 평가에서 자체 검증과 가벼운 검증기를 쓸 때 관측된 공격 성공이 0건이라고 보고했다. 이 결과는 해당 평가와 검증 조건에 한정된다. 별도 실험인 τ²-bench에서는 자율 에이전트 최대 90개로 이뤄진 커뮤니티가 PerMIT로 공유 지식 베이스를 만들었고, 메모리 직접 주입이 승격된 사례는 없었다. 이렇게 쌓인 지식은 보류(held-out) 과제에서 새 에이전트의 성능을 유의미하게 높였다.

유한한 메모리 인터페이스로 통제

PerMIT는 환경에서 나온 신뢰할 수 없는 값이 풀려나 쓰이는 과정을 유한한 메모리 인터페이스로 중개한다. 에이전트가 여러 턴에 걸쳐 계획을 세우고 도구를 고르는 방식은 그대로 유지한다고 연구진은 설명했다.

이 인터페이스에 대해 두 가지 무결성 정리를 증명했고, 두 정리 모두 증명 도구 Lean 4로 기계 검증했다. 환경에서 나온 메모리는 관문에서 확인된 경우에만 민감한 행동에 닿고, 에이전트의 행동에는 관문이 보여 주는 내용을 통해서만 영향을 준다는 내용이다. 그 결과 위협 모델 안의 모든 공격이 하나의 감사 가능한 결정으로 줄어든다. 실무에서는 사람, LLM 검증기, 또는 둘 다 이 결정을 내릴 수 있다고 연구진은 밝혔다.

사용자 간 승인 누적

확인은 정확한 내용에 대한 판정으로 기록되므로 승인이 여러 사용자에게 걸쳐 쌓이고, 충분히 승인된 항목은 추가 검증 없이 커뮤니티 확인 상태가 된다. 연구진은 명시한 가정 아래 공동 확장 성질을 증명하고 시뮬레이션으로 뒷받침했다. 커뮤니티가 커질수록 오염 항목을 승격할 위험과 정상 지식을 잘못 내쫓을 위험이 함께 줄고, 사용자 한 명의 검증 부담은 늘지 않는다는 내용이다.

연구진은 τ²-bench 결과가 에이전트가 테스트 시점에 안전하게 스스로 개선하는 길을 시사한다고 밝혔다.