간접 프롬프트 인젝션을 막는 학습 방법 TRACER를 소개하는 논문이 2026년 10월 13일 공개됐다. 연구진은 Qwen2.5-3B-Instruct 모델과 GSM8K 수학 문제 벤치마크로 실험했고, 검색 증강 생성(RAG) 형태로 제시된 공격의 성공률(ASR)이 65.5%에서 6.1%로 내려갔다고 밝혔다.
간접 프롬프트 인젝션은 검색된 외부 내용, 도구 출력, 에이전트 사이의 메시지처럼 신뢰할 수 없는 입력으로 대규모 언어 모델의 원래 동작을 덮어쓰는 공격이다. 연구진은 방어 강건성이 공격이 들어오는 경로에 따라 달라진다고 주장했다. 같은 공격이 후속 메시지로 들어오면 18%가 성공했지만, 검색 문맥에 넣으면 53%가 성공했다. 이는 경로별 성공률을 비교한 연구진의 분석 수치로, 위 65.5%에서 6.1%로 내려간 TRACER 학습 전후의 RAG 경로 결과와는 다른 실험이다.
TRACER는 공격문을 감싸는 제시 형식(래퍼)을 무작위로 뽑아 경로별로 적대적 학습을 하는 방법이다. 보상은 정답에 고정하고 근거가 있을 때만 주는 방식으로 설계했다. 여기에 ATRC를 결합했는데, 주입된 지시가 유효하지 않을 때 공격받은 상태의 추론 과정을 공격 없는 깨끗한 근거와 일치시키는 장치다.
공격이 없는 정상 문제의 정확도는 78~82%로 유지됐다.
6.1%는 3B 모델에서 RAG 경로 하나만 측정한 값이다. 3B 모델에 RAG와 도구 호출 경로를 함께 학습시키면 여러 제시 형식과 경로에 걸친 평균 ASR이 13.9%였다. 7B 규모 모델은 1 에포크 학습으로 ASR 9.4%에 도달했다.
연구진은 이 결과를 근거로 강건한 방어는 실제 배포되는 경로별로 명시적으로 학습하고 평가해야 한다고 결론지었다. 실험은 GSM8K와 3B·7B 모델로 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.