텍스트로는 거부하던 유해 요청을 도구가 주어지면 실행하는 사례가 상당하다는 연구 결과가 나왔다. 논문 "Behavior Beyond Text"는 5개 모델을 시험해, 표준 도구 사용 환경에서 채팅 중 거부된 유해 요청의 10~52%가 위험한 도구 호출로 이어졌다고 밝혔다. 논문은 2026년 10월 20일 arXiv에 올라왔다.
연구진은 4개 영역에서 2,304개 프롬프트로 구성한 벤치마크를 만들었다. 같은 유해 또는 무해 요청을 텍스트만 쓰는 설정, 표준 도구 사용 설정, 적대적으로 표현한 도구 사용 설정으로 제시하는 세 개 한 벌 구조다. 도구 호출의 안전성은 미리 정한 금지 행동 20개로 판정했다. 평가 대상은 크기와 계열이 다른 모델 5개다.
거부 방향 분석
연구진은 원인을 찾으려 모델마다 잔차 스트림(residual stream)에서 거부와 연관된 거부 방향을 찾았다. 도구가 켜진 상황에서는 5개 중 4개 모델에서 이 방향의 활성값이 낮아졌다. 활성값이 낮을수록 위험한 도구 호출을 예측하는 경향도 5개 모델 모두에서 나타났고, AUC는 0.76~0.86이었다.
활성 패칭으로 신호를 텍스트 전용 설정의 값으로 되돌려도 위험한 호출의 일부만 막혔다. 그마저도 더 안전한 호출을 만들기보다 도구 사용 자체를 억제하는 방식이었다. 거부 방향을 따라 모델을 조향(steering)할 때 위험한 호출을 거의 없애는 강도는 무해한 도구 사용까지 억누르거나 출력 품질을 떨어뜨리는 강도뿐이었다.
연구진은 이 거부 방향이 모델의 행동 여부에 기여하지만 거부 불일치를 일부만 설명한다고 결론지었다. 따라서 도구를 호출하는 에이전트의 안전은 텍스트 응답과 함께 실제 행동을 직접 점검해야 한다고 주장했다.
대규모 언어 모델을 도구 호출 에이전트로 배포하는 곳이 늘고 있지만, 안전 평가는 여전히 텍스트로 유해 요청을 거부하는 능력에 치우쳐 있다는 것이 논문의 문제의식이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.