에이전트 오작동 때 사람 개입을 레이블로 써 모델 내부 원인 찾는 연구

LLM 에이전트가 잘못 행동할 때 사람이 개입한 기록을 모델 내부에서 실패한 계산을 가리키는 레이블로 쓰자는 연구가 2026년 10월 15일 arXiv에 공개됐다. 지금까지 이런 개입은 대개 버려지거나 학습 데이터로 다시 쓰였다고 논문은 지적한다.

실험 대상은 통제된 에이전트 환경에서 요청이 이미 명확한데도 되묻는 실패 하나다. 레이블은 규칙 기반 감독자가 붙였고, 이를 사람이 따로 매긴 판단과 비교해 검증했다. 요청이 명확할 때 지나치게 되묻기도 하고 그대로 실행하기도 하는 모델만 분석 대상이 됐으며, 13개 중 Qwen2.5-3B, gemma-2-2b, OLMo-3-7B, Mistral-Nemo-12B, Phi-4 다섯 개가 해당했다.

연구가 밝힌 네 가지 결과

되묻기와 실행 사이의 결정은 분석 자격을 충족한 다섯 계열 모두에서 인과적으로 위치를 짚을 수 있었다. 개입 레이블로 학습한 방향을 잔차 스트림의 특정 깊이에 적용하자 따로 떼어 둔 과잉 되묻기 사례의 72~100%가 바뀌었다. 적용 위치와 세기는 학습 데이터로 정했다. 같은 절차에 무작위 방향을 쓰면 바뀐 사례가 최대 한 건이었다.

과잉 되묻기의 내부 양상은 두 가지로 나뉘었다. 네 계열에서는 모델이 요청이 명확하다는 사실을 내부적으로 알고 있었다. 이 믿음은 읽어 낼 수 있지만 결정에는 인과적으로 작용하지 않았고 결정 방향과도 직교했는데, 그래도 모델은 되물었다. 나머지 한 계열에서는 드물게 일어나는 과잉 되묻기가 서로 다른 세계 표상을 따라갔다.

탐침(probe) 값에 따라 조향을 켜고 끄면 시뮬레이션한 사람 감독 부담의 대부분이 사라졌고 정당한 질문은 남았다. 부트스트랩 95% 구간이 0을 제외한 것은 이 조향 효과 결과에 대한 것이다. 프롬프트로 지시를 넣으면 오히려 결과가 나빠졌다.

수정 내용을 가중치에 굳히는 단계에서는 일관된 규칙이 나오지 않았다. 한 모델에서는 인과 구간에 국한한 LoRA가 사전에 정한 기준을 모두 통과했고, 같은 데이터로 한 행동 복제는 기존 능력 유지에 실패했다. 세 계열은 반대였고, 나머지 한 계열은 시드에 따라 결과가 경계를 넘나들었다. 결과를 예측하려고 미리 적어 둔 기하학적 규칙은 계열 밖 시험 두 건에서 틀렸고, 연구진은 대체 규칙을 맞춰 넣지 않고 실패를 그대로 보고했다.

이번 결과의 확인 범위는 하나의 실패 유형, 통제된 에이전트 환경, 분석 자격을 충족한 다섯 모델이다.