모델 추론 과정, 행동 반사실로 읽는 해석법 제안

모델이 사고의 연쇄를 만들 때 내부에서 일어나는 과정을 분석하는 새 방법이 arXiv에 공개됐다. 논문은 프롬프트에 개입을 넣으면 같은 응답에서 다음 토큰의 확률 분포가 어떻게 달라지는지를 '행동 반사실'로 보고, 개입이 모델의 추론에 미치는 영향을 위치별로 추적한다. 논문 발행일은 2026년 10월 22일이다.

연구진은 기존 방식에 한계가 있다고 설명한다. 모델이 매번 다른 응답을 샘플링하기 때문에 개입의 효과를 따로 떼어 내거나 모델의 추론을 체계적으로 비교하기 어렵다는 것이다. 이를 피하려고 응답을 고정한 채 원래 프롬프트와 개입이 들어간 반사실 프롬프트에서 출력 분포가 얼마나 다른지를 본다.

잔차 스트림을 편집하는 모듈

연구진은 잔차 스트림(residual stream)을 편집하는 모듈을 학습시킨다. 고정된 응답에 대해 원본 프롬프트와 반사실 프롬프트의 출력 분포 사이 KL 발산을 최소화하도록 훈련한다.

연구진은 출력 분포를 맞추는 이 방식이 표준적인 활성값 재구성 목표보다 반사실 행동을 더 효과적으로 복원한다고 밝혔다. 학습된 모듈 출력에 대한 기여도 분석이 반사실 복원에 인과적으로 중요한 위치를 찾는 데 효과적임도 검증했다고 한다.

기여도 지도와, 모델을 편집했을 때 뒤쪽 계산에 나타나는 효과를 보여 주는 시각화는 원래 모델이 어떻게 계산하는지에 대한 가설을 세우는 도구가 된다. 이 가설은 활성 패칭으로 다시 시험할 수 있다.

언급하지 않은 제안의 영향

사례 연구는 Gemma-4-E4B-it와 DeepSeek-R1-0528-Qwen3-8B를 대상으로 했다. 프롬프트에 들어간 제안을 모델이 말로 인정하지 않을 때도 그 제안이 추론에 영향을 주는지 살폈다.

분석 결과, 질문 문장(question statement)과 채움 토큰(filler token) 위치의 표현이 제안이 미친 영향의 상당 부분을 매개했다. 영향은 정당화의 틀이 바뀌거나 최종 답이 달라지는 하위 효과로 나타났다.