Jacobian lens(J-lens)가 왜 특정 특징을 찾아내는지 수학으로 설명한 논문이 2026년 10월 22일 arXiv에 게시됐다. 논문은 J-lens가 '일관된 특징'을 우선해서 찾아낸다고 밝혔다. 일관된 특징은 선두 모드처럼 작용하는 방향, 곧 공간적으로 일관된 Lyapunov 모드처럼 작용하는 방향을 가리킨다.
J-lens는 Anthropic이 소개한 해석 가능성 도구로, Gurnee 등이 2026년 발표한 연구(Gurnee et al., 2026)에 나온다. 최첨단 언어 모델의 은닉 상태에서 작업 기억을 닮은 표상의 성질을 보이는 선형 방향을 찾아냈다. 다만 이 특징들이 J-lens에 잡히는 이유가 어떤 작동 특성 때문인지는 분명하지 않았다고 논문은 지적한다.
연구진이 말하는 일관된 특징은 방향을 따라 준 작은 교란이 층을 거치며 커지고, 토큰 위치가 달라져도 대체로 일정하며, 맥락이 달라져도 같게 나타나는 특징이다. 연구진은 이 성질이 Global Workspace와 반드시 연관되는지는 판단하지 않았다. 그러면서도 수학적으로 도출한 J-lens의 선호가 두 모델 계열에 적용된 기존 경험적 응용을 설명한다고 밝혔다.
이론은 두 모델에서 검증했다. 하나는 베이즈 필터이고 다른 하나는 소규모 실험용 트랜스포머(toy transformer)다. 둘 다 은닉 마르코프 모델(HMM)이 내놓는 다음 토큰을 최적으로 예측하도록 만들었다. 베이즈 필터에서 특징의 일관성을 바꾸는 과제 변수를 조절하자, J-lens의 반응도 그에 맞춰 예측대로 달라졌다고 논문은 보고했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.