트랜스코더 특징 상당수는 MLP 뉴런, 13개 모델 비교 연구

트랜스코더가 찾아낸 특징 가운데 상당수는 사실상 MLP 뉴런 하나와 같다는 연구 결과가 arXiv에 공개됐다. 논문 제목은 「Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise」로, 2026년 10월 17일자로 게재됐다. 연구진은 오픈소스 트랜스코더 13개를 분석해 후반부 층의 활성 특징 중 상당 부분이 이런 뉴런 특징이라고 밝혔다.

트랜스코더는 트랜스포머 언어 모델의 MLP 층을 희소하게 근사하도록 학습한 대체 모델이다. MLP 뉴런 하나가 여러 의미에 반응하는 경향이 있어 해석이 어렵다고 알려져 왔고, 이 때문에 해석 가능성 분석용 대체 모델로 트랜스코더가 쓰였다. 그런데 최근 연구들(Arora 등 2026, Ye 등 2025)은 MLP 뉴런만으로도 희소하고 해석 가능한 회로를 복원할 수 있다고 보고했고, 회로 분석에 트랜스코더가 꼭 필요한지 의문이 제기됐다.

연구진은 가중치가 개별 MLP 뉴런과 강하게 정렬된 트랜스코더 특징을 뉴런 특징으로 정의했다. 이들은 뉴런 특징만 원래 MLP 안의 구성 요소와 안정적으로 대응한다고 밝혔다. 나머지 특징은 학습을 반복할 때마다 더 많이 달라지고, MLP의 야코비안과 맞지 않으며, 무작위 초기값 대비 변화도 덜 유의미했다.

연구진은 이 결과가 MLP 뉴런을 흔히 생각하는 것보다 해석 가능성의 더 튼튼한 기반으로 다시 보게 한다고 주장했다. 아울러 모델이 쓰는 비뉴런 구조를 설명할 더 나은 귀속 방법이 필요하다고 밝혔다.