트랜스포머 MLP 채널 분석, 초기화가 두 부호를 허용할 때 핵심 채널 대부분이 읽기 방향과 반대

트랜스포머 MLP의 각 은닉 채널은 읽기와 쓰기 두 역할을 맡는다. 읽기 요소는 채널이 언제 반응할지를 정하고, 쓰기 요소는 반응한 채널이 잔차 스트림에 무엇을 더할지를 정한다. 2026년 10월 21일 arXiv에 올라온 논문 「Reader--Writer Coupling in Transformer MLPs」는 이 두 요소를 따로 보지 않고 함께 측정하는 방법을 제안했다. 측정한 각 블록에는 강하게 결합한 소수의 핵심 채널이 있고, 초기화가 두 부호를 같은 확률로 허용하는 경우 이 핵심은 거의 전부 읽기 방향과 반대였다고 보고했다.

논문은 트랜스포머 블록 단위로 채널을 분석한다. 읽기 요소와 쓰기 요소의 짝은 둘이 공유하는 인덱스로만 이어져 있어서, 한쪽 요소만 계산해서는 짝 관계가 드러나지 않는다. 그런데 모델 학습은 두 요소를 함께 갱신하며 결합시킨다. 연구는 이 점에 착안했다.

측정에는 MLP 업데이트의 야코비안을 쓴다. MLP는 자신이 읽는 스트림에 다시 쓰기 때문에 이 야코비안이 정방행렬이 되고, 행렬과 그 전치행렬의 일치 정도를 읽기와 쓰기 항으로 분해할 수 있다. 이 항들의 내적이 각 채널에 부호 있는 짝짓기 좌표를 준다. 채널을 이 좌표 순으로 줄 세우면 측정한 블록마다 강하게 결합한 소수의 핵심 채널이 나온다.

초기화가 어느 부호든 똑같이 허용하는 경우에도 핵심 채널은 거의 모두 반대 부호였다. 쓰기 방향이 읽기 요소가 반응하는 방향의 반대를 가리킨다는 뜻이다. 이 반대 결합 핵심은 처음부터 학습한 가장 작은 모델에서 공개된 체크포인트까지 반복해서 나타났다. 부호는 학습의 처음 몇 퍼센트 안에 자리 잡고, 결합이 강해지는 동안에도 유지됐다.

저자들은 읽기와 쓰기를 쌍으로 읽을 때 대부분의 채널이 자신을 발화시킨 읽기 요소에 맞서는 방향으로 기여분을 되돌려 준다고 설명한다. 이를 받아 쓰는 쪽은 뒤 블록의 읽기 요소이고, 로짓에 직접 드러나는 채널은 드물다.

개입 실험도 있었다. 반대 방향 쓰기 요소의 부호를 뒤집으면 출력이 흔한 토큰 쪽으로 움직였다. 쓰기 요소를 다른 읽기 요소에 맞춰 순열로 바꿔 넣으면, 읽기 요소는 그대로인 채 쓰기 요소가 새 짝에 맞게 다시 자라났다. 저자들은 이를 근거로 학습이 이 짝 관계를 붙들어 둔다고 결론짓는다.