언어 모델이 주어와 동사의 수를 맞추는 능력은 학습 초기에 생기지만, 이를 맡는 내부 회로는 능력이 안정된 뒤에도 계속 바뀐다는 연구 결과가 나왔다. 연구진은 pythia-1b와 pythia-410m을 학습 전 과정에 걸쳐 추적했고, pythia-410m은 시드 10개를 대상으로 했다고 arXiv 논문에서 밝혔다.
연구진에 따르면 주어-동사 일치는 학습 초기에 익히며, 이때는 뉴런이 넓게 흩어진 집합이 처리를 맡는다. 일치 행동이 안정된 뒤에도 이를 담당하는 장치는 재편을 이어 간다.
일치를 중개하는 어텐션 헤드는 학습 중 자주 바뀌었다. pythia-1b에서는 학습 초기에 헤드 두 개가 일치 행동을 제어하다가, 나중에는 다른 헤드 하나가 맡았다.
회로 크기도 학습이 진행될수록 줄었다. pythia-1b의 최종 회로는 눈에 띄게 희소했다고 연구진은 설명했다. 연구진은 이 결과가 언어 지식이 모델 안에서 어떻게 생기고 표현되는지 이해하는 데 참고가 된다고 보았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.