자연어 자동인코더 일반화 실험, 모델 내부 활성화 차이를 글로 풀어내

연구진이 거대 언어 모델의 내부 활성화(activation)를 사람이 읽을 수 있는 글로 옮기는 자연어 자동인코더(NLA)가 원래 훈련 환경을 벗어나서도 통하는지 실험한 논문을 10월 22일 arXiv에 공개했다. 파인튜닝한 모델과 원래 모델의 활성화 차이를 문장으로 풀어, 파인튜닝 목표를 되찾을 수 있는지도 확인했다.

실험은 3개 계열 모델 4종에서 진행했다. 연구진은 던진 질문 네 가지 모두에 대해 대체로 긍정적인(largely positive) 답을 뒷받침하는 증거를 얻었다고 밝혔다. 질문은 NLA가 만든 설명에 입력의 조합 구조가 반영되는지, 파인튜닝한 모델에도 그대로 쓸 수 있는지, 모델 디핑(model diffing)에서 파인튜닝 목표를 복원하는지, 모델 디핑에 맞게 특화할 수 있는지다.

유추 문제의 활성화를 합성한 입력에서는 설명문이 대부분 목표 단어를 짚었고, 뺀 단어는 거의 언급하지 않았다. 가벼운 파인튜닝을 거친 모델에는 재훈련 없이 기존 NLA를 다시 쓸 수 있었다. 재구성 품질은 가장 큰 모델에서만 눈에 띄게 떨어졌다.

금기(Taboo) 모델 생물과 원래 모델 사이의 활성화 차이를 풀어 쓰면 대부분의 모델 생물에서 숨겨진 비밀 단어가 드러났다. 활성화 차이에 강화 학습을 적용하자 훈련에 쓰지 않은 모델 생물에서도 복원 성능이 더 좋아졌다.

파인튜닝된 모델이 토큰을 하나도 생성하지 않아도 파인튜닝 목표를 복원할 수 있었다. 연구진은 정보가 가장 많은 토큰 위치가 사용자 프롬프트보다 앞에 있기 때문이라고 설명했다.

창발적 오정렬 탐지 과제에서 NLA는 최신 모델 디핑 방법에 미치지 못했다. 다만 블랙박스 기준선보다는 나은 성적을 냈다. 연구진은 이번 결과가 NLA가 활성화 공간의 차이를 의미 있게 말로 옮길 수 있음을 시사하며, NLA가 후속 연구의 유망한 방향이라고 밝혔다.