다른 모델이 생성한 데이터로 학습한 대규모 언어 모델이 그 데이터와 무관한 특성까지 물려받는 서브리미널 학습을 사전 학습 단계부터 추적한 연구가 2026년 10월 22일 arXiv에 공개됐다. 연구진은 Pythia, PolyPythia, DataDecide OLMo 모델을 사용했다.
실험은 두 가지 지식 증류 방식으로 했다. 하나는 편향된 교사 모델이 만든 숫자로 학생 모델을 학습시키는 하드 라벨 방식이다. 다른 하나는 학생이 직접 데이터를 생성하고 교사의 로짓이 학습 신호를 주는 온폴리시 소프트 라벨 방식이다. Pythia, PolyPythia, DataDecide OLMo 모델 실험에서 두 방식 모두 전이가 유지됐다고 연구진은 보고했다. 가중치 초기화, 사전 학습 데이터 순서, 사전 학습 코퍼스, 모델 크기, 아키텍처가 달라져도 마찬가지였다.
전달하는 능력과 받아들이는 능력은 따로 자란다
사전 학습 체크포인트를 비교한 결과, 선호를 전달하는 능력과 습득하는 능력은 별개로 발달했다. 교사로는 효과적이지만 학생으로는 약한 체크포인트가 있었고, 그 반대인 체크포인트도 있었다. 이와 맞물려 모델 사이의 전이는 교사와 학생의 역할을 바꾸면 크기가 크게 비대칭으로 나타나기도 했다.
신호는 무엇에 실려 가나
연구진은 교사가 생성한 숫자 빈도와 일치하면서 프롬프트나 앞선 숫자에는 의존하지 않는 합성 숫자열을 만들었다. 이 숫자열로도 하드 라벨 설정에서 상당한 전이가 일어났다. 상위 K개 소프트 라벨 증류에서는 손실 계산에서 동물 토큰을 빼자 전이가 줄었다. 다만 같은 모델(same-model) 설정에서는 전이가 완전히 제거되지 않았다.
이 실험에서는 소프트 라벨 증류가 하드 라벨 증류보다 적은 학습으로 더 일관된 전이를 만들었다. 연구진은 사후 학습에서 온폴리시 증류의 쓰임이 늘고 있어, 이 설정이 의도하지 않은 선호 전이를 평가하는 데 특히 관련성이 높다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.