서로 다른 AI 5종, 가중치 병합 없이 표현 정렬 연구 공개

독립적으로 학습한 언어 모델 5개(트랜스포머 4개는 4개 조직 것)의 내부 표현을 가중치 병합 없이 하나의 공유 공간에 맞출 수 있다는 연구가 arXiv에 2026년 10월 24일 게시됐다. 대상은 트랜스포머 4개와 상태공간 모델 1개로, 모두 학습을 마친 뒤 고정한 상태에서 활성값만 비교했다. 연구는 이 공간에서 모델 쌍 사이의 검색 정확도가 마지막 층 기준 0.91~0.93이라고 보고했다.

언어 모델을 합칠 때는 보통 가중치를 평균하는데, 이 방식은 모델들이 같은 출발점을 공유할 때만 통한다. 연구진은 내부 설계가 다른 모델도 활성값만으로 서로 연결할 수 있는지 물었다. 모든 실험은 GPU 없이 노트북 한 대에서 돌렸다고 밝혔다.

정렬 결과

연구진은 순열 검정, 독립 복제용 탐색 문장 집합, 층 깊이별 비교, 풀링 제거 실험, 교란 요인 점검을 거쳐 5개 모델이 같은 글을 조직하는 방식 사이에 통계적으로 안정된 대응이 있다고 결론 냈다. 대응은 각 모델의 마지막 층에서 가장 강했고 상태공간 모델에서는 약했다. 그래도 상태공간 모델의 가장 약한 짝도 우연 수준의 35~43배였다.

공유 공간은 일반화 프로크러스테스 분석(Generalized Procrustes Analysis)으로 만들었으며, 기준이 되는 모델을 따로 두지 않는다. 마지막 층에서 20개 방향 모델 쌍의 보류(held-out) 데이터 검색 정확도 평균은 두 탐색 문장 집합에서 0.91~0.93으로, 우연 수준 0.03을 크게 웃돌았다. 모델 쌍마다 따로 만든 선형 변환의 0.82~0.85보다 높다. 다만 중간 층에서는 공유 공간이 이 선형 변환보다 나빴다.

한계와 부정적 결과

공유 공간은 문법 형태가 낯선 일반 영어 문장에는 옮겨 적용됐지만, 수학·논리 표기에서는 실패했다. 연구진은 이 공간을 바탕으로 채점 가능한 과제에서 5개 모델 중 하나를 고르는 라우터도 시험했다. 4가지 과제 유형 어디에서도 라우팅이 가장 강한 모델만 계속 쓰는 방식을 이기지 못했고, 연구진은 이를 부정적 결과로 보고했다. 정답 여부를 가리는 강한 신호처럼 보였던 것은 실제로는 범주 소속(category membership)이 모습을 바꿔 나타난 것이었다.