MIT 스웜 텔레파시 공개, AI끼리 텍스트 없이 소통 … SwaT+AM, 요약 대비 정확도 40%↑

MIT 컴퓨터과학·인공지능연구소(CSAIL)와 MIT-IBM 컴퓨팅 연구소 연구진이 서로 다른 AI 모델이 텍스트 없이 내부 상태를 직접 주고받는 기술 '스웜 텔레파시(Swarm Telepathy, SwaT)'를 개발했다. 어텐션 매칭(AM) 캐시 압축을 결합한 SwaT+AM 기준으로, 같은 정보량 예산의 텍스트 요약(T2T)과 비교해 평균 정확도가 40% 높고 속도는 평균 4배 빨랐다고 연구진은 밝혔다. 속도 기준은 AI타임스는 전체 처리 시간, GitHub는 송신 GPU 시간과 수신 첫 토큰 시간으로 다르게 설명한다. 코드는 GitHub(Ar-Kareem/SwaT)에 공개됐다.^1,2

논문 제목은 'Swarm Telepathy: Prefill-Free KV-Cache Transfer Across Families'이며 arXiv에 올라왔다. 저자는 Abdulrahman Alabdulkareem, Irene Tenison, Yang Zhang, Yada Zhu, Boris Katz, Dan Gutfreund이다. 변환기 훈련에는 고유 토큰 약 4400만 개가 쓰였다. 송신·수신 모델은 고정해 두고 변환기만 훈련하므로 두 모델을 미세조정할 필요가 없다.^1,2

텍스트 대신 KV 캐시를 넘긴다

기존 방식에서는 송신 AI가 작업 결과를 텍스트로 요약하고, 수신 AI가 이를 다시 읽는 프리필 과정을 거쳐 맥락을 파악한다. 요약에서 빠진 정보는 사라지고, 글을 쓰고 다시 읽는 데 연산이 더 든다.¹

SwaT는 입력 문맥을 처리하면서 쌓은 KV 캐시를 직접 넘긴다. 송신 모델의 KV 캐시를 학습된 변환기가 수신 모델의 캐시 공간으로 바꾸면, 수신 모델은 텍스트를 읽지 않고 자기 상태처럼 이어서 디코딩한다. 이름의 '텔레파시'는 마음을 읽는 능력이 아니라, 인간의 언어를 거치지 않고 모델 내부 상태를 주고받는 데이터 처리 방식을 가리킨다.^1,2

변환기는 SwaT 블록 B개로 이루어지고 총 약 3억 파라미터다. 블록마다 송신 모델 레이어 그룹의 KV 캐시에 교차 어텐션을 적용해 수신 모델 레이어 그룹의 KV 캐시를 내놓는다. 블록 안에서는 인과 셀프 어텐션, RoPE를 제거한 송신 KV에 대한 인과 교차 어텐션, FFN, 최종 투영 순으로 처리하며 키에는 RoPE를 다시 붙인다. 두 모델의 토큰화가 달라서 토큰별 문자 구간(스팬)으로 교차 어텐션의 위치와 마스크를 맞춘다.

훈련 손실은 둘이다. 하나는 수신 모델이 직접 프리필해 만든 캐시와 변환 결과를 비교하는 정규화 MSE 재구성 손실이고, 키는 RoPE 적용 이전 값으로 비교한다. 다른 하나는 전달 캐시를 넣은 수신 모델의 다음 토큰 손실(NLL)로, 기울기는 고정된 수신 모델을 거쳐 SwaT에만 전달된다.²

실험 결과

실험에는 Meta의 Llama, Alibaba의 Qwen, Google의 Gemma, IBM Granite, Mistral의 Ministral, Hugging Face의 SmolLM 등 모델이 쓰였다. 조합 사례로는 Qwen에서 Llama, Gemma에서 Qwen·Granite가 있다.¹

40%와 4배는 어텐션 매칭(Attention Matching) 캐시 압축을 결합한 SwaT+AM을 텍스트 요약(T2T)과 같은 정보량 예산에서 비교한 값이다. 3개 송신-수신 조합, 5개 예산, 7개 데이터셋(QuALITY, QASPER, HotpotQA, MuSiQue, SQuAD, NarrativeQA, LongHealth)을 평균했다. 측정 항목은 작업 점수(정확도 또는 F1), 에이전트 간 전송 토큰 수, 요청당 송신 GPU 시간, 수신 에이전트의 첫 토큰 시간이다. AI타임스는 전체 처리 시간이 평균 4배 줄었다고 전했고, GitHub는 SwaT+AM이 송신 GPU 시간과 수신 첫 토큰 시간 기준으로 평균 4배 빠르다고 설명한다.^1,2

GitHub에는 6개 계열, 3B~32B 모델, 10개 교차 계열 쌍, 17개 벤치마크에서 수신 모델이 실제 텍스트를 쓸 때 점수의 90% 이상을 유지했다고 적혀 있다. 송신 모델이 더 크면 100%를 넘었다.²

Qwen3 4B에서 Llama 3 8B로 전달한 중국어 실험에서는 CMMLU 67개 과목 모두에서 Llama의 성능이 올랐고, 두 모델 점수 차의 약 4분의 3이 좁혀졌다. 이미지를 처리하는 Gemma가 사진을 분석해 SwaT로 텍스트 전용 모델에 넘기면, 수신 모델은 설명문만 받을 때보다 관련 질문에 더 정확히 답했다. 영어 텍스트만으로 학습한 변환기가 시각 정보 전달에도 쓰였다.^1,2

재현 방법과 실험 설정

GitHub 기본 예제는 Granite-3.3-8B에서 SmolLM3-3B로 전달하는 구성이며, scripts/exp1/run.py로 훈련하고 17개 벤치마크로 평가한다. 이 예제의 훈련은 송신용 1개, 수신용 1개로 GPU 2개를 쓴다. 단일 GPU로 하루 미만이라는 훈련 시간은 AI타임스 보도의 설명이다. 훈련은 GSM8K 추론 흔적 생성, 5천 스텝 MSE 정렬(PG-19/WikiText, QASPER, QuALITY, HotpotQA, MuSiQue), 2만4천 스텝 NLL 단계(ARC-C, HellaSwag, WinoGrande, MMLU, 추론 흔적 추가), 평가 순서다.^1,2

T2T 실험에서는 송신 모델이 문서마다 매우 간결한 것부터 심층까지 5가지 요약 프롬프트로 요약을 쓰고, 수신 모델은 요약만 보고 답한다. SwaT+AM은 같은 문서의 캐시를 변환한 뒤 해당 요약의 토큰 예산까지 압축하며, 수신 모델은 질문만 텍스트로 받는다. 어텐션 매칭은 Zweiger 등의 2026년 연구로 헤드별 예산 파일을 쓰고, 송신 모델의 질의를 수신 모델 공간으로 옮기는 작은 MLP도 따로 훈련한다.

속도는 일부 문맥 부분집합에서 요청당 송신 GPU 시간과 배치 16 기준 수신 프리필 시간을 단계별로 순차 실행해 쟀다. 표에서 T2T와 SwaT는 기하평균, 변화는 비율, 점수 차는 산술평균이며 95% 부트스트랩 신뢰구간으로 SwaT 우위를 표시했다. 헤드 예산 파일이 없는 SmolLM3 등은 균등 예산을 쓰므로, 논문의 3개 조합에서 최적화한 예산보다 AM 기준선이 약하다.²

한계와 과제

SwaT는 범용 통신 기술이 아니다. 송신-수신 모델 조합마다 변환기를 따로 훈련해야 해서 모델이 늘수록 구축과 관리가 복잡해진다. 연구진은 여러 모델이 공유하는 잠재 공간(Shared Latent Space)을 만들어 변환기 수를 줄이는 일을 후속 과제로 꼽았다.

정보를 반복해서 전달하거나 여러 메시지를 합치는 문제는 풀리지 않았다. KV 캐시는 반복해서 결합하면 정보가 손상될 수 있어 여러 차례 주고받아도 안정적인 기술이 필요하다.

보안과 검증도 남은 문제다. 현재 구현은 송신 모델이 처리한 텍스트에 접근할 수 있어 텍스트 기반 모니터링이 가능하지만, 전달되는 KV 캐시에는 원문에 드러나지 않은 정보가 담길 수 있다. 연구진은 캐시 전송의 효과를 유지하면서 정보의 감사 가능성과 안전성을 확보하는 연구가 필요하다고 설명했다.¹