TurboMamba, Mamba-3 대비 추론 3.12배·학습 2.60배 빠른 구조 제안

TurboMamba는 Mamba-3 모델과 작은 트랜스포머를 결합한 언어모델 구조로, 추론과 학습 속도를 높이고 다음 토큰 예측 성능도 개선했다고 논문이 주장한다. 논문은 2026년 10월 14일자로 arXiv에 올라왔다.

공개 데이터셋 FineWeb-Edu에서 매개변수 수가 비슷한 소규모 구현 12종을 비교한 결과다. 저자들은 TurboMamba의 평균 테스트 예측 손실(음의 로그 우도, NLL)이 12개 모델 가운데 가장 낮았다고 밝혔다. 비교 대상에는 Transformer, Mamba-3, Jamba, Zamba가 들어 있고, Jamba와 Zamba는 원래의 Mamba 모듈 대신 Mamba-3를 쓴 버전이다. 학습 예산 상한은 모델마다 같게 맞췄다.

블록 단위로 나눠 계산하는 구조

전역 역할은 Mamba-3 모델이 맡는다. 토큰 블록이 하나 완성될 때마다 한 번만 실행된다. 작은 트랜스포머는 이 전역 맥락과 같은 블록 안의 앞선 토큰을 받아 다음 토큰을 예측한다.

가까운 문맥에서의 예측을 돕는 가벼운 장치도 세 가지 더했다. 직전 블록의 마지막 토큰에 직접 접근하게 했고, 다음 토큰 점수에 작은 보정을 넣었으며, 최근 토큰의 출현 빈도와 학습된 비율로 섞는 방식도 붙였다.

비교 결과

학습 속도는 종단간 처리량으로 쟀다. 추론 속도는 길이 256토큰의 프롬프트 시퀀스 32개를 묶어 각각 128토큰을 생성하게 하고, 배치 전체의 종단간 지연 시간을 재서 비교했다.

이 수치는 FineWeb-Edu에서 소규모 구현 12종을 비교한 실험과, 프롬프트 256토큰에 생성 128토큰, 배치 32개 조건에서 나온 것이다.