작동 원리
Prism Attention, 128K 문맥 디코딩 FlashAttention보다 3.4배 빠르다
연구진이 긴 문맥 LLM의 디코딩 속도를 높이는 희소 어텐션 기법 Prism Attention을 arXiv에 공개했다. 128K 문맥에서 FlashAttention 대비 종단 간 3.4배 빨랐다고 밝혔다.
작동 원리
AI 모델이 어떻게 작동하는지 다룬 연구와 해설입니다.
작동 원리
TurboMamba, Mamba-3 대비 추론 3.12배·학습 2.60배 빠른 구조 제안
TurboMamba는 토큰 블록마다 Mamba-3를 한 번 돌리고 작은 트랜스포머로 다음 토큰을 예측하는 언어모델 구조다. 소규모 실험에서 예측 손실이 가장 낮았고 추론과 학습도 빨랐다고 논문은 밝혔다.