Zyphra, 희소 어텐션 ZHA 논문 공개, 35B 모델에 매개변수 8만여 개만 학습

Zyphra가 어텐션 후보를 트리 구조로 찾는 희소 어텐션 방식 Zyphra Hierarchical Attention(ZHA)의 기술 논문을 공개했다. 이미 학습된 모델의 본체는 고정한 채 약 40억 토큰으로 증류해 붙이는 방식이며, Qwen3.6-35B-A3B에서 추론·에이전트 코딩·256K 검색 벤치마크 성적이 밀집 어텐션에 가까웠다고 Zyphra는 밝혔다.

Qwen3.6-35B-A3B에 추가되는 학습 매개변수는 81,920개로 전체의 약 0.00024%다. 최대 256K 문맥까지 시험했다. 속도 향상은 실제 측정이 아니라 H100 BF16 기준 이론 모델(roofline)로 추정한 값이며, 최적화된 커널은 공개되지 않았다.

트리로 키를 찾는 방식

기존 희소 어텐션 중 DeepSeek Sparse Attention은 라이트닝 인덱서로 과거 토큰을 전부 채점한 뒤 일부만 고른다. 최종 어텐션은 성기지만 인덱서 비용은 문맥 길이에 따라 계속 커진다. 논문이 인용한 연구는 100만 토큰 근처에서 인덱싱이 층 시간의 60~90%를 차지한다고 보고했다.

ZHA는 키를 연속된 조각으로 나눠 요약 키로 압축하고, 이를 다시 묶어 압축하는 과정을 단계별로 반복한다. 조각 크기 4에 6단계면 최상위 노드 하나가 4,096토큰을 덮는다. 요약 키는 학습된 기준 쿼리 몇 개에서 만들며, 이 쿼리들이 조각의 로그 어텐션 질량을 추정한다. KV 캐시는 전부 유지하고, 트리는 각 쿼리가 읽을 키만 정한다.

디코딩 때 쿼리는 최상위 노드를 채점해 추정 어텐션 질량이 비율 p에 이르는 가장 작은 집합만 남기고, 그 자식 노드만 펼치는 과정을 원본 KV 항목까지 반복한다. 단일 사실 조회는 가지를 적게, 흩어진 사실이 필요한 질의는 많이 펼친다. 첫 토큰은 항상 유지한다.

벤치마크와 속도

Zyphra는 깊은 트리(조각 4, 6단계)와 넓은 트리(조각 256, 1단계)를 만들었다. 둘 다 기준 쿼리 16개, p=0.95다. 비교용으로 MiniMax Sparse Attention(MSA) 인덱서도 ZHA의 10배인 400억 토큰으로 학습시켰다. 수치는 모두 Zyphra가 직접 보고한 값이다.

격차가 가장 큰 곳은 검색이다. RULER-13에서 MSA는 77.1%로 떨어졌지만 ZHA 두 트리는 93% 이상을 지켰다. LongBench v2에서는 깊은 트리와 MSA가 읽은 키 비율이 각각 1.1%와 1%로 비슷한데도 깊은 트리가 14.1점 높았다. 28가지 트리 구조를 시험한 결과, 키의 10~30%를 읽는 구간에서 RULER 정확도가 안정적이었다.

NoPE 기반 Nemotron-3.5-Lightning-30B-A3B에서는 깊은 트리의 RULER-13이 밀집보다 25.3점 낮았다. 학습은 Qwen과 Nemotron 모두 32K 문맥에서 3.98B 토큰, 1,900스텝이 들었고, 10억 개 미만 모델은 변환에 어려움을 겪었으며 40억 개 이상에서 결과가 크게 나아졌다고 Zyphra는 밝혔다.

속도는 배치 크기 1, 층 하나의 디코드 지연 시간을 모델링한 값이다. 기준 쿼리 1개, 조각 8, p=0.75 설정에서 ZHA는 약 48K 토큰부터 밀집보다, 약 0.48M 토큰부터 MSA보다 빠르다. 10억 토큰에서는 밀집 대비 373~417배, MSA 대비 52~58배를 예상하고, 블로그는 1천만 토큰에서 32~35배와 4.7~5.1배를 제시했다. 256K에서는 RULER-13 92.7~96.4% 구간에서 밀집 대비 1.93~2.28배에 그치며, 경로 선택 비용이 더해진다.

인덱서 비용이 쿼리당 문맥 길이보다 느리게 늘어난다는 것은 Zyphra의 주장이다.