llama.cpp b11709, Aleph-Alpha Kolibri-1 모델 실행 지원

llama.cpp 프로젝트가 b11709 빌드에 Aleph-Alpha의 Kolibri-1 지원을 넣었다. 풀 리퀘스트 #30673으로 반영된 변경이며, 이 빌드는 2026년 10월 17일 GitHub 릴리스에 시험판(pre-release)으로 표시돼 올라왔다.

Kolibri-1은 독일어와 영어를 함께 다루는 전문가 혼합(MoE) 방식의 추론 모델이다. 전체 파라미터는 78B이고 토큰 하나를 처리할 때 활성화되는 파라미터는 3.46B다. 릴리스에는 macOS, Ubuntu, Android, Windows용 빌드가 함께 올라와 있다. CUDA 12·13, Vulkan, ROCm, OpenVINO, SYCL, Snapdragon 등 백엔드별 파일도 있다.

구현된 모델 구조

모델은 50개 층으로 이뤄지고, 라우팅 대상 전문가 384개에 공유 전문가 1개가 더해진다. 어텐션 층은 슬라이딩 윈도 어텐션 층 4개마다 전체 어텐션 층 1개를 끼우는 4:1 비율로 50개 층 전체에 반복 배치된다. 슬라이딩 층의 윈도 크기는 513이다. 슬라이딩 층에는 NeoX 방식의 회전 위치 임베딩을 쓰고, 전체 어텐션 층은 NoPE다.

GQA는 쿼리 헤드 48개가 KV 헤드 4개를 공유하며 헤드 차원은 128이다. 쿼리와 키에는 QK-RMSNorm이 따로 적용된다. 이와 별개로 모든 블록에 RMSNorm이 4개씩 있어서, 어텐션과 MLP의 출력은 잔차 흐름에 합쳐지기 전에 정규화를 거친다.

라우팅은 logits에 expert_bias를 더한 값으로 전문가를 고른다. 선택된 전문가의 가중치는 편향을 더하지 않은 logits의 시그모이드로 계산하고, 재정규화는 하지 않는다.

변환기와 테스트

변환 스크립트는 기존 AfmoeModel을 재사용해 전문가별 체크포인트 배치와 전문가 선택 편향을 처리한다. 공유 전문가와 층별 슬라이딩 윈도 패턴은 새로 기록한다. 공개된 FP8 체크포인트는 일반 weight_scale_inv 경로로 처리되어 별도 코드가 필요 없다.

텐서 이름 매핑에는 post_attn_norm, post_ffn_norm, moe.router.expert_bias 세 개가 추가됐다. 128k 어휘의 토크나이저는 해시를 이용해 qwen2 프리토크나이저로 등록한다. 이 아키텍처는 test-llama-archs에도 GQA와 슬라이딩 윈도 패턴을 포함해 등록됐고, kolibri1용 fusion 기록도 추가됐다.

커밋 설명에는 "Assisted-by: DeepSeek Harness (DeepSeek V4.1 Flash)"라는 표기가 있다. DeepSeek의 하네스와 모델 이름이 적힌 것이다. 일부 코드 수정에는 Sigbjørn Skjæret이 공동 저자로 이름을 올렸다.