llama.cpp, Nemotron의 비표준 GQA·BPE 토크나이저 지원 추가

로컬 추론 엔진 llama.cpp의 b11819 빌드가 2026년 10월 22일 21시 53분(시간대 표기 없음)에 발행됐다. 이 빌드는 Nemotron 모델의 비표준 그룹 쿼리 어텐션(GQA) 구조와 BPE 방식 토크나이저, domyn-small 사전 유형을 지원한다. 변경은 풀 리퀘스트 #23343으로 반영됐다.

b11819는 macOS와 iOS, Linux, Android, Windows용 빌드와 UI 파일을 제공한다. openEuler 빌드는 비활성화(DISABLED) 상태다. Windows 빌드는 x64·arm64 CPU 버전 외에 CUDA 12·13, Vulkan, OpenVINO, SYCL, ROCm 10.0, OpenCL Adreno 버전으로 나뉜다.¹

b11819의 세부 변경

커밋 목록에는 Nemotron 지원 외에 GGUF 메타데이터와 어휘 처리 변경도 들어 있다. gguf-py가 Metaspace의 prepend_scheme을 GGUF 메타데이터로 기록하고, 어휘 처리 코드는 이 값을 열거형으로 읽어 키 이름을 바꿨다. 이 값은 디토크나이즈에도 쓰이며, 다른 토크나이저용 작업은 TODO로 남겼다. 이스케이프된 공백은 상수로 정리했다.

커밋에는 Co-authored-by로 domyn.com 이메일을 쓰는 Martin Cimmino가 올라 있다.¹

바로 앞 b11818: rerank 입력 확장

b11818은 2026년 10월 22일 21시 27분(시간대 표기 없음)에 발행됐다. 서버의 RERANK 엔드포인트가 유형이 지정된 콘텐츠 입력을 받도록 한 변경(#29625)이 담겼다. 검토 과정에서 멀티모달 rerank 입력과 관련해 몇 가지가 고쳐졌다.

• 모델에 rerank 채팅 템플릿이 없으면 멀티모달 rerank 입력을 거부한다. 이전에는 이미지가 조용히 버려졌다.
• 미디어 내려받기나 base64 처리 실패는 500 대신 400 오류로 돌려준다.
• 음수 top_n은 400으로 거부한다.
• README에 TEI 입력이 Jina와 같은 형태를 받는다고 적었다.

첫 커밋에는 Assisted-by로 Opencode/Qwen3.8 27B가, 두 번째 커밋에는 opencode가 표기돼 있다. 공동 작성자로는 timothywang21이 올라 있다.²