오픈소스 추론 엔진 llama.cpp가 2026년 10월 17일 공개한 빌드 b11707에 IBM Granite Switch 모델이 최대 255개 선택지를 쓸 수 있게 하는 변경이 들어갔다. 이 변경의 항목 이름은 'Granite switch decision 256 options'(#30693)이며, 작성자는 Gabe Goodhart다.
릴리스에는 macOS, iOS, Linux, Android, Windows용 바이너리와 UI 파일이 올라와 있다. 다만 macOS Apple Silicon의 KleidiAI 사용 빌드와 openEuler용 빌드는 이번 릴리스에서 DISABLED 상태다.
Granite Switch 모델은 출력 확률 분포를 만들 때 선택지마다 하나의 토큰으로 된 표지를 쓰고, 각 표지를 해당 선택지의 로짓에 대응시킨다. 대문자, 소문자, 숫자만 쓰면 겹치지 않는 표지가 66개뿐인데 모델은 최대 255개를 지원한다. 이번 변경은 이 간격을 메우는 것이다.
어떤 문자 조합이 토큰 하나가 되는지는 모델마다 달라서, 변환 단계에서 모델 어휘를 훑는 방식을 택했다. 'A', 'AA', 'BB'처럼 1개 이상의 일반 글자 문자열로 된 단일 토큰 열을 찾아 표지로 삼는다. 계산된 라벨은 채팅 템플릿에도 쓰이며, 라벨의 기준은 C++ 쪽이다. GRANITE_SWITCH 아키텍처에는 계산된 라벨을 쓰는 LEV 처리가 적용됐다. 문서에서는 granite-switch를 255 bucket으로 통합했다.
커밋마다 AI 사용 표기가 있다. 'full (Claude + Sonnet 5.5)'로 적힌 커밋은 템플릿에 계산된 라벨을 쓰는 변경, GRANITE_SWITCH의 LEV 처리, 문서의 255 bucket 통합이다. 표지를 찾는 변환 커밋과 초기 문서·스타일 커밋에는 'none'이 적혀 있다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ggml-org/llama.cpp b11707 github.com