llama.cpp 프로젝트가 2026년 10월 28일 공개한 b11953 빌드에 CUDA 백엔드용 변경이 들어갔다. 전문가가 384개인 전문가 혼합(MoE) 모델에서 top-k 선택 연산을 융합하는 기능이다. 변경 번호는 #31288이다.
CUDA 바이너리는 Windows용 x64 CUDA 12.4와 CUDA 13.4, arm64 CUDA 13.4, Ubuntu용 x64 CUDA 12.8과 CUDA 13.4, arm64 CUDA 13.4로 나뉘어 내려받을 수 있다. 이 밖에 macOS, Android, Vulkan, ROCm, OpenVINO, SYCL 빌드도 같은 릴리스에 함께 올라왔다.
릴리스 노트에는 변경 내용이 한 줄뿐이고, 속도 향상 수치나 대상 모델 이름은 적혀 있지 않다. 다만 변경 항목에는 Codex의 도움을 받았다는 뜻의 "Assisted-by: Codex" 표기가 붙어 있다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ggml-org/llama.cpp b11953 github.com