llama.cpp, Vulkan 행렬곱 스케줄링 손봐 b11640·b11641 공개

llama.cpp 프로젝트가 2026년 10월 15일 빌드 b11640과 b11641을 연이어 공개했다. b11640은 Vulkan 백엔드의 cm2 행렬곱에 L2 캐시에 유리한 워크그룹 스케줄링을 적용했고, b11641은 lilicorr 지원을 더했다.^1,2

Vulkan API의 그래픽스 파이프라인 단계를 단순하게 나타낸 도식 그림. — Vulkan 그래픽스 파이프라인을 단순화한 도식Alexander Overvoorde / Wikimedia Commons · CC BY-SA 4.0 · 원본 · 크기 조정

b11640이 먼저 올라오고 25분 뒤 b11641이 올라왔다. 두 빌드 모두 Windows, Linux, macOS, Android용 실행 파일을 제공한다. Vulkan 빌드는 Windows x64와 arm64, Ubuntu x64와 arm64용이다. GPU용 CUDA 12와 13, ROCm, OpenVINO, SYCL 빌드와 Snapdragon의 Adreno GPU, Hexagon NPU용 빌드도 있다. macOS Apple Silicon의 KleidiAI 빌드와 openEuler 빌드는 두 빌드 모두 제공되지 않는다.^1,2

b11640의 변경 항목은 'vulkan: Use L2-friendly workgroup scheduling for cm2 mulmat'(#30215) 하나다. 성능 변화 수치는 공개되지 않았다.¹

b11641의 변경 항목은 'spec : add lilicorr support'(#30506)다. 이 커밋에는 변환(convert) 단계에서 하이퍼파라미터를 할당하는 방식을 프로젝트 관례에 맞춘 수정도 들어 있고, Georgi Gerganov가 공동 작성자로 올랐다.²

출처

ggml-org/llama.cpp b11640 github.com
ggml-org/llama.cpp b11641 github.com

출처

함께 읽는 용어

댓글