llama.cpp, OpenCL에 Q3_K 양자화 초기 지원 추가, Adreno 커널 포함

오픈소스 추론 엔진 llama.cpp의 OpenCL 백엔드에 Q3_K 양자화 형식의 초기 지원(initial support)이 추가됐다. 2026년 10월 27일 올라온 빌드 b11918에 반영된 변경이며 풀 리퀘스트 번호는 #31172다. Adreno 기기를 겨냥한 커널이 함께 들어갔다.¹

이 변경에 담긴 항목은 Q3_K용 AOS 방식 행렬-벡터 곱, SOA 방식 행렬-벡터 곱과 타일 행렬곱, Adreno용 noshuffle GEMM/GEMV, Adreno용 dp4a GEMM, Adreno용 Q3_K 커널 튜닝이다. 공동 작성자로 Hongqiang Wang(Qualcomm 메일 주소 사용)이 표기된 곳은 dp4a GEMM 커밋, Adreno 튜닝 커밋, 전체를 묶은 병합 커밋이다.¹

릴리스 페이지에는 Windows arm64용 OpenCL Adreno 빌드가 있으며, b11918과 b11919, b11921 모두에 같은 빌드가 올라와 있다. Android arm64와 Linux arm64용 Snapdragon 빌드는 CPU, Adreno GPU, Hexagon NPU를 함께 담고 있고 두 빌드에 각각 설치 안내 문서가 연결돼 있다. 릴리스 노트는 Q3_K가 어느 빌드에서 켜지는지 밝히지 않았다.^1,2,3

바로 뒤인 b11919(10월 27일 16:42 발행)에는 OpenCL의 mul mat id에서 -1 인덱스를 다루는 부분을 다듬는 수정이 들어갔다. 이 커밋에는 Codex의 도움을 받았다는 표기가 붙어 있다.²

b11921(같은 날 17:01 발행)은 OpenCL과 무관한 정리 작업으로, 메모리 인스턴스에서 쓰이지 않는 n_pad 매개변수를 없앴다.³

세 빌드 모두 CUDA, Vulkan, ROCm, OpenVINO, SYCL 등 기존 플랫폼별 바이너리를 같은 구성으로 내놓았다. openEuler 빌드와 KleidiAI를 켠 macOS Apple Silicon 빌드는 세 릴리스 모두 비활성(DISABLED)으로 표시돼 있다.^1,2,3

릴리스 노트가 밝힌 것은 Q3_K 커널과 Adreno용 최적화가 추가됐다는 사실까지다. 속도나 품질 수치, 지원 기기 목록은 담겨 있지 않다.¹