llama.cpp의 빌드 b11873이 OpenCL 백엔드에 Q2_K 양자화의 초기 지원을 추가했다. 변경 번호는 #30999이며, 릴리스는 2026년 10월 25일 21시 24분(한국 시각)에 올라왔다.
변경에는 Q2_K 가중치와 float32 활성값을 곱하는 mul_mv_q2_k_f32 커널이 들어갔다. 여기에 Q2_K용 SOA 방식 행렬-벡터 곱과 타일 방식 행렬곱도 더해졌다.
Adreno 전용 커널도 추가됐다. Adreno용 noshuffle GEMM과 GEMV 커널, dp4a를 쓰는 GEMM 커널이 들어갔고, 이 Q2_K 커널들을 Adreno에 맞게 조정하는 작업도 포함됐다. 커밋에는 Qualcomm 주소를 쓰는 Hongqiang Wang이 공동 작성자로 올라 있다.
같은 릴리스의 내려받기 목록에는 Windows arm64용 OpenCL Adreno 빌드가 있다. Android와 Linux arm64에는 CPU, Adreno GPU, Hexagon NPU를 지원하는 Snapdragon 빌드가 따로 제공된다.
이번 변경에는 일반 OpenCL용 Q2_K 커널과 Adreno 전용 커널이 함께 들어갔다. 변경 제목은 'add initial q2_k support'다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ggml-org/llama.cpp b11873 github.com