llama.cpp 프로젝트가 WebGPU 백엔드에 Q2_0 양자화 지원을 추가한 b11809 빌드를 내놓았다. 변경 항목은 'webgpu : add Q2_0 support (#30914)'이며, 이 빌드는 시험판으로 표시돼 있다.
이번에 들어간 작업은 두 가지다. Q2_0 형식 가중치를 행 단위로 역양자화하는 기능과, Q2_0 행렬 곱셈 기능이다.
릴리스 페이지에는 macOS와 iOS, Ubuntu, Android, Windows용 내려받기 파일이 함께 올라와 있다. Ubuntu에는 CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL 빌드가 있고, Windows에는 CPU, OpenCL Adreno, CUDA, Vulkan, OpenVINO, SYCL, ROCm 빌드가 있다.
릴리스 노트에는 Q2_0의 비트 구성, 속도, 메모리 절감량, 정확도 손실, 지원 모델, WebGPU 실행 환경 조건이 적혀 있지 않다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ggml-org/llama.cpp b11809 github.com