llama.cpp 프로젝트가 2026년 10월 25일 공개한 빌드 b11874에서 OpenCL 백엔드에 topk 연산과 라이트닝 인덱서 연산이 추가됐다. 변경 내용은 풀 리퀘스트 #31026에 담겼다.
릴리스 노트에 적힌 커밋은 모두 일곱 건이다. topk를 추가한 뒤 최적화했고, fp 라이트닝 인덱서를 추가한 뒤 다시 최적화했다. 이어서 코드를 정리하는 리팩터링을 하고, 타일 방식 topk 커널을 한 번 더 리팩터링했으며, 마지막으로 코드 서식을 맞췄다.
OpenCL 이름이 붙은 배포 파일은 Windows arm64용 OpenCL Adreno 빌드다. 같은 릴리스에는 macOS, iOS, Ubuntu, Android, Windows용 파일이 함께 올라왔다. Vulkan과 CUDA 12·13 빌드도 있다. Snapdragon용 Linux·Android 빌드는 CPU, Adreno GPU, Hexagon NPU를 대상으로 하며 설치 안내 문서가 따로 링크돼 있다.
릴리스 노트는 두 연산의 처리 속도나 메모리 사용량 같은 수치를 싣지 않았고, 어떤 모델이 이 연산을 쓰는지도 적지 않았다. 변경 범위는 OpenCL 백엔드로 한정된다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- ggml-org/llama.cpp b11874 github.com