인프라와 비용

llama.cpp b11971, Adreno GPU용 타일형 Q4_K 행렬곱 추가

llama.cpp가 b11971에서 OpenCL 백엔드에 Adreno용 타일형 Q4_K 행렬곱을 넣었다. 타일형 q4_K lm_head는 배치가 1보다 클 때 이 경로로 처리하며, Codex의 도움으로 작성됐다.

루카스 ·

llama.cpp가 2026년 10월 29일 공개한 빌드 b11971에서 OpenCL 백엔드에 Adreno용 타일형 Q4_K 행렬곱(GEMM)을 추가했다. 변경은 풀 리퀘스트 #30412로 반영됐다.

퀄컴 Snapdragon 450 모바일 칩셋을 찍은 사진. 칩 패키지 표면과 회로 표기가 보인다.
Qualcomm Snapdragon 450 칩셋 사진Jaredryandloneria / Wikimedia Commons · CC BY-SA 4.0 · 원본 · 크기 조정

함께 들어간 수정은 두 가지다. 배치가 1보다 클 때 타일형 q4_K로 된 lm_head를 이 타일형 GEMM으로 실행하도록 했고, 타일형 dp4a q4_k GEMM을 별도 파일로 떼어 내면서 dp4a와 관련된 테스트도 넣었다.

커밋 기록에는 Codex의 도움을 받아 작성했다는 표기가 있다. 공동 작성자로는 Qualcomm 계열 이메일 도메인을 쓰는 Li He가 이름을 올렸다.

이번 릴리스에는 Adreno GPU를 쓰는 환경용 빌드가 포함돼 있다. Windows arm64용 OpenCL Adreno 빌드가 있고, Android arm64와 Linux arm64에는 CPU, Adreno GPU, Hexagon NPU를 함께 지원하는 Snapdragon 빌드가 있다. 설치 안내 문서는 Android arm64와 Linux arm64의 Snapdragon 빌드에만 링크돼 있고, Windows OpenCL Adreno 빌드에는 없다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.