llama.cpp, CUDA 저비트 MMVQ 변경과 HF 모델 검색·다운로드 UI 추가

llama.cpp 프로젝트가 2026년 10월 18일 시험판 b11713과 b11714를 잇달아 냈다. b11713은 CUDA에서 저비트 자료형용 MMVQ를 다룬 변경(#30517)을 담았고, b11714는 웹 UI에서 Hugging Face 허브의 모델을 찾아 내려받는 기능(#29584)을 추가했다.

두 빌드는 시험판으로 표시돼 있다. 릴리스 페이지에 적힌 발행 시각은 b11713이 2026년 10월 18일 01시 00분, b11714가 같은 날 01시 17분이며, 시간대는 표기돼 있지 않다. 바이너리는 macOS, iOS, Ubuntu, Android, Windows용으로 제공되며, CUDA 12와 CUDA 13 빌드, Vulkan, ROCm 10.0, OpenVINO, SYCL, Snapdragon(CPU, Adreno GPU, Hexagon NPU) 빌드가 포함된다.^1,2

b11713의 변경 제목은 'faster MMVQ for low-bit types', 즉 저비트 자료형용 MMVQ를 더 빠르게 한다는 내용이다. 같은 변경에 AMD HIP의 GCN 관련 작은 nwarps 수정도 들어갔으며, 대상은 Q3_K(ncols가 2, 3일 때)와 Q6_K(ncols가 4일 때)다. 릴리스 노트에는 측정 결과나 속도 향상 폭이 적혀 있지 않다.¹

b11714의 웹 UI에서는 Hugging Face 허브의 모델을 찾아 내려받을 수 있다. 다만 이 기능은 기본으로 꺼져 있다. Discover Models 체크박스는 해제된 상태로 시작하며, 켜면 Hugging Face Hub 설정이 함께 켜지고 끄면 함께 꺼진다. 다운로드 중인 모델은 진행률을 보여 주고 일시정지, 재개, 취소를 지원한다. 추적 중인 다운로드를 선택하면 파일이 없는 모델이 제공할 수 없는 메타데이터와 불러오기 동작 대신 다운로드 모드의 설정 창이 열린다. 이 창에는 진행률, 일시정지·재개·취소, See in Discover 버튼이 있다.

다운로드 옵션의 칩은 주 양자화마다 하나씩 표시되고, 초안(draft) 파일은 그 칩에 배지로 붙는다. 칩의 내려받음 상태와 크기는 두 파일을 함께 반영한다. 칩의 초안은 서버가 고르는 파일과 같다. 서버는 같은 디렉터리에서 양자화가 정확히 일치하는 파일을 우선하고, 없으면 비트 수가 가장 가까운 파일을 쓴다. 그래서 4비트 모델에 16비트 초안 헤드가 짝지어질 수도 있다.

다운로드 옵션 패널에서 초안은 옵트인 체크박스 뒤에 있고, 종류는 줄 안에서 고른다. 각 행은 자신의 양자화를 고정한 명령을 따로 보여 주며 -hfd 옵션은 없어졌다. 초안 헤드, mmproj, imatrix는 모델 본체 옆의 부속(sidecar) 파일로 다뤄진다. 이미 내려받은 모델에 초안이 없으면 따로 추가할 수 있다.

POST /models는 모델과 함께 받을 부속 파일의 종류를 지정할 수 있고, 기본값은 mmproj다. 종류는 -hf 플래그로 다운로드 프로세스에 전달된다. /models는 실제 모델만 나열하고 각 모델이 디스크에 가진 부속 파일을 함께 보여 준다. 중단된 다운로드는 부분 파일을 남겨 다음 시도에 쓰며, DELETE는 같은 계획에 따라 부분 파일까지 지운다.

부분 파일 이름은 내용 해시여서 라우터가 재시작하면 어느 모델의 것인지 알 수 없었다. 이제 라우터가 시작한 다운로드의 태그를 기억하고, 끝나거나 삭제되면 지운다. 끝나지 않은 다운로드는 서버 목록에 별도의 incomplete 상태로 나열된다. UI는 목록을 가져올 때마다 이 태그를 일시정지 상태로 받아들이므로, 새로고침하거나 새로 열어도 미완료 다운로드가 보이고 디스크의 파일부터 이어받을 수 있다. 이어받기 전에는 부분 파일에 저장한 etag를 서버의 현재 값과 비교해 없거나 다르면 처음부터 받으므로, 두 버전의 바이트가 섞이지 않는다. 서버가 416이나 200으로 응답해 이어받기가 반복 실패할 때도 남은 부분 파일을 버리고 범위 없이 다시 시작한다.

저장소 안에서 어느 파일을 부속 파일로 볼지도 손질했다. .gguf 파일만 부속 파일로 인정하고 mmproj와 imatrix는 단어 단위로만 판정한다. 이름 중간이나 끝에 붙은 토큰은 모호해서, 같은 계열의 토큰 없는 본체 가중치 옆에 있을 때만 부속 파일로 본다. 이름 안에 mmproj나 imatrix가 있거나 앞쪽에 토큰이 있으면 그것만으로 판정한다.

이 과정에서 quantization-mmproj-Q8_0.json 같은 비 GGUF 파일이 mmproj로 잡히거나, Phi-2-OmniMatrix.i1-Q4_K_M.gguf처럼 모델 이름 속 단어 때문에 모델이 빠지는 경우를 고쳤다. 로컬 파일을 가리키는 프리셋은 HF 저장소가 없어 GET /models가 모든 모델에서 실패하던 경우도 고쳐, 이제 부속 파일 없이 나열한다. 또 이름이 모델도 기록된 다운로드도 아닌 DELETE 요청이 저장소 캐시 전체를 지울 수 있던 경로도 막아, 이 경우 not found로 응답한다.

이 수정들은 같은 변경 안에서 개발 중 다룬 항목이며, 이전 시험판 사용자에게 영향이 있었는지는 원문으로 확인되지 않는다.

커밋 메시지에는 Assisted-by 항목으로 모델 이름이 적혀 있다. 표기는 pi:zai-org/GLM-5.3, pi:GLM-5.3-Flash, pi (zai-org/GLM-5.3-Flash), DeepSeek-V4.1-Flash(pi:llama.cpp/DeepSeek-V4.1-Flash 포함) 등이다.²