llama.cpp, zDNN 플래시 어텐션과 OpenCL 소배치 연산 추가

llama.cpp 프로젝트가 2026년 10월 21일 b11759, b11763, b11767, b11768, b11769 빌드를 잇달아 배포했다. 이 가운데 b11759는 zDNN 백엔드에 플래시 어텐션 연산을 도입했고, b11763은 OpenCL 백엔드에 소배치용 GEMM 변형 여러 개를 더했다. 나머지 세 빌드는 멀티모달 이미지 분할 설정, 서버의 Responses API 호환성, 클라이언트 연결 종료 처리를 고쳤다.^1,2

b11759의 변경 제목은 ggml-zdnn에 플래시 어텐션 연산을 넣는 것이다. 작업에는 임시 버퍼 풀 추가가 포함됐고, 구현 과정에서 기존 임시 슬롯 방식을 버퍼 풀로 대체했다. 문서에도 플래시 어텐션 관련 안내가 붙었다. 커밋 서명자는 IBM 주소를 쓰는 Aaron Teo다.¹

b11763은 OpenCL 백엔드에서 소배치 처리를 겨냥한 변형을 추가했다. q4_k dp4a GEMM의 소배치 변형, mul_mm_f16_f32_l4_lm의 좁은 변형, 큰 M용 gemv_noshuffle_q1_0_f32의 단일 서브그룹 변형이 들어갔고, q4_0 mc3는 서브그룹 수에 워크그룹 크기라는 상한을 뒀다. mul_mv_mxfp4_f32_flat의 범위 밖 읽기 오류도 이번에 고쳤으며, Qualcomm 주소를 쓰는 Hongqiang Wang이 공동 작성자로 올라 있다.

b11763은 큰 N 값이면 가중치를 CPU에 두게 하던 조건도 없앴다. 이 조건은 Adreno에서 큰 배치가 잘못된 결과를 낸다고 주장하는데, 커밋 설명에 따르면 이 현상은 재현할 수 없다. 모델 로더는 연산 지원 여부를 N512로 확인하므로 이 조건 때문에 CPU 폴백이 생긴다. 커밋은 이런 이유로 조건이 불필요해 보인다고 적었다.²

b11767은 LFM2-VL 멀티모달 모델의 이미지 타일링 값을 GGUF 메타데이터에서 읽도록 바꿨다. mmproj를 변환할 때 processor_config.json의 min_tiles, max_tiles, tile_size, max_pixels_tolerance를 기록하고, clip.cpp는 이 값을 읽되 기존 상수를 기본값으로 쓴다. do_image_splitting이 false이면 min_tiles와 max_tiles를 모두 1로 두어 타일링을 하지 않는다. 이전 풀 리퀘스트 #25524를 다시 정리한 것으로, 원 구현자는 Michael DM이다.³

서버 쪽에서는 b11768이 Responses API의 SSE 이벤트에 빠져 있던 output_index를 넣어 호환성을 맞췄다. 수정에는 Anthropic 방식 스트리밍 응답 코드를 재사용했고, 불필요해진 generated_tool_call_ids와 oai_resp_tool_calls_started는 제거했다. b11769는 라우터가 클라이언트 연결 종료를 자식 프로세스에 완전히 전달하지 않아 응답 대기 중 취소가 늦어질 수 있던 문제를 고쳤다. 타이밍에 민감한 라우터 취소 테스트는 삭제했고, 커밋에는 Codex의 도움을 받았다는 표시가 있다.^4,5

각 빌드는 macOS, Linux, Android, Windows용 실행 파일과 iOS XCFramework를 함께 낸다. Linux와 Android에는 Snapdragon의 CPU, Adreno GPU, Hexagon NPU를 겨냥한 빌드가 있다. b11759, b11763, b11767, b11768, b11769 모두에서 macOS의 KleidiAI 빌드와 openEuler 빌드는 DISABLED로 표시돼 있다.^1,2,3,4,5

Adreno 기기에서 llama.cpp를 쓰는 사용자에게 b11763의 조건 제거가 도움이 될 수 있다는 것은 우리의 추정이다. 커밋은 조건을 없애는 이유만 설명했고 사용자에게 미치는 영향은 다루지 않았으며, 속도 변화를 보여 주는 측정치도 릴리스 기록에 없다.²