llama.cpp b11645, Metal 백엔드에 BF16 플래시 어텐션 커널 추가

llama.cpp 프로젝트가 10월 15일 b11645 빌드를 공개하면서 Apple Metal 백엔드에 텐서 API 기반 플래시 어텐션 커널의 BF16 버전을 추가했다. 풀 리퀘스트 번호는 #30491이다.

녹색 회로기판 위에 놓인 사각형 금속 덮개의 Apple M1 칩 사진. 기판에는 여러 부품과 연결 단자가 보인다. — Mac mini 메인보드에 장착된 Apple M1 칩Sonic8400 / Wikimedia Commons · CC BY-SA 4.0 · 원본 · 크기 조정

같은 빌드에는 후속 커밋도 들어 있다. 텐서 방식 플래시 어텐션 커널을 kernels/fa_tensor.metal 파일로 옮기는 정리 작업이다.

이번 빌드는 플랫폼별 실행 파일도 함께 제공한다. macOS는 Apple Silicon(arm64)과 Intel(x64)용이 있고, iOS용 XCFramework도 있다. KleidiAI를 켠 macOS Apple Silicon 빌드는 b11645 목록에서 비활성(DISABLED)으로 표시돼 있다.

Linux는 CPU, Vulkan, CUDA 12.8과 13.4, ROCm 10.0, OpenVINO, SYCL 빌드가 있다. Snapdragon용 빌드는 CPU, Adreno GPU, Hexagon NPU를 지원하며 Linux arm64와 Android arm64 항목에 올라왔다.

Windows는 x64와 arm64 CPU, arm64 Adreno OpenCL, x64 CUDA 12.4, x64와 arm64 CUDA 13.4, x64와 arm64 Vulkan, x64 OpenVINO, x64 SYCL, x64 ROCm 10.0 빌드를 내놨다. openEuler 빌드는 비활성 상태다.

출처

이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.

ggml-org/llama.cpp b11645 github.com

출처

함께 읽는 용어

댓글