에이전트와 개발

llama.cpp, CUDA 백엔드에 그룹 전문가 top-k 융합 추가

llama.cpp b11710 빌드가 CUDA 백엔드에 그룹 전문가 top-k 융합을 추가했다. 이어 나온 b11711은 CUDA 컴파일러 경고를 고치는 수정이다.

루카스 ·

llama.cpp 프로젝트가 b11710 빌드에서 CUDA 백엔드에 그룹 전문가 top-k 융합 기능을 추가했다. 변경 항목의 제목은 'cuda : add grouped experts top-k fusion'이고 풀 리퀘스트 번호는 #29181이다. 이 릴리스의 발행 시각은 2026-10-17 21:45로 표기돼 있으며 시간대는 적혀 있지 않다.1

NVIDIA GeForce RTX 2080 Ti 그래픽카드를 찍은 사진. 기판 위 GPU 칩과 회로 배선이 드러나 보인다.
NVIDIA GeForce RTX 2080 Ti 그래픽카드, GPU 칩이 드러난 모습极客湾Geekerwan / Wikimedia Commons · CC BY 3.0 · 원본 · 크기 조정

변경 내역에는 'fuse grouped experts', 'add tests', 'add to graph_optimize' 항목이 적혀 있다. 이어 'hip fix' 커밋이 여러 차례 나왔고, 마지막은 HIP 버전 기준으로 게이트 처리하는 커밋('gate on hip version instead')이다. 무엇을 게이트했는지는 릴리스 노트에 적혀 있지 않다. 릴리스 노트에는 성능 수치나 속도 향상폭도 없다.

이 빌드는 macOS, iOS, Linux(Ubuntu), Android, Windows용 바이너리를 함께 배포한다. CUDA 사용자는 Ubuntu x64의 CUDA 12.8과 13.4, Ubuntu arm64의 CUDA 13.4, Windows x64의 CUDA 12.4와 13.4, Windows arm64의 CUDA 13.4 빌드를 받을 수 있다. Vulkan, ROCm 10.0, OpenVINO, SYCL 등 다른 백엔드 빌드도 같은 목록에 있다.1

약 20분 뒤인 같은 날 22시 4분에 b11711이 나왔다. CUDA의 fattn vec dispatch 코드에서 나던 -Wtautological-compare 컴파일러 경고를 고친 수정(#30519)으로, Signed-off-by에 Adrien Gallouët 이름이 올라 있다. 배포 파일 구성은 b11710과 같다.2

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.