llama.cpp, Qwen3 양방향 어텐션과 dense_2 출력 투영 지원 추가

llama.cpp 시험판 b11729가 Qwen3 모델의 양방향 어텐션과 dense_2 출력 투영을 지원한다. 변경 번호는 #30607이며, 모델을 변환하는 단계에서도 use_bidirectional_attention 설정을 기본 처리부에서 읽도록 고쳤다. 릴리스 발행 시각은 2026-10-19 20:24로 적혀 있고, 시간대는 표기돼 있지 않다.

이 변경의 코드 작성에는 Grok이 보조 도구로 쓰인 것으로 기록돼 있다. 변환 코드 수정에는 Sigbjørn Skjæret이 공동 작성자로 올라 있다. 릴리스 문서에는 요금이나 지원 모델 이름, 성능 수치가 따로 적혀 있지 않다.¹

뒤이어 b11731이 같은 날 22:35(시간대 미표기)에 나왔다. 이 빌드는 CPU 백엔드에서 ggml_v_silu와 ggml_v_expf 함수를 벡터화했다(#30791). 변경에는 Aaron Teo의 서명이 붙었다.²

b11732는 22:50에 올라왔고 CUDA 코드에서 존재하지 않는 세미콜론이 일으키는 경고를 고쳤다(#30774). b11734는 23:08에 게시됐으며 CANN 백엔드의 #ifdef 블록을 정리해 return 뒤에 도달할 수 없는 코드가 남지 않게 했다(#25273).^3,4

네 빌드의 배포 목록은 동일하다. macOS(Apple Silicon, Intel)와 iOS XCFramework, Ubuntu의 x64·arm64·s390x CPU 빌드, Ubuntu와 Windows의 Vulkan 빌드(x64, arm64), CUDA 12·13 빌드, ROCm 10.0, OpenVINO, SYCL 빌드가 있고, Android와 Windows arm64용 파일도 포함된다. Windows arm64에는 OpenCL Adreno 빌드가 따로 있다. Snapdragon용 빌드는 CPU, Adreno GPU, Hexagon NPU를 지원한다. KleidiAI를 켠 macOS 빌드와 openEuler 빌드는 비활성 상태다.^1,2,3,4