Underdog, Qwen3.8-27B 2비트판 Saluki 27B 공개…7.9GB, 제작사 "도구 호출 유지"

Underdog가 공개한 Saluki 27B는 Qwen3.8-27B를 가중치당 약 2비트로 양자화한 7.9GB 파일이다. 제작사는 이 모델이 도구 호출 능력을 유지하고, 자체 120개 과제 벤치마크에서는 54GB짜리 원본 모델을 근소하게 앞선다고 밝혔다.

Saluki는 ISTA-DASLab이 같은 모델에 적용한 GSQ-RCO 양자화를 바탕으로 만들었다. 모델 파일은 Hugging Face의 ConwayResearch/Underdog-Saluki-27B-1.0 저장소에 있고 파일명은 Underdog-Saluki-27B-1.0-IQ2-mix.gguf이며, 크기는 7,898,369,152바이트다. 일반 llama.cpp에서 돌아간다. 요금과 라이선스는 자료에 나오지 않는다.

MarkTechPost는 llama.cpp b11565(2026년 10월 12일 릴리스)로 Saluki와 ISTA의 IQ2_XS 파일(8,422,841,472바이트)을 같은 조건에서 비교하는 튜토리얼을 25일 게재했다. 실행 환경은 Linux의 NVIDIA GPU(Colab T4 등) 또는 Apple 실리콘 Mac이다. 내려받는 파일은 크기와 SHA-256으로 검증한다.

ISTA 파일과 무엇이 다른가

두 GGUF 파일은 텐서 851개의 이름과 모양이 같다. Saluki는 이 중 146개의 텐서 타입을 바꿨고, 바뀐 것은 모두 비트가 줄었다. 대부분 피드포워드 down 투영과 출력층이며, 작은 DeltaNet 게이트 벡터는 BF16에서 Q8_0으로 낮췄다. 어텐션과 DeltaNet 투영 행렬은 그대로이고, 헤더에는 여전히 ISTA DASLab이 양자화 주체로 적혀 있다. 이로써 Saluki 파일은 ISTA보다 작다.

타입이 그대로인 텐서 705개를 바이트 단위로 비교하면 양자화 행렬 352개 중 하나만 완전히 같지만, 바이트의 98.4%는 일치한다. 양자화하지 않은 norm과 게이트 벡터는 중앙값 기준 1만분의 수 정도 바뀌어 있었다. MarkTechPost는 Saluki가 ISTA 파일을 다시 인코딩한 것이 아니라 가중치를 조금 고친 모델이라고 판단했고, 이는 Underdog가 이 모델을 프리뷰 체크포인트라 부른 것과 맞는다고 썼다. 따라서 부모와의 도구 호출 비교는 양자화만이 아니라 추가 학습의 효과까지 보게 된다.

Qwen3.8-27B는 64개 블록 중 48개가 고정 크기 재귀 상태를 쓰는 Gated DeltaNet 선형 어텐션이고, 네 번째 블록마다 전체 어텐션을 둔 혼합 구조다. 그래서 KV 캐시는 토큰당 64KiB로, 전부 어텐션이면 필요한 256KiB의 4분의 1이다. 시퀀스마다 재귀 상태 약 150MiB가 더 든다.

도구 호출 비교 방법과 제작사 수치

Underdog Bench의 120개 과제는 공개되지 않아, MarkTechPost는 Berkeley Function Calling Leaderboard(BFCL) v4의 다섯 범주에서 범주당 24개씩 시드 2026으로 직접 뽑았다. 범주는 단일 함수 호출, 여러 함수 중 선택, 맞는 도구가 없을 때 호출 안 하기, 같은 함수 여러 번 호출, 서로 다른 함수 여러 번 호출이다. 채점은 BFCL의 ast_checker를 쓰고, llama.cpp가 해석한 호출만 인정하는 엄격 방식과 원문을 느슨하게 다시 읽는 방식을 함께 썼다. 생각 모드는 끄고 온도 0으로 실행했으며, 컨텍스트는 16,384토큰이다.

Saluki의 범주별 제작사 점수(24개 중)는 단일 함수 24, 여러 함수 중 선택 23, 무관 판별 18, 병렬 12, 병렬 다중 11이다. 제작사 자체 페이지도 몇 개 차이는 실행마다 생기는 오차 범위라고 인정한다. MarkTechPost는 같은 과제를 두 파일에 돌려 짝지어 비교하고 정확 McNemar 검정을 적용했다. 이번 글에서 이 실행의 점수 결과는 확인되지 않는다.

튜토리얼은 이 외에 메모리 사용량과 prefill·디코드 속도를 서버 타이밍으로 재고, 생각 모드(낮은 강도)를 켠 병렬 과제 6개를 꺼 둔 경우와 비교한다. 6개로는 생각 모드가 도구 호출을 개선하는지 판단할 수 없고, 추가 토큰과 시간 비용을 보는 용도라고 밝혔다. 원본 Qwen3.8-27B, 제작사의 과제 목록, SWE-bench·IFEval·AIME 등은 이번 비교에서 시험하지 않았다. 표본이 작고 그리디 디코딩으로 한 번만 돌려서 한 번의 실행으로 결론을 내기엔 제한이 있다고 MarkTechPost는 덧붙였다.