LLM 가중치를 적은 비트로 줄이는 벡터 양자화 기법 CoS-VQ(Coordinated Shared-Scale Vector Quantization)를 제안한 논문이 2026년 10월 27일 arXiv에 올라왔다. 논문은 Qwen3.8-27B 모델에서 평가한 언어 모델링, 코딩, 추론 벤치마크에서 QTIP과 LLVQ보다 성능이 높았다고 밝혔다.1
코드는 GitHub에 공개돼 있고, 저장소 접근 승인 없이 내려받을 수 있다. 사용하려면 Python 3.10 이상, BF16을 지원하는 CUDA GPU, uv, Hugging Face Hub 접근 권한이 필요하다. Llama 계열 모델은 Hugging Face에서 약관 동의와 로컬 인증을 거쳐야 할 수 있다.2
작동 방식
논문에 따르면 기존 벡터 양자화 방식은 코드 차원을 키워 정확도를 높이는 경우가 많은데, 이러면 코드워드를 독립적으로 찾거나 일부만 갱신하기가 번거로워진다. CoS-VQ는 코드워드를 저차원으로 유지하면서 여러 위치가 공유하는 스케일과 하드 인덱스를 함께 최적화한다.
논문이 꼽은 어려움은 스케일에 따른 결합이다. 최적 스케일이 코드워드 조합 전체에 따라 정해지고, 스케일이 바뀌면 위치별 후보 순위도 달라지기 때문에, 위치마다 따로 갱신하면 스케일을 다시 최적화해도 진전이 멈출 수 있다. CoS-VQ는 여러 탐색 스케일에서 후보를 모으고, 잔차를 고려한 이차 목적함수에 대해 접선 기반의 분리 가능한 상한을 만든다. 후보 비교를 양의 스케일 구간에서 직선들의 하부 포락선으로 바꾸면 대표 구간이 유한 개로 정해지며, 코드워드 조합을 모두 나열하지 않고도 인덱스와 스케일을 함께 갱신한다고 논문은 설명했다.
같은 초기값에서 시작한 제거 실험에서는 스케일만 다듬을 때보다 인덱스와 스케일을 함께 갱신할 때 이득이 더 컸다. 저자들은 이를 코드워드 차원을 늘리는 방식의 대안으로 해석했다.1
재현 파이프라인
저장소는 Qwen3-4B, Qwen3-8B, Qwen3-14B, Qwen3-32B, Llama-2-7B, Llama-3.1-8B-Instruct 여섯 모델의 실행 스크립트를 제공한다. 각 모델은 고정된 프로토콜에 따라 모델과 데이터셋 버전 확정, 보정·학습 캐시 생성, Vector-GSQ 기준 체크포인트 생성, 스케일 단독 및 V19 후보 최적화, 이산 할당을 고정한 미세 조정, 최종 평가와 보고서 생성 순으로 진행한다. V19 체크포인트는 보류한 개발 세트의 NLL로 고른다.
최종 평가는 시퀀스 길이 2048의 WikiText-2 테스트 perplexity와 제로샷 정확도로 이뤄진다. 제로샷 정확도를 재는 과제 중 하나가 PIQA다. 학습 데이터로는 RedPajama, FineWeb-Edu, C4가 쓰이고, 데이터셋은 기본적으로 Hugging Face에서 받는다. 실행을 시작할 때 가변 참조는 고정 커밋 SHA로 바뀌어 매니페스트에 기록된다. 모델 리비전은 Qwen3-4B와 Qwen3-8B만 설정에 고정돼 있다. 나머지 모델은 현재 main을 참조하고, 그때 해석된 스냅샷 커밋이 매니페스트에 기록된다.
먼저 --dry-run 옵션으로 명령 계획만 출력해 볼 수 있다. 이 옵션은 모델과 데이터 다운로드, 학습, 평가, 결과 폴더 생성을 하지 않는다. 여섯 모델 전체를 미리 보려면 --model all을 쓴다. 이 옵션으로 전체를 실행하면 모델이 하나씩 순서대로 돌아간다. 결과는 experiments/results/v19_e2e/ 아래 실행 시각별 폴더에 저장되고 보고서는 report 폴더에 생성된다.2
재현 시 유의점
저장소 관리자는 pyproject.toml과 uv.lock이 현재 코드 스냅샷을 기술한다고 적었다. 과거 실험은 Torch 2.4, Transformers 4.52.4, lm-eval 0.4.4 환경에서 이뤄졌고 현재 잠금 파일은 더 새로운 환경에서 만들어졌다. 이 잠금 파일로 과거 지표를 비트 단위까지 똑같이 재현할 수 있는지는 입증되지 않았다. 배포 전 검증은 정적 점검, 명령 미리보기, CPU 단위 테스트까지였고, 런타임 의존성을 설치하거나 CUDA 전체 실험을 다시 돌리지는 않았다.
저장소에 포함된 여섯 모델의 과거 결과는 2026년 9월 14일에 보관된 것이다. 라이선스는 루트 LICENSE를 따르지만 third_party/NoWag/의 외부 코드는 GPL-3.0이 적용되며, 모델과 데이터셋은 원래 라이선스와 접근 조건을 유지한다.2