Tencent Hy-Memory 30B GGUF 공개, llama.cpp로 로컬 실행

Tencent가 장기 기억 작성 모델 Hy-Memory-30B-A3B를 GGUF 형식으로 양자화한 파일 3종을 Hugging Face에 올렸다. llama.cpp로 로컬에서 추론할 수 있게 만든 저장소로, Q6_K imatrix(24.71GB), Q8_0(31.99GB), Q4_K_M imatrix(18.24GB) 세 가지다.

세 파일 모두 llama.cpp의 --check-tensors 검사, no-think 모드 실제 생성 시험, 아래 양자화 평가를 통과했다고 저장소는 밝혔다. 평가에서는 Q6_K imatrix가 측정 품질이 가장 높았고, Q4_K_M imatrix는 내려받는 용량과 메모리 사용량이 가장 작았다. 요금이나 별도 이용 조건은 저장소에 적혀 있지 않다.

어떤 모델인가

Hy-Memory-30B-A3B는 활성 파라미터가 약 30억 개인 모델로, Tencent Hunyuan이 개발했다. Mem0, MemOS, Hy-Memory 같은 외부 기억 프레임워크에서 기억을 쓰는 단계를 맡는다. 프레임워크 안의 범용 LLM 자리를 대신해, 어떤 정보를 남길지, 얼마나 정밀하게 표현할지, 새 근거가 나오면 저장된 기억을 어떻게 고칠지 결정한다.

학습은 두 단계다. 먼저 Memory On-Policy Distillation(OPD)을 거치고, 이어 Attributed Memory Reinforcement Learning을 적용했다. 저장소는 학습에 쓰지 않은 프레임워크(예: EverMemOS)로 직접 전이된다고 설명한다.

양자화별 평가 결과

GGUF 평가는 Mem0 2.0.19 하네스에서 LoCoMo 테스트 분할의 고정 20%로 했다. 사용자 2명, 질문 262개, 기억 묶음 59개 규모다. 검색은 top_k=10, 기억 묶음당 10턴이고 기억 작성 온도는 0.7, 추론 모드는 no-think다. 임베딩 모델은 qwen3-embedding-8b-for-online(4096차원)이며, 답변과 판정 모델은 gpt-5.6-sol이다. KV 캐시는 F16, 추론 프레임워크는 공식 llama.cpp 커밋 5aeac37a35b44fde4bdffaec9159f2fcb253b622다.

가장 큰 Q8_0보다 Q6_K imatrix가 정확도도 높고 파일도 작다. 다만 차이는 문항 3개 수준이어서, 이 표본에서 본 경향으로 읽는 편이 안전하다.

원본 모델 카드의 프레임워크 교차 평가도 함께 실렸다. 4개 하네스(Mem0, Hy-Memory, MemOS, 학습에서 제외한 EverMemOS)의 평균 점수는 Hy-Memory-30B-A3B가 55.49, Claude Opus 5가 54.62, DeepSeek V4.1 Flash가 53.64, Hy3가 51.63, Qwen3.6-35B-A3B가 50.37, Hy3-A3B Base가 47.66, Qwen3-30B-A3B가 44.37이다. 이 비교는 기억 작성 모델만 바꾸고 하네스 버전, 프롬프트, 검색 설정, 답변·판정 모델은 고정했다. 각 하네스 점수는 LoCoMo Judge, LongMemEval, PersonaMem-v2, Travel SPS, Shopping PS, Code Memory Bench 여섯 지표를 동일 가중으로 평균한 값이고, Code Memory Bench는 저장소 QA 평가 두 개의 동일 가중 평균이다. 위 평균 점수는 네 하네스 점수를 동일 가중으로 평균한 값이며, 메인 4개 하네스 매트릭스의 각 벤치마크는 고정 20% 하위 표본으로 평가했다.

로컬 실행 방법

저장소는 최신 공식 llama.cpp 빌드를 권하며, 안내한 명령은 위 커밋과 Q6_K imatrix 모델로 검증했다고 밝혔다. llama-server를 127.0.0.1의 8000번 포트로 띄우고, --n-gpu-layers all, --flash-attn on, --ctx-size 65536, --temp 0.7, --top-k 0, --top-p 1.0, --jinja 옵션과 reasoning_effort를 no_think로 지정한 chat-template-kwargs를 준다. --check-tensors도 붙인다.

--ctx-size는 서버 전체가 쓸 수 있는 컨텍스트 길이다. 슬롯 하나 설정이면 64K 컨텍스트 창을 쓰고, --parallel 2로 슬롯을 두 개 쓰면서 요청당 64K를 유지하려면 --ctx-size를 131072로 올려야 한다.

서버가 뜨면 OpenAI Python SDK나 curl로 /v1/chat/completions를 호출한다. 서버 주소는 로컬 8000번 포트의 /v1 경로이고 api_key는 임의 값(EMPTY)이면 된다. 저장소 예시는 대화에서 오래 남길 기억을 한 문장으로 뽑게 하며, 요청마다 reasoning_effort를 no_think로 적으면 동작을 확인하기 쉽다고 안내한다.

프레임워크 코드와 평가 도구는 GitHub의 Tencent-Hunyuan/Hy-Memory 저장소에 있다. 원본 BF16 모델은 tencent/Hy-Memory-30B-A3B로 따로 공개돼 있고, 기술 보고서는 arXiv에 올라 있다.