Meta Superintelligence Labs가 자사 Muse Spark 모델의 오픈 웨이트 버전인 Muse Spark Open을 공개했다. 전체 매개변수는 816B이고 토큰마다 42B가 활성화되는 전문가 혼합 구조다. 텍스트·이미지·영상·음성을 입력받아 텍스트를 출력하며, 컨텍스트 창은 100만 토큰이다. Meta는 이 모델이 미국에서 나온 오픈 웨이트 모델 가운데 가장 뛰어나며 코딩과 장시간 에이전트 작업을 겨냥했다고 밝혔다. 다만 코딩 가운데 Terminal-Bench 2.1 등 일부 벤치마크에서는 경쟁 모델에 뒤진다.1,2
가중치는 Hugging Face에 BF16과 NVFP4 두 가지로 올라와 있다. Muse Model License는 사용, 미세 조정, 지식 증류, 재배포를 허용하며, 제품에 "Built with Muse Spark Open" 표기를 해야 한다. Model-as-a-Service 제공 업체 가운데 12개월 매출이 2천만 달러를 넘는 곳만 Meta와 별도 계약을 맺어야 하고, 내부 사용, 연구, 자사 제품 기능 구동은 이 매출 조항에서 빠진다. 대부분의 이용자는 추가 계약 없이 쓸 수 있는 구조다.1,2,3
구조와 입력 방식
모델 카드에 따르면 층은 62개, 은닉 차원은 8192다. 각 전문가 혼합 층에 전문가가 256개 있고 Top-k 라우팅으로 토큰당 8개가 켜진다. 어텐션은 쿼리 헤드 128개와 KV 헤드 16개를 쓰는 그룹 쿼리 방식이다. 시각 입력은 별도의 1.8B 매개변수 Perception Encoder가 맡고, 어휘는 202,048개 토큰, 학습 데이터는 100개 이상 언어를 다룬다. 추론 깊이는 reasoning_effort를 low, medium, high, xhigh 중에서 고르며 기본값은 xhigh다.1
llama.cpp 빌드 b11671의 변경 기록은 구현 세부를 알려 준다. 잔차 스트림은 8192를 유지하고 전문가 256개는 4096 차원에서 동작하며, 그 앞뒤로 투영을 둔 잠재 공간 MoE다. 라우팅은 보정 편향을 쓴 시그모이드 방식으로 상위 8개를 고른다. 어텐션은 윈도 2048의 슬라이딩 층 세 개와 위치 임베딩 없는 전역 층 하나를 번갈아 쓴다. 음성은 어텐션도 스펙트로그램도 없는 인과 합성곱 피라미드로 처리해 24kHz 기준 80ms마다 임베딩 하나를 만든다. 양자화 때는 잠재 투영과 시그모이드 출력 게이트인 어텐션 게이트를 Q8_0으로 유지한다. 전체 가중치의 1%를 조금 넘는 부분이지만 잔차 스트림 전체가 이곳을 지나기 때문에, 저비트 방식을 쓰면 출력이 반복 루프에 빠졌다고 한다.4
성능: 에이전트에 강하고 코딩은 뒤처진다
Meta는 Kimi K3, GLM 5.3, Qwen3.8 등과 최고 추론 강도에서 비교했다고 밝혔다. Meta는 에이전트, 지식·추론, 멀티모달 범주에서 앞서고 일부 코딩 벤치마크에서는 뒤진다고 설명했다. 유료 모델 Muse Wonder Full 계열에는 크게 못 미친다고도 밝혔다.2
| 항목 | Muse Spark Open | 비교 모델 |
|---|---|---|
| MCP-Atlas | 89.2 | Qwen3.8 84.5, GLM 5.3 84.2, Kimi K3 82.3 |
| JobBench | 61.8 | GLM 5.3 61.4 |
| HLE-Diamond(도구 없음) | 26.1 | Kimi K3 22.2 |
| ZeroBench(도구 사용) | 50.0 | Kimi K3 41.0 |
| AA Omniscience | 25 | Meta 표 최고 |
| Terminal-Bench 2.1 | 76.4 | Kimi K3 85.0, GLM 5.3 83.9, Qwen3.8 82.0 |
| Artificial Analysis Intelligence Index | 39 | GLM 5.3 45, Kimi K3 44, Qwen3.8 40 |
Terminal-Bench 2.1은 Terminus 2 하네스로 측정했다. 일부 경쟁 모델 점수는 각 업체가 직접 낸 수치이며, 출처는 평가 방법 문서에 정리돼 있다.1
실행 환경과 이용 경로
Meta 개발자 가이드에 따르면 BF16 가중치는 약 1.6TB, 전문가만 양자화한 NVFP4는 약 530GB다. 모델 카드는 VRAM으로 NVFP4에 700GB 이상, BF16에 2TB를 권장한다.1
- 데이터센터: NVFP4를 Blackwell Ultra GPU 4장 또는 H200 8장에서 실행한다.
- 데스크톱: 대당 512GB 통합 메모리를 갖춘 Apple M5 Ultra 맥 스튜디오 두 대를 Thunderbolt 5와 RDMA로 묶고 MLX 텐서 병렬로 돌린다. Meta는 이 모델이 M5 Ultra에 최적화됐다고 밝혔다.
- 워크스테이션: Unsloth의 2비트 GGUF는 합산 메모리 약 300GB에 들어간다.1,2
출시 첫날 지원하는 엔진은 SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp, Unsloth다. 호스팅 API는 Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter, Together AI에서 열렸다. OpenRouter 가격은 입력 100만 토큰당 1.25달러, 출력 4.25달러다. 디코딩 가속용 초안 모델로 SGLang용 DFlash V2와 vLLM용 DSpark가 나왔고, Meta는 AMD MI355X에서 DFlash V2로 단일 요청 처리량이 3.7배라고 밝혔다. 미세 조정은 TorchTitan, Hugging Face TRL, NVIDIA NeMo AutoModel에서 된다.1
Meta는 공개 버전에 안전 사후 학습을 추가해 시스템 수준 가드레일 없이도 더 견고하다고 밝혔다. Hugging Face에는 BF16 저장소(822B 표기)와 NVFP4 저장소(484B 표기)가 올라왔고, 커뮤니티가 만든 MLX 판은 oQ3e와 oQ4e 두 종이 등록됐다.1,3
출처
- Meta Releases Muse Spark Open: 816B Open-Weight MoE With 1M Context marktechpost.com
- Muse Spark Open is Meta's answer to Qwen, GLM, and Kimi in the open-weight race the-decoder.com
- Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta huggingface.co
- ggml-org/llama.cpp b11671 github.com