Zyphra가 로컬 기기에서 실시간으로 돌아가는 오픈소스 음성 합성 모델 ZONOS3-Mini를 공개했다. 전체 매개변수는 8억 개이고 토큰마다 쓰이는 활성 매개변수는 약 1억 개인 전문가 혼합 구조다. 참고 음성만 주면 같은 목소리로 읽어 주는 제로샷 음성 복제와 단어 단위 전달 방식 조절을 지원한다.1
가중치는 Apache 2.0 라이선스로 배포된다. 브라우저 탭, 노트북, 서버 GPU에서 모두 돌릴 수 있고, 브라우저에서는 WebGPU로 설치나 서버 없이 사용자 GPU에서 직접 실행된다. 처음 접속할 때 모델을 내려받아 캐시에 두며, WebGPU를 지원하는 브라우저가 필요하다. Zyphra Cloud에서 호스팅 버전도 쓸 수 있다.1,2
실행 방법
공식 경로는 네 가지다. 브라우저의 WebGPU 놀이터, NVIDIA GPU용 SGLang-Omni, 네이티브 서버, Zyphra Cloud다. 네이티브 쪽은 Apple Silicon용 MLX 서버와 CPU·CUDA·Metal·Vulkan을 지원하는 C++/ggml 서버 및 명령줄 도구로 나뉜다. Zyphra Cloud는 NVIDIA H200에서 서비스된다.1
SGLang-Omni는 OpenAI 호환 /v1/audio/speech 엔드포인트로 모델을 서비스하며, 스트리밍 응답과 참고 음성을 이용한 복제를 지원하고 전사문은 필요 없다. sgl-omni serve 명령에 모델 경로 Zyphra/ZONOS3-Mini를 지정해 서버를 띄운다. 요청에 references를 넣으면 음성이 복제되고, stream과 pcm 형식을 지정하면 44.1kHz 오디오가 생성되는 대로 흘러나온다. 기본 음성 27개는 언어별로 묶여 제공된다.2
구조와 제어 기능
이전 모델 ZONOS2는 80억 매개변수에 초당 86프레임 코덱을 써서 배포할 수 있는 환경이 제한적이었다. ZONOS3-Mini는 NVIDIA H100 112장으로 2.5일 학습했다. Zyphra는 코덱을 Descript Audio Codec에서 자체 개발한 ZAC-1로 바꿨다. ZAC-1은 초당 15프레임이며 4,096개 항목의 코드북 10개(의미 1개, 음향 9개)로 구성된다. Zyphra는 비슷한 데이터 조건에서 DAC로 학습한 모델보다 단어 오류율이 10분의 1로 줄었다고 밝혔다.1
백본은 11개 층, 모델 차원 1,024다. 시퀀스 혼합은 Gated DeltaNet 9개 층과 전역 어텐션 2개 층을 3대 1 비율로 섞었다. 전문가 혼합은 전문가 64개 중 2개를 고르는 방식이고, 컨텍스트는 32,768 위치, 한 번에 최대 10분 분량의 오디오를 만든다. 텍스트는 8,192개 항목의 SuperBPE 토크나이저로 처리하며, 영어·중국어·일본어·한국어·독일어·스페인어·프랑스어·이탈리아어·포르투갈어는 정규화를 거치고 다른 언어는 입력 그대로 들어간다. 가중치는 BF16이다.1,2
화자 인코더는 Qwen3-TTS의 것에서 MECT-B2로 바뀌었다. 최대 60초짜리 참고 음성이나 192차원 화자 임베딩 하나를 입력으로 받는다. 사후 학습에는 직접 선호 최적화에 이어 GRPO를 썼다.
나이·성별·억양·목소리 질감은 화자 임베딩 벡터와 억양 작업 벡터로, 속도·감정·발성 세기·활기는 활성화 조향으로 조절한다. 정렬 헤드 덕에 스트리밍 중에도 특정 단어에만 조향을 적용할 수 있다. VoiceCraft 방식을 바탕으로 한 별도 편집 모델은 생성 뒤 문장을 수정한다.1
성능과 한계
H100 한 장에서 동시 요청 8개일 때 첫 소리가 나오기까지 중앙값이 80ms였고, 최대 처리량은 초당 457초 분량의 오디오였다. 브라우저에서는 Pixel 9가 570ms 미만, M3 MacBook Air가 150ms 미만이다.
Zyphra가 새로 만든 ZTTS2-Eval은 35개 언어의 깨끗한 낭독 음성과 20개 언어의 실제 환경 녹음을 다루며, 420개 문항에 문항반응이론을 적용해 능력 지수를 계산한다. 화자 임베딩 모드의 ZONOS3-Mini는 66.2점으로 Fish Audio S2 Pro(61.7점), MOSS-TTS v1.5(60.2점), Qwen3-TTS 1.7B(37.7점)보다 높았다. 깨끗한 음성 세트에서 단어 오류율은 7.79, 화자 유사도는 83.4다.1
| 항목 | ZONOS3-Mini | Fish Audio S2 Pro | MOSS-TTS v1.5 | Qwen3-TTS 1.7B |
|---|---|---|---|---|
| 전체 매개변수 | 8억 | 50억 | 80억 | 17억 |
| 라이선스 | Apache 2.0 | Fish Audio Research License(상업 이용은 별도 계약) | Apache 2.0 | Apache 2.0 |
| 능력 지수 | 66.2 | 61.7 | 60.2 | 37.7 |
| 단어 오류율(낮을수록 좋음) | 7.79 | 11.06 | 11.01 | 25.55 |
| 화자 유사도 | 83.4 | 81.2 | 82.9 | 69.6 |
| MSR-UTMOS | 3.07 | 3.16 | 3.04 | 3.54 |
한계도 구체적이다. 벤치마크를 Zyphra가 직접 만들어 돌렸고 독립 검증은 없다. 참고 음성 모드의 능력 지수는 44.7에 그치며, MSR-UTMOS 음질 점수 3.07은 Fish S2 Pro(3.16)와 Qwen3-TTS 1.7B(3.54)에 못 미친다. 지연 시간 수치도 비교 모델마다 GPU가 달라 직접 견줄 수 없다. Fish S2 Pro는 H200 한 장에서 첫 소리까지 약 100ms를 냈다.1,3
지원 언어는 공식 목록이 없고 Zyphra는 35개 언어로 평가했다. 반면 Fish Audio S2 Pro는 80개 이상 언어를 지원하고 한국어를 2군 언어로 둔다. 한국어는 ZONOS3-Mini의 텍스트 정규화 대상 언어 가운데 하나다.1,2,3
출처
- Zyphra Releases ZONOS3-Mini: Open-Source TTS With 100M Active Parameters marktechpost.com
- Zyphra/ZONOS3-Mini · Hugging Face huggingface.co
- fishaudio/s2-pro · Hugging Face huggingface.co