프랑스 파리의 음성 AI 기업 Gradium이 기기 안에서 돌아가는 소형 음성 합성 모델군 Phonon을 오픈소스로 공개했다. 크기는 31M과 40M 매개변수 두 가지다. 영어 전용 Phonon 31m은 Apache 2.0 라이선스로 풀렸고, 8비트 양자화한 GGUF 파일은 64.5MB다.
Phonon 31m은 가중치와 토크나이저, 음성 데이터에 같은 Apache 2.0 라이선스가 적용돼 상업 이용이 허용된다. 런타임은 별도 프로젝트로 MIT 또는 Apache-2.0이다. 모델 카드에 따르면 브라우저 탭, 스마트폰, 노트북 CPU에서 구동할 수 있다. 매체는 GPU와 클라우드 호출이 필요 없다고 전했다. 모델은 Hugging Face에서 받는다.
Gradium은 Kyutai에서 분사한 회사다. Phonon은 Kyutai의 Pocket TTS와 Mimi 코덱을 토대로 만들었으며, 매체는 Kyutai의 Continuous Audio Language Models 연구에도 기반한다고 전했다. 모델군은 세 가지다. 31m은 영어 전용이고 Apache 2.0이다. 40m은 영어, 프랑스어, 독일어, 스페인어, 포르투갈어 언어별 모델이며, 영어 40m의 파일 크기는 74.6MB다. 5개 언어를 한 모델에 담은 40m multilingual도 있다. 두 40m 계열은 CC BY-NC 4.0이라 비상업 용도로 제한된다.
음성 수는 자료마다 다르다. 모델 카드는 gradium/phonon-voices 저장소에 약 100개 음성이 있다고 적었고, 매체는 31m에 내장 음성 37개, multilingual에 102개가 있다고 전했다. 음성 복제와 음성 설계는 Gradium Studio에서 하고, 만든 음성은 기기에서 로컬로 돌린다.
Phonon은 인과적 트랜스포머 백본을 쓴다. 텍스트와 화자 임베딩을 앞에 붙이고, 4,000개 어휘의 SentencePiece 토크나이저가 음소 변환 없이 원문 텍스트를 읽는다. 백본은 80ms 프레임마다 잠재 벡터 하나를 만든다. 플로 매칭 헤드가 이 벡터와 노이즈로 오디오 임베딩을 한 번에 계산하면, Mimi 디코더의 축소판이 24kHz 모노 오디오를 출력한다. 별도의 종료 헤드가 발화를 멈출 시점을 정한다.
31m은 트랜스포머 6층, 너비 512, 어텐션 헤드 8개이고 40m은 같은 너비에 9층이다. 둘 다 더 큰 Phonon 교사 모델에서 증류했으며, 학습은 NVIDIA H100 클러스터에서 GPU 간 통신 라이브러리 NCCL과 CUDA Graphs로 했다. 31m의 매개변수 수에는 오디오 토크나이저가 빠져 있다. 오디오는 생성하는 도중에 스트리밍으로 내보낼 수 있다.
아래 수치는 모두 Gradium이 자체 평가로 내놓은 것이다. 청취 평가는 사람이 두 음성을 비교해 고르는 블라인드 방식이다. 미국 영어에서 Phonon 40m 영어 모델은 Elo 2117, 31m은 2098이었고 Kokoro는 2043, NeuTTS는 2034, Magpie는 1939였다. 아래 표의 40m multilingual은 2097이다.
평가 규모는 자료마다 범위가 다르다. 매체는 블라인드 청취 평가 전체가 평가자 1,189명, 17,270표 규모라고 적었다. 모델 카드는 미국 영어 부분의 평가자를 468명, 8,290표로 적었다.
전화번호, 이메일, 우편번호가 많은 어려운 문장 500개 세트에서 Phonon 31m의 단어 오류율(WER)은 매체 기준 1.70%였다. Kokoro는 3.50%, NeuTTS Nano는 8.71%였다. 모델 카드는 같은 지표에서 31m을 1.5%, 40m multilingual을 2.0%로 적어 매체의 1.70%, 2.11%와 소수점 단위로 다르다. 매체는 내장 텍스트 정규화가 Phonon과 Kokoro 사이 격차의 상당 부분을 만든다고 설명했다. 쉬운 Seed-TTS 문장에서는 격차가 줄어, 31m의 0.51%는 Kokoro의 0.45%, Magpie의 0.46%보다 WER이 높아 31m은 이 세트에서 뒤처졌다.1,2
| 모델 | 매개변수 | 라이선스 | 어려운 문장 WER | 영어 Elo | Seed-TTS WER |
|---|---|---|---|---|---|
| Phonon 31m | 31M | Apache 2.0 | 1.70% (모델 카드 1.5%) | 2098 | 0.51% |
| Phonon 40m multilingual | 40M | CC BY-NC 4.0 | 2.11% (모델 카드 2.0%) | 2097 | 0.48% |
| Kokoro-82M | 82M | Apache 2.0 | 3.50% | 2043 | 0.45% |
| NeuTTS Nano | 약 228.7M 전체, 약 116.8M 활성 | NeuTTS Open License 1.0 | 8.71% | 2034 | 0.62% |
MacBook Air M5 CPU(4스레드)에서 Phonon 31m은 첫 소리까지 6.9ms가 걸리고 실시간보다 29.9배 빠르게 생성한다. Kokoro는 스트리밍하지 않기 때문에 517ms가 걸렸다고 매체는 설명했다. 스트리밍 여부가 다른 모델끼리의 비교다. Arm KleidiAI와 Apple Accelerate를 쓰면 Phonon 31m은 46.7배까지 오른다. Raspberry Pi 5에서는 38ms에 시작해 3.7배 속도로 돌며, Gradium은 같은 기기에서 Kokoro가 시작까지 7초 걸린다고 밝혔다.
Snapdragon 8 Elite Gen 5에서는 7.5ms에 24배, NVIDIA L40S에서는 CUDA로 첫 음성까지 5ms, AMD EPYC 7413 CPU에서는 43ms였다. 매체는 이 세 가지 수치가 Gradium 보도자료에 나온 것이라고 전했다.1
런타임은 Rust, Python, Swift, C, C++, 브라우저(phonon-tts)를 지원하고 API가 OpenAI 호환인 서버와 WebSocket 서버도 포함한다. Android 시스템 음성 엔진과 Home Assistant 연동도 있다. 매체는 Transformers, MLX-Audio, Ollama, LM Studio에서 불러올 수 있다고 전했다. 명령줄에서는 uvx ptts로 설치 없이 실행하며, 파이썬은 pip install ptts로 설치한다.1,2
한계와 사용 조건
31m은 영어만 말하며, 다른 언어 텍스트는 발음이 틀리게 읽힌다. 숫자, 통화, 날짜, 이메일을 읽기 전에 정규화하는 단계가 언어에 의존하므로 텍스트에 맞는 lang 값을 골라야 한다. 아주 긴 입력은 문장 단위로 나눠 차례로 읽기 때문에 억양이 전체 글에 걸쳐 이어지지 않는다. Phonon 모델군의 지원 언어는 영어, 프랑스어, 독일어, 스페인어, 포르투갈어다.1,2
모델 카드는 실존 인물을 사칭하거나 화자를 속이는 용도, 화자 동의 없는 음성 복제를 금지한다. 합성 음성임이 중요한 상황에서는 청취자에게 알리라고도 적었다.
모델 카드가 의도된 사용처로 꼽은 것은 오프라인·비공개 비서, 화면 낭독 같은 접근성 도구, 게임, 클라우드 왕복을 기다릴 수 없는 대화형 앱이다.2
출처
- Gradium Open-Sources Phonon, a 31M-Parameter On-Device TTS Model Under Apache 2.0 marktechpost.com
- gradium/phonon-31m-en · Hugging Face huggingface.co