Edge0, 0.6B 음성 복제 모델 Audio8-TTS-Realistic 공개, 23개 언어

Edge0가 음성 복제에 쓰는 오픈 웨이트 음성 합성 모델 Audio8-TTS-Realistic을 공개했다. 참조 음성 한 개와 그 대본만 있으면 목소리를 복제하며, 23개 언어를 지원한다. 이전 모델보다 12개 언어가 늘었다. 모델 가중치와 코드는 Apache 2.0 라이선스로 배포된다.

주 모델의 매개변수는 6억 100만 개이며 오디오 코덱은 제외한 수치다. 문맥은 텍스트와 오디오를 합쳐 최대 2,048 위치까지 다룬다. CUDA GPU를 권장하고, NVIDIA H20에서 BF16로 기본 동작을 점검했다. 논문은 Apple M2 CPU에서 INT4 ONNX로 최대 메모리 사용량이 1.1~1.2GiB라고 적었지만, Realistic용 ONNX 내보내기 파일은 아직 공개되지 않았다.

구조와 학습 방식

Audio8 TTS 계열의 두 번째 0.6B 모델로, Audio8-TTS-Preview-0.6b를 바탕으로 하고 같은 Transformers 추론 인터페이스를 유지한다. 저장소에는 체크포인트, 44.1kHz 신경망 오디오 코덱, 토크나이저, 프로세서, 맞춤 코드가 들어 있다. 참조 음성 없이도 음성을 만들 수 있다. 새로 추가된 언어는 아라비아어, 핀란드어, 힌디어, 인도네시아어, 말레이어, 노르웨이어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 튀르키예어, 베트남어다.

Fish Audio S2 Pro에서 착안한 이중 자기회귀(DualAR) 구조다. 기술 보고서에 따르면 느린 가지는 Qwen2.5 0.5B 기반이며 24개 층, 너비 896, 초당 약 21.5프레임으로 돈다. 한 단계마다 텍스트 토큰과 첫 번째 오디오 코드북을 예측한다. 4개 층의 얕은 빠른 가지가 나머지 코드북 9개를 병렬로 예측하므로, 순차 연산은 프레임 단위에서만 발생한다.

Edge0는 단어 오류율(WER)과 화자 유사도(SIM)만으로는 리듬, 쉼, 타이밍을 잡아내지 못해 두 점수가 높아도 합성음처럼 들릴 수 있다고 주장한다. 학습은 세 단계다. 다국어 지도 미세 조정을 하고, WER 0.7과 SIM 0.3을 섞은 보상으로 GRPO를 돌린 뒤, 학습한 현실감 평가기로 다시 GRPO를 진행한다.

평가기는 같은 문장을 읽은 사람 녹음과 생성 결과를 짝지어 점수를 매긴다. 오픈소스 TTS 6종을 비공개 블라인드 청취 평가로 줄 세우고 맨 위에 사람 녹음을 둔 품질 사다리로 학습했으며, 쉼을 인위적으로 압축한 샘플로 단계를 더 촘촘히 나눴다. 생성기 고유의 흔적에 보상이 주어지지 않도록 정체성 제거 손실을 쓴다. 평가기 헤드는 약 300만 매개변수이고 고정된 WavLM-large 인코더 위에 얹는다. 기준 길이의 1.35배를 넘으면 길이 벌점이 붙어, 느리게 말해 평가기를 속이는 길을 막는다.

마지막 단계에는 중국어와 영어 프롬프트만 썼는데도 자원이 적은 13개 언어의 종합 지표가 좋아졌다. 오류율은 22.53%에서 20.77%로 내려갔고 SIM은 0.637에서 0.679로 올랐다.

벤치마크와 한계

아래 수치는 Edge0가 직접 보고한 오류율로, 낮을수록 좋다. Edge0는 평가 파이프라인과 텍스트 정규화가 달라 이 표를 참고용 비교로 봐야 한다고 밝혔다.

CV3에서는 VoxCPM2(5.35%), CosyVoice3-1.5B(6.89%), Qwen3-TTS-1.7B(7.73%)보다 낮다. MiniMax에서 Qwen3-TTS-1.7B는 27.41%지만, 이 모델은 시험 언어 24개 중 10개만 공식 지원한다. Qwen3-TTS-1.7B의 CV3 7.73%와 MiniMax 27.41%는 Boson AI의 평가에서 나온 수치다.

더 큰 모델이 앞서는 항목도 있다. 백본이 약 4B인 Higgs TTS 3는 CV3에서 4.41%, MiniMax에서 2.74%를 보고했고, Qwen3-TTS-1.7B는 Seed-TTS 평균이 1.01%다. 자원이 적은 언어는 여전히 약해서 CV3 태국어 WER이 48.57%, MiniMax 광둥어 문자 오류율(CER)이 31.35%다.

표에서 VoxCPM2의 CV3 평균은 언어별 결과표를 바탕으로 계산한 값이다. 하드웨어 항목은 모델마다 기준이 다르다. Audio8은 CUDA GPU를 권장하고 논문에서 INT4 방식으로 M2 CPU 구동을 다뤘으며, Qwen3-TTS는 GPU와 플래시 어텐션 2를, VoxCPM2는 약 8GB VRAM을 언급했다. Higgs TTS 3는 H100 1장으로 서빙 테스트를 했다.

설치와 사용

PyTorch 2.5 이상과 Transformers 4.57 이상을 설치하고 trust_remote_code=True로 불러온다. 음성 복제에는 잡음 없는 참조 음성과 정확히 일치하는 대본이 필요하다. GitHub 저장소는 명령줄 도구, 배치 처리, 지도 미세 조정 스크립트를 제공한다.

GPU 서빙에는 SGLang Omni 어댑터가 있어 페이지드 어텐션, 동적 배치, OpenAI 호환 /v1/audio/speech API를 쓸 수 있다. Edge0는 처리량과 스트리밍 응답은 벤치마크하지 않았다고 밝혔다. Hugging Face ZeroGPU에서는 무료 플레이그라운드로 시험해 볼 수 있다.