Fish Audio가 음성합성 모델 Drama 3를 공개했다. 전체 35B 파라미터 가운데 토큰당 약 3B만 쓰는 전문가 혼합 구조이며, 공개 가중치는 Hugging Face에 올라와 있다. Fish Audio API에서도 바로 쓸 수 있다.
호스팅 API는 POST /v1/tts 요청의 모델 헤더를 drama-3으로 지정해 호출한다. 헤더를 빠뜨리거나 잘못 적으면 오류 없이 s2.1-pro로 대체된다는 경고가 문서에 있다. 정가는 100만 자당 50달러이고, 출시 기념가 10달러가 2026년 11월 12일까지 적용된다. 직접 서버에 올려 쓰려면 FP8 기준 48GB 이상의 NVIDIA GPU가 필요하다.
연기 지시를 받는 대본형 음성합성
Drama 3는 대본에 괄호 지시문을 넣으면 그대로 연기하듯 읽어 주는 음성 합성 모델이다. 대사 앞에 [barely holding it together] 같은 문구를 쓰고, whisper 같은 짝 태그로 감싼 구간만 바꿀 수 있다. 지시문은 대사와 다른 언어로 써도 된다. 지원 언어는 83개다.
화자 태그는 speaker:0부터 speaker:15까지 있어 최대 16명을 한 요청에 담는다. API는 화자마다 음성 ID를 하나씩 받아서 장면 전체를 한 번 호출로 만든다. Fish Audio는 대본 대사, 오디오북, 더빙용으로 자체 호스팅할 수 있는 선택지라고 설명했다.
구조와 학습
Fish Audio의 출시 글에 따르면 뼈대는 Qwen3.5-35B-A3B 언어 모델이다. 전문가 256개 중 8개와 공유 전문가 1개를 쓰며, 40개 층은 Gated DeltaNet 3층마다 게이트형 풀 어텐션 1층이 오는 식으로 묶였다. 4개 층 중 1개만 KV 캐시를 두고, DeltaNet 층은 기록을 크기가 일정한 상태로 저장한다.
Fish Audio는 이전 모델 S2가 프레임마다 돌리던 Fast AR 구조를 Codebook-MTP 구조로 교체했다고 밝혔다. 새 구조는 공유 4개 층 위에 음향 코드북당 1개씩 9개 층을 얹은 모양이고, 뼈대로 되먹임하는 코드북은 S2의 10개에서 0번과 1번 두 개로 줄었다. 오디오 토크나이저는 S2 것을 그대로 쓴다. Descript Audio Codec 기반으로 44.1kHz 오디오를 초당 약 21.5프레임으로 낸다.
학습은 3단계 사전 학습, 지시 튜닝, 강화 학습 순서다. 강화 학습에는 KL 페널티 없는 GRPO와 사람 선호를 학습한 보상 모델 하나를 썼다.
성능과 실행 조건
Fish Audio는 Drama 3가 Artificial Analysis 발음 견고성 평가에서 전체 93.2%로 1위라고 밝혔다. 이전 모델 S2.1 Pro는 88.1%였다. 사람 청취자가 어려운 영어 단어를 4개 범주로 판정하는 방식이다. 이 평가는 발음만 보며 감정 표현은 측정하지 않는다. 감정 표현에 대해 Fish Audio는 정성적 설명만 내놓았다.
| 범주 | Drama 3 | S2.1 Pro |
|---|---|---|
| 브랜드·지명·전문 용어 | 95.9% | 87.3% |
| 문맥에 따라 달라지는 읽기 | 95.3% | 86.1% |
| 숫자·날짜·단위 등 줄임 표기 | 93.6% | 92.7% |
| 코드·경로·이메일 등 정확한 문자열 | 86.3% | 79.4% |
품질 순위는 다르다. Artificial Analysis 품질 리더보드에서 Drama 3 Preview의 Elo는 1242로, S2.1 Pro의 1190보다 높지만 ElevenLabs Eleven v4 Turbo의 1328에는 못 미친다. 같은 표에서 Qwen-Audio-3.0-TTS-Plus는 1266이다.
모델 카드는 H200 한 장에서 잰 스트리밍 결과를 실었다. 동시 1건일 때 첫 오디오까지 중앙값 88.9ms, 실시간 계수 0.131이고, 16건 동시에서는 초당 927.6프레임을 처리한다. 서빙은 SGLang-Omni로 하며, 이 도구의 융합 커널은 Hopper GPU에서만 검증됐다. CPU, Apple MPS, AMD ROCm은 지원하지 않는다. MoE 전문가는 FP8, 나머지 가중치는 bf16으로 배포된다. 컨텍스트 길이는 공개되지 않았다.
라이선스와 경쟁 모델
가중치는 Fish Audio Community License v1.0을 따른다. 연구와 비상업 이용은 무료이고, 연 매출 50만 달러 미만이면 상업 이용도 무료다. 제3자에게 API로 호스팅해 제공하려면 별도 라이선스가 필요하다. 제품에는 'Built with Fish Audio' 표기를 넣어야 하며, 동의 없는 실존 인물 음성 복제는 금지된다.
| 항목 | Drama 3 | Fish Audio S2 Pro | Eleven v4 Turbo | Qwen-Audio-3.0-TTS-Plus |
|---|---|---|---|---|
| 규모 | 35B MoE, 활성 약 3B | 5B(Slow AR 4B+Fast AR 400M), MoE 아님 | 비공개 | 비공개 |
| 가중치 | 공개(Community License v1.0) | 공개(연구용 라이선스) | API·앱 | API(Model Studio) |
| 언어 | 83개 | 80개 이상 | 90개 이상 | 8개와 방언 |
| 자체 호스팅 | NVIDIA 48GB 이상, FP8 | NVIDIA 24GB 이상 또는 CPU | 호스팅만 | 호스팅만 |
| 지연 시간 | 첫 오디오 중앙값 88.9ms(H200) | 첫 오디오 약 100ms(H200) | 첫 발화까지 중앙값 약 150ms | 비공개 |
| Elo | 1242(Preview) | 1116 | 1328 | 1266 |
| 100만 자당 API 가격 | 50달러(11월 12일까지 10달러) | 15달러 | 40달러 | 20달러(싱가포르) |
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.