Mistral이 10월 20일 음성 모델 계열 Voxtral 3을 공개했다. 음성을 글로 바꾸는 모델과 글을 음성으로 바꾸는 모델의 차세대 버전으로, 음성 합성 모델 Voxtral TTS 3을 포함해 모두 4종이다. 4종 모두 공개 프리뷰(Public Preview) 단계다. 변경 기록은 자세한 내용을 Voxtral 3 발표문과 오디오 모델 요금 페이지에서 확인하도록 안내했다.
각 모델의 상세 내용은 모델 카드에 안내돼 있다.
| 모델 | API 이름 | 기능 |
|---|---|---|
| Voxtral TTS 3 | voxtral-mini-tts-3-0 | 음성 합성, 제로샷 음성 복제, 스트리밍, 문맥에 맞춘 전달 |
| Voxtral Mini Transcribe 3 | voxtral-mini-transcribe-3-0 | 오프라인 전사, 화자 분리, 타임스탬프 |
| Voxtral Mini Transcribe Realtime 3 | voxtral-mini-transcribe-realtime-3-0 | 실시간 전사 |
| Voxtral Small Transcribe 3 | voxtral-small-transcribe-3-0 | 오프라인 전사, 화자 분리, 타임스탬프 |
Voxtral TTS 3은 음성 합성 모델로, 제로샷 음성 복제와 스트리밍 출력, 문맥에 맞춘 전달(contextual delivery)을 지원한다고 Mistral이 설명했다. 이 계열의 앞선 TTS 모델은 3월 23일 나온 Voxtral TTS(voxtral-tts-2603)로, 제로샷 음성 복제와 다국어 지원, 실시간 스트리밍을 내세웠다.
나머지 세 모델은 음성 인식 모델이다. Voxtral Mini Transcribe 3과 Voxtral Small Transcribe 3은 녹음된 오디오를 한꺼번에 처리하는 오프라인 전사용이며, 타임스탬프와 화자 분리를 제공한다. Voxtral Mini Transcribe Realtime 3은 실시간 전사에 쓴다. 이전 세대인 Voxtral Mini Transcribe 2와 실시간 모델은 2월 4일 나왔고, 오디오 전사 API에는 그때 문맥 편향(context biasing)과 화자 분리 옵션이 추가됐다.
같은 날 Mistral은 Voice Agents도 내놨다. 마이크 입력, 음성 인식, 대규모 언어 모델, 음성 합성, 재생까지 이어지는 양방향 실시간 음성 파이프라인을 Mistral이 관리해 주는 서비스다. 개발자는 Voice Agents SDK로 접근하며, 전화 회선, 브라우저, 사용자 지정 오디오 인터페이스를 지원한다. 별도의 개요 문서와 요금 페이지가 마련돼 있다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- Mistral 업데이트 기록 페이지 변경 docs.mistral.ai