Mistral, 음성 에이전트 SDK와 50개 언어 Voxtral 3 공개

Mistral이 음성 인식 모델, 음성 합성 모델, 음성 에이전트 개발 도구를 묶은 Voxtral 3를 공개했다. 듣고, 추론하고, 도구를 호출하고, 말하는 과정을 실시간 스트리밍 파이프라인 하나로 처리하는 음성 에이전트 SDK가 함께 나왔다.

Voxtral 3는 Mistral API로 바로 쓸 수 있고, 유럽·미국·글로벌 엔드포인트로 제공된다. Studio 플레이그라운드에서 음성 에이전트, 음성 전사, 음성 생성, 음성 복제를 시험해 볼 수 있다. 전체 스택을 사내 서버나 사설 클라우드에서 돌리려면 Mistral 팀에 문의해야 한다.

모델 구성과 요금

음성 인식 모델은 50개 언어를 지원한다. EU 공식 언어 24개와 자원이 적은 아시아·인도계 언어가 포함된다. Mini 모델은 40억 개 파라미터 규모라고 Mistral은 밝혔다. Small과 Mini 두 모델은 전문 용어나 자유 형식 텍스트를 힌트로 주어 인식률을 높이는 문맥 편향을 지원해, 미세 조정 없이 업무 전용 어휘를 다룰 수 있다고 한다. 누가 말했는지 구분하는 화자 분리도 된다.

실시간 모델은 500ms 미만 지연 시간으로 전사하며, 화자 분리와 문맥 편향을 지원한다. 지원 언어 수는 본문에서 35개 이상, 가격표 설명에서 40개 이상으로 서로 다르게 적혀 있다. 소리와 의미 정보를 함께 써서 사용자가 말을 끝냈는지 예측하는 기능이 들어 있어, 말을 끊는 오류를 줄이면서 빠르게 응답하도록 설계했다고 Mistral은 설명했다.

음성 합성 모델 Voxtral Speech 3(자료 일부에는 Voxtral Mini TTS 3로도 표기)는 35개 이상 언어와 50개 이상 방언을 지원한다. 대화 맥락에 따라 감정, 속도, 강조를 조절하고, 프롬프트로 감정·속도·강조를 직접 지시할 수도 있다. 음성 프리셋은 18개 언어로 제공되며 아랍어(에미리트, 표준), 포르투갈어(브라질), 중국어(만다린), 영어(미국, 영국), 한국어 등이 들어 있다. 발음 힌트로 특정 단어의 음소를 지정하는 기능도 있다.

음성 복제는 30분 이상의 샘플 음성을 쓴다고 음성 합성 설명에 적혀 있다. 이와 별도로 Mistral은 Pro Voice 기능을 소개했다. 기본 음성 복제로 부족한 전문 용도를 겨냥해, 30분 분량의 음성만으로 화자의 개성, 감정 폭, 말투를 언어를 넘나들며 재현한다고 한다.

음성 에이전트 SDK의 구조

SDK는 LiveKit 기반이다. Voxtral Mini Transcribe Realtime 3가 듣고 발화 종료를 감지하면, Mistral Small 같은 범용 모델이 추론과 도구 호출을 맡고, Voxtral Speech 3가 지금까지의 대화 어조에 맞춰 답한다. 단계가 앞 단계를 기다리지 않아 한 턴이 1초 안에 끝나고, 통화 중 사용자가 끼어들면 에이전트가 말을 멈춘다고 Mistral은 밝혔다.

통화 중 에이전트는 함수 호출, 웹 검색, 사내 시스템 검색을 이용해 본인 확인, 요금 조회, 예약 같은 일을 처리한다. SIP로 전화를 받고 걸며, WebRTC로 브라우저와 앱에서 동작하고, 기존 전화·IVR·컨택센터 소프트웨어와 연결된다. 단계마다 별개 모델이어서 LLM, 목소리, 언어를 바꿀 때 에이전트를 다시 짜지 않아도 된다.

Mistral은 프랑스어 의뢰서를 받은 환자가 영어로 피부과 예약을 잡는 시연을 공개했다. 에이전트가 의뢰 번호로 소견서를 조회하고 프랑스어 내용을 영어로 풀어 준 뒤 11월 3일 17시 45분 진료를 예약한다.

성능 비교는 Mistral 발표 기준

Mistral은 Small 모델이 화자 분리와 다국어 전사에서 최고 수준이며 Whisper, Scribe v2, Gemini 3.5 Transcribe를 앞선다고 밝혔다. 비교 대상은 Microsoft AI Transcribe 2, GPT Transcribe, Voxtral Mini Transcribe 3를 포함한 일곱 모델이고, 이들이 공통 지원하는 45개 언어의 FLEURS 평균 단어 오류율이 기준이다. Small은 언어를 지정했을 때 4.1%, 자동 감지했을 때 4.0%였다. 표에는 같은 수치의 항목이 또 있고 Mini는 4.6%와 4.5%였으며, Whisper large-v3는 16.0%와 14.9%였다. 일본어·한국어·태국어·중국어는 문자 오류율(CER)을 썼다.

화자 분리 평균 cpWER은 Small이 18.4%, Mini가 18.6%였고, 다음으로 Pyannote Orchestrator가 19.0%였다. 비교 모델 중 가장 높은 값은 38.4%였다. Earnings-22 핵심어 재현율은 문맥을 줄 때 Small이 94.6%, 문맥이 없을 때 81.4%였다. 실시간 모델은 FLEURS 35개 언어에서 지연 설정에 따라 오류율이 달랐다. 자체 평가이며 독립 검증 결과는 아니다.

Mistral은 Voxtral Speech 3가 OpenAI TTS-1, Deepgram, ElevenLabs Flash, Gemini Flash 등 비슷한 모델보다 저렴하다고 밝혔다. 숫자와 고유명사를 다루는 BeSimple AI의 Voice Code Bench는 영어 프롬프트 300개를 시스템마다 목소리 2개로 생성해 비교했다. 발음 제어, 다국어, 표현력 영어 평가도 같은 가격 대비 품질 방식이다. 평가는 2026년 10월 20일 생성됐고 심사 모델은 모두 gemini-3.8-flash였다. 발음 제어와 다국어, 표현력 평가는 Mistral 내부 평가다.

데이터 주권과 배포

Mistral은 Voxtral 3를 주권 배포(sovereign deployment)를 위해 설계했다고 밝혔다. EU에서 호스팅하는 API나 자체 인프라에서 쓸 수 있고, 이 경우 음성을 처리하는 위치, 데이터 취급, 대화 보관 여부를 조직이 통제할 수 있다. 콜센터, 가상 비서, 핸즈프리 Copilot이 주요 대상이다.

한국어는 음성 프리셋 18개 언어에 들어 있고, 인식 성능 비교에서도 FLEURS 45개 언어와 실시간 35개 언어 목록에 KO가 포함된다. 한국어 평가는 문자 오류율을 썼다. 다만 한국어 방언 지원이나 국내 제공 조건은 Mistral이 따로 밝히지 않았다. 기업이 음성 에이전트를 도입할 때는 단계별 모델 교체가 되는 구조와 자체 배포 선택지가 비용과 데이터 통제 판단의 기준이 될 수 있다.