NVIDIA가 10월 28일(현지시간) 40개 언어 음성을 글로 옮기는 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 무료로 공개했다. 오픈 소스 음성 데이터셋 Granary의 두 번째 버전인 Granary v2도 함께 내놨다.1
NVIDIA는 이 모델이 31개 언어와 영어 사이의 번역을 처리하고, 최대 1시간 길이 녹음을 다루며, 화자를 최대 8명까지 구분한다고 밝혔다. 개발자는 Hugging Face에서 데모를 써 보고 체크포인트를 내려받아 미세 조정할 수 있다. 모델 사용에 요금은 없다.1,2
한 번에 처리하는 구조
기존 전사 시스템은 음성 구간 검출, 받아쓰기, 화자 구분, 내용 질의응답을 단계별로 거친다. Transcribe는 이 과정을 모델 한 번의 처리로 끝낸다고 SiliconANGLE는 전했다. 최대 100시간 분량 오디오를 읽고 내용에 관한 질문에 답할 수 있다는 설명도 같은 보도에 있다.
모델은 총 300억 개 매개변수 중 40억 개가 활성화되는 전문가 혼합(mixture-of-experts) 구조다. 사용자는 프롬프트로 작업을 지시한다. "녹음을 받아쓰고 화자를 표시해 줘", "이 오디오를 영어로 번역해 줘", "회의에서 어떤 결정이 나왔나" 같은 지시를 쓰거나 섞을 수 있고, 같은 체크포인트가 프롬프트에 따라 다른 결과물을 낸다. 전문 용어나 대화 맥락을 미리 주면 정확도가 오른다.2
TechCrunch에 따르면 한계도 있다. 이 모델은 녹음된 오디오만 처리하고 실시간 스트림은 지원하지 않는다.1
성능과 구동 환경
NVIDIA는 이 모델이 벤치마크에서 경쟁 모델을 앞선다고 주장하며, Hugging Face의 Open ASR 리더보드를 언급했다. 회사가 밝힌 단어 오류율은 기본 상태에서 30.8%이고, 신중하게 프롬프트를 쓰면 20.8%로 내려간다. 인도 의료 음성 벤치마크인 Eka Care에서 미세 조정한 뒤에는 11.8%를 기록했다. 모두 회사가 제시한 수치다.1,2
GPU 한 장으로 돌아간다고 NVIDIA는 밝혔다. 로보틱스 제어기 Jetson AGX Thor, 데스크톱 AI 슈퍼컴퓨터 DGX Spark, 데이터센터용 Blackwell GPU가 대상이다. Blackwell Server Edition GPU에서 NVFP4 정밀도와 4분의 1 모델 압축을 적용하면 100시간 분량 오디오를 3분 안에 처리한다는 것이 회사 설명이다.2
Granary v2 데이터셋
Granary v2는 NVIDIA NeMo Curator로 만들었다. 공개 목록(manifest)은 16개 소스 말뭉치에서 나온 48개 언어, 총 463,062시간 분량이며, 1세대는 25개 언어였다. 이 수치는 데이터셋 공개분의 규모이고 Transcribe의 전체 학습 구성이나 샘플링 비중을 뜻하지 않는다.2
녹음마다 전사본이 세 가지 스타일로 제공되며 프롬프트로 원하는 형태를 요청할 수 있다. 하나는 "음", "어" 같은 군말까지 모두 담고, 하나는 숫자를 기호로 바꾸는 식으로 표기를 줄이며, 나머지 하나는 군말을 뺀다. NVIDIA는 이 모델과 Granary v2, NeMo Speech 모델 같은 도구로 업종별 전문 용어를 언어마다 인식하도록 앱을 맞출 수 있다고 밝혔다. 주요 대상은 업무 회의와 의료 전사 앱 개발자다.1,2
NVIDIA의 기존 오픈 웨이트 음성 모델로는 11억 개 매개변수의 Parakeet이 있다. 이 모델은 음성 인식 모델로 25개 언어와 변형을 지원하고 한국어(ko-KR)도 포함하며, NVIDIA Community Model License 아래 상업 이용이 가능하다. 같은 시기 Mistral은 Voxtral 3을, ElevenLabs는 음성 에이전트용 Realtime을 내놨다.1,3