NVIDIA가 다국어 범용 음성 향상 모델 NemotronLabs RE-USE-laughter를 Hugging Face에 올렸다. 저장소는 2026년 9월 1일에 만들어졌고 마지막 수정은 10월 22일이며, 모델 페이지의 공개일(Release Date)은 Hugging Face 기준 2026년 10월 22일이다. 잡음, 울림, 소리 찌그러짐 같은 열화를 걷어 내면서 웃음소리를 더 잘 보존하도록 만든 모델이다.
매개변수는 960만 개이고 상업 이용이 가능하다. 라이선스는 OpenMDW License Agreement 1.1이며, 배포 지역은 전 세계로 표기돼 있다. 요금 정보는 없다. 이 프로젝트는 현재 외부 기여를 받지 않는다.
입력은 8kHz에서 48kHz 사이의 단일 채널 wav 파일이고, 8, 16, 22.05, 24, 32, 44.1, 48kHz 샘플링 주파수를 지원한다. 결과도 같은 범위의 wav로 나온다. 처리 대상 열화로는 부가 잡음, 잔향, 클리핑, 대역 제한, 코덱 열화, 패킷 손실, 저품질 마이크가 꼽혔다. 여러 사람이 겹쳐 말하는 경우에는 주 화자를 남기고 다른 화자를 억제하도록 학습했다.
구조와 학습 데이터
구조는 합성곱 인코더와 디코더 사이에 시간-주파수 모델링용 Mamba를 둔 형태다. 양방향 Mamba를 30층 쌓았다. 학습에는 약 2,500시간의 단일 채널, 단일 화자 음성을 썼고 데이터셋은 합성 방식으로 구성했다.
음성 원천은 LibriVox(DNS5, 영어 약 350시간), LibriTTS(약 200시간), VCTK(약 80시간), WSJ(약 85시간), Multilingual Librispeech(독일어·영어·스페인어·프랑스어, 약 450시간), CommonVoice 19.0(독일어·영어·스페인어·프랑스어·중국어 간체, 약 1,300시간)이며 Riva Speakers 내부 데이터셋도 썼다. 잡음은 Audioset과 FreeSound 약 180시간, 방 임펄스 응답은 약 6만 개, 마이크 임펄스 응답은 약 70개를 썼고 VocalSound도 포함됐다.
성능과 비교
NVIDIA는 URGENT 2025 non-blind 테스트 세트의 일부(subsets)로 다른 공개 음성 향상 모델과 비교한 표를 모델 페이지에 실었다. 기준은 원래의 무반향 깨끗한 음성이며, 전체 세트 결과는 아래와 같다.
| 모델 | 매개변수 | NISQA | PESQ | STOI | Spk | CAcc |
|---|---|---|---|---|---|---|
| Noisy(입력 그대로) | - | 1.69 | 1.34 | 0.50 | 0.73 | 81.29 |
| Sidon | 250M | 3.87 | 1.73 | 0.62 | 0.74 | 84.68 |
| UniPASE | 500M | 4.03 | 2.17 | 0.76 | 0.81 | 87.28 |
| RE-USE-laughter | 9.6M | 4.27 | 2.60 | 0.78 | 0.87 | 89.21 |
RE-USE-laughter는 이 표에서 NISQA, PESQ, STOI, 화자 유사도(Spk), 음성 인식 문자 정확도(CAcc)가 가장 높았다. Spk는 ECAPA-TDNN으로 잰 화자 유사도이고, CAcc는 음성 인식 모델 OWSM v3.1이 받아쓴 결과의 문자 정확도다. 반대로 DNSMOS는 Sidon이 3.34로 3.26보다 높았고, UTMOS도 Sidon 3.21, UniPASE 2.96, RE-USE-laughter 2.93 순이었다. SBERT는 UniPASE가 0.89로 0.88보다 앞섰고, LPS는 UniPASE와 같은 0.85였다.
사용 방법과 요구 사양
저장소를 내려받은 뒤 noisy_audio 폴더에 파일을 넣고 inference.sh를 실행하면 enhanced_audio 폴더에 결과가 저장된다. Mamba 환경 설정을 돕는 Docker 이미지가 제공되고, 대역 확장이 필요하면 resampy를 설치한다. Gradio 데모에서 오디오나 영상을 올려 바로 써 볼 수도 있다.
학습 데이터가 10초 미만 클립이어서 30초가 넘는 긴 파일이나 GPU 메모리 부족이 생기면 long_noisy_audio 폴더와 inference_chunk.sh로 나눠 처리하라고 안내한다. 런타임 엔진(Runtime Engine)은 N/A이고 추론 가속 엔진(Acceleration Engine)은 Triton이다. 하드웨어는 NVIDIA Ampere 계열의 A100, 운영체제는 Linux로 적혀 있다. NVIDIA는 용도별 데이터로 추가 시험을 거친 뒤 배포하라고 당부했다.
NVIDIA는 콘텐츠 제작자가 녹음 음질을 높이고, 연구자가 음성 합성이나 음성 대형 언어모델 학습용 음성 데이터를 정제하는 용도를 제시했다. 참고 논문으로는 'Rethinking Training Targets, Architectures and Data Quality for Universal Speech Enhancement'(NeurIPS 2026 표기)와 'One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications'(IEEE SLT 2026 표기)가 나열돼 있고, 인용 항목은 두 편 모두 arXiv 프리프린트 형식이다.
학습 데이터의 언어는 영어, 독일어, 스페인어, 프랑스어, 중국어 간체다. 모델 페이지는 언어에 구애받지 않는(language-agnostic) 성능을 내세운다. 비교 평가는 NVIDIA가 고른 한 테스트 세트의 일부 결과다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.