NVIDIA가 배경 잡음과 잔향 등 음성 결함을 한 모델로 복원하는 NemotronLabs RE-USE를 Hugging Face에 공개했다. 매개변수는 960만 개로, FP32 가중치 용량이 38.4MB에 그친다. 라이선스는 OpenMDW License 1.1이며 상업적 이용이 가능하다.
모델은 Hugging Face 저장소로 내려받을 수 있고, 음성이나 영상을 올려 시험하는 Gradio 데모도 있다. 배포 지역은 전 세계다. 주요 사용자는 녹음 음질을 높이려는 콘텐츠 제작자와 음성 합성·음성 LLM 학습용 데이터셋을 정제하는 연구자다. NVIDIA 연구진이 RE-USE 프로젝트의 일부로 개발했고, 논문 저자로 Szu-Wei Fu, Rong Chao, Xuesong Yang 등이 올라 있다.1,2
복원하는 결함과 입출력 조건
복원 대상은 배경 잡음, 잔향, 클리핑(음성 찢어짐), 대역폭 제한, 코덱 아티팩트, 패킷 손실, 저품질 마이크 왜곡이다. 설계 목표는 말의 명료도와 화자 정체성을 지키는 것이다. 여러 사람이 겹쳐 말하는 음성에서는 주요 화자를 남기고 나머지를 억제하도록 학습해 인터뷰와 팟캐스트에 맞는다. 웃음소리 보존을 강화한 NVIDIA-NemotronLabs-RE-USE-laughter 버전도 따로 제공한다.
입출력은 모노 채널 .wav 파일이며 8kHz에서 48kHz까지 받는다. 8, 16, 22.05, 24, 32, 44.1, 48kHz를 지원하고 샘플링 속도별로 모델을 바꿀 필요가 없다. 대역폭 확장은 스크립트의 BWE 인자로 목표 대역폭을 정하면 쓸 수 있으며 resampy 설치가 필요하다.
30초가 넘거나 GPU 메모리가 모자라면 청크 방식 스크립트(inference_chunk.sh)를 쓴다. 파일을 겹치는 구간으로 나눠 처리하며 chunk_size_in_seconds와 hop_length_portion을 설정할 수 있다. 학습 클립이 10초 미만이어서 긴 파일은 청크 처리를 권한다. 공식 추론 환경은 리눅스와 NVIDIA 암페어 GPU(A100 등)이며, Triton 추론 서버를 활용해 가속한다.1,2
구조와 학습 데이터
구조는 합성곱 인코더·디코더와 30계층 양방향 Mamba 코어로 이뤄진다. Mamba는 상태공간 모델 기반이라 연산량이 입력 길이에 비례해 늘어나는 반면, 전체 셀프 어텐션은 제곱으로 늘어난다.
학습에는 합성 방식으로 만든 약 2500시간 분량을 썼고, 실내·마이크 임펄스 응답을 입혔다. 학습 언어는 영어, 독일어, 스페인어, 프랑스어, 중국어로, 특정 언어에 묶이지 않는 범용 모델을 지향한다. NVIDIA 내부 데이터셋인 Riva Speakers는 규모를 밝히지 않았다.1,2
| 데이터 | 규모 |
|---|---|
| DNS5 LibriVox(영어) | 약 350시간 |
| LibriTTS | 약 200시간 |
| VCTK | 약 80시간 |
| WSJ | 약 85시간 |
| Multilingual LibriSpeech(독·영·스·프) | 약 450시간 |
| CommonVoice 19.0(독·영·스·프·중국어 간체) | 약 1300시간 |
| NVIDIA 내부 Riva Speakers | 내부 데이터셋, 규모 미공개 |
| 잡음(AudioSet, FreeSound) | 약 180시간 |
| 시뮬레이션 실내 임펄스 응답 | 약 6만 개 |
| 마이크 임펄스 응답(MicIRP) | 약 70개 |
성능 주장과 한계
NVIDIA는 비블라인드 조건의 URGENT 2025 테스트 세트에서 매개변수 2억5000만 개의 Sidon, 5억 개의 UniPASE보다 작은데도 PESQ, STOI, 화자 유사도, 음성 인식 정확도 4개 지표에서 앞선다고 밝혔다. 다만 모델 카드 표에서는 PESQ가 Sidon 3.34, RE-USE 3.29로 나오는 등 일부 지표에서 RE-USE가 앞서지 않는 항목이 있어, 이 주장은 모든 세부 수치와 일치하지 않는다. 16kHz 기준 음성 인식 문자 정확도는 잡음 원본 76.5%에서 RE-USE 복원 후 87.1%로 올랐다. 44.1kHz 화자 유사도는 RE-USE가 0.90, Resemble Enhance가 0.57이다.
평가는 비블라인드(non-blind) URGENT 2025 테스트 세트에서 원본 무잔향 깨끗한 음성을 기준으로 했다. 지표는 PESQ, STOI, SpeechBERTScore, LPS, 화자 유사도(ECAPA-TDNN), 문자 정확도(OWSM v3.1 ASR)다. 앞의 76.5%에서 87.1%는 16kHz 기준 수치이고, 모델 카드의 URGENT 2025 non-blind 하위셋에서는 문자 정확도가 잡음 원본 81.29, Sidon 84.68, UniPASE 87.28, RE-USE 89.17로 따로 제시돼 있다. 두 묶음은 조건이 달라 서로 바꿔 비교할 수 없다.
화자를 나누거나 식별하는 기능은 없어서 음원 분리와 화자 분리는 별도 도구가 필요하다. 모델 카드는 사용 사례마다 추가 테스트와 검증을 거치라고 명시했다. 이 프로젝트는 현재 외부 기여를 받지 않는다.
공개 시점은 자료마다 다르다. 모델 카드에는 Hugging Face 출시일이 2026년 10월 22일로 적혀 있고, AI타임스는 NVIDIA AI 공식 계정이 10월 30일(현지시간) 이 모델을 소개했다고 보도했다. 논문은 NeurIPS 2026(훈련 목표·구조·데이터 품질 재고)과 IEEE SLT 2026(다양한 실시간 지연 시간에 대응하는 범용 음성 향상)에 실렸다.1,2
AI타임스는 모델이 작아 음성 인식·생성 모델과 함께 쓰는 GPU 파이프라인에서 부담을 줄일 수 있다고 밝혔다. 팟캐스트·영상 음질 개선, 음성 인식 전처리 같은 용도가 거론된다.1
출처
- 엔비디아, 잡음·울림 제거하는 초경량 음성 복원 AI 공개…대형 모델 능가 aitimes.com
- nvidia/NVIDIA-NemotronLabs-RE-USE · Hugging Face huggingface.co