네팔어·영어 섞어 말하는 음성 인식 벤치마크 공개, 합성 데이터로 오류 줄여

네팔어와 영어를 섞어 말하는 대화를 평가하는 새 음성 인식 벤치마크가 공개됐다. 연구진은 팟캐스트에서 가져온 자연스러운 발화 13,044개, 총 15.45시간 분량을 정리했으며, 테스트 10,214개와 개발 2,830개로 나눴다. 기계 번역이 섞여 들어간 사례와 음향이 반복되는 오류 구간은 검수해 걸러냈다고 밝혔다.

검증한 전사문, 타임스탬프, 에피소드 메타데이터와 재구성 스크립트도 함께 공개했다. 2026-10-22자 arXiv 논문에 실린 연구다.

데이터를 어떻게 마련했나

연구진이 꼽은 어려움은 두 가지다. 데바나가리 문자와 로마자가 부적절하게 섞이는 문자 혼동, 그리고 언어가 바뀌는 지점에서 오류가 높아지는 문제다. 실제 코드 전환 음성은 수집과 표기에 비용이 많이 들어 지도 미세 조정용 데이터를 구하기 어렵다.

연구진은 두 단계 적응 방식을 시험했다. 1단계에서는 화자 여러 명과 음성 합성 엔진 두 개로 만든 0.95시간 분량의 합성 데이터로 지도 미세 조정을 한다. 2단계에서는 전사 보상과 문자 보상을 쓰는 GRPO를 적용한다.

합성에서 실제 음성으로 전이된 정도

성능 향상은 대부분 1단계에서 나왔다. 합성 데이터로 미세 조정한 결과 실제 대화 음성의 혼합 오류율(MER)은 23.40%에서 21.52%로 1.88%포인트 낮아졌고, 언어 전환 지점 오류율(SPER)은 35.89%에서 28.77%로 7.12%포인트 줄었다.

GRPO는 테스트 발화 173개(1.69%)에서 작지만 통계적으로 유의한 변화를 냈다. 영어 문자 혼동은 6.45%에서 6.36%(p ≤ 0.001)로 내려갔고, SPER은 1단계의 28.77%에서 28.70%(군집 보정 p = 0.022)로 소폭 낮아졌다.

절제 실험에서는 보조 문자 보상 항을 넣은 경우와 MER만 최적화한 경우의 성능이 동일했다. 지도 미세 조정이 끝난 인코더·디코더 설정에서 합성 데이터의 롤아웃 후보 그룹은 문자 분산이 거의 0이었다.

단일 언어 벤치마크에서는 지도 미세 조정으로 네팔어 MER이 2.71%포인트 개선됐고, GRPO 이후 18.42%로 안정됐다. 기준 모델과 비교하면 2.38%포인트 이득이다. 영어 어휘 단어 오류율은 3.38%로, 기준 3.33%와 비슷한 수준을 유지했다.