연구진이 옴니 모달 대규모 언어모델(LLM)의 장문 다화자 음성 인식 능력을 재는 벤치마크 Omnilingual-MsASR를 arXiv 논문으로 공개했다. 논문의 발행일은 2026년 10월 21일이다. 6개 언어를 다루며, 녹음은 최대 30분, 한 장면의 화자는 최대 20명이다.
이 벤치마크는 같은 내용의 오디오와 영상을 나란히 입력으로 제공한다. 모델이 입력 방식이 달라도 일관되게 인식하는지, 두 양식의 보완 단서를 활용하는지 평가하려는 설계다. 연구진은 현재 옴니 모달 LLM의 능력 한계를 파악하고 이후 모델 개발의 방향을 잡는 것이 목적이라고 밝혔다.
연구진은 오디오와 영상 이해에서 옴니 모달 LLM이 눈에 띄게 발전했지만, 길고 화자가 여럿인 영상에서는 어려움을 겪는다고 지적했다. 영상 전체를 이해하는 일, 누가 무엇을 언제 말했는지 가려내는 일이 특히 약하다는 것이다.
연구진이 주요 옴니 모달 LLM을 폭넓게 평가한 결과 성능에 큰 병목이 드러났고, 모델의 tcpWER가 자주 100%를 넘었다. 연구진은 세밀한 시간 위치 파악, 화자 구분, 양식 간 시너지를 이후 옴니 모달 파운데이션 모델의 핵심 과제로 꼽았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.