Gemma 4 음성 인코더, 가중치 그대로 걸프 아랍어 인식 시험

Gemma 4의 음성 인코더를 한 번도 학습시키지 않고 사우디·걸프 아랍어 음성 인식에 쓰면 어디까지 가능한지를 따진 연구가 arXiv에 공개됐다(2026-10-18 게시). 연구진은 이 인코더의 가중치를 그대로 둔 채 뒤에 붙이는 판독부만 학습시켰고, 코드와 공개 데이터셋 결과도 함께 내놓았다.

대상은 Gemma 4와 EmbeddingGemma 2가 함께 쓰는 3억500만 매개변수의 오디오 인코더다. 두 모델의 인코더는 마지막 투영층만 다르다. 연구진은 인코더 가중치를 바꾸지 않는 조건에서 시스템 두 가지를 구성했다.

동결 시스템과 어댑터 시스템

동결 시스템은 인코더 여러 층의 출력을 섞어 읽는 2260만 매개변수의 CTC 판독부만 학습한다. 어댑터 시스템은 여기에 310만 매개변수의 저랭크 어댑터를 더하고, 4150만 매개변수의 CTC/어텐션 혼합 판독부와 하위 단어 언어 모델을 쓰는 결합 디코딩을 적용했다.

비교 대상은 20.7억 매개변수의 Cohere Transcribe Arabic이다. 연구진은 이 모델을 같은 음성으로 다시 돌려 측정했다. 동결 시스템은 단어 오류율(WER)에서 뒤졌지만, 사람이 전사한 여섯 조건 가운데 다섯에서 문자 오류율(CER)이 통계적으로 구분되지 않았다. CPU에서 탐욕 디코딩으로 돌리면 동결 시스템이 Cohere 모델보다 3.4배 빨랐다.

어댑터 시스템은 공개된 사우디 고객센터 통화에서 WER이 19.20%로, Cohere의 19.27%와 통계적으로 구분되지 않았다. 깨끗한 에미리트 음성에서도 WER이 Cohere와 통계적으로 구분되지 않았고, 전화 음질로 부호화한 에미리트 음성에서는 유의하게 나았다. Cohere Transcribe Arabic보다 이 데이터셋들의 여섯 조건 모두에서 CER이 유의하게 낮았으며, SADA로 미세 조정한 6억 매개변수 인식기보다는 여섯 조건 모두에서 WER이 좋았다. 긴 사우디 음성에서는 WER이 여전히 Cohere에 뒤졌다.

블라인드 평가와 속도

사람이 교정한 공개 콜센터 표본으로 한 블라인드 평가에서 어댑터 시스템은 15개 시스템 중 4위였다. 상용 API 세 곳이 앞섰지만 유의한 차이는 한 곳뿐이었고, 직접 구축해 쓸 수 있는 다른 시스템보다는 점추정치가 앞섰다. 최적화한 결합 디코더로 GPU 한 대에서 실시간의 139배 속도를 냈다.

연구진은 기계가 만든 초안을 사람이 고쳐 만든 정답 문장이 초안을 쓴 시스템에 유리하게 작용한다는 점도 보였다. 정답을 이렇게 만든 평가에서는 그 시스템의 점수가 높게 나올 수 있다는 뜻이다.