연구진이 소형 다국어 음성 인식 모델의 성능을 높이는 학습 방법 CAFE(Confined-Adapter Feature distillation)를 제안했다. Open ASR Leaderboard에서 평균 단어 오류율(WER)을 8.55%에서 8.02%로 낮췄고, 영어 성능이 체크포인트마다 흔들리는 폭도 줄였다고 밝혔다.
파라미터 2억 5,400만 개인 이 모델은 6억 개 규모 교사 모델에 WER 2포인트 뒤진다. 그러면서도 24개 언어, 48개 테스트셋에서 훨씬 큰 모델들과 견줄 만한 수준이라고 연구진은 밝혔다. 학습 데이터는 56만 4천 시간 분량이다.
지식 증류에서는 출력 확률을 맞추는 로짓 증류에 중간 표현을 맞추는 특징 증류를 더하면 효과가 쌓일 것이라고 보통 기대한다. 연구진은 소형 다국어 음성 인식에서 흔히 쓰는 두 가지 특징 손실에서 이 기대가 맞지 않았다고 밝혔다. 투영 기반 손실의 기울기는 본래 과제의 기울기와 직교했고, 유사도 기반 손실인 CKA(Centered Kernel Alignment)의 기울기는 과제 기울기와 약하게만 정렬됐다.
CKA는 영어 이외 언어의 WER을 낮췄지만 데이터가 풍부한 영어 성능을 희생시켰다. CKA 기울기는 공유 인코더에서 영어가 쓰는 부분공간과 97.5~99.5% 겹쳤다. 우연히 겹칠 때의 비율은 약 81%다.
CAFE는 CKA 기울기를 영어가 우회하는 어댑터에만 한정한다. 영어는 이 어댑터를 거치지 않으므로, 연구진은 영어와 다른 언어 사이의 상충을 손실이 아닌 파라미터에서 다룬다고 설명했다.
어댑터만 늘려 용량을 맞춘 대조군의 평균 WER은 8.51%로, CAFE의 8.02%보다 높았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.