음성 모델 CNN을 2층으로 대체, 연산 3%로 추론 20% 단축

HuBERT, data2vec, WavLM 같은 음성 자기지도 모델의 앞단 합성곱 신경망(CNN) 층을 2층짜리 단순 특징 추출기로 대체하는 연구가 2026년 10월 17일 arXiv에 공개됐다. 연구진은 이 추출기가 CNN 연산량(MAC)의 3%만 쓰고, 전체 추론 시간을 20% 넘게 줄인다고 밝혔다.

연구진은 SUPERB(-SG) 벤치마크 과제 실험에서 이 모델이 원래 교사 모델의 성능을 대체로 유지했다고 밝혔다. 학습에 쓰지 않은 wav2vec 2.0에도 붙여 쓸 수 있었다고 한다.

작동 방식과 착안점

음성 자기지도 모델은 대체로 CNN 층이 음성의 국소적 특징을 뽑고, 그 뒤에 트랜스포머 층이 이어지는 구조다. 연구진은 이 CNN 층이 연산 부담이 크면서도 모델마다 서로 비슷하고, 훨씬 단순한 멜 스펙트럼 특징과도 닮았다는 점에 주목했다.

연구진은 CNN을 단순한 범용 모델로 바꿀 수 있다는 가설을 세우고, 하나 또는 여러 교사 모델(HuBERT, data2vec, WavLM)로부터 지식 증류해 2층 특징 추출기를 학습시켰다.