음성 대화 모델의 긴 자기회귀 시퀀스와 추론 비용을 줄이는 프레임워크 CoSTA(Compressed Speech Token Adaptation)가 arXiv에 공개됐다. 논문은 이중 언어 음성 대화 벤치마크에서 확장된 음성 토큰 기준 생성 속도가 약 1.7배로 빨라졌고, 전체 응답 지연 시간은 줄고 처리량은 늘었으며 응답 품질은 유지됐다고 밝혔다.
CoSTA는 이미 만들어진 모델에 나중에 덧붙이는 방식이다. 원래 쓰던 토크나이저와 디코더는 그대로 두고, 생성에 쓰는 토큰 공간과 음성 합성에 쓰는 토큰 공간을 분리한다. 대상 모델의 구조를 고쳐 새로 학습하지 않아도 되는 호환성 유지형 방식이라고 논문은 설명한다.
기존 음성 대화 모델은 생성과 합성이 같은 음성 토큰 공간을 쓴다. 그래서 시퀀스가 길어지고 추론 비용이 커진다. 낮은 비율로 토큰을 만드는 토크나이저는 시퀀스를 줄이지만 압축에 따른 품질 손실이 생길 수 있고, 토크나이저를 바꾸는 데도 비용이 든다고 논문은 지적했다.
CoSTA는 평균값으로 초기화한 어휘 확장으로 생성 토큰 공간에 압축 표현을 추가한 뒤 발음 적응과 대화 적응을 거친다. 합성 직전에는 결정적 방식으로 압축 표현을 원래 음성 토큰 공간으로 다시 확장한다.
추가 분석에서는 제한된 예산 조건에서 더 지속적인 상호작용이 나타났고, 압축률과 디코딩 효율, 품질 사이에 실용적인 절충 관계가 있었다. 다른 구조의 모델로 옮겨 적용하는 실험에서도 효과가 나타났으며, 낮은 비율 토큰화와 함께 쓸 수 있는 보완 관계도 확인했다고 논문은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.