전이중 음성 모델, 긴 대화서 무너지는 원인 분석…재학습 없는 해법 제시

듣는 동안에도 말할 수 있는 전이중 음성 모델이 수십 분 이어지는 대화에서 무너지는 원인을 분석한 논문이 2026년 10월 23일 arXiv에 올라왔다. 연구진은 긴 대화를 평가하는 벤치마크 FD-LHB(Full-Duplex Long-Horizon Benchmark)를 만들어 최근 전이중 모델 5종을 시험했고, 평가한 모델은 모두 결국 성능이 떨어지거나 문맥 한도를 다 써 버렸다고 밝혔다.

연구진은 원인 진단에 맞춘 해법 두 가지도 제안했다. 두 방법은 슬라이딩 윈도 모델에서 확인한 두 요인, 곧 초기화 앵커 제거와 모델 자신의 출력에 의한 반복 강화에 맞춘 것이다. 모델을 다시 학습하지 않고도 최대 1시간 길이의 대화 재생에서 대화 붕괴를 크게 줄였고, 실시간으로 작동했다고 연구진은 밝혔다.

문맥이 빨리 차는 구조와 붕괴 유형

전이중 모델은 상대 말을 듣는 중에도 매 프레임마다 토큰을 하나씩 생성한다. 그래서 문맥 창이 몇 분 안에 바닥난다는 것이 연구진의 설명이다. 기존 벤치마크는 한 번의 발화나 몇 차례의 대화만 평가해 이 문제가 드러나지 않았다고 연구진은 지적했다.

FD-LHB는 길게 재생한 대화와, LLM을 상대로 한 실시간 대화에서 모델을 시험한다. 전체 대화 기록을 유지하는 모델은 문맥이 다 차기 전에 먼저 품질이 떨어지는 경우가 많았다. 슬라이딩 윈도 방식 모델은 문맥 소진을 피하는데도 여전히 같은 말 반복, 침묵, 알아들을 수 없는 소리에 빠졌다.

슬라이딩 윈도 모델에서 연구진은 두 가지 요인을 짚었다. 알아들을 수 없는 소리와 침묵은 윈도가 맨 처음 KV 항목을 버리는 초기화 앵커 제거(Initialization-Anchor Eviction)와 관련이 있다. 반복은 모델 자신의 최근 출력이 이를 강화한다.

재학습 없는 두 가지 보정

• 초기화 앵커 고정(IAP): 윈도가 버리던 맨 처음 KV 항목을 계속 보존한다.
• 이중 반복 페널티(DRP): 따라 말하기를 억제하면서 침묵이 길어지는 것은 막는다.

연구진은 두 방법을 함께 적용한 결과가 이 진단을 뒷받침한다고 밝혔다.