옴니 모달 LLM, 질문별로 입력 골라 Qwen2.5-Omni 토큰 41%만 쓰는 기법

연구진이 옴니 모달 대규모 언어 모델(Omni-LLM)의 추론 비용을 줄이는 방법을 논문으로 제안했다. 모델은 그대로 두고 질문마다 텍스트, 오디오, 영상 중 필요한 입력만 골라 넣는 방식이다. 논문은 2026년 10월 22일 arXiv에 올라왔다.

연구진은 Qwen2.5-Omni에서 이 방식이 모든 입력을 넣는 기본 설정과 같거나 더 높은 정확도를 내면서 입력 토큰은 약 41%, 지연 시간은 약 39%, 금전 비용은 약 61%만 필요하다고 밝혔다. 평가는 WorldSense 벤치마크에서 Qwen2.5-Omni와 Qwen3-Omni로 했고, 비용 기준은 입력 토큰, 지연 시간, 금전 비용 세 가지였다.

옴니 모달 모델은 여러 멀티모달 입력을 함께 처리해 이해력과 추론 능력이 높지만, 추론 비용이 자주 크게 든다. 연구진은 추가 입력이 주는 이득이 질문마다 다르다고 관찰했고, 이 때문에 입력 구성을 고정하면 비효율이 생길 수 있다고 설명했다.

연구진은 이를 정확도와 비용 사이의 최적화 문제로 정리하고, 비용을 반영해 학습하는 방식으로 입력 선택기를 만들었다. 두 모델 모두에서 정확도와 비용의 균형이 일관되게 나아졌으며, 모든 입력을 제공하는 표준 설정보다 정확도가 높아질 수도 있다고 연구진은 밝혔다.