Tencent, 중국어·영어 실시간 동시통역 Hy-SimulMT 공개, 지연 3초

Tencent Hunyuan이 중국어와 영어 사이의 실시간 동시통역 모델 Hy-SimulMT를 공개했다. 공식 페이지의 공지 날짜는 2026년 10월 26일이다. 모델은 들어오는 음성을 끊김 없이 받으면서 화자가 말하는 동안 번역문과 번역 음성을 함께 내놓는다.

모델은 Hugging Face와 ModelScope에서 내려받는다. 기본형 Hy-SimulMT-30B-A3B는 번역문만 출력하고, Interleave 변형은 원문과 번역문을 함께 출력한다. 두 계열 모두 양자화한 FP8판과 GGUF판이 있어 모두 여섯 가지다. 안드로이드와 iOS용 Hy Translate 앱에서도 써 볼 수 있다. 회사는 요금을 밝히지 않았다.¹

성능 평가

Tencent는 공개 벤치마크 RealSI의 긴 음성 평가에서 스트리밍 번역 지연을 재는 StreamLAAL이 약 3초로, 그래프에 표시된 시스템 중 가장 낮았다고 밝혔다. 번역 품질 점수인 GEMBA는 비교한 오픈소스 모델 전부와 상용 API 5개 중 4개보다 높았다고 한다. StreamLAAL은 첫 음성이 나올 때까지의 시간과 같지 않다고 회사는 설명했다.

짧은 음성 벤치마크 4종의 점수도 공개했다. 점수가 높을수록 좋다.¹

Tencent에 따르면 Hy-SimulMT는 표의 다른 오픈소스 모델보다 FLEURS, ACL6060, RealSI-Sentence에서 높았고, RealSI-Sentence 84.7점은 표에 오른 전체 시스템 중 최고다. 반면 CoVoST2는 75.5점으로 Qwen3.8-LiveTranslate(82.1)와 Confucius4(76.8)에 못 미친다. FLEURS와 ACL6060에서는 Gemini3.5-LiveTranslate가 더 높다.¹

통역사와의 비교

Tencent는 2026년 9월 이후 온라인에 올라온 중국어·영어 음성 18편으로 실제 환경 평가도 했다. 편당 약 6분이며 연설, 인터뷰, 회의를 10개 분야에서 골랐다. 분야는 소프트웨어·AI, 의학, 제조·에너지, 자연과학, 농업·식품, 경영, 법률, 교육, 문화·관광, 스포츠·생활이다. 실무 경력이 있는 통역사 6명이 같은 음성을 통역했다. 3명은 CATTI 1급, 3명은 2급 자격 보유자이며 등급별로 최고 점수를 비교에 썼다.

회사는 이 소규모 평가에서 Hy-SimulMT가 전문 통역사와 비슷한 번역 품질을 내면서 응답은 자주 더 빨랐다(지연이 낮았다)고 밝혔다. 다만 결과는 이번 평가의 표본, 참여 통역사, 설정에만 해당하며 음성 품질이나 목소리 유사도 같은 다른 면의 종합 평가가 아니라고 단서를 달았다.

광둥외국어대 통번역대학 왕웨이웨이 부원장은 이 시스템이 지연을 줄이려고 먼저 말한 뒤 고쳐 말하는데, 그 정정이 통역사의 자기 수정처럼 들린다고 평가했다. 그는 위험이 낮은 상황에서 AI 동시통역이 '이해 보조'에서 '쓸 만한 소통'으로 가고 있다고 말했다. 광둥외국어대 전 총장이자 마카오 밀레니엄 칼리지 학장, 중국번역협회 전 상무부회장 및 통역위원회 주임인 중웨이허 교수는 음성 인식 안정성, 응답 속도, 번역 음성 품질에서 눈에 띄는 능력을 보인다고 평가했다. Tencent는 엄격한 책임이나 전문가 검토, 중대한 판단이 필요한 상황에서는 전문 통역사가 여전히 중요하다고 덧붙였다.¹

음성 복제

음성 복제를 실시간으로 지원해 원래 화자의 목소리 특징을 살린 채 번역 음성을 만든다. 영어에서 중국어로 가는 시연에는 화자 3명이 나오며, 목소리가 구분되어 누가 말하는지 알아듣기 쉽다고 회사는 설명했다. 시연 영상은 오프라인 재생본이어서 재생 시점을 실제 지연으로 읽어서는 안 된다고 밝혔다.¹

직접 구동하는 방법

GitHub 저장소는 추론 서비스 SimulInfer와 학습 도구 SimulTrain을 제공한다. 음성 출력과 음성 복제에는 별도로 설정한 음성 합성 서비스가 필요하다.

vLLM으로 구동하려면 Python 3.12 이상, Git, 모델을 올릴 만큼 메모리가 충분한 NVIDIA GPU, CUDA 호환 드라이버가 있는 Linux 머신이 필요하다. 기존 환경을 쓸 때는 HYV3ForCausalLM을 지원하는 vLLM 0.31 이상에 simulst를 설치한다. 새 환경에서는 저장소를 받아 SimulInfer 디렉터리에서 deploy.sh에 --install-server와 --model 옵션을 주면 의존성 설치부터 vLLM과 웹·API 서비스 실행까지 한 번에 된다. 첫 실행은 의존성과 모델을 내려받는다.

서비스가 준비되면 기본 포트 8080의 웹 페이지에서 번역 방향을 고르고 음성 파일을 올리거나 마이크를 켠다. 원격 마이크 사용에는 HTTPS가 필요하다. 웹페이지, 파일 업로드, 실시간 WebSocket을 제공하고 /docs에 API 문서가 있다. 로컬 모델 포트의 기본값은 8800이다.

llama.cpp 서버에 GGUF 모델을 올려 둔 경우에는 Python 3.11 이상에서 serve_llamacpp.py를 실행한다. llama.cpp 모델 서버의 기본 포트는 8080이고, 브리지의 웹·API 포트는 8094여서 웹 페이지는 8094 포트에서 열린다. 번역문만 내는 모델은 MODEL_TYPE=target_only, 원문과 번역문을 함께 내는 모델은 source_target으로 지정한다. SimulTrain은 내려받은 체크포인트에서 이어서 학습하는 도구로, 별도 Python 환경을 쓰라고 안내한다.

공개된 구성은 중국어와 영어 두 언어 사이의 양방향 통역이다. 앞서 소개한 비교 결과는 모두 Tencent가 직접 측정해 발표한 것이다.¹