중국 Tencent(텐센트)에서 AI를 개발하는 훈위안(Hunyuan) 팀은 2026년 10월 26일(중국 시간), 동시통역 AI 모델 'Hy-SimulMT'를 공개했습니다. 화자가 말하는 도중부터 통역을 시작해 번역한 텍스트와 음성을 내놓습니다. 중국어와 영어의 양방향을 지원하며, 번역한 음성을 화자의 목소리와 비슷하게 내는 '목소리 재현(보이스 클론)'도 지원합니다. 모델 가중치는 상업적으로도 쓰기 쉬운 Apache-2.0 라이선스로 Hugging Face 등에 공개했습니다.
Hy-SimulMT란
Hy-SimulMT는 회의, 강연, 인터뷰처럼 현장에서 오가는 대화에서 쓰는 것을 염두에 둔 모델입니다. 음성을 받으면서 계속 통역을 내놓습니다.
동시통역이 어려운 이유는, 말이 끝나기를 기다리면 의미를 파악하기 쉬워지는 대신 듣는 사람을 기다리게 만든다는 데 있습니다. Tencent는 번역 품질과 속도의 균형을 중시해 개발했다고 밝혔습니다. 평가에 참여한 광둥외어외무대학의 통역 전문가는 지연을 줄이기 위해 먼저 통역을 시작하고 나중에 고쳐 말하는 모습이 사람 통역사의 고쳐 말하기와 비슷하다고 평가했습니다.
성능
Tencent는 긴 음성으로 동시통역을 평가하는 테스트 'RealSI'에서 다른 회사의 오픈 모델 및 상용 API와 비교했습니다.
- 지연 지표(StreamLAAL)는 약 3초로, 비교 대상 중 가장 짧았습니다. 다만 첫 음성이 나오기까지의 시간과는 다른 지표입니다
- 번역 품질 점수(GEMBA)는 비교한 오픈 모델을 모두 앞섰고, 상용 API 5개 중 4개를 앞섰습니다
- 짧은 음성으로 진행한 4가지 테스트에서는 문장 단위로 통역하는 RealSI-Sentence에서 84.7로 표에서 가장 높은 점수를 기록했습니다
또 2026년 9월 이후 온라인에 공개된 중국어와 영어 음성 18개(각 약 6분)를 사용해, 중국의 번역 자격 CATTI 1급과 2급을 가진 통역사 6명과 비교했습니다. 소프트웨어, 의료, 법률, 교육 등 10개 분야의 강연과 회의입니다. Tencent는 전문 통역사와 비슷한 품질로, 많은 경우 더 빠르게 통역할 수 있었다고 밝혔습니다. 다만 이 비교는 소규모이며 이번 음성과 조건에 한정된 결과라고 단서를 달았습니다. 모두 Tencent 자체 평가입니다.
화자의 목소리 그대로 통역
Hy-SimulMT는 원래 화자의 목소리 특징을 살린 채 번역한 말의 음성을 만들 수 있습니다. 여러 사람이 말하는 장면에서도 누가 말하는지 구별하기 쉬워진다고 합니다. 공식 페이지에서는 세 사람이 말하는 영어 음성을 중국어로 통역하는 데모 등을 공개하고 있습니다.
사용 방법과 구동 환경
공개된 모델의 이름은 'Hy-SimulMT-30B-A3B'입니다. 종류는 다음과 같습니다.
- 번역만 내놓는 모델과, 원래 발언의 텍스트와 번역을 함께 내놓는 'Interleave' 버전
- 각각에 가볍게 만든 FP8 버전과 GGUF 형식 버전
GitHub에서는 구동용 'SimulInfer'와 학습용 'SimulTrain'도 공개했습니다. SimulInfer에는 웹 화면이 있어 음성 파일을 업로드하거나 마이크로 입력해 시험해 볼 수 있습니다. 표준 절차로는 NVIDIA GPU를 탑재한 Linux 머신이 필요하며, 가중치 크기는 약 57GiB입니다. GGUF 형식을 구동하기 위한 llama.cpp 지원은 아직 공식 프로젝트에 반영되지 않았습니다. 번역을 음성으로 내거나 목소리를 재현하려면 별도의 음성 합성(TTS) 시스템을 준비해야 합니다.
일반 이용자는 Tencent의 번역 앱 'Hy Translate App'(Android·iOS)에서도 써 볼 수 있다고 합니다. 일본에서 쓸 수 있는지는 공식 페이지에서 확인하지 못했습니다.
CoAI 편집부의 시각
온라인 회의나 강연의 동시통역은 AI 활용처로서 기대가 큰 분야입니다. Hy-SimulMT는 짧은 지연과 목소리 재현을 누구나 직접 돌릴 수 있는 형태로 공개했다는 점이 눈길을 끕니다. 짧은 음성 테스트에서는 Qwen, Gemini, OpenAI 등의 동시통역 기능과도 비교했습니다.
다만 공식적으로 지원을 내세우는 언어는 현재 중국어와 영어뿐이며, 일본어로 쓰는 것은 상정되어 있지 않습니다. 중국어권 거래처와 소통하거나 영어 강연을 듣는 상황이라면 시험해 볼 만하지만, 성능은 Tencent 자체 평가가 중심입니다. Tencent도 책임이 무거운 상황이나 전문가 확인이 필요한 상황에서는 전문 통역사가 여전히 중요하다고 밝혔습니다. 다른 사람의 목소리를 재현할 수 있는 기능이기도 하므로, 쓸 때는 상대의 동의를 받는 등 취급에 주의가 필요합니다.