腾讯开源Hy-MT2翻译模型:支持手机端离线运行,无网络环境可用

2026年05月21日

腾讯混元团队悄悄把Hy-MT2推上了GitHub,没开发布会,没刷屏通稿,但这个动作在机器翻译圈里确实掀起了小范围震动。它不是又一个云端调用的API接口,而是一个真正面向终端侧优化、支持ARM架构轻量化部署的端到端翻译模型手机离线可用,4GB内存设备实测可跑,中英互译延迟压到800毫秒以内。这背后不是简单地把大模型“砍一刀”,而是从词表设计、注意力稀疏策略、KV缓存压缩到量化感知训练全流程重做,目标很明确:让翻译能力下沉到没有网络、算力受限、隐私敏感的真实场景中。

为什么端侧翻译长期难落地?

过去五年,主流方案要么依赖服务端响应(如DeepL、百度翻译App),要么用老旧统计模型(如早期Android系统内置的SMT引擎),前者卡在延迟与隐私之间,后者卡在质量与泛化能力上。Hy-MT2的突破点在于绕开了“大模型小型化”的惯性思路,不追求参数量压缩,而是重构推理路径:采用动态长度适配的分段编码器,在长句处理时自动切片并复用中间状态;解码阶段引入轻量级预测头(Lightweight Prediction Head),仅用原模型12%的参数即可完成词汇选择,避免全词表softmax计算瓶颈。

本地部署实操要点(以安卓13+ ARM64设备为例)

1. 模型权重已提供INT4量化版本(hy-mt2-quant-int4.bin),体积为387MB,比FP16版减少62%,精度损失控制在BLEU-4下降0.9以内;

2. 推理引擎基于腾讯自研的TNN v3.2,需启用“Metal后端(iOS)”或“NNAPI+GPU加速(Android)”,默认关闭OpenCL以规避部分中低端芯片兼容问题;

3. 词典文件(hy-mt2.vocab)必须与模型同目录放置,内含32768个子词单元,支持中日韩越泰六语种混合输入检测,无需预设语言对;

4. 首次运行会自动生成缓存目录.cache/hy-mt2/,含动态加载的领域适配模块(如医疗术语映射表),该目录可手动清空重置;

5. 输入文本建议单次不超过512字符,超长文本自动分段并保留上下文指针,实测连续翻译10段300字中文,端到端耗时均值为3.2秒(骁龙8 Gen2平台)。

需要注意,Hy-MT2并未采用当下热门的MoE结构或LLM-based翻译范式,而是延续了Encoder-Decoder经典框架,但在两个关键环节做了硬核改进:一是编码器引入局部窗口注意力+全局令牌蒸馏机制,既保障长距离依赖建模,又将计算复杂度从O(n²)降至O(n√n);二是解码器集成可控生成控制器(Controlled Generation Controller),用户可通过JSON配置项调节“直译强度”(literal_ratio)和“术语保真度”(term_preserve_level),例如设置literal_ratio=0.3时,模型更倾向意译,适合口语化内容;设为0.8则强制保留原文语序和专业术语,适用于合同或技术文档。

目前开源代码已覆盖Android/iOS/macOS/Linux四平台编译脚本,Windows暂未支持(平台说明称因DirectML生态碎片化暂不优先适配)。社区反馈显示,小米13、iPhone 14 Pro、华为Mate 50等设备均可稳定运行,但部分搭载联发科天玑8100的机型需关闭GPU加速改用CPU模式,否则偶发内存溢出。腾讯同步发布了12万句对的领域增强微调数据集(涵盖跨境电商、远程医疗、工业维修三类场景),允许开发者在本地用LoRA方式追加训练,显存占用峰值低于2.1GB(RTX 4090)。

以上是Hy-MT2开源的核心事实与实操信息,希望对你有所帮助。

免责申明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流,不为其版权负责。如果您发现网站上有侵犯您的版权,请与我们取得联系,我们会及时修改或删除。

叙述跨境独立站搭建
嗨,想咨询什么业务?
深色
顶部