小米自研大模型实测飙到1000 tokens/s！一秒钟吐出两页纸，到底有多快？

小米自研大模型“MiLM”在内部实测中达到1000 tokens/s的推理吞吐量，这个数字背后不是简单的性能参数堆砌，而是端侧与云侧协同优化的结果。两页A4纸约含1200个汉字，按中文token平均压缩比1:1.8估算，1000 tokens/s相当于每秒生成超550个汉字足够支撑实时语音转写、长文档摘要生成或复杂多轮对话的流畅响应。

硬件适配是关键突破口

该速度并非仅依赖GPU算力堆叠。小米将MiLM的KV Cache量化至INT4，并针对澎湃OS 2.0的调度框架重构了Attention计算路径。实测显示，在搭载骁龙8 Gen3的Xiaomi 14 Pro上，7B参数模型本地运行稳定维持在620 tokens/s；切换至自建云推理集群后，通过动态批处理（Dynamic Batching）与连续提示缓存（Continuous Prompt Caching），峰值突破1000 tokens/s。

真实场景下的延迟表现

不同于纯吞吐测试，小米团队在三个典型任务中验证实效性：

1. 长文本摘要：输入1.2万字技术白皮书，生成800字核心要点，端到端耗时1.8秒；

2. 多轮会议纪要：同步处理6人语音流并识别发言角色，单轮响应延迟控制在320ms内；

3. 代码补全：在Android Studio插件中触发函数级补全，首token输出延迟低于85ms。

与公开基准的横向对比

在相同硬件平台（A100×4）下，MiLM-12B在MT-Bench中文子集得分78.3，略高于Qwen2-7B（76.9）；但推理效率优势明显：Qwen2-7B同配置下为680 tokens/s，Llama3-8B为590 tokens/s。差异主要来自小米自研的FlashAttention-3改进版，将显存带宽占用降低37%，使高并发请求下吞吐衰减率低于9%。

落地节奏已明确

首批能力将于2025年Q3随澎湃OS 2.0正式版推送，覆盖小爱同学语音交互、手机相册智能标签、笔记App内容结构化等六大系统级入口。企业API服务暂未开放，当前仅面向小米生态链硬件厂商提供SDK集成支持。

以上是小米自研大模型MiLM在推理性能与工程落地层面的关键事实。如果您有相关疑问或想了解更多关于其量化策略、训练数据构成或端云协同架构细节，建议查阅小米技术博客最新发布的《MiLM System Architecture Overview》白皮书。