马斯克都转了!月之暗面刚开源的Kimi K3,参数干到2.8万亿,全球最大的开源模型来了

2026年07月28日

马斯克转发一条开源模型消息,背后是中文大模型领域一次实实在在的参数跃迁。月之暗面正式发布Kimi K3,公开披露其参数量达2.8万亿,成为当前全球参数规模最大的开源模型。这一数字并非营销话术,而是基于可验证的架构设计、训练日志与社区复现路径得出的技术总结。

Kimi K3的核心技术突破

该模型采用混合专业架构(MoE),在激活状态下仅调用约1200亿参数参与推理,兼顾效率与能力边界。不同于传统稠密模型的线性扩展瓶颈,K3通过动态路由机制实现计算资源的按需分配,在长文本理解、多跳逻辑推理和跨文档摘要任务中展现出稳定优势。训练数据覆盖超50种语言,其中中文语料占比超过42%,且经过深度清洗与事实对齐校验。

开源范围与使用边界

月之暗面此次开放全部权重、推理代码、训练脚本及量化方案,但保留部分商用授权条款。具体包括:

1. 基础模型权重以Apache 2.0协议发布,允许修改与再分发

2. 推理服务框架支持CUDA、ROCm及国产加速卡适配,提供完整编译指南

3. 训练配置文件包含数据预处理管道、梯度累积策略与检查点保存规范

4. 不开放原始训练日志、未脱敏用户交互数据及内部评估集

部署门槛与硬件适配

运行K3最低需单卡显存64GB以上,推荐采用8卡A100或H100集群进行微调。平台提供三种量化版本:FP16全精度版、INT4低比特版及混合精度推理包,后者可在消费级显卡上完成128K上下文长度的实时响应。需要注意,模型支持动态上下文扩展,无需重新加载即可处理从2K至200K token不等的输入序列。

实际能力横向对比

在CMMLU中文知识测评中,K3以87.3分位列开源模型首位;在C-Eval综合考试基准中,其法律、医学与工程类子项得分均高于此前所有已公开模型。在真实场景测试中,它能准确解析嵌套式PDF合同中的责任条款,并同步生成符合司法文书格式的摘要报告。这些表现源于其训练过程中引入的结构化监督信号,而非单纯依赖海量文本堆叠。

以上是Kimi K3开源发布的关键事实与技术要点。如果您有相关疑问或想了解更多细节,建议查阅月之暗面平台技术白皮书及GitHub仓库的更新日志。

免责申明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流,不为其版权负责。如果您发现网站上有侵犯您的版权,请与我们取得联系,我们会及时修改或删除。

叙述跨境独立站搭建
嗨,想咨询什么业务?
深色
顶部