月之暗面开源2.8万亿参数Kimi K3模型与三大核心技术

支撑训练与部署的MoonEP、FlashKDA和AgentEnv三项核心基础设施技术，与完整模型权重、技术白皮书一并发布；月之暗面由此正式向外界开放Kimi K3模型。

在结构设计上，Kimi K3使用KDA混合线性注意力机制和注意力残差结构，并原生具备多模态视觉理解能力。该模型的总参数规模达到2.8万亿，是当前开源领域参数量最大的语言模型，在过去一年里一直保持开源模型规模最高纪录。

总计896个专家的Stable LatentMoE稀疏专家架构，每次参与运行的专家仅有16个；再结合深度优化后的训练策略，该模型获得了约为上一代2.5倍的整体扩展效率。

高性能分布式通信、高效自定义算子实现和分布式强化学习训练环境等关键环节，均包含在同步开放的三项基础设施技术中。开放情况有所不同：MoonEP与AgentEnv此次首次公开，FlashKDA则在此前已可使用。