盗墓笔记启程蛇沼鬼城玩法解析 盗墓笔记启程蛇沼鬼城全流程详情分享
2026-07-29 3432761
2026-07-29 0
全球首个达到3万亿参数级的开源模型已经出现：就在刚刚，Kimi K3正式宣布开源！
https://huggingface.co/moonshotai/Kimi-K3
https://github.com/MoonshotAI/Kimi-K3/tree/main
https://modelscope.cn/organization/moonshotai
Moonshot AI宣布，发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键Infra技术：MoonEP、FlashKDA和AgentEnv。
面对目前最强的闭源模型Fable 5和GPT-5.6 Sol，全球首个能在复杂推理、超长上下文智能体协作与长逻辑链编程方面展开较量的开源模型，正是K3；同时，它还是参数量高达2.8T的原生多模态MoE巨兽！
这项里程碑工作展现了中国AI团队强大的研发实力，也为开源社区真正带来了前沿级智能。
开源AI迈入3万亿参数级，K3权重全面开放
2026年7月27日，Moonshot AI履行承诺，正式向全球开源社区发布Kimi K3完整模型权重。
全球首个真正落地的3万亿参数级别开源模型由此诞生，Kimi K3也推动开源大模型正式迈进2.8万亿参数的新纪元。
本次发布除了模型权重，也涵盖相关技术细节与报告。
为使K3可靠适配主流硬件和框架，Moonshot表示已同多家开源维护者、推理合作伙伴展开紧密协作。
完整权重下载后，开发者可开展二次开发或本地部署；超大规模MoE、新型注意力机制等前沿课题，可由研究机构基于K3探索；专属超长上下文知识系统和智能Agent集群，也可由企业据此构建——这就是开放带来的可能。
新一轮应用浪潮即将在开源社区出现！
参数规模：再次抬高能力天花板
开源模型在参数和能力上的天花板，过去一年几乎每个季度都会被Kimi系列再次抬高。
K3拥有2.8T参数，它不仅属于目前已知规模最大的开源模型，也率先真正迈入3T 俱乐部。
与前代K2相比，K3的架构取得了明显突破：
面向超长序列设计的KDA混合线性注意力机制；
深层模型的训练稳定性，由Attention Residuals加以提升；
计算效率因MoE优化而大幅提高：借助Stable LatentMoE框架，896个专家中只有16个会被激活，同时仍保留巨量参数。
官方数据表明，依靠这些创新，K3整体扩展效率比K2提高约2.5倍，在规模和可用性之间实现平衡。
Kimi K3与Kimi K2.5的主要差异是，其视觉编码器MoonViT-V2从零开始训练，只依赖后续token预测，因此能够直接按照语言建模目标调整编码器表征。
MoonViT-V2在完整训练过程中始终保持稳定。
视觉评估结果还有一点值得关注：采用 SigLIP 初始化的基线模型，与 MoonViT-V2 表现相当。
它原生具备多模态能力，并支持100万token超长上下文。
总体而言，K3实现了架构创新与场景适配的综合升级。
「前沿智能属于所有人」是官方技术博客强调的理念，而最新一次将其付诸实践的行动，就是开放Kimi K3。
编程、长上下文推理、前端开发以及代码Agent，都是Kimi K3表现突出的场景；这一结论来自第三方评测与Moonshot官方结果。
其综合智能水平跻身全球第一梯队，仅落后于少数顶级闭源模型，并在开源阵营中保持领先。
Kimi K3技术报告解读
随开源消息一并公布的，还有一份长达47页的技术报告。
下面梳理这份技术报告的核心内容。
2.8万亿参数的开源全能模型
Kimi K3证明，开源模型也能够把 Scaling与Reasoning推向极致。
Kimi K3的核心底座数据十分亮眼：
惊人的体量：总参数量达到2.88万亿，每个Token的激活参数量为1040亿。
百万级上下文：原生支持最高100万 Token规模的超长上下文窗口。
原生多模态：视觉和文本从预训练首日便相互交织，不存在任何后期缝合式对齐阶段。
推理期思考缩放（Test-Time Scaling）：模型提供Low、High至Max等多种Thinking Effort级别，处理复杂任务时会进行更充分的思考。
三项架构革新：扩展效率提高2.5倍
训练3万亿参数级模型，绝不是简单增加GPU便能完成。
相比上一代 Kimi K2，Kimi K3整体扩展效率实现约2.5倍提升。
这一提升源自兼具精巧与强力的架构设计。
1.混合注意力机制：KDA + Gated MLA
面对百万级上下文，传统Softmax注意力机制的KV Cache内存占用会迅速耗尽显存。为此，Kimi K3创新采用了 混合架构——
1层 Gated MLA与3层Kimi Delta Attention (KDA) 共同构成每一个Block。
KDA（线性注意力）：它负责高效混合长序列，把冗长上下文压缩为固定大小的循环状态，从根本上突破上下文长度带来的内存限制。
Gated MLA（全局注意力）：它还会周期性保留强大的全局信息检索能力。
这种3:1组合既保障长文本处理，也保留细节检索能力。
2.注意力残差（Attention Residuals）
网络极深时，信息容易在逐层传递中损耗。Kimi K3引入Attention Residuals，使当前层可以跨级直接读取此前所有层的特征表示，从而让信息流转更加顺畅。
3.稳如泰山的超稀疏 MoE (Stable LatentMoE)
Kimi K3 的路由专家数量增加到896个，每个Token会激活16个专家。为使训练在极度稀疏，即只有极少部分参数激活的情况下保持稳定，Kimi 团队采用了两项关键方案。
SiTU-GLU激活函数传统SwiGLU在极端规模下容易发生的激活值爆炸，由此得到彻底解决。
Quantile Balancing（分位数负载均衡）近乎完美的负载均衡来自动态偏差调整：传统辅助损失函数被摒弃后，896个专家既不会闲置，也不会过载。
K3炼成记：Agent如何进化至百万Token？
大模型能力不仅来自预训练，也依靠后训练/RL。Kimi K3的强化学习完全针对「智能体拥有100万Token的超长视距」进行量身设计。
1.白盒沙盒中的极度复杂训练 (AgentENV)
Kimi K3采用真实模拟器作为训练环境，不再停留于简单问答。月之暗面为此开发了基于微型虚拟机（microVM）的沙盒。AgentENV。
写代码、截图、查Bug再自我修正，Kimi K3在这个环境中会走过成百上千个步骤；面对跨越「虚拟数天」的超长待机任务，它甚至会进入模拟的Gmail、Notion、Slack环境扮演人类员工。
2.由知识图谱引导的任务合成
研发团队为拓展模型见识，先构建可自我进化的知识图谱，再让爬虫智能体从全网自动抓取并合成各种高难度验证任务，范围从前端开发延伸到天体物理，随后用这些任务「折磨」K3。
3.多层思考蒸馏 (MOPD)
强化学习覆盖低、高、极限三个「思考努力」级别；在此过程中，通用、代码和智能体三大领域的专家模型由Kimi K3进行交叉训练。
这些强大能力最终被汇入同一个统一模型，所采用的方法是多教师在策略蒸馏（Multi-Teacher On-Policy Distillation）。
充分挖掘算力与基础设施极限
2.8T 参数和1M上下文既考验算法，也给系统工程带来极大挑战。
Kimi Infra团队为此给出了出色方案。
MoonEP（零浪费的专家并行）：算力分配不均在MoE训练中属于常态，而MoonEP 以「零拷贝」通信配合精妙的在线整数线性规划，使分配达到绝对平衡且能够完全动态调整。
KDA融合Prefix Cache：底层推理引擎针对混合架构被团队重写，KDA的循环状态和MLA的KV Cache由此能在同一个内存池内共享、复用。处理带有数十万字相同前缀的请求时，这一改造意味着K3的响应速度将获得指数级提升。
实际测试：表现接近甚至超过人类极客
在报告展示的全面评测中，Kimi K3在各项公开与内部基准测试中，全面超越了Claude Opus 4.8、GLM-5.2 和 GPT-5.5，并逼近目前最强的Claude Fable 5 和 GPT-5.6 Sol。
在真实极客任务中，Kimi K3展现出的表现十分惊人。
Linux内核Zero-Day漏洞的定位（网络安全测试）
最新Linux内核代码接受极度硬核的网络安全评估后，Kimi K3竟独立找出了多个未知的零日漏洞（Zero-Day）；不仅如此，它还可以围绕已知漏洞编写Exploit（漏洞利用程序）！
人类安全专家已验证这些发现，其中一个属于本地提权漏洞，另一个是能够远程触发的堆越界写入。
改造GPU编译器
Kimi K3独立完成名为MiniTriton的GPU编译器，配备完整代码生成管线；在KDA、DSA等高难度大核算子优化中，它把运行时间缩短70%以上，接近硬件理论极限。
一颗芯片（Nano-KPU）的设计仅用48小时
在这项早期概念验证中，K3被置于沙盒内48小时，全程自主操作开源EDA工具；一颗采用45nm工艺的AI推理芯片由它从零设计，随后完成优化和验证，最终顺利实现时序闭合！
承担科研人员的工作
K3为了复现天体物理学中的某个普遍关系，先自主研读20多篇论文，再用超过3000行Python代码构建完整数值管道；它不仅生成了可交互数据面板，还发现已发表论文公式存在矛盾点。这项通常需要人类一到两周的工作，K3在两个小时内便完成。
突出的性价比
性能已接近最强闭源模型，推理成本表现又如何？
Kimi K3极其惊人的性价比，来自系统底层的疯狂优化，并结合投机解码（Draft Model）与量化感知训练（MXFP4权重/MXFP8激活）。
在第三方平台Artificial Analysis的统计中，Kimi K3在保持第一梯队性能的同时，在BrowseComp基准上单次任务的成本仅为GPT-5.6 Sol的一半，甚至比Claude Fable5便宜了近乎一个数量级！
硅谷共同表态：支持开源！
美国政府若切断美国企业取得开源大模型的渠道，将遭到近200家硅谷创始人的反对；他们最近已为此联合表态。
25家企业就在本周末联合署名，阐明开源为何重要；同一时间，老黄也在X上发布了人生第一推。
硅谷的半壁江山几乎都出现在这25家名单中，成员包括YC、a16z、IBM、Meta、微软、英伟达等等。
毫无疑问，K3在这一关键节点全面开源，具有更加重大的意义。
截至今日，Kimi K3依然位居Arena.ai榜单全球第一
开源之光照亮前沿智能
面对闭源巨头，国产路线选择开源，也就拥有了一次弯道超车的机会。
可以预见，K3权重全面开放后，社区优化版本、本地部署方案及垂直应用将大量涌现。
全球开源AI社区的热情曾被Llama彻底点燃，无数衍生应用与模型随之诞生；依靠这次开源，Meta还一举击破了闭源巨头的垄断。
如今，中国开源AI正以K3为代表崛起，或许会彻底重塑全球大模型的游戏规则。
现场爆料称，Kimi团队周五包下某家酒吧的多个卡座举办庆功活动，月之暗面联合创始人、总裁疑似现身。大屏上则写着「冲上月球」「K4，给我狠狠干到极致」「K3，扩容升级」
Kimi K3权重开放前仅几小时，关于Kimi K 3.1的消息也已传出，发布时间指向下月。
尽管Kimi K3整体表现仍略低于最强闭源模型，但它已经稳固确立开源领域的新边界。
「百万级Agent和慢思考只能由闭源巨头玩转」这一偏见，随着Kimi K3横空出世而被打破。
随着代码、权重及技术细节全面开放，开源AI的广阔探索才刚刚起步。
参考资料：
https://huggingface.co/moonshotai/Kimi-K3
https://github.com/MoonshotAI/Kimi-K3/tree/main
https://modelscope.cn/organization/moonshotai