Karpathy谈AI未来：大模型将越来越小，教育将越来越重要

OpenAI创始成员Karpathy颠覆AI趋势：大模型将“减负”变小，教育成核心竞争力，看懂AI未来的关键解读。
核心内容：
1. 大模型现状：99.9%参数存储无用信息，是“暴力拟合”非智能
2. 破局方向：蒸馏技术让大模型“瘦身”，聚焦0.01%认知核心
3. 未来趋势：教育成核心，AI赋能个性化学习（如Eureka Labs课程）

OpenAI 创始成员、特斯拉前 AI 总监及斯坦福 CS231n 创始人

近期，他在播客 No Priors 中进行了整整 16 分钟的交流；每一个关注 AI 未来的人，都值得认真听听这期对话。

原因是他的看法与当下整个行业的方向截然相反。

大模型有 99.9% 的容量用于同一件事：存储垃圾

Karpathy 首先抛出的重磅观点，指向大模型架构。

他给出了一组数据：当前互联网训练数据里，认知相关内容仅占 0.01%，其余 99.9% 都属于无用信息。

没有看错，就是0.01%。

换句话说，如今拥有几千亿参数的大模型，把绝大多数参数容量都用于记忆互联网废话：重复帖子、低质营销文、相互抄袭的洗稿以及毫无意义的水贴，全都被吸收进去。

这称不上智能，只是暴力拟合。

该怎么处理？Karpathy 表示，蒸馏技术取得的效果远远超出预期：让大模型监督小模型，将那 0.01% 的认知核心提取出来，再压缩至极小的参数规模。按照他的说法，认知核心甚至能控制在 10 亿参数以下。

怎样理解10 亿参数？它可以在手机和边缘设备上运行，成本则低几个数量级。

他还提出一个更有趣的判断：统治未来的不会是单一大模型，而会是一种类似企业组织的分层架构。

在最高层，能力极强的云端大模型如同 CEO；在下层，数量众多且成本极低的领域专用小模型则像各部门执行者，其中甚至可以采用开源模型。不同能力、不同领域的多个模型并行配合，整体更像拥有专业分工的生态集群。

重点不是让一个人无所不能，而是让团队成员各负其责。

细看当前趋势便会发现，MoE 架构、Agent 编排框架和垂直领域模型都在沿着这条道路发展，只是 Karpathy 比多数人更早看到了终局。

我不希望未来的人类因自动化而被边缘化

技术话题结束后，主持人直接问他：为何离开 OpenAI，转而投身教育？

Karpathy 同样给出了直接的回答：

我始终属于赋能人类的一方。眼下多数 AI 研发更倾向于替代人类，而我希望研发能够赋能人类的 AI，也不愿未来的人类因自动化而被边缘化。

这并非一句空泛的理念口号，他有十分具体的实践作为支撑。

他的核心思路是：假如每个人都能拥有一位定制化的完美导师，接受适应个人语言、水平和学习风格的一对一教学，那么人类所能达到的成就上限将显著提高。

现有研究已经表明，一对一辅导可使学生成绩提高一个标准差。

问题在于，过去只有富人负担得起这种一对一的完美导师。硅谷精英家庭每年会花几万美元聘请私教，而普通家庭甚至无力承担课外班。

借助AI，这件事的成本可以降到接近零。

Eureka Labs 正是为此而做。其第一门课程名为 LLM101n，达到本科技术方向水平，服务全球 80 亿人并支持多语言；课程并非入门科普，而是认真教授如何从零训练自己的大模型。

他也坦率承认，目前 AI 尚不具备独立产出优质课程的能力。因此采用人机分工：人类教师在后台负责课程及教学材料设计，AI 则在前端连接学生，并适应不同的语言和水平。

不夸大，也不描绘空景，只按步骤向前推进。

学习的性质将发生改变

这或许是整期播客中最需要认真思考的观点。

在 Karpathy 看来，学习可划分为两个时代：

在前 AGI 时代，学习服务于实用目标：认真读书、考入好大学、找到好工作，并实现阶层晋升。此时学习既是工具和手段，也是不得不完成的事情。

进入后 AGI 时代，学习将转变为一种娱乐。

学习如同给大脑健身，虽然需要投入努力，却也自带一种独特乐趣。

今天走进健身房，并不是为了保住性命，也不是不去就会挨饿，而是因为你享受逐渐变强的过程，学习亦是如此。当 AI 接手大部分重复性劳动，人类反而能拿出更多时间与精力，追求纯粹的智识乐趣。

与此同时，现有的“上学-毕业-工作”线性路线将被打破。随着技术迭代持续加快，人们会更频繁地重新进入学习状态，更新自身知识体系；教育不再局限于人生前二十年，而会贯穿一生。

这个判断其实已有迹象：如今有许多 30 多岁的人正在学习 AI、编程和新技能。驱动他们的不是老板要求，而是个人意愿，学习正由“被迫”转向“主动”。

Karpathy 还提出一个尖锐观点：现行学术传承谱系本质上属于圈层 gatekeeping。导师-学生关系、学术血统和推荐信网络所做的并非传播知识，而是分配稀缺资源。

他希望借助 AI 教育拆解这种结构。如果非洲学生与斯坦福学生能够接受同等质量的教育，学术圈的壁垒也就不复存在。

他还有句话让我思考了很久：文化给人带来的影响，比知识教育更为深刻。

他曾就读于多伦多大学，那里的校园文化更重视稳定就业，学生普遍希望进入大公司工作，几乎没人重视创业，这种氛围会在潜移默化中塑造人。斯坦福则截然不同，身边的人不断创业、尝试和试错，你也会被这种环境带动。

若 AI 教育能够建立一种新社群文化，使全球学习者组成追求创新与探索的网络，其价值将远远超过课程本身。

那么结论是什么

Karpathy 最后向有孩子的人提出建议：应让孩子优先学习数学、物理和计算机科学。

原因并非这些科目“有用”，而是它们能够培养最佳的核心思考能力。应该把80% 的时间用于此类需要大量训练的内容，而非记忆型内容；这类思维训练开始得越早越好，成年后再进行塑造，难度会大得多。

这番话出自斯坦福 CS231n 创始人，意义自然不同。他走过的正是这条路——先在多伦多大学学习计算机和物理，再到斯坦福攻读博士、研究神经网络，随后在特斯拉与 OpenAI 将技术转化为产品。

---

当所有人都在比拼模型参数、融资规模和估值时，Karpathy 选择了一条看似最慢、最不性感的道路。然而认真听完他的观点，你会发现，他看到的未来或许比大多数人都更远。

因为 AI 足够强大以后，真正稀缺的将不再是技术，而是能够驾驭技术的人。

因此，培养能够驾驭技术的人，才是最具价值的事情。

—文章精选—
AI 自纠错循环：借助一个三角色架构，让模型主动发现错误吴恩达推出桌面应用 OpenWorker，目标是让 AI 从「聊天工具」转变为「真正的同事」
Google工程负责人发布长文：AI正夺走程序员形成判断力的机会
北京将Harness Engineering纳入政策：智能体经济迎来制度地基

登录后查看剩余 70% 内容