发布 Bonsai 27B：首款在手机端运行的 27B 级模型

今天，我们宣布推出基于 Qwen3.6 27B 的 Bonsai 27B，它是 Bonsai 系列的新多模式旗舰产品，也是该功能级别中第一个在手机上运行的型号。

我们早期的版本证明，具有 1 位和三元权重的模型可以生成商业上有用的语言模型。 Bonsai 27B 将这一前沿扩展到新的功能层：多步骤推理、结构化工具调用、视觉任务以及在多个步骤中保持一致的计算机使用智能体循环。直到今天，在本地部署该层仍然不切实际，具体原因如下：27B 型号在 16 位精度下占用大约 54GB，即使是良好的 4 位版本（18GB）对于手机和大多数笔记本电脑来说也太大了。

Bonsai 27B 改变了这一点。它有两种变体：

三元 Bonsai 27B 使用三元 {−1, 0, +1} 权重和 FP16 分组缩放，每个权重给出真正的 1.71 有效位。它的容量为 5.9 GB，是面向质量的变体：它可以在日常笔记本电脑上运行，具有完整的推理、工具调用和智能体功能。

1 位 Bonsai 27B 使用具有相同分组缩放比例的二进制 {−1, +1} 权重，为每个权重提供 1.125 个有效位。它的内存为 3.9 GB，是面向占用空间的变体，适合 iPhone 17 Pro 的内存预算，首次将 27B 级型号带入手机。

与每个 Bonsai 版本一样，低位表示在语言网络、嵌入、注意力、MLP 和 LM 头中端到端运行，没有更高精度的逃逸舱口。两种变体都是多模式的，视觉塔以紧凑的 4 位形式发货，因此设备上的工作流程可以看到屏幕截图、文档和相机输入，而不仅仅是文本。 Bonsai 27B 承载完整的 262K 令牌上下文，并支持推测解码，将速度与无损草稿和验证加速相结合。今天，一切都可以在 Apache 2.0 许可证下使用。

保留情报

在涵盖知识、推理、数学、编码、指令遵循、工具调用和视觉（在思维模式下评估，模型的完整推理得到执行）的 15 个基准套件中，三元 Bonsai 27B 保留了 95% 的全精度基线，1 位 Bonsai 27B 保留了 90%。

按功能阅读表格，情况比平均值更清晰：数学和编码几乎未受影响，工具调用保持在完全精确的几个点之内 - 这正是智能体工作负载所依赖的功能。相比之下，相同基本模型的最激进的传统低位构建得分显着低于 1 位 Bonsai 27B，同时占用的内存多出 2.5 倍。

这与我们在早期语言和图像模型中演示的帕累托转变相同，现在为 27B 规模：27B 级功能，占用空间小于全精度 2B 模型。按照智能密度（我们在 1 位 Bonsai 8B 中引入的衡量标准），1 位 Bonsai 27B 提供每 GB 0.53：超过全精度基线的 10 倍，大约是可用的最佳低位替代方案的 2.7 倍。

为什么这是一个重要的范式转变

最有价值的人工智能工作负载正在从单一响应转向持续工作：操作真实工具的助手、返回结果之前无人值守运行的工作流程以及综合数十份文档的研究。这种转变改变了工作负载的形式——智能体不会进行一次模型调用，而是进行数百次模型调用，每个模型都携带上下文，产生结构化输出，并提供下一个模型调用。

云 API 仍将是许多产品的正确选择。但对于智能体工作负载，仅云执行会带来结构性限制：每一步都是远程请求，每个令牌的成本随着每次迭代而累积，每个计划、工具调用和中间结果都会跨越网络，包括用户的私人文件、屏幕和数据。

本地执行改变了这个等式。当一个能够持续智能体工作的模型适合设备时，智能体就可以存在于产品内部：一百步循环的边际成本为零，并且用户的数据永远不会离开机器。整个类别都开放了——持久的设备上智能体、离线工作的助手、通过构建对私有本地数据进行推理的助手。所缺少的是一个足够小的模型，可以以这种方式部署，并且有足够的能力来信任工作。 Bonsai 27B 就是这个型号。

它还解锁了一种新的系统架构：混合部署，将非前沿和隐私敏感的任务路由到有能力的本地模型，并为最困难的步骤保留前沿云模型 - 降低智能体系统的每任务成本。

Bonsai 27B 在 NVIDIA GeForce RTX 5090 上，1 位最高可达 163 tok/s，三进制最高可达 134 tok/s。在 M5 Max 上，1 位最高可达 87 tok/s，三进制最高可达 58 tok/s。

安装手机的门槛比存储数据显示的要严格。手机永远不会将其全部内存暴露给应用程序 - 12 GB iPhone 为模型在设备上使用提供大约 6 GB 的空间，并且该模型与其 KV 缓存和激活共享该预算。没有任何 27B 型号的传统构造能够接近这一点。 1 位 Bonsai 27B 大小约为 4 GB，是第一个通过的，有工作空间。

这种限制就是该系列特意提供两个操作点的原因，特别要牢记这一点：三进制用于笔记本电脑级质量，1 位用于手机级占用空间。

边境不断前进

每个 Bonsai 版本都将每 GB 的智能前沿向左移动，而 Bonsai 27B 将其跨越了一个实用的门槛：具有思维、多模式理解、视觉、可靠工具使用的现代模型的完整功能集，现在适合人们已经拥有的设备。

我们相信，智能密度将成为下一阶段人工智能进步的决定性轴心之一。原始能力决定了模型可以做什么；密度决定了它可以做到的地方。前沿的每一次左移都会扩展先进人工智能可以运行的设备、产品和环境，并改变它所涉及的每个部署表面的经济性，从手机到单 GPU 服务。盆景背后的方法论与架构无关，前沿将不断发展：更大的模型和新的架构已经在进展中。

早期的计算机充斥着房间；今天它们住在我们的口袋里。 Intelligence 正在踏上同样的旅程，Bonsai 27B 是迄今为止迈出的最大一步。平台覆盖范围

Bonsai 27B 通过 MLX 在 Apple 设备（Mac、iPhone、iPad）上本地运行，并通过 CUDA 在 NVIDIA GPU 上本地运行，通过为其混合注意力架构构建的自定义低位内核。模型权重现已在 Apache 2.0 许可证下提供。在此版本中，我们提供免费的限时开发者预览 API，以便开发者可以轻松尝试我们的模型。

我们的压缩、评估和基准测试流程的完整技术细节可在我们的白皮书中找到。

PrismML 诞生于加州理工学院的研究人员团队，并在 Khosla Ventures、Cerberus 和 Google 的支持下成立，并得到了三星的持续支持。我们花了数年时间来解决该领域最困难的问题之一：在不牺牲推理能力的情况下压缩神经网络。

如果您想帮助构建下一代最先进的人工智能，我们很乐意听取您的意见。查看我们的职业页面。