AI推理平台Baseten据悉正寻求15亿美元融资

AI推理工作负载平台初创公司Baseten Inc.正在寻求15亿美元的新一轮融资。

据《华尔街日报》今日报道，本轮融资由Altimeter Capital、Conviction、Spark Capital、Sands Capital和Wellington Management联合领投。目前尚不清楚是否还有其他参与方。部分投资者以110亿美元的估值购入股份，而另一些投资者的条款协议则显示估值为130亿美元。

搭建基于云端的推理集群需要完成大量工作，开发者需要配置显卡、进行互联、并安装大量软件工具。Baseten提供了一个能够将上述流程自动化的平台，该软件既可作为托管服务使用，也可作为独立应用部署在企业的公有云环境中。

Baseten的平台由三个核心模块驱动，公司将其称为推理引擎，这些引擎负责优化客户AI模型的性能，并收集技术问题相关数据。

第一个推理引擎BIS-LLM专为采用混合专家架构的大语言模型而设计。混合专家大语言模型由多个神经网络组成，每个网络分别针对不同任务进行优化。BIS-LLM通过优化KV缓存来提升此类模型的效率，KV缓存是一种用于存储推理所需信息的数据结构。当模型的Token用量增加时，BIS-LLM会自动扩充硬件资源。

第二个推理引擎名为Engine-Builder-LLM，专为密集型大语言模型优化。这类模型由单一整体的神经元集合构成，而非多个独立神经网络。AI模型通常每次生成一个Token，Engine-Builder-LLM采用一种名为"前瞻解码"的技术，可一次性生成多个Token，从而大幅提升处理速度。

第三个核心推理引擎BEI则面向较为简单的AI模型，可用于驱动将原始数据转换为大语言模型可理解格式的嵌入模型，以及数据分类和搜索模型。

Baseten通过一个名为MCM的软件模块，将推理工作负载分散到多个公有云上。若其中某个云平台发生故障，MCM会自动将请求重新路由至仍在正常运行的平台。据Baseten介绍，该技术在企业主要使用的公有云出现显卡资源短缺时，同样能发挥灵活切换的优势。

该平台原生支持数十个开源AI模型。此外，客户还可通过名为Truss的工具部署自定义算法，该工具能自动将大语言模型打包为与Baseten兼容的格式。

Baseten不仅能够对自定义大语言模型执行推理，还支持对其进行训练。据该公司介绍，其平台内置备份功能，可在神经网络训练过程中定期保存副本，一旦出现技术问题，开发者可直接恢复至最新备份，而无需从头重新启动训练流程。

本轮融资距上次融资不足六个月。上一轮3亿美元的投资中，Nvidia Corp.和Alphabet Inc.旗下成长期创业投资机构CapitalG均参与其中。

Q&A

Q1：Baseten是一家什么公司，主要提供什么服务？

A：Baseten是一家专注于AI推理工作负载的初创公司，提供一个自动化云端推理集群搭建流程的平台。该平台既可作为托管服务使用，也支持部署在企业自有的公有云环境中。其核心功能涵盖模型性能优化、多云负载分发以及推理与训练的全流程支持，帮助开发者省去大量手动配置显卡和安装软件工具的繁琐工作。

Q2：Baseten的三个推理引擎分别有什么区别？

A：Baseten共有三个推理引擎：BIS-LLM专为混合专家架构的大语言模型设计，通过优化KV缓存并自动扩展硬件来提升效率；Engine-Builder-LLM面向密集型大语言模型，利用前瞻解码技术一次生成多个Token，加快处理速度；BEI则针对较简单的AI模型，支持嵌入模型、数据分类和搜索模型等场景。

Q3：Baseten的MCM模块有什么作用？

A：MCM是Baseten用于多云调度的软件模块，可以将推理工作负载分散到多个公有云平台上运行。当某个云平台发生故障时，MCM会自动将请求切换至其他正常运行的平台，保障服务连续性。此外，当企业主要使用的公有云出现显卡资源紧缺时，MCM也能灵活切换至其他云平台，确保推理任务不受影响。