Step Edge – 阶跃星辰端侧AI智能体及多模态模型全家桶

Step Edge快速摘要

Step Edge是阶跃星辰于2026年7月12日发布的端侧AI模型全家桶，包含Step Edge、Step Edge Audio、Step Edge GUI和Step Edge Gen四个核心模型，支持文本、视觉、语音、GUI操作和图像生成等能力，适用于手机、汽车、边缘设备及端侧智能助手场景。

• 产品名称：Step Edge
• 产品类型：端侧AI模型套件
• 开发公司：阶跃星辰（StepFun）
• 发布时间：2026年7月12日
• 主要功能：多模态理解、工具调用、GUI Agent、语音识别、图像生成
• 使用要求：面向手机、车载及边缘终端部署
• 开源情况：官方暂未披露开源计划
• 适用场景：智能助手、车载交互、本地自动化、边缘AI应用
• 技术特点：端云协同、全模态本地处理、低至0.1秒Tool Call
• 上下文长度：官方测试环境显示最大131072 Token
• 价格信息：官方暂未披露API及商业定价方案

Step Edge的核心优势

• 端侧实时响应：支持最低0.1秒本地工具调用，高频任务可直接在设备端完成，减少网络依赖，适合手机助手、车载控制等需要即时反馈的场景。
• 全模态隐私保护：文本、图像、语音均支持本地处理，敏感数据无需上传云端，更适用于个人终端、车机系统和企业边缘设备。
• 智能体执行能力：覆盖GUI定位、工具调用、空间理解和视频理解等能力，在AppWorld测试中取得21.43分，高于多个同级端侧模型。
• 端云协同架构：简单任务本地执行，复杂推理交由云端完成，在保证响应速度的同时兼顾模型能力和部署成本。
• 推理效率优化：搭配Step Inference NPU引擎，1024 Token文本推理约4.33秒，预填充吞吐达到1395 Token/s。

Step Edge的主要功能

• 多模态理解：支持文本、图片和视频统一分析，在MMBench CN测试中达到88.79分，可完成内容识别与信息提取任务。
• 界面理解与操作：支持GUI Grounding和界面元素定位，在OSWorld-G测试中达到64.71分，可用于终端自动化操作。
• 工具调用：支持本地工具和系统功能调用，在API Bank L1测试中获得74.94分，适合智能体任务执行。
• 语音识别：Step Edge Audio支持中文和英文语音转文字，中文CER约3.1%，英文WER约3.6%。
• 图像生成编辑：Step Edge Gen支持文生图和图像编辑，在GenEval2测试中达到25.5分，支持端侧生成体验。

Step Edge的技术原理

• 1+N模型架构：以Step Edge为基础模型，连接Audio、GUI和Gen多个专用模型，实现端侧多模态能力协同。
• 统一多模态训练：融合文本、图像、视频和语音数据训练，提升跨模态理解与推理能力。
• GUI Grounding机制：通过界面元素识别与坐标定位，实现按钮点击、菜单操作等自动化任务。
• 工具调用框架：支持工具解析与动作执行，可将自然语言指令转换为系统操作流程。
• NPU推理优化：针对终端硬件优化算子与内存调度，提升推理速度并降低功耗。

Step Edge与主流模型对比