Xiaomi-Robotics-U0是什么
Xiaomi-Robotics-U0 是小米推出的 380 亿参数统一具身合成模型，基于世界基础模型持续训练，联合优化文生图、图像编辑、具身场景生成、具身迁移及具身视频生成五大任务。Xiaomi-Robotics-U0 是首个支持跨多种机器人形态的高质量多视角场景生成模型，在具身场景生成与迁移的人工评估中超越 GPT-Image-2.0，在 World Arena 具身视频生成榜单排名第一，将 π0.5 在真实世界操控任务的分布外成功率从 36.9% 提升至 63.2%。
Xiaomi-Robotics-U0的主要功能
- 文生图生成：支持高质量文本到图像合成，保留基础世界模型的视觉知识。
- 图像编辑：支持 Any-to-Image 编辑，包括相机控制、时间控制、结构提取等细粒度操作。
- 具身场景生成：根据机器人形态和场景描述，生成多视角一致的初始观察画面。
- 具身迁移：在保持多视角一致性和交互动态的前提下，实现跨场景的结构化可控迁移。
- 具身视频生成：支持零样本多视角具身视频生成，将静态场景合成为时序连贯的操作视频。
Xiaomi-Robotics-U0的技术原理
- 统一自回归框架：基于 EMU3.5初始化，采用 IBQ Tokenizer 进行 16×16 空间压缩，所有模态统一为离散词表进行 next-token 预测。
- 联合持续训练：在通用域和具身数据集上统一自回归目标进行持续训练，避免用有限机器人数据导致的泛化能力损失。
- FlashAR+ 推理加速：引入反对角线并行解码的垂直预测头，结合 vLLM 优化，1024×1024 分辨率图像生成速度提升 82.9 倍。
- 结构化控制分解：将场景解耦为工作空间、任务对象、无关对象、光照、背景五个独立控制维度，支持可扩展的具身视频增强。
- 子任务-子目标交错学习：通过 HDBSCAN 聚类对机器人轨迹进行子任务分解，生成交错的图像-文本序列，捕捉长程任务进展和细粒度交互动态。
微信关注回复“开源”，加入AI开源项目交流群
如何使用Xiaomi-Robotics-U0
- 环境配置：访问小米机器人官网下载模型权重与推理代码，配置支持 CUDA 和 vLLM 的高性能 GPU 环境。
- 模型加载：基于 EMU3.5 架构初始化并加载 Xiaomi-Robotics-U0 的 380 亿参数检查点，统一调用 IBQ Tokenizer 处理多模态输入序列。
- 文生图生成：输入文本描述，通过标准自回归 next-token 预测直接生成 1024×1024 分辨率的高质量图像。
- 图像编辑：提供一至三张参考图像配合文本指令，模型基于 Any-to-Image 能力执行相机控制、时间控制或结构提取等细粒度编辑。
- 具身场景生成：输入机器人形态描述与结构化场景文本，模型输出严格满足多视角一致性和几何连贯性的初始观察画面。
- 具身迁移：给定当前多视角观察与目标场景描述，模型在保持交互动态的前提下生成迁移后的多视角 RGB 图像。
- 具身视频生成：提供初始观察帧与任务指令，模型通过自回归展开生成 15 至 25 帧时序连贯的机器人操作视频。
- 推理加速：启用 FlashAR+ 垂直预测头与 vLLM 优化，实现 1024×1024 分辨率下图像生成速度提升 82.9 倍。
- 数据引擎应用：将生成的具身场景或视频序列直接输入下游机器人策略网络，用于提升真实世界操控任务的分布外泛化能力。
Xiaomi-Robotics-U0的核心优势
- 统一性：首个将基础图像/视频生成与具身生成统一在单一框架内的模型，避免后训练导致的视觉知识遗忘。
- 多视角一致性：支持跨多种机器人形态的高质量多视角场景生成，严格满足几何连贯性和相机标定约束。
- 可控迁移：引入结构化控制机制，可在保持交互动态的前提下对工作空间、背景、光照等维度进行细粒度编辑。
- 数据引擎能力：生成的具身场景可直接展开为时序连贯的操作视频，为下游策略学习提供可扩展的合成轨迹。
- SOTA 性能：在具身场景生成与迁移上超越 GPT-Image-2.0，在 World Arena 具身视频生成排名第一。
Xiaomi-Robotics-U0的项目地址
- 项目官网：https://robotics.xiaomi.com/xiaomi-robotics-u0.html
- HuggingFace模型库：https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0
- arXiv技术论文：https://arxiv.org/pdf/2607.11643
Xiaomi-Robotics-U0的同类竞品对比
维度 | Xiaomi-Robotics-U0 | π0.5 | 定位统一具身合成世界模型，专注生成可控数据与场景端到端视觉-语言-动作策略模型，专注直接控制机器人
参数规模380 亿参数自回归 Transformer采用 VLM 主干 + Action Expert 分层架构
核心能力多视角场景生成、具身迁移、视频生成、图像编辑端到端机器人控制、家庭泛化任务执行
架构基于 EMU3.5 初始化，统一 next-token 预测预训练离散动作 token，后训练流匹配生成连续动作
数据引擎可直接生成具身场景与视频，将 π0.5 分布外成功率从 36.9% 提升至 63.2%本身不具备数据生成能力，依赖真实世界采集
多视角一致性原生支持跨多种机器人形态的多视角场景生成与几何连贯迁移作为单视角策略模型，不直接处理多视角合成
视觉知识保留联合训练通用生成与具身任务，VLM 基准保持高分（ERQA 40.8、SEED 78.6）VLM 基准得分较低（ERQA 0.0、SEED 21.5），视觉理解受损
Xiaomi-Robotics-U0的应用场景
- 机器人数据合成：为真实机器人训练生成大规模、多样化的合成操作轨迹，解决真实数据收集成本高、场景受限的问题。
- 跨形态场景迁移：将同一操作任务从一种机器人形态（如单臂）迁移到另一种形态（如双臂），保持场景一致性。
- 仿真环境构建：快速生成高质量多视角机器人操作场景，用于仿真平台训练和策略验证。
- 操作策略增强：利用生成的分布外数据提升机器人策略的泛化能力，如将 π0.5 的成功率提升 26.3%。
- 具身智能研究：作为世界基础模型，支持长程任务规划、子任务分解和交互动态预测等基础研究。
