Xiaomi Auto WorldModel快速摘要 Xiaomi Auto WorldModel 是小米汽车团队提出的自动驾驶世界模型系统 ，基于WorldRec与WorldGen双模块架构，实现三维场景重建与视频生成统一建模，适用于闭环仿真、数据合成与端到端自动驾驶训练。
模型名称： Xiaomi Auto WorldModel（Joint World Model）开发公司： Xiaomi Auto WorldModel Team，小米汽车自动驾驶研发团队。发布时间： 2026年5月核心架构： WorldRec + WorldGen + Joint World Model三层系统结构。论文来源： Technical Report，基于arXiv公开技术报告体系。任务类型： 世界表示（World Representation）与世界生成（World Generation）。重建机制： Sparse scene queries驱动的feed-forward 3D Gaussian重建。生成机制： DiT扩散Transformer + 三阶段训练（TF → ODE distillation → DMD）。推理效率： WorldGen可实现4步去噪生成，支持0.19s/frame推理速度。场景长度： 支持最长81帧连续驾驶视频生成序列。应用场景： 自动驾驶闭环仿真、数据合成、端到端训练。开源情况： 仅技术报告公开，系统级实现未完全开源。Xiaomi Auto WorldModel的核心优势 双任务统一建模： WorldModel将世界表示与世界生成统一为单一系统，通过WorldRec与WorldGen协同优化，实现从3D重建到视频生成的闭环链路。稀疏查询重建： WorldRec采用sparse scene queries初始化3D空间结构，通过跨视角与跨时间注意力聚合特征，避免传统per-scene优化带来的小时级训练成本。低步数扩散生成： WorldGen基于DiT架构结合ODE distillation与DMD蒸馏，将传统扩散模型数十至数百步推理压缩至4步生成，用于降低自动驾驶视频生成延迟并提升在线仿真效率。闭环一致性增强： Joint World Model通过rendered RGB prior与ego-projected conditioning提供几何约束，使生成过程依赖4D场景结构记忆，减少长时序生成中的漂移与幻觉问题。长序列生成能力： 模型支持最长81帧驾驶序列生成，相比传统8–16帧模型具有更强时序扩展能力，用于复杂交通场景模拟与长尾驾驶行为建模。Xiaomi Auto WorldModel的核心功能 三维场景重建： WorldRec基于multi-view视频输入构建3D Gaussian场景表示，通过sparse query聚合实现10秒视频约10秒重建，用于自动驾驶环境建模与空间理解。驾驶视频生成： WorldGen基于DiT扩散模型生成连续驾驶视频序列，通过4步去噪推理生成最长81帧场景，用于未来轨迹预测与交通演化模拟。闭环仿真训练： 系统支持从真实驾驶数据生成仿真环境，用于自动驾驶策略训练与行为测试，可模拟复杂交通交互如加塞、行人横穿与极端天气。数据合成扩展： 通过生成式世界模型自动扩展训练数据分布，用于补充长尾场景数据，提高自动驾驶模型在低频事件中的鲁棒性与泛化能力。多视角一致性建模： JointWM通过多摄像头输入实现跨视角空间一致性建模，保证车辆、道路与环境在不同视角下的结构一致性与几何稳定性。Xiaomi Auto WorldModel的技术原理 WorldRec重建机制： 采用sparse scene queries初始化3D空间token，通过visibility-aware attention融合跨视角与跨时间特征，生成compact 3D Gaussian representation，用于替代per-scene优化。WorldGen生成机制： 基于Diffusion Transformer架构，采用bidirectional pretraining学习全局时空分布，再通过causal fine-tuning引入时间因果约束，实现视频序列生成能力。三阶段对齐训练： 包括Teacher Forcing、ODE distillation与DMD训练阶段，将高步数扩散模型压缩为低步数推理模型，实现生成加速与分布对齐。4D场景融合机制： JointWM通过incremental scene fusion持续更新空间表示，使新观测数据与历史4D结构融合，构建连续驾驶场景记忆系统。rendered prior条件控制： 通过ego-projected rendered RGB作为生成条件输入，为WorldGen提供部分几何约束，从而提升未观测区域生成一致性。Xiaomi Auto WorldModel与主流模型对比 维度 Xiaomi WorldModel GAIA-1 DriveDreamer NVIDIA Cosmos 模型出处 Xiaomi Auto WorldModel Team Wayve 华中科技大学等团队 NVIDIA 核心范式 重建+生成统一世界模型 生成式驾驶模型 驾驶视频扩散模型 通用物理世界模型 重建能力 Sparse query 3D Gaussian 弱或无显式重建 部分隐式建模 物理驱动建模 生成能力 DiT + 4步扩散 扩散生成 扩散生成 高算力生成 闭环仿真 完整闭环支持 部分支持 支持 支持 序列长度 81帧 8–16帧 8–16帧 可扩展 关键优势 4D一致性+低步数生成 动作控制能力 视频生成能力 通用物理模拟
根据公开技术报告与论文测试结果，Xiaomi Auto WorldModel的核心差异在于WorldRec与WorldGen的深度联合建模结构。相比GAIA-1与DriveDreamer主要依赖生成模型进行驾驶场景预测，Xiaomi Auto WorldModel额外引入显式4D空间重建，通过sparse scene queries与incremental scene fusion增强几何一致性。NVIDIA Cosmos则更偏向通用物理世界模拟与机器人训练，在自动驾驶垂直场景中的优化方向不同。据Waymo与nuScenes实验结果显示，Xiaomi Auto WorldModel在长时序稳定性、跨视角一致性与低步数推理效率方面表现更突出，尤其适用于闭环仿真与长尾驾驶数据生成场景。
如何使用Xiaomi Auto WorldModel 输入数据准备： 使用多摄像头驾驶视频作为输入，建议帧率≥30FPS，用于保证跨时间建模稳定性与空间重建精度。WorldRec重建配置： 设置sparse scene queries初始化数量（建议≥1024），用于构建3D Gaussian场景表示并减少重建误差。WorldGen训练流程： 执行bidirectional pretraining后进行causal fine-tuning，并依次应用Teacher Forcing、ODE distillation与DMD压缩推理步骤。闭环仿真执行： 将模型输出接入自动驾驶仿真环境，用于生成复杂交通场景并验证车辆决策行为。推理加速优化： 启用4步去噪生成模式并使用GPU加速推理，用于实现0.19s/frame级别的生成性能。Xiaomi Auto WorldModel的局限性 系统未完全开源： 当前仅发布技术报告与论文，完整训练代码与工业系统未开放，限制外部开发者直接复现能力。算力依赖较高： 多视角视频建模与4D重建需要高性能GPU集群支持，在大规模训练场景中资源成本较高。实时应用受限： 尽管采用4步扩散加速，但复杂交通场景生成仍偏离严格实时车端部署需求。Xiaomi Auto WorldModel相关资源 项目官网 ：https://JointWM.github.io/arXiv技术论文 ：https://arxiv.org/pdf/2605.18137Xiaomi Auto WorldModel常见问题 Xiaomi Auto WorldModel是什么？ 是小米汽车提出的自动驾驶世界模型系统，通过WorldRec与WorldGen统一实现三维重建与视频生成，用于闭环仿真与训练。
Xiaomi Auto WorldModel支持多少帧生成？ WorldGen支持最长81帧驾驶序列生成，用于长时序交通场景模拟与预测任务。
Xiaomi Auto WorldModel如何实现加速？ 通过ODE distillation与DMD将扩散生成压缩至4步推理，实现0.19s/frame生成速度。
Xiaomi Auto WorldModel是否开源？ 当前仅公开技术报告与论文，完整系统与训练代码未开放。
Xiaomi Auto WorldModel和GAIA-1区别？ GAIA-1以生成式模型为主，而本模型强调重建+生成联合架构，在跨帧一致性方面更强。
Xiaomi Auto WorldModel适用于什么场景？ 用于自动驾驶闭环仿真、数据合成扩展与端到端驾驶策略训练。
