LingBot-Video是什么
LingBot-Video 是蚂蚁灵波科技开源的全球首个面向具身智能的 MoE 视频生成基础模型。模型基于 DiT + MoE 架构，总参数 30B 仅激活约 3B，兼顾大容量与高效推理。模型整合 7 万小时互联网及机器人数据，通过多维强化学习奖励对齐物理合理性与任务完成度，在 RBench 和 Physics-IQ 评测中均排名第一，可生成符合真实物理规律的机器人操作与交互视频。
LingBot-Video的主要功能
- 文本/图像生成视频：支持 T2V、TI2V、T2I 统一生成，覆盖开放世界场景与具身任务。
- 机器人动作预测：生成机械臂、人形机器人、四足机器人等的动作序列与接触状态。
- 物理仿真视频生成：模拟材料形变、流体运动、光照反射等真实物理现象。
- 仿真数据合成：为机器人策略训练提供大规模、低成本的物理合理视频数据。
- 世界模型研究：作为物理世界模拟器，支持策略评估与动作规划。
LingBot-Video的技术原理
- DiT + Sparse MoE 架构：模型采用 Single-Stream Diffusion Transformer 统一处理视觉潜码与条件 token，以 MoE 替代 Dense FFN，总参数 30B 仅激活约 3B，实现约 3 倍推理加速。128 个细粒度 routed experts 配合共享专家，通过 top-K 路由捕获不同物理模式，避免子任务干扰。
- 数据画像引擎与 7 万小时具身数据：在海量互联网视频基础上，引入 VLA、VLN、Ego 等机器人数据，覆盖灵巧操作、导航与第一视角交互，使模型学习动作与环境变化的内在关系。
- 多维强化学习奖励对齐：训练阶段除美学、prompt 跟随和运动一致性外，额外引入物理合理性与任务完成度奖励，并使用真实世界视频作为偏好信号，使生成结果符合真实物理规律与机器人任务需求。
- 统一输入与 3D RoPE：T2I/T2V/TI2V 任务统一为单序列 token，通过多模态 3D MM-RoPE 将条件 token 与视觉 token 映射到非重叠时空坐标，消除任务特定架构需求，同时保持空间局部性与时序顺序。
- 级联生成与稳定训练：模型采用 base generator + refiner 级联设计，base 生成紧凑潜码，refiner 提升细节。配合 QK-Norm、AdaLN-Single 调制及无辅助损失的序列级负载均衡策略，保障长序列、高分辨率训练稳定。
微信关注回复“开源”，加入AI开源项目交流群
如何使用LingBot-Video
- 环境准备：确保本地或服务器已配置 Python 3.10+ 及 CUDA 环境，并预留足够显存。
- 克隆仓库：从 GitHub 拉取 LingBot-Video 官方代码库到本地工作目录。
- 安装依赖：根据项目 requirements.txt 安装所需的深度学习与推理库。
- 下载权重：从 HuggingFace 或 ModelScope 获取对应规模的模型 checkpoint 文件。
- 准备提示：将文本描述、参考图像或结构化控制信号整理为模型支持的输入格式。
- 运行推理：加载模型并执行生成脚本，输出具身智能或开放世界视频。
LingBot-Video的核心优势
- 全球首个开源具身视频 MoE 模型：填补面向机器人的开源视频基础模型空白。
- 容量与效率解耦：30B 参数规模下仅激活 3B，推理速度约为同规模 Dense 架构的 3 倍，适配实时交互需求。
- 物理合理性领先：在 RBench（0.620）和 Physics-IQ Verified 均排名第一，超越 Wan2.6、Seedance 1.5 Pro、Cosmos 3 等。
- 数据专门化：7 万小时机器人数据注入，使模型理解动作-环境因果关系，而非仅视觉风格。
- 统一任务框架：T2I/T2V/TI2V 单模型统一处理，降低多任务部署成本。
LingBot-Video的项目地址
- 项目官网：https://technology.robbyant.com/lingbot-video
- GitHub仓库：https://github.com/Robbyant/lingbot-video
- HuggingFace模型库：https://huggingface.co/collections/robbyant/lingbot-video
- arXiv技术论文：https://arxiv.org/pdf/2607.07675
LingBot-Video的同类竞品对比
维度 | LingBot-Video | NVIDIA Cosmos 3 Super | 研发背景蚂蚁灵波科技（Robbyant）开源发布，专注具身智能视频生成。NVIDIA 2026 年 6 月发布，面向物理 AI 与机器人训练的全模态世界模型。
架构设计基于 DiT 的 Single-Stream Sparse MoE，统一处理 T2I/T2V/TI2V。Mixture-of-Transformers（MoT）双塔架构，自回归 Transformer 处理文本，扩散 Transformer 处理连续模态。
参数规模总参数 30B，激活约 3B，实现容量与效率解耦。总参数 64B（Super），Nano 版本为 16B，全参数激活。
模态支持文本、图像、视频，专注视觉生成与动作条件建模。文本、图像、视频、音频、动作序列统一处理，支持全模态输入输出。
训练数据7 万小时互联网视频加 VLA/VLN/Ego 机器人数据，注入动作与环境动态先验。20 trillion tokens，含约 10 亿图像、4 亿真实与合成视频及环境音频，覆盖机器人、驾驶、仓储等场景。
开源程度模型权重、代码、技术报告完全开源，社区可自由下载与二次开发。模型权重与代码以 OpenMDW 1.1 协议开源，允许商用，配套提供合成数据集与评测基准。
RBench 表现得分 0.620，在公开对比中排名第一。得分 0.581，在部分评测中位列开源模型前列。
Physics-IQ在 Physics-IQ Verified 评测中排名第一。I2V 43.8 分、V2V 59.7 分，在对应榜单中达到 SOTA。
推理效率30B 总参数仅激活 3B，推理速度约为同规模 Dense 架构的 3 倍。64B 全参数激活，需 H100 级硬件支持，Nano 版本针对更快推理优化。
LingBot-Video的应用场景
- 机器人仿真训练：为机械臂、人形机器人生成物理合理的操作视频，替代昂贵真实数据采集。
- 仿真数据合成：批量生成多样化场景与动作轨迹，用于策略预训练与数据增强。
- 世界模型研究：作为物理世界预测器，支持基于想象的机器人规划与决策。
- 自动驾驶仿真：生成符合物理规律的道路交互与 ego 视角视频，用于感知算法验证。
- 服务与制造：在仓储、医疗、家庭服务场景中模拟人机交互流程，优化任务策略。
