北大联合港中文上海AI实验室推出VGGT-Edit：5秒极速编辑3D场景 120倍效率提升引爆行业

3D场景编辑技术迎来重大突破，研究人员提出全新框架直接在三维空间进行操作。传统方法存在的视角不一致问题有望得到彻底解决。 当前3D重建技术已实现质的飞跃，从NeRF到3D Gaussian Splatting，再到VGGT和π³等前馈式模型，仅需少量图片即可快速构建完整3D场景。然而这些系统在场景编辑方面仍存在明显短板，难以准确执行物体移动、删除或材质修改等操作指令。 现有方法的局限性 主流3D编辑技术普遍采用二维处理思路：先将场景分解为多张2D图像分别编辑，再重新拼接成3D。这种方法存在以下问题： 不同视角间编辑结果不一致 背景区域出现非预期变形 物体边缘产生重影和闪烁 创新解决方案 研究团队提出VGGT-Edit框架，其核心创新在于： 残差场预测机制：仅修改需要变化的部分 深度同步文本注入：确保语义与空间位置精确对应 专用编辑头设计：专注于局部区域修改 训练数据集 团队构建了DeltaScene数据集，规模达10万组，涵盖各类室内场景。通过自动化流程确保数据满足多视角几何一致性要求。 性能表现 测试结果显示： 单次编辑仅需5秒 最高实现120倍加速 对未见过指令展现良好泛化能力 这项突破使3D编辑首次接近实时交互水平，为AR/VR、数字孪生等领域带来新的可能性。模型不仅会生成3D场景，更开始真正理解空间变化，这标志着空间智能技术迈入新阶段。