视频理解，而不只是VLM：借助SAM 3构建基于证据的视觉记忆

多年来从事视频分析工作时，我总会重新面对同一个令人不安的问题：系统给出精确的视频答案后，能否同时展示答案来自哪里？

视觉语言模型（VLM）能够观看视频并提供颇具说服力的描述。然而，一旦追问“物体究竟何时越过边界”“它在某一区域停留了多久”或“答案由哪些帧支撑”，问题便会显现。

    描述属于语言任务，测量则属于证据任务。 正是这一区别，让我构建了“扎根视觉智能”（Grounded Visual Intelligence）实验：先把视频转换成结构化且可查询的证据，再交由语言模型进行解释。

我希望这套系统遵守一条简单规则：

让感知模型来观察。让确定性工具进行测量。让 LLM 来规划和解释——并附上引用。

本文把这条规则落实为一套可操作的小型系统，并以 SAM 3 作为主要的感知路径，Grounded DINO + SAM 2 作为可复现基线。两套管道处理的是同一段十秒视频，最终生成相同且与模型无关的证据图。

一、流畅作答不等于答案经过测量

假设你向一个视频助手提问：“白杯何时由隔板左侧移动到了右侧？”

多模态模型也许会回答“大约四秒”。这个结果虽有用，却仍有若干工程问题没有解决：

帧与帧之间依据什么保持物体身份？

“左”和“右”由哪项空间规则界定？

时间估算采用了怎样的分辨率？

不重新运行 LLM 时，其他组件能否复现该答案？

审查者是否能够直接定位支撑帧？

问题并不只是答案可能错误。即使答案大致正确，如果证据、语义及不确定性都被隐藏，它在操作层面依然薄弱。因此，面对可测量的视频问题，我需要另一种契约：只要系统能够根据跟踪观测计算时间戳，语言模型便无须再从像素中估算时间戳。

二、架构：可移动的证据层

整个管道承担四项核心职责，并明确分隔感知、测量和语言的边界。

    1. 由感知生成观测

感知层先检测或提示对象，再完成分割，并在剪辑过程中维持对象身份。

主路径 (SAM 3)：图像级检测与基于内存的视频跟踪器被结合起来；接收概念提示后，其“可提示概念分割”会给出在图像和视频间保持身份的掩码。

基线 (Grounded DINO + SAM 2)：文本提示先由Grounded DINO转化为第一帧的开放集检测，再由SAM 2借助其流式存储器架构，在视频中传播选定对象。

尽管两者属于差异很大的模型栈，系统其余部分却不应关心这种差异。

    2. 通过证据图规范化输出

各适配器会把本地张量及响应对象统一转换为可移植的场景文档，而中央记录被有意设计得十分精简：

Scene  metadata: source, width, height, fps, duration  tracks[]    track_id    concept    observations[]      frame_index      timestamp_s      bounding_box      confidence      mask_uri  zones[]  provenance[]

掩码存储为行主要二进制 RLE 伪影（Artifacts）。模型权重、CUDA 张量和框架对象不跨越此边界。这意味着测试、分析工具和浏览器可以从录制的 JSON 和 RLE 文件中工作，而无需导入 PyTorch 或任何 SAM 实现。

    3. 用确定性工具解答可测量问题

场景内存提供以下操作：

统计某一概念的实例；

检索特定时间范围内的一条轨道；

测定观测区域中的占用率；

找出一个区域的末次观测，以及另一区域的首次观测；

把时间范围连同对应帧数、确切音轨一并作为证据提交。

答案应当是数值与证据引用的组合——而不是只有一句听起来合理的话。

    4. 由 LLM 编排并解释

LLM负责将用户问题转换为工具调用，再把结果组织成可读语言；不过，它并不掌握测量先完成，生成随后才发生，整个交互的可靠性因而改变。计数、过渡规则或时间戳依然具有确定性，同时不可检视。

三、受控场景：白杯实验

我特意选择了一个简单的合成场景：白色杯子经过一本笔记本，并穿过狭窄隔板，从标记为 A 的区域移至标记为 B 的区域。场景近乎乏味，但也因此便于逐项审视其中的假设。

分隔带周围的狭窄归一化带不计入 A 区和 B 区，区域归属则以轨道边界框的归一化中心判断。采用 4 帧每秒时，这次运行可达到的最细过渡分辨率为 250 毫秒。

四、系统能够捍卫的答案

相同的 A 到 B 边界、无轨道间隙和没有遗失的证据框架，均由这两种感知路径产生；结果还包括40 个观测与一条杯赛跑道。

    由确定性计算得到的答案是：

白杯在 3.75 秒到 4.00 秒之间从 A 区移到 B 区。它最后一次在 A 区（帧 15）被观测到，首次在 B 区（帧 16）被观测到。在 4fps 采样下，过渡被局部化为 250 毫秒窗口。

占用率的测量结果也完全相同：

五、两条模型路径究竟有多一致？

两条管道找到同一个杯子并不意外，更值得关注的是，它们生成的空间证据是否足够接近，进而支撑相同测量。为此，我逐帧配对两条单杯轨迹，并对二进制遮罩、包围盒及遮罩重心进行比较。

覆盖全部 40 帧的结果呈现出惊人的一致性：

最低的掩膜重叠出现在 A 区最后一个观测点，当时杯子接近分隔线和笔记本。即便如此，两套系统对概念、身份、区域以及过渡证据仍得出了一致结果。

⚠️ 重要限制：一致并不代表准确，因为该片段缺少手工标注的真实地面掩码，两套系统可能在达成一致的同时都出现错误。因此，比较只能支持较窄的结论：在这个受控场景中，任一感知堆栈都会产生实质相同的下游证据和确定性答案。

六、信心属于整体模式，而不是通用数字

两条流程也说明了为何必须保留模型元数据本身的语义。

在 Grounded SAM 2 中，初始 Grounding DINO 种子分数决定传播观测的置信度。

在 SAM 3 中，重复出现的数值是文本提示的配乐。

二者均不应被表示为 40 个经过独立校准的帧置信度，也不能直接互相比较。为此，证据探索者分别为其设置了不同标签：seed_score（种子评分）与 track_score（轨道评分）。诸如 confidence）这样的通用字段，只有连同来源及含义一起传播才具有价值。

七、关注操作观察，而非速度排行

两次运行均记录了 Colab T4 环境下的阶段时序和存储情况：

人们很容易据此宣称“SAM 3 更快更轻”，但现有数据还不足以完整支撑该结论：两者依赖边界和模型加载路径不同，而且都只有单次运行。与此同时，进程 RSS 的变化方向相反，SAM 3 的常驻内存反而更高。

核心传播完成正常，相关警告也被我记录。Grounded SAM 2 笔记本报告称，由于其可选编译扩展未能导入，可选的后处理已被跳过。只有把这些棘手的设置细节也纳入记录，可重复性才更具价值。

八、让答案能够接受查验

最后提供的界面是一款静态证据浏览器。该界面既不运行托管 GPU 推理，也不会向 LLM 发出请求，而是载入已验证视频、两条归一化场景轨道和对应的 80 个 RLE 掩码。

探索者允许读者执行以下操作：

定位被引用的边界框架；

拖动查看证据时间线；

选用 SAM 3，或改用 Grounded SAM 2；

切换显示遮罩、方框及区域；

从记忆来源和时机入手，对得分、空档及覆盖范围进行检查。

由于SAM 3提供的主概念提示路径最为简洁，它被设为默认视图；Grounded SAM 2则继续作为无限制基线保留。

九、实验能证明什么，又不能证明什么

在我看来，最有价值的结果是架构。实验表明，两种不同的视频感知堆栈能够归一为稳定的证据契约。契约建立后，时空问题便成为针对轨道的确定性操作，而不再是面对像素进行开放式猜测。

这项实验仍未证明该系统普遍能够降低 VLM 误差，其评估范围并不包括：

直接 VLM 基线

拥挤场景及多个同类实例

长期遮挡、重新识别与摄像机运动

真实操作画面（缺少真实掩码和过渡注释）

后续测试应当涵盖：建立带注释的多场景评估集，加入遮挡和再入，分别处理身份/掩膜/时间抽样的不确定性，利用深度与 3D 几何扩展图，并测量端到端答案的质量和成本。

十、更宏观的理念

视频基础模型对概念进行检测、分割和跟踪的能力正不断增强，而这并未削弱上层架构的重要性，反而使其更加关键。

应用仍然必须保存观测内容、观测时间、测量方法，以及支撑相应主张的工件。否则，再强的感知模型也只会成为文本生成器面对的另一个不透明输入。

我目前偏好的设计原则十分简单：

“如果视觉事实可以被测量，不要让语言模型去发明它。给模型一个工具，保留证据，让答案变得可寻。”

区别就在于，前者只是“听起来正确的视频系统”，后者则是“能展示其工作的视频系统”。

    可重复性说明

精确来源、预备输入、检查点及模型修订摘要，可从运行工件和项目结果文档查到。仓库的完整内容则包括两个 Colab 笔记本、测试、适配器、与模型无关的 Python 包，以及受控源剪辑、静态浏览器、验证结果文档和绘图源代码。

参考文献

2025/2026，Carion 等：《SAM 3：任何有概念的片段》。

2024，Ravi 等：《SAM 2：图像和视频中的任意片段》。

2023/2024，Liu 等：《Grounded DINO：开放型物体检测的基础预训练与 DINO 相结合》。

2024，Ren 等：《Grounded SAM：开放世界模型的组装服务于多样化视觉任务》。

SAM3 视频文档，Hugging Face Transformers。