Gemini 多模态能力实战：图片文档和视频理解教程

Gemini支持端到端多模态任务：图片理解需明确指向区域并保留原始字迹；文档处理须用截图而非PDF；视频分析需提取命名关键帧后跨帧精准定位信息。

想用一张截图快速提取表格数据、把会议录音转成带时间戳的待办清单、上传产品演示视频自动抓出客户质疑点——Gemini 的多模态能力已支持这些任务端到端完成，无需拆解为OCR+ASR+人工整理多个步骤。

图片理解：从识别文字到解析结构

第一步：打开 gemini.google.com 或国内可用平台 ei.gptmax.cc → 点击输入框右侧回形针图标 → 上传 JPG/PNG 格式图片，单张不超过 20MB，分辨率建议控制在 1920×1080 像素以内。

第二步：上传后立刻输入指令，首句必须含“图中”“该图像”等明确指向词，例如：“请聚焦图中右下角红色标注区域，识别所有可见字段名并输出为 JSON。”【不写“这张图里有什么”而写“聚焦右下角红色标注区域”，模型才不会泛泛描述背景】

第三步：若图片含手写内容或模糊截图，追加一句：“按原始字迹逐行还原，保留涂改痕迹和括号内批注。”这能防止模型擅自“修正”错别字而丢失关键信息。

文档理解：PDF截图与多页图文混合处理

方法一：网页端上传单页截图（适合技术文档/报表）
直接将 PDF 截图拖入输入框 → 输入：“提取图中表格全部单元格内容，保持行列结构，空单元格标为 NULL；另起一段说明该表格在原文档中的逻辑作用。”

方法二：多页图文联合分析（适合项目方案/合同）
先用 PDF 工具导出关键页为 PNG，最多传三张 → 每张命名如“page_03_流程图”“page_07_接口定义” → 指令开头写：“结合 page_03_流程图 与 page_07_接口定义，指出流程图中缺失的异常分支处理环节，并定位到接口定义第几条。”

注意：不要上传原始 PDF 文件，Gemini 当前不支持直接解析 PDF 内嵌字体与矢量图，截图才是稳定路径。

视频理解：从两小时录像里精准挖出决策点

① 预处理视频：
用剪映或系统自带编辑器裁掉片头片尾黑场 → 导出为 MP4 格式、分辨率不低于 720p、单文件 ≤2GB。

② 提取关键帧（必须做）：
执行命令 ffmpeg -i input.mp4 -vf "fps=1" frame_%04d.png → 筛选出包含发言起始、白板书写、PPT翻页的 3～5 帧 → 重命名为“frame_00:42s_客户提问.png”格式。

③ 上传与提问：
将重命名后的关键帧全部拖入同一对话 → 输入：“对比这四帧画面，提取客户在 00:42s 提出的核心质疑，标注其在 01:15s 白板书写中对应的修改要求，并列出产品经理在 02:30s PPT 翻页时给出的三点回应。”