AI 如何控制本地电脑？GenericAgent 使用方法解析

“帮我从截图里找出大额支出，再发给同事”听起来像一句话，落到电脑上却包含读图、定位文件、计算、切换窗口和发送五类动作。GenericAgent 能让模型通过工具链完成这些本地操作；它不会因为看懂指令就天然拥有屏幕权限、登录态或正确的点击坐标。

控制电脑不是一个按钮，而是四条链

文件与终端链

file_read、file_write、file_patch处理磁盘内容，code_run运行 Python 或 PowerShell、安装依赖并生成脚本。目录只读、路径含特殊字符或脚本退出码异常时，这条链会停，不能把“命令已发出”当成“任务已完成”。

网页链

web_scan负责观察，web_execute_js负责操作 DOM；需要保留真实浏览器登录态时，还要配置项目的浏览器桥接能力。页面结构变化、验证码或扩展未连接都会让旧步骤失效，Agent 应回到观察环节，而不是连续盲点。

屏幕与键鼠链

GenericAgent 可以按任务自举 OCR、视觉与 computer-use 能力，再控制无法通过 DOM 访问的本地界面。缩放比例变化、遮挡或 OCR 误识别会造成坐标偏移，因此关键按钮前要截图复核，删除、付款、发送等动作必须保留人工确认。

移动设备链

通过 ADB 可以把任务延伸到 Android 设备。设备未授权、USB 调试关闭或应用界面改版时，控制会失败；个人主力手机不适合作为第一台测试设备。

一条可靠指令要写出六个边界

目标：读取测试目录中的 3 张截图，汇总金额超过 2000 元的项目。
范围：只访问 /test/bills，不读取其他目录。
允许：安装 OCR 依赖、创建临时脚本、写入 result.csv。
禁止：删除原图、打开聊天软件、发送任何消息。
校验：金额合计与逐项明细一致，并保留无法识别的文件名。
停点：生成预览后等待我确认。

目标告诉 Agent 要得到什么，范围与禁止项防止它把“方便”理解成授权，校验和停点则把结果变成可检查的状态。若只说“把处理一下”，模型可能选择你不接受的目录、阈值或发送对象；这不是工具失灵，而是任务边界没有落到动作上。

开放权限要按可逆性递进

1. 先给只读测试目录，让它列出准备读取的文件；若清单越界，立刻缩小路径。
2. 再允许写入新文件，但不允许覆盖；若输出无法复核，先修校验规则。
3. 网页操作先停在预览或草稿状态；若登录态不稳定，不要继续到提交按钮。
4. 键鼠控制先跑录屏可见的沙盒任务；若坐标漂移，改用 DOM、脚本或人工接管。
5. 发送、删除、付款和系统设置变更始终放在人工确认之后。

看日志时只问三件事

第一，它看到的环境是否和你看到的一样；若截图、文件列表或网页状态已经过期，后面的推理再完整也没有意义。第二，它有没有把工具返回值当成成功证据；只收到空输出或异常码时继续下一步，会把小错误放大。第三，它是否在关键动作前停住；没有停点的自动化速度越快，追回误操作的时间越长。

真正的本地电脑控制，不是让 Agent 尽量多点几下，而是让每一步都有可见状态、失败出口和权限上限。先把一条四五步的小链跑稳，再增加应用和账号，比一句“全自动完成”更接近可长期使用的工作流。