第3708期智能体引擎优化：AI化身你的首席文档阅读官

AI编程智能体正悄然改变文档消费模式，传统分析工具对此束手无策。本文将揭示智能体引擎优化的完整框架。

前言

AI编程智能体正以全新方式消费文档：单次请求、零交互，传统分析对此完全失明。智能体引擎优化（AEO）是一门新兴学科，通过分层策略让文档对AI可发现、可解析、token高效。本文提供从访问控制到能力信号的完整实操框架。

AI智能体的文档消费革命

AI编程智能体消费文档的方式与人类截然不同。如果你至今仍只为人类读者做优化，那么一个日益壮大的受众群体正在你的工具视野之外悄然生长。文档、命令行工具、MCP、Skills……AI智能体所交互的是一整套接口生态。

Chrome的Lighthouse团队已推出实验性的llms.txt检测功能，Google Search/网站管理员团队也发布了关于SEO与AI智能体的独立指南。本文对AEO的立场需要从开发者视角理解：智能体将通过Claude Code、Cursor等工具越来越多地代替人类消费文档。请将本文视为开发者工具领域从业者的个人见解。

被忽视的智能体访问现象

各大开发者门户中正在上演一个被严重低估的现象。工程师打开Claude Code实现某个规格说明时，智能体会抓取部分文档，解析为纯文本并计算token数量。整个过程不会触发任何分析事件，导致你的漏斗模型一片空白。

什么是智能体引擎优化？

智能体引擎优化（AEO）是对技术内容进行结构化、格式化和分发，使AI编程智能体能够真正使用这些内容的实践。类比SEO，AEO是为AI智能体而非人类读者做优化。

关键要素

1. 可发现性 —— 智能体能否在不渲染JavaScript的前提下找到文档

2. 可解析性 —— 内容是否无需依赖视觉布局就能被机器读取

3. Token效率 —— 内容能否在不被截断的情况下放入典型智能体的上下文窗口

4. 能力信号 —— 文档是否告诉智能体API能做什么，而非仅说明如何调用

5. 访问控制 —— robots.txt是否放行了AI流量

AI智能体的文档阅读方式

AI智能体与人类阅读文档的行为差异远超预期。

人类模式

人类开发者会导航到相关章节，扫视标题，阅读文字，运行代码示例，点击内链，完成4-8分钟的会话。分析系统能完整记录这些行为。

智能体模式

研究发现主流AI编程智能体通常将多页导航压缩为一两次HTTP请求。人类需要层层点进文档结构，智能体只发出一个GET请求就接收完整页面。所有客户端分析事件——滚动深度、页面停留时间、按钮点击——全部隐形。

AI流量特征

智能体	HTTP运行时	预取行为	特征签名
Aider	无头Chromium(Playwright)	按需GET	完整的Mozilla/Safari User-Agent
Claude Code	Node.js/Axios	按需GET	axios/1.8.4
Cline	curl	GET+OpenAPI/Swagger扫描	curl/8.4.0
Cursor	Node.js/got	HEAD探测→GET	got(sindresorhus/got)
Junie	curl	顺序多页GET	curl/8.4.0
OpenCode	无头Chromium(Playwright)	按需GET	完整的Mozilla/Safari User-Agent
VS Code	Electron/Chromium	按需GET	Chromium风格附带Electron标记
Windsurf	Go/Colly	按需GET	colly

Token问题：文档对智能体的可见性

token经济学是整幅图景中最被低估的部分。大多数智能体的实际上限在10万到20万token之间。当文档过长时，智能体可能静默截断、跳过文档、分块处理或凭空编造。

实用的token目标

1. 快速入门/开始上手页面：<15,000 tokens

2. 单个API参考页面：<25,000 tokens

3. 完整API参考：按资源/端点分块

4. 概念性指南：<20,000 tokens

AEO技术栈

AEO是一组分层的信号与标准，从底层基础到表层界面：

第一层：访问控制（robots.txt）

智能体的第一站。配置错误的robots.txt会无声拒绝智能体访问。

第二层：通过llms.txt实现可发现性

llms.txt是面向AI智能体的站点地图，提供结构化目录和描述。

第三层：通过skill.md进行能力信号传递

skill.md告诉智能体产品实际能做什么，将意图映射到端点和资源。

第四层：面向智能体解析的内容格式

提供Markdown而非仅HTML；为扫描而非阅读组织结构；消灭导航噪音；前置有用信息。

第五层：Token数量的显式暴露

在文档页面上公开token计数，帮助智能体做出明智决策。

第六层："为AI复制"

"为AI复制"按钮能将干净的Markdown复制到剪贴板，提升上下文质量。

AGENTS.md：新兴标准

AGENTS.md正在成为AI智能体的入口文件，应包含项目结构、API链接、测试环境、速率限制等信息。

监控AI来源流量

值得关注的来源渠道包括labs.perplexity.ai/referral、chatgpt.com/organic等。还需监控HTTP指纹特征以捕获不带referrer的智能体流量。

对开发者体验的影响

在智能体主导的世界里，许多传统假设开始崩塌：视觉层级无关紧要；渐进式披露成为障碍；交互示例失去价值；用户旅程坍缩。未来最好的文档需要同时服务人类和智能体两类受众。

AEO审计清单

可发现性

1. 根目录存在llms.txt

2. robots.txt未屏蔽AI智能体

3. 存在agent-permissions.json

4. 代码仓库存在AGENTS.md

内容结构

1. 文档页面可获取干净Markdown

2. 每个页面以清晰结论开头

3. 标题层级正确

4. 代码示例紧跟文字描述

5. 参数引用使用表格

Token经济

1. 追踪文档页面token数

2. 单页不超过30,000 tokens

3. llms.txt公开token数

4. token数作为元数据可获取

能力信号

1. 存在skill.md文件

2. 描述能力而非仅调用方式

3. 提供MCP服务器

分析监控

1. AI来源单独分类

2. 监控AI智能体HTTP指纹

3. 建立AI与人类流量比率基准

用户体验桥接

1. 提供"为AI复制"按钮

2. 可通过URL约定访问Markdown

工具支持

agentic-seo是一个轻量级审计工具，可扫描站点以发现AEO优化机会。

实施优先级

1. 审查robots.txt

2. 添加llms.txt

3. 测量并公开token计数

4. 为重要API编写skill.md

5. 添加"为AI复制"按钮

6. 搭建AI流量监控

总结

AI编程智能体已成为文档流量的重要组成部分，其行为与人类读者有本质区别。率先实施AEO的团队将获得竞争优势，而未能行动的团队将面临无声的失败模式。好消息是，为智能体优化的文档往往也会让人类受益。