2026-10-27 0
网站已经上线，浏览器里也能看到完整内容，但 AI 仍可能只抓到导航、页脚，甚至直接落到登录页。原因在于浏览器与抓取工具处理 JavaScript、结构化数据和访问状态的方式并不相同。要判断内容是否真正可达，需要从原始 HTML、爬虫规则和未登录访问结果逐项检查。
先给结论：判断一个页面对 AI 是否可见，不能用浏览器打开看。浏览器会执行 JS、会渲染结构化数据、会用你的登录态；而 AI 的抓取工具通常什么都不做——它拿到 HTML，剥掉
搜索引擎认这个，会拿它生成富摘要。但AI 的抓取工具通常只提取可见文本，直接丢弃