如何为答案引擎优化你的网站

内容再出色，也可能始终进不了 AI 答案。

每个 AI 优化技巧都假设 AI 系统能访问并读取你的页面，并弄清你是谁，而这些并非理所当然。约 5.89% 的网站直接屏蔽了 GPTBot；ChatGPT 似乎会放弃响应时间超过约两秒的页面；大多数 AI 爬虫也根本不运行 JavaScript。

好消息是，这是 AEO 中最容易修复的部分。这里没有任何一项能单独为你赢得引用，但任何一个问题都可能悄无声息地让你失去本可获得的引用。

不要在 robots.txt 中屏蔽 AI 爬虫

若 AI 爬虫无法读取你的页面，本指南中的所有技巧都毫无意义。被屏蔽的页面无法被引用，而这种情况往往是意外发生的。

我们分析了约 1.4 亿个网站，发现 GPTBot 已是遭屏蔽最多的 AI 机器人（5.89% 的网站），ClaudeBot 紧随其后。

Cloudflare 默认屏蔽 AI 平台，因此应检查 CDN 是否已悄悄将你排除在外。

“允许 AI 爬虫”并非单一决定，因为每个平台都运行着多个承担不同任务的机器人。

仅 OpenAI 一家就运行着三个：

• GPTBot 收集用于训练的内容
• OAI-SearchBot 构建 ChatGPT 检索所用的搜索索引
• ChatGPT-User 在对话中有人问及某个页面时实时抓取该页面

三者的取舍各不相同。屏蔽 GPTBot 会让内容无法进入下一代模型的训练数据，这通常是内容发布者权衡的考量；屏蔽 OAI-SearchBot 则会把你从 ChatGPT 搜索所用的索引中剔除，正是它导致你失去引用与引荐流量。许多网站本想只屏蔽前者，却意外连后者也一并屏蔽。

了解现状最快的方法是使用 AI Crawler Access Checker 一类工具，它会读取你的 robots.txt，并告知哪些爬虫被允许通过。

若想了解哪些机器人实际到访，而非哪些被允许，请查看 Ahrefs 的 Bot Analytics。它通过 Cloudflare 使用服务器端数据，跟踪 12 类机器人（含专门的 AI 筛选器）的访问情况，无需向网站添加任何 JavaScript。

不要把内容隐藏在繁重的 JavaScript 之后

AI 爬虫往往只读取原始 HTML，大多不会像浏览器那样渲染 JavaScript。

这意味着任何仅在客户端 JS 执行后才出现的内容，对它们而言都可能不可见。

稳妥起见，应坚持服务端渲染，让页面获得最大的 AI 可见度机会。