ChatGPT 或许抓取了 Google，但结果并不吻合

事情已经确认：ChatGPT 正在抓取 Google 的搜索结果。但我们的数据显示，其引用与 Google 结果的吻合程度远低于你的预期。

我们知道像 ChatGPT 这样的 AI 助手会访问 Google、Bing 等搜索索引，为其回答检索 URL。但具体是如何进行的呢？

为查明这一点，我们开展了一系列实验，考察 AI 助手所引用的 URL，与在 Google 中搜索相同主题所得结果之间的关系。

到目前为止，我们测试了长尾提示词（非常长、非常具体的查询，就像你会在 ChatGPT 里输入的那种）；扇出查询（fan-out queries，与原始长尾提示相关的中等长度提示）；而今天我们测试的是短尾关键词——极短、极具体的「头部」词。

短尾关键词最能清晰地展示 AI 引用与 Google 结果的对应关系。

太长不看（TL;DR）

基于三项独立研究，我们的结论是：ChatGPT（及类似系统）并非直接从 Google、Bing 或其他索引中原样搬运 URL。相反，它们在引用来源之前会施加额外的处理步骤。

即便我们考察扇出查询——也就是这些系统实际发送给搜索引擎的搜索提示——AI 引用与搜索引擎结果的重合度也低得出人意料。

换言之，尽管 ChatGPT 可能从 Google 的搜索索引中取用数据，它似乎仍会施加自己的一层筛选，对出现的链接进行过滤和重新排列。

因此，仅仅找出扇出查询并为其取得良好排名是不够的——还有发布者无法控制的额外因素，在影响哪些 URL 会被呈现出来。

研究方法

不同的查询类型，能告诉我们关于 AI 助手如何处理信息的不同信息。

在我们早前的研究中，Ahrefs 的数据科学家 Xibeijia Guan 使用 Ahrefs Brand Radar，分析了信息型长尾和扇出提示下 AI 与搜索结果的引用重合度。

这一次，她抽取了 3,311 个经典的 SEO 式头部词作为样本，涵盖信息型、商业型、交易型和导航型意图。

每个关键词都分别通过 ChatGPT、Perplexity 以及 Google 的前 100 条搜索结果运行，以分析 AI 与搜索之间的引用重合度。

ChatGPT 的短尾结果中，仅 10% 进入了 Google 前十

如果说有什么能与 Google 的结果高度吻合，你大概会认为是短尾查询——毕竟那是我们最经典的搜索方式。

但情况并非如此。

尽管短尾查询的引用重合度（10%）略高于扇出查询（6.82%），但如果它是直接复刻搜索结果页面，我们本应看到远比这高得多的重合度。

考虑到如今已证实 OpenAI 和 Perplexity 一直在通过第三方供应商抓取 Google 的结果，这一点就更令人意外了。

如果我们只聚焦于「实时」查询（例如新闻、体育、财经），或许会看到更高的重合度，因为据报道，这正是 ChatGPT 抓取 Google 所针对的那类查询。

Perplexity 的短尾结果中有 65% 进入了 Google 前十

在短尾查询上，Perplexity 的引用与 Google 的搜索结果高度吻合。

与 ChatGPT 不同，这种重合不只在域名层面可见——Perplexity 所引用的大多数页面，也正是排名在 Google 前十的那些确切 URL。

这与我们长尾查询研究中的发现相互印证——在那种情形下，Perplexity 的回答最接近 Google 的结果，也印证了它作为「引用优先」引擎的设计理念。

ChatGPT 引用「有排名的域名」是引用「有排名的页面」的 3 倍

域名重合度一贯高于 URL 重合度，这表明 ChatGPT 和 Perplexity 引用的网站与 Google 相同——但并非完全相同的页面。

在 ChatGPT 中，域名与 URL 之间的差距尤其悬殊——31.8% 对 10%。

换言之，ChatGPT 引用「有排名的域名」的频率，大约是引用「有排名的页面」的 3 倍。

一方面，这可能意味着 ChatGPT 从与 Google 相同的域名中，挑选了不同的页面。

例如，Google 引用了 ahrefs.com/writing-tools/ 上的一个页面，而 ChatGPT 在 ahrefs.com/blog/ 上找到了更「合适」的页面并加以引用。

若果真如此，这就进一步凸显了打造集群内容的价值——针对不同的主题意图优化多个页面，从而最大程度地提高被检索到的机会。

另一种可能是，二者都依赖同一批权威域名，只是在具体页面上各执一词。

在所有查询类型中，「扇出」查询的引用重合度最低

短尾查询所展现的「搜索结果—AI」对应关系，比自然语言提示更紧密——在 Perplexity 上尤其如此。

但由扇出查询生成的 ChatGPT 引用（最初由 SQ 和 Xibeijia 研究）重合度最低。它们仅与 Google 前十结果中的 6.82% 相符。

这里的比较并非严格对等。这些百分比来自不同的研究，数据集规模也不同。

但每项研究都得出了相似的结论：ChatGPT 引用的页面，与 Google 排名靠前的页面重合度并不高。而在 Perplexity 上，情况基本相反。

那意图呢？

还有一点我们没有提到，那就是意图。短尾查询中出现的更高引用重合度，部分原因可能在于导航型、商业型和交易型查询的相对稳定性——而我们在之前的研究中并未评估这些类型。

导航型、商业型和交易型的头部词，其搜索结果页面往往不会频繁变动，因为相关的产品、品牌或目的地集合是有限的。

这种稳定性意味着，AI 助手和 Google 更有可能收敛到相同的来源，因此重合度高于信息型查询（信息型的候选页面池要大得多，也更易变动）。

结论

在三项研究中，结论是一致的：ChatGPT 不跟随 Google 的来源，而 Perplexity 跟随。

令人意外的是，既然我们如今已知 OpenAI 确实在抓取 Google 的结果，ChatGPT 却与 Google 相差如此之大。

我的猜测是，ChatGPT 比 Perplexity 做了更多的工作，来让它的结果集与 Google 区分开来。

来自 SQ 的这个理论，在我看来是最有可能的：

无论真相如何，搜索和 AI 正在并驾齐驱地塑造人们发现信息的方式，而最好的策略是打造内容，让自己有机会同时出现在这两种界面之上。