认识新一批网络爬虫：AI 机器人正在逼近搜索引擎机器人

网络被抓取的频率比以往任何时候都高，但如今做抓取的不再只是搜索引擎。AI 机器人正尽其所能汲取一切数据，用来训练和驱动其 AI 助手。

问题在于，AI 机器人做网络抓取仍是新手，仍在做出一些低效的抓取决策，四处乱撞，浪费大量资源。我们已经看到，AI 机器人正开始被屏蔽，被越来越多流量最大的网站拒之门外。

我毫不怀疑 AI 机器人最终会摸索出门道，但这很可能是一个痛苦的过程。我认为它们中甚至还没有一个开始渲染内容。

过去 Bing 因激进的抓取而饱受抨击。他们解决了问题，推出了 IndexNow，如今可能是最高效的网络爬虫。

通过查看反映互联网流量很大一部分的 Cloudflare Radar 数据，可以看出 AI 机器人与搜索引擎机器人、SEO 机器人相比表现如何。Cloudflare 处理着约 20% 的全网流量，因此这是一个规模庞大且颇具代表性的数据集，可用来观察整体网络抓取情况。

下面一探究竟。

AI、搜索引擎和 SEO 机器人的请求量

搜索引擎机器人抓取最多。AI 机器人加入网络世界相对较晚，但尽管数量更少，已稳稳占据第二。若更多 AI 助手上线、其机器人开始抓取网络，很可能会在抓取量上超过搜索引擎。以其目前的增长速度，这或许会在未来几年内发生。

单个机器人的请求量

如果拆开看一些单个机器人，会发现 Googlebot 吞噬互联网的程度远超其他机器人。

需要注意，Google 的 AI 机器人抓取速率也很快，Google 图片也是如此。还有多得多的 Googlebot 各自执行着不同的任务。

Amazonbot 和 GPTBot 的抓取量都与 Bing 不相上下。

Ahrefsbot 是 SEO 行业内迄今最活跃的机器人。其他一些平台喜欢声称自己抓取更快，但所有证据都表明并非如此。Ahrefs 发出的请求几乎与其他 20 个 SEO 机器人加起来一样多，我们能胜过其中任意 19 个的组合。

尽管抓取速率如此之高，我敢保证我们也是所有 SEO 机器人中最高效的爬虫。我们解决了许多在其他爬虫身上仍能看到的问题。我们还通过自家搜索引擎 Yep 从 IndexNow 获取数据，帮助自己变得更高效。事到如今，或许我们该被归类为搜索引擎机器人了。

AI、搜索引擎和 SEO 机器人请求量随时间的变化

AI 机器人今年加大了抓取力度。5 月，它们几乎占所有机器人请求的 25%，仅比搜索机器人低 10%。考虑到 Googlebot 总体上如此强势，而 AI 机器人的数量大约只有搜索引擎机器人的一半，这相当惊人。

单个机器人请求量随时间的变化

Googlebot 是网络上迄今最具统治力的机器人。GPTBot 今年势头迅猛。它们将来是否会进一步缩小差距，值得关注。

结语

机器人抓取网站是有成本的，而且搜索引擎与网站主之间存在一种社会契约：搜索引擎通过向网站输送推荐流量来创造价值。Google 输送流量（至少目前如此），所以它不会被屏蔽。

这份契约同样适用于 AI 助手。要么向网站输送流量，要么为网站主提供关于搜索以及其网站可见度的数据以便其汇报，否则，将以你的抓取速率被屏蔽。我们已经看到这一幕正在发生。

考虑到AI 搜索流量只占网站整体流量的 0.1%，这并不令人意外。向网站输送更多流量，为网站主提供更多价值吧。

若有任何问题，可以在 LinkedIn 或 X 上问我。