什么是抓取预算？

抓取预算：何时该关注技术 SEO

搜索引擎在一段时间内、以何种速度从网站上抓取多少个页面。

抓取预算（crawl budget）是搜索引擎分配给某个网站的抓取时间与资源量。换言之，即搜索引擎在一段时间内能够从你网站上抓取的最大页面数。
不同搜索引擎（或爬虫）的抓取预算各不相同。
Google 表示，除非属于以下情况，否则无需关注抓取预算：

每个网站的抓取预算高低取决于以下两个因素：

抓取需求（Crawl demand）。由页面数量、发布/更新频率与页面的受欢迎程度决定。
抓取速率上限（Crawl rate limit）。受服务器能力、网站主在 Search Console 中设置的抓取上限、搜索引擎的抓取限制等因素影响。服务器缓慢时，Google 也可能自动调低抓取速率，反之亦然。

为什么抓取预算很重要？

抓取预算之所以重要，在于它决定了 Googlebot 能在你网站上抓取多少页面，也决定了 Googlebot 能以多高的频率重新抓取网页、更新索引。

无论 Google 资源多么充足，都无法抓取（更遑论定期重抓）互联网上的所有页面。因此，Google 会为网站分配抓取预算。

因此，必须确保抓取预算不浪费在网站上不重要的页面上。

话虽如此，运营普通博客或小型网站，无需关注抓取预算。

下面介绍如何优化网站的抓取预算。

服务器响应时间与页面加载速度会直接影响抓取。原理大致如下：

Googlebot 抓取网站时，会先下载资源，再处理这些资源。服务器对 Google 抓取请求的响应越快，Google 在网站上能抓取的页面就越多。

因此，应使用快速可靠的网站托管服务，并配合内容分发网络（CDN），以改善服务器的初始响应时间。

同时，可通过以下方式减少页面加载时间：

指向某个页面的链接越多，Google 就越清楚它重要。拥有更多反向链接与内链的页面，Googlebot 会优先抓取。

因此，为页面增加外链与内链可提升抓取预算。从外部网站获取反向链接可能费时，也不完全由你掌控，但有一个更易入手的切入点——内链。

使用我们的 Site Audit 工具审计网站，即可获得内链建议。

失效的内链（404 或 410 响应码）与被重定向的 URL（3xx）过多，会白白浪费网站的抓取预算。此类页面若长期不变，抓取优先级本就较低，但从优化抓取预算与日常网站维护的角度，最好仍将其修复。

在 Site Audit 的“Internal pages”（内部页面）报告中，或使用免费的 Webmaster Tools，即可轻松找出网站上失效与重定向的 URL。

找到失效的内链后，要么用相同的 URL 恢复页面，要么将该 URL 重定向到另一个相关页面。

重定向方面，检查是否存在大量不必要的重定向与重定向链，用直接链接替换它们。

若想让页面更快被抓取，还有一招：使用Google 的 Indexing API。网站在添加、删除或更新页面时，可直接通知 Google。

不过，Indexing API 目前仅适用于直播视频、招聘信息等场景。若你的网站适用，便可借助它让 URL 在 Google 的索引与搜索结果中保持更新。

不会，Googlebot 不理会 robots.txt 中设置的 crawl-delay。

只有运营超大型网站（超过 100 万个页面），或内容每天变动的中等规模网站时，才需要关注抓取预算。话虽如此，大多数网站都无需为抓取预算操心。

抓取预算的确切数字无处可查。但在 Google Search Console 的 Crawl Stats 报告中，可看到 Google 抓取活动的大致情况。