抓取预算是什么？为什么它对 SEO 很重要
抓取预算决定搜索引擎在特定时段内会抓取你网站上的多少 URL。弄清它的构成并加以优化，可以提升网站被抓取与收录的效率。
什么是抓取预算？
抓取预算指搜索引擎（例如 Google）在特定时段内抓取你网站多少个 URL。抓完这些页面，爬虫便会转向其他站点。
这里有两点需要留意：
全球网站数以十亿计，而搜索引擎的资源有限，无法每天逐一检查每个网站。它们必须对抓取哪些页面、何时抓取排出优先级。
在说明它们如何排序之前，先要弄清这件事与你网站的 SEO 有何关联。
为什么抓取预算对 SEO 很重要？
Google 必须先抓取你网站的页面，再将其收录，页面才能参与排名。只有抓取与收录都顺利完成，你的内容才可能出现在搜索结果中。
抓取效率会直接影响你的自然流量，进而影响整体业务目标。
多数站长无需过度关注抓取预算，因为 Google 抓取网站的效率很高。
但在以下特定情形中，抓取预算对 SEO 变得格外重要：
- 网站规模庞大：网站庞大且结构复杂（超过 1 万个页面）时，Google 未必能立即发现新页面，也不会频繁重新抓取全部页面
- 新增大量页面：频繁上线大量新页面时，抓取预算会影响这些页面的可见度
- 网站存在技术问题：若可抓取性问题导致搜索引擎无法高效抓取网站，你的内容可能不会出现在搜索结果中
Google 如何确定抓取预算？
你的抓取预算由两个主要因素决定：
抓取需求（Crawl Demand）
抓取需求指 Google 依据其感知到的页面重要性来决定抓取你网站的频率。影响抓取需求的因素有三个：
感知库存（Perceived Inventory）
除非你明确指示 Google 不要抓取，否则 Google 通常会尝试抓取你在网站上已知的全部或大部分页面。
这意味着，若不明确要求 Googlebot 跳过某些页面，它仍可能尝试抓取重复页面和你已删除的页面。你可以通过 robots.txt 文件（后文详述）或 404/410 HTTP 状态码来告知。
受欢迎程度（Popularity）
抓取时，Google 通常优先考虑拥有更多反向链接（来自其他网站的链接）的页面和能带来更高流量的页面。这些信号都能向 Google 的算法表明你的网站重要、值得更频繁地抓取。
需要注意的是，反向链接的数量并非唯一标准，来源是否相关、是否权威同样重要。
借助 Semrush 反向链接（Backlinks）工具，可以查看哪些页面吸引了最多的反向链接、更容易赢得 Google 的关注。
输入你的域名，点击“Analyze”。
页面会显示网站反向链接概况的概览。要按页面查看反向链接，点击“已索引页面（Indexed Pages）”标签。
点击“反向链接”列，按反向链接数量从多到少对页面排序。
这些往往是 Google 抓取最频繁的页面，但并不绝对。
因此，要留意反向链接很少的重要页面，它们可能被抓取得更少。可以考虑实施外链建设策略，让更多网站链接到你的重要页面。
陈旧程度（Staleness）
搜索引擎的目标是以足够的频率抓取内容，以捕捉到任何变化。若你的内容长期变化不大，Google 可能开始降低抓取频率。
例如，Google 通常会频繁抓取新闻网站，因为这类站点往往一天多次发布新内容，抓取需求较高。
这并不意味着你需要每天更新内容来换取更频繁的抓取。Google 官方指南指出，它只想抓取高质量内容。
因此，应优先保证内容质量，而不是为提升抓取频率而做频繁且无关的改动。
抓取容量上限（Crawl Capacity Limit）
抓取容量上限可防止 Google 的机器人以过多请求拖慢你的网站，因为过多请求可能引发性能问题。
它主要受网站整体健康状况和 Google 自身抓取限制的影响。
你网站的抓取健康状况
网站响应 Google 请求的速度会影响抓取预算。
响应迅速时，抓取容量上限可以提高，Google 也可能更快地抓取你的页面。
网站变慢时，抓取容量上限则可能降低。
若网站返回服务器错误，同样会降低该上限，Google 可能减少对网站的抓取频率。
Google 的抓取限制
Google 没有无限资源可用于抓取网站，这正是抓取预算存在的原因。
本质上，它是 Google 用于对最常抓取的页面排出优先级的一种机制。
一旦 Google 的资源因某种原因受限，你网站的抓取容量上限也会受到影响。
如何查看你的抓取活动
Google Search Console（GSC）提供 Google 抓取你网站的完整信息，包括可能存在的问题和抓取行为随时间的重大变化。
这有助于判断是否存在影响抓取预算、且可由你修复的问题。
要查找这些信息，进入你的 GSC 资源并点击“设置（Settings）”。
在“抓取（Crawling）”部分，可以看到过去 90 天内的抓取请求数量。
点击“打开报告（Open Report）”可查看更详细的分析。
“抓取统计信息（Crawl stats）”页面会显示多个数据组件：
随时间变化的图表
最上方是一张图表，展示 Google 在过去 90 天内对你网站发起的抓取请求。
顶部每个方框的含义如下：
- 总抓取请求数（Total crawl requests）：Google 在过去 90 天内发起的抓取请求数量
- 总下载大小（Total download size）：Google 的爬虫在特定时段内访问你网站时下载的数据总量
- 平均响应时间（Average response time）：你网站的服务器响应爬虫请求所需的平均时间（以毫秒计）
主机状态（Host Status）
主机状态反映 Google 抓取你网站的难易程度。
例如，若网站并非总能满足 Google 的抓取需求，可能会看到“Host had problems in the past（主机过去出现过问题）”的提示。
若存在问题，点击该方框可查看更多详情。
在“详情（Details）”下，可以找到问题成因的更多信息。
据此可以判断是否存在以下方面的问题：
- 抓取你的 robots.txt 文件
- 你的域名系统（DNS）
- 服务器连接
抓取请求明细（Crawl Requests Breakdown）
报告的这部分提供抓取请求的相关信息，并按以下维度分组：
- 响应（Response）（例如“OK (200)”或“Not found (404)”）
- URL 文件类型（URL file type）（例如 HTML 或图片）
- 请求目的（Purpose of the request）（新页面为“发现（Discovery）”，已有页面为“刷新（Refresh）”）
- Googlebot 类型（Googlebot type）（例如智能手机或桌面）
点击每个组件中的任意项目，都会显示更多详情，例如返回特定状态码的页面。
Google Search Console 能直接从源头提供抓取预算的有用信息。若需要改进网站可抓取性的更详细分析，可借助其他工具。
如何分析你网站的可抓取性
Semrush 的网站审计（Site Audit）工具能显示抓取预算浪费在哪里，并帮助你为抓取优化网站。
以下是上手方法：
打开网站审计工具。若为首次审计，需创建一个新项目。
输入你的域名，为项目命名，然后点击“创建项目（Create project）”。
接下来，选择要检查的页面数量和抓取来源。
若希望工具直接抓取你的网站，将抓取来源设为“网站（Website）”，也可以上传站点地图或 URL 文件。
在“爬虫设置（Crawler settings）”标签页中，用下拉菜单选择用户代理（user agent）。可在 GoogleBot 与 SiteAuditBot 之间选择，每种又分移动版与桌面版。
然后设置抓取延迟。通常推荐“页面间的最小延迟（Minimum delay between pages）”，这是审计网站最快的方式。
最后，决定是否启用 JavaScript（JS）渲染。JS 渲染能让爬虫看到与网站访客相同的内容。
结果更准确，但耗时可能更长。
随后，点击“允许–禁止 URL（Allow-disallow URLs）”。
若只想让爬虫检查某些 URL，可在此处输入。也可以禁止某些 URL，指示爬虫忽略它们。
接下来，列出URL 参数，让机器人忽略同一页面的各种变体。
若网站仍在开发中，可使用“绕过网站限制（Bypass website restrictions）”设置来运行审计。
最后，安排工具审计网站的频率。定期审计有助于关注网站健康状况、及早发现可抓取性问题。
勾选相应方框，即可在审计完成后通过电子邮件收到通知。
准备好后，点击“Start f”。
网站审计的“概览（Overview）”报告汇总机器人在抓取期间收集的所有数据，并提供关于网站整体健康状况的有价值信息。
“已抓取页面（Crawled Pages）”组件会显示工具抓取了多少页面，并细分出健康页面与存在问题的页面数量。
要获得更深入的分析，进入“可抓取性（Crawlability）”部分，点击“查看详情（View details）”。
在这里可以看到抓取预算浪费了多少，哪些问题造成阻碍，例如临时重定向、永久重定向、重复内容和加载速度缓慢。
点击任意柱状条，都会显示存在该问题的页面列表。
视问题而定，各列会显示每个受影响页面的相应信息。
逐一检查这些页面并修复相应问题，以改善网站的可抓取性。
优化抓取预算的 7 个技巧
弄清网站抓取预算的问题所在后，就可以着手修复，以最大限度提高抓取效率。
以下是一些主要做法：
1. 提升网站速度
提升网站速度能帮助 Google 更快地抓取网站，更充分地利用抓取预算。此外，它对用户体验（UX）和 SEO 都有好处。
要检查页面加载速度，回到此前设置的网站审计项目，点击“网站性能（Site Performance）”方框中的“查看详情（View details）”。
你会看到页面加载速度的分布、平均页面加载速度，还有可能导致性能不佳的错误与警告列表。
提升页面速度的方法有很多，包括：
- 优化你的图片：使用 Image Compressor 之类的在线工具，在不影响清晰度的前提下减小图片文件大小
- 精简代码和脚本：使用 Minifier.org 之类的在线工具，或 WP Rocket 之类的 WordPress 插件压缩网站代码，加快加载
- 使用内容分发网络（CDN）：CDN 是一个由服务器组成的分布式网络，会根据用户所在位置分发网页内容，加快加载速度
2. 采用有策略的内链
合理的内链结构能让搜索引擎爬虫更容易找到并理解你的内容，更高效地利用抓取预算，并提升排名潜力。
把网站想象成一个层级结构，首页位于顶端，向下分出各类分类与子分类。
每个分支都应指向更多与其所属分类相关的详细页面或文章。
这样就能为网站建立清晰、合乎逻辑的结构，方便用户和搜索引擎浏览。
为所有重要页面添加内链，让 Google 更容易找到你最重要的内容。
这也有助于避免孤立页面，即没有内链指向的页面。Google 仍然能找到这些页面，但有相关内链指向它们会容易得多。
在网站审计项目的“内链（Internal Linking）”方框中点击“查看详情（View details）”，找出内链方面的问题。
你会看到网站内链结构的概览，包括从首页到各个页面需要点击几次。
还会看到一份错误、警告和提示的列表，涵盖失效链接、内链上的 nofollow 属性、缺少锚文本的链接等问题。
逐一检查并修正每个页面上的问题，让搜索引擎更容易抓取和收录你的内容。
3. 保持站点地图最新
保持 XML 站点地图最新，是另一种把 Google 引向重要页面的方式。添加新页面时更新站点地图，可以提高它们被抓取的几率，但这并非保证。
站点地图的样子大致如下（取决于生成方式）：
Google 建议站点地图中只包含你希望出现在搜索结果中的 URL，以免浪费抓取预算（详见下一个技巧）。
也可以用 <lastmod> 标签标明某个 URL 最后更新的时间，但这并非必需。
延伸阅读：如何向 Google 提交站点地图
4. 屏蔽你不希望搜索引擎抓取的 URL
利用 robots.txt 文件（告诉搜索引擎机器人哪些页面应抓取、哪些不应抓取的文件），尽量减少 Google 抓取你不希望抓取的页面的几率，减少抓取预算的浪费。
为什么要阻止某些页面被抓取？
因为有些页面并不重要，或属于隐私内容。让搜索引擎抓取这些页面只会浪费其资源。
下面是一个 robots.txt 文件的示例：
“Disallow:”后面的页面都指定了你不希望搜索引擎抓取的对象。
要了解更多关于正确创建和使用这类文件的内容，请查看我们的robots.txt 指南。
5. 删除不必要的重定向
重定向会把用户（和机器人）从一个 URL 带到另一个 URL，拖慢页面加载时间，并浪费抓取预算。
存在重定向链时，问题尤为严重。重定向链指原始 URL 与最终 URL 之间存在多个重定向。
例如：
要了解网站上设置了哪些重定向，打开网站审计工具并进入“问题（Issues）”标签页。
在搜索栏输入“redirect”，查看与网站重定向相关的问题。
点击“为什么、如何修复它（Why and how to fix it）”或“了解更多（Learn more）”，获取每个问题的更多信息及修复指引。
6. 修复失效链接
失效链接指无法指向有效页面的链接，通常会返回 404 错误码。
这本身未必是坏事。事实上，不存在的页面通常就应该返回 404 状态码。
但若有大量链接指向不存在的失效页面，就会浪费抓取预算，因为即使页面上没有有价值的内容，机器人仍可能尝试抓取它。这也会让点击这些链接的用户感到困扰。
要找出网站上的失效链接，进入网站审计中的“问题（Issues）”标签页，在搜索栏输入“broken”。
查找“# internal links are broken（# 内链失效）”错误。如果看到它，点击数字上方的蓝色链接查看更多详情。
页面会列出存在失效链接的页面，还有每个页面上具体失效的链接。
逐一检查这些页面并修复失效链接，以改善网站的可抓取性。
7. 消除重复内容
重复内容指网站上存在高度相似的页面。这个问题会浪费抓取预算，因为机器人本质上是在抓取同一页面的多个版本。
重复内容可能有几种形式，例如完全相同或几乎相同的页面（通常应避免），或由URL 参数导致的页面变体（在电商网站上很常见）。
进入网站审计中的“问题（Issues）”标签页，查看网站是否存在重复内容问题。
若存在，可考虑以下做法：
- 在 HTML 代码中使用“rel=canonical”标签，告诉 Google 你希望哪个页面出现在搜索结果中
- 选择一个页面作为主页面（把其余页面独有、主页面缺失的内容补充进去），然后用301 重定向将重复页面重定向过去
通过定期网站审计最大化你的抓取预算
定期监控并优化网站的技术层面，有助于网络爬虫找到你的内容。
搜索引擎必须先找到内容，才能在搜索结果中为其排名，因此这一点至关重要。
运行一次免费的网站审计，衡量网站的健康状况，并在错误引发性能问题之前发现它们。