什么是 Googlebot？

什么是 Googlebot？

Googlebot 是 Google 网络爬虫的名称，它们为包括搜索索引在内的各种 Google 服务收集信息。

它有两个主要版本：Googlebot Desktop 和 Googlebot Smartphone。随着移动优先索引的推行，Googlebot Smartphone 成为了驱动 Google 搜索索引的主要爬虫。

那么，Googlebot 如何工作？

Googlebot 持续抓取网络以发现新页面，把页面送去处理并加入搜索索引，并重新抓取页面以查找新的或更新的信息。

在此过程中，Googlebot 会严格遵守 robots.txt 文件中的规则以及页面和链接上的爬虫指令。

Googlebot 为什么重要？

Googlebot 是驱动整个 Google 搜索引擎的主要工具之一。没有它，整个搜索（乃至 SEO）都将不复存在。如果 Googlebot 不抓取某个网站，该网站就不会被索引，也不会出现在结果中。

因此，SEO 从业者和站长需要理解 Googlebot 的工作原理。此外，确保爬虫能够正常访问网站、不存在可抓取性或可发现性问题也很重要。

打造对爬虫友好网站的最佳实践

要让 Googlebot 正确抓取网站并使页面被索引，必须确保某些事项到位。由于这不是一次性工作，以下是一些应定期遵循的最佳实践，以维持爬虫友好的网站。

1. 检查你的 robots.txt 文件

网站上的 robots.txt 文件可以控制哪些内容被抓取，它通过爬虫指令与机器人沟通。

需要确保 robots.txt 文件没有禁止 Googlebot 抓取希望被索引的页面或板块。

接下来，使用 robots.txt 测试工具查找文件中的任何错误。

应确保 robots.txt 对 Googlebot 可访问，也就是它没有被服务器层面屏蔽。

2. 提交站点地图

提交站点地图是让 Google 知道希望哪些页面被抓取和索引的最简单方法。

如果在 WordPress 上使用流行的 SEO 插件，如 Yoast 或 Rank math，创建站点地图并不麻烦。它们会自动创建站点地图，供提交。

生成的 URL 会是这样的：yourdomainname.com/sitemap_index.html

要手动提交站点地图 URL，需要访问 Google Search Console，并点击主菜单中“Index（索引）”部分下的“Sitemaps（站点地图）”。

3. 巧妙使用爬虫指令

除了 robots.txt 文件，还有页面级指令，用于通知爬虫哪些页面允许（或不允许）被抓取。

因此，需要确保希望被索引的页面没有“noindex”指令。同样，如果希望这些页面的出站链接也被抓取，就要确保它们没有“nofollow”指令。

可以使用我们免费的 SEO 工具栏，在 Chrome 和 Firefox 上检查页面上的指令。

4. 在页面之间提供内链

帮助页面更快被索引的另一个简单方法，是把它链接到另一个已被索引的页面。由于 Googlebot 会重新抓取页面，它会发现这条内链并快速抓取。

除了抓取，内链还会把所谓的“链接权重（link juice）”传递给页面，提升它们的 PageRank。

5. 使用 Site Audit 发现可抓取性和可索引性问题

此外，可以使用 Ahrefs 的 Site Audit 工具发现网站上与可索引性和可抓取性相关的问题。

Site Audit 可以帮助发现损坏的页面、过多的重定向、重定向链、noindex 页面、nofollow 链接、孤立页面（即没有内链的页面）等等。

可以使用 Ahrefs Webmaster tools 免费监控网站的 SEO 健康状况。

常见问题

抓取和索引是同一回事吗？

不是，两者并不相同。抓取意味着发现网络上的页面和链接。索引指的是存储、分析并组织在抓取过程中发现的页面内容及页面之间的连接关系。

只有在页面被索引之后，才能作为相关查询的结果被展示。

我可以验证访问我网站的爬虫真的是 Googlebot 吗？

如果担心垃圾邮件发送者或其他捣乱者冒充 Googlebot 访问网站，可以验证该爬虫，看看它是否真的是Google 爬虫。

阅读这篇来自 Google 的指南，了解如何操作。

Googlebot 的主要爬虫是什么？

Googlebot Smartphone 是当今的主要爬虫。

用户代理标记（User agent token）：
Googlebot

完整用户代理字符串（Full user agent string）：
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot 爬虫的完整列表可在此处找到。