什么是 Googlebot，它如何工作？

Googlebot 是 Google 用来收集所需信息、并构建可搜索的网络索引的网络爬虫（web crawler）。Googlebot 分为移动端和桌面端爬虫，还有用于新闻、图片、视频等的专用爬虫。

Google 还有更多用于特定任务的抓取程序，每个抓取程序都会用一段不同的文本字符串来标识自己，这段字符串称为“用户代理（user agent）”。Googlebot 是常青的（evergreen），也就是说它看待网站的方式，就和用户使用最新版 Chrome 浏览器所看到的一样。

用户代理字符串中的 Chrome/W.X.Y.Z 是一个占位符，它实际会是 Googlebot 所使用的最新版 Chrome 版本号。

下面来看看它们构建网络索引的过程。