可抓取性是什么，它为什么重要

什么是可抓取性？

可抓取性是什么、如何排查技术 SEO

可抓取性指搜索引擎爬虫访问网站页面与资源的能力。存在可抓取性问题，会削弱网站的自然搜索表现。

什么是可抓取性？

可抓取性（crawlability）指搜索引擎爬虫（例如 Googlebot）访问网站页面和资源的能力。存在可抓取性问题，会对网站的自然搜索排名造成负面影响。

应把可抓取性与可索引性（indexability）区分开来，后者指搜索引擎分析页面并将其加入索引的能力。

只有既可抓取又可索引的页面才能被 Google 发现并收录，进而出现在搜索结果中。

对任何希望获得自然搜索流量的网站而言，可抓取性都至关重要。可抓取性让搜索引擎得以抓取页面、读取并分析其内容，以便加入搜索索引。

页面未被抓取，就无法被正确索引。此处强调“正确”，是因为在极少数情况下，Google 可以仅依据 URL 文本及其外链的锚文本，在不抓取的情况下收录某个 URL，但页面的标题和描述不会出现在 SERP 上。

可抓取性不只对 Google 重要。其他特定爬虫出于各种原因也必须抓取网站页面。例如，AhrefsSiteAudit 机器人会抓取网站页面，以检查 SEO 健康状况并报告 SEO 问题。

抓取网页之前，爬虫必须先发现该网页。不在站点地图中、又缺少内链的网页（即孤立页面）无法被爬虫发现，自然也无法被抓取或收录。

若希望某个页面被收录，它就必须出现在站点地图中并拥有内链，两者兼具最佳。

Googlebot 不会跟随带有“rel=nofollow”属性的链接。

因此，若某个页面例如只有一个 nofollow 链接，那么从抓取角度看，这等同于完全没有链接。

robots.txt 文件会告诉网络爬虫它们可以访问、不可以访问网站的哪些部分。

若希望页面可被抓取，就不能在 robots.txt 中禁止它。

网页可能存在特定限制，使爬虫无法访问。

这些限制可能包括：

检测网站可抓取性问题最简单的方式，是使用专门的 SEO 工具，例如 Ahrefs Site Audit 或免费的 Ahrefs Webmaster Tools。

Ahrefs Webmaster Tools 可以抓取整个网站，并随时间推移持续监控新出现或反复出现的问题。它还会把问题划分为不同类别，帮助理解网站的整体 SEO 表现，还有网站为何无法被抓取。

可抓取性是搜索引擎访问网页并抓取其内容的能力；可索引性是搜索引擎分析已抓取内容、以便加入索引的能力。

页面可以被抓取，却不能被索引。

出乎意料的是，Google 可以在不抓取的情况下收录某个 URL，使其出现在搜索结果中。不过这种情况很罕见。

发生这种情况时，Google 会利用锚文本和 URL 文本判断页面的目的与内容重点。需要注意的是，此时 Google 不会显示页面标题。

这一现象在Google 的 robots.txt 简介中有简要说明：

虽然 Google 不会抓取或索引被 robots.txt 文件屏蔽的内容，但如果某个被禁止的 URL 从网络上其他地方有链接指向它，我们仍可能发现并索引它。因此，该 URL 地址以及可能存在的其他公开信息（例如指向该页面的链接中的锚文本）仍可能出现在 Google 搜索结果中。