什么是抓取错误？如何影响 SEO
抓取错误指搜索引擎无法顺利访问网站内容时出现的问题。本文介绍主要错误类型与排查技巧。
想让网站获得排名，就需要确保搜索引擎能够抓取你的页面。但如果它们抓取不了呢？
本文解释什么是抓取错误、为何对 SEO 重要，和如何发现并修复它们。
什么是抓取错误？
抓取错误指网站爬虫（如 Googlebot）在访问和索引网站内容时遇到问题，会影响页面在搜索结果中获得排名的能力，降低自然流量和整体 SEO 表现。
可以查看 Google Search Console（GSC）中的报告，或运行 Semrush Site Audit 做一次技术性网站审计，来检查抓取错误。
抓取错误的类型
Google 把可抓取性问题分为两大类别：
- 站点错误：影响你整个网站的问题
- 网址错误：影响特定网页的问题
站点错误
站点错误，例如“502 Bad Gateway（错误网关）”，会阻止搜索引擎访问你的网站。这种阻断会使爬虫无法访问任何页面，进而可能损害你的排名。
服务器错误
服务器错误发生在你的网络服务器无法处理来自爬虫或浏览器的请求时，可能由托管问题、故障插件或服务器配置错误引起。
常见的服务器错误包括：
500 Internal Server Error（内部服务器错误）：
- 表明服务器上有东西出了故障，例如插件故障或内存不足。这可能使你的网站暂时无法访问。
- 修复方法：检查服务器的错误日志、停用有问题的插件，或在需要时增加服务器资源
502 Bad Gateway（错误网关）：
- 当一台服务器依赖的另一台服务器未能响应时发生（通常由于高流量或技术故障）。这会拖慢加载速度或导致网站中断。
- 修复方法：确认你的上游服务器或托管服务正常运行，并调整配置以应对流量高峰
503 Service Unavailable（服务不可用）：
- 当服务器无法处理请求时出现，通常是因为暂时的过载或维护。访客会看到一条“请稍后重试”的信息。
- 修复方法：通过优化资源来降低服务器负载，或把维护安排在非高峰时段
504 Gateway Timeout（网关超时）：
- 当服务器响应耗时过长时发生，通常由于网络问题或高流量，这会导致加载缓慢，或页面完全无法加载
- 修复方法：检查服务器性能和网络连接，并优化脚本或数据库查询
DNS 错误
DNS（域名系统）——将域名转换为 IP 地址、以便浏览器定位网站的系统——错误发生在搜索引擎无法解析你的域名时，通常由于 DNS 设置不正确或你的 DNS 服务商出现问题。
常见的 DNS 错误包括：
DNS Timeout（DNS 超时）：
- DNS 服务器响应耗时过长，通常由于托管或服务器端问题，导致你的网站无法加载
- 修复方法：与你的托管服务商确认 DNS 设置，并确保 DNS 服务器能够快速处理请求
DNS Lookup（DNS 查询）：
- DNS 服务器找不到你的域名。这通常由配置错误、域名注册过期或网络问题导致。
- 修复方法：核实域名的注册状态，并确保 DNS 记录是最新的
Robots.txt 错误
当爬虫因语法错误、文件缺失或权限设置而无法访问你的 robots.txt 文件时，就会发生robots.txt 错误，这可能导致爬虫遗漏关键页面，或抓取到禁止访问的区域。
使用以下步骤排查此问题：
- 把 robots.txt 文件放在你网站的根目录中（网站顶层的主文件夹，通常通过 yourdomain.com/robots.txt 访问）
- 检查文件权限，确保爬虫能够读取 robots.txt 文件
- 确认该文件使用了有效的语法和格式
网址错误
网址错误，例如“404 Not Found（未找到）”，影响的是特定页面而非整个网站，这意味着即使某个页面存在抓取问题，爬虫可能仍能正常抓取其他页面。
网址错误可能损害你网站的整体 SEO 表现。搜索引擎可能会把这些错误解读为网站维护不善的迹象，并可能认为你的网站不可信，进而损害你的排名。
404 Not Found（未找到）
404 Not Found 错误意味着所请求的页面在指定的网址上不存在，通常由于内容被删除或网址拼写错误。
修复方法：如果页面已迁移或被删除，请更新链接或设置 301 重定向。确保内链和外链都使用正确的网址。
软 404（Soft 404）
软 404 出现在网页看起来已缺失、却没有返回正式的 404 状态码时，通常由于单薄内容（几乎没有或完全没有价值的内容）或空的占位页面。软 404 会浪费抓取预算，并可能降低网站质量。
修复方法：添加有意义的内容，或者如果页面确实已缺失，就返回真正的 404/410 错误。
重定向错误
重定向错误，例如循环或链条，发生在一个网址反复指向另一个网址、却始终无法到达最终页面时。这通常涉及不正确的重定向规则或插件冲突，导致用户体验不佳，有时还会阻止搜索引擎索引内容。
修复方法：简化重定向。确保每个重定向都指向最终目标，而不经过不必要的链条。
403 Forbidden（禁止访问）
403 Forbidden 错误发生在服务器理解了请求却拒绝访问时，通常由于文件权限配置错误、不正确的 IP 限制或安全设置。如果搜索引擎遇到太多此类错误，它们可能会认为重要内容被屏蔽，进而损害你的排名。
修复方法：更新服务器或文件权限。确认正确的 IP 地址和用户角色具有访问权限。
访问被拒绝（Access Denied）
访问被拒绝错误发生在服务器或安全插件明确阻止爬虫的请求时，有时由于防火墙规则、防爬虫插件或 IP 访问限制。如果爬虫无法抓取关键内容，你的页面可能不会出现在相关的搜索结果中。
修复方法：调整防火墙或安全插件设置，允许已知的搜索引擎爬虫访问。如有需要，把相关的 IP 段加入白名单。
如何发现你网站上的抓取错误
使用服务器日志，或 Google Search Console 和 Semrush Site Audit 等工具来定位抓取错误。
以下是两种常见的做法。
Google Search Console
Google Search Console（GSC）是一款免费工具，展示 Google 如何抓取、索引和解读你的网站。
打开 GSC，点击“Indexing（索引）”下的“Pages（页面）”。查找列在“Not Indexed（未编入索引）”下、或带有特定错误信息（如 404、软 404 或服务器错误）的页面。
点击某个错误，即可查看受影响的页面列表。
Semrush Site Audit
要使用 Semrush 的 Site Audit 查找抓取错误，请创建一个项目、配置审计，然后让 Semrush 抓取你的网站。错误会列在“Crawlability（可抓取性）”报告下，点击“View details（查看详情）”即可查看错误。
查看“Crawl Budget Waste（抓取预算浪费）”组件。点击柱状图，打开页面查看更多详情。
然后点击“Why and how to fix it（原因及修复方法）”，了解更多围绕每个错误的信息。
修复站点错误并改善你的 SEO
修复抓取错误、失效链接和其他技术问题，有助于搜索引擎访问、理解并索引你网站的内容，进而让你的网站出现在相关的搜索结果中。
Site Audit 还会标记其他问题，例如缺失的标题标签（网页的标题），这样你就能处理所有技术 SEO 元素，并保持良好的 SEO 表现。
只需打开 Site Audit 并点击“Issues（问题）”。Site Audit 会按严重程度对错误分组（错误、警告和提示），这样你就能优先处理那些需要立即关注的错误。点击某个错误，就会得到受影响页面的完整列表，帮助你解决每个问题。
准备好发现并修复你网站上的错误了吗？今天就试试 Site Audit。