免费网站爬虫的破局者：Ahrefs Webmaster Tools

如果你拥有或管理着一个小网站，并且对 SEO 有所了解，你很可能在使用网站爬虫软件（又称 SEO 爬虫）来审计和监控你的网站。

对于页面最多几百页的较小网站，你可能在使用 Screaming Frog、Seobility 或 WebSite Auditor 之类的工具，其中 Screaming Frog 大概是最流行的。

那你为什么还要考虑替代方案呢？

坦率地说：几乎所有免费网站爬虫都能相当不错地识别小型网站的基础 SEO 问题，比如页面间的死链、有问题的标题与描述，或加载缓慢的页面。

不过，如果你想检测更高级的 SEO 问题，或者需要抓取更大的网站，就需要一款付费的 SEO 审计工具。

……除非你在用 Ahrefs Webmaster Tools（简称 AWT）。

以下是 AWT 中的 Site Audit（网站审计）胜过任何其他免费（甚至往往是付费）网站爬虫的原因：

• 每个项目每月可抓取 5,000 个页面（项目数量不限）
• 在云端运行，并拥有网页界面
• 用户友好的界面
• 专业级的问题与抓取自定义能力
• 可自动定时抓取，并支持邮件提醒
• 3 个月的抓取历史记录
• 抓取结果对比
• 反向链接指标
• 自然流量指标
• 以及远不止这些的更多功能！

现在，让我介绍 Ahrefs Webmaster Tools 那些在其他任何免费 SEO 检查工具中都找不到的独有功能：

1. 慷慨的抓取额度

据我所知，没有其他免费 SEO 爬虫能提供如此慷慨的额度。

每个项目每月可获得 5,000 个抓取点数。

这些点数只用于抓取 HTML 页面。重定向、图片和外部 URL 甚至都不计入。

这意味着你可以每两天抓取一次一个 300 页的网站。例如，用 5,000 个抓取点数，Ahrefs 博客的英文部分每月可以被完整抓取 4 次。

2. 用户友好的报告

尽管很流行，Screaming Frog 还是有一定学习门槛。要适应它那种媲美 Excel 2001 风格的表格报告，甚至一开始找到“Issues（问题）”报告，都可能颇费一番功夫。

AWT 中的 Site Audit 有一个信息丰富的 Overview（概览）页面。它显著地展示了健康分，用以标示你网站上的重要问题数量，并列出了最主要的问题。

与许多其他 SEO 爬虫不同，AWT 中的 Site Audit 会对检测到的问题给出解释，并附上如何修复的简要建议。

3. 可自定义的问题

Ahrefs Webmaster Tools 中的 Site Audit 会检查你的网站是否存在 170 多个可能损害网站在搜索结果中表现的技术和站内 SEO 问题。

这些问题按重要程度分为三类：

• 错误（Errors）
• 警告（Warnings）
• 提示（Notices）

这对许多 SEO 审计工具来说都很常见，尽管它们中大多数报告的问题要少得多。

Ahrefs Webmaster Tools 的一个独有功能，是能够自定义触发问题的判定标准，甚至根据你的优先级创建新的问题。

例如，如果你不认同我们推荐的标题标签字符数上限，可以轻松修改成符合你偏好的数值。

页面和链接可用的数据点范围很广，使你能够创建远超默认集合的自定义问题。

例如，我为我的项目设置了一个提醒，每当有人编辑页面插入外链时就通知我。这样，如果某位作者添加了指向非预期网站的链接，甚至网站因链接注入而被黑，我都能迅速反应。

而如果你觉得那 170 多个预设的 SEO 问题令人应接不暇，可以直接在项目层面禁用其中任何一个。

4. 基于云端的抓取

Screaming Frog 是网站审计的经典工具。即便是它每次抓取限制为 500 页的免费版，也能满足许多站长和 SEO 人员的需求。

然而，它必须安装在你的台式机或笔记本上，占用你电脑的资源和网络连接。

另一个严重缺陷是，免费版不允许你保存抓取结果以便日后回看。WebsiteAuditor 也有同样的限制。

使用 Ahrefs Webmaster Tools，抓取在云端运行，意味着你可以随时随地启动它并访问结果——甚至可以用你的 智能手机。

5. 三个月的历史记录与并排抓取对比

在 Ahrefs Webmaster Tools 中，SEO 审计的抓取数据会在我们的服务器上保存三个月。

这让你可以随时随地访问这些抓取结果，从而对它们进行比较，追踪你网站 SEO 的哪些方面随时间改善或退步了。查看 Change（变化）列即可发现显著偏差。

当你需要调查某个问题的成因并确定它发生的时间时，这尤其有用。

6. 页面历史记录与代码/文本对比

我们的 SiteAudit 机器人会抓取并存储每个页面的 HTML 代码和文本，让你能看到单个页面在两次抓取之间发生的变化。

对比功能会突出显示在原始 HTML、渲染后的 HTML 或页面文本中被添加、删除或修改的内容。

例如，我们最近更新了博客上的“热门 Google 搜索”页面，以提高它排名更高的机会。通过使用 View source（查看源代码）标签页下的对比功能，如果我想要还原或查看具体改了什么，就能访问旧版本。

7. 集成的 SEO 指标

在 AWT 中，你可以查看每个被抓取 URL 最重要的 SEO 指标，例如：

• 自然搜索流量
• 获得排名的关键词数量
• 最主要的关键词
• 反向链接数量
• 等等

这些集成在报告表格中的指标，能帮你确定处理 SEO 问题的优先顺序。流量最高的页面以及为最重要关键词获得排名的页面，通常需要你立即关注。

我们还在审计结果中加入了流量和搜索排名下降的通知，让你能主动监控内容衰退并逆向分析最初导致下降的原因。

8. 内链机会

这是较为进阶的功能之一，可能需要一些解释。

内链能显著影响搜索排名：

1. 它们会提升某个页面在你网站内部的“重要性”，从而影响页面排名和抓取优先级。
2. 搭配合适的锚文本，它们能向 Google 表明页面的主题。

但坦率地说，为内链寻找相关页面可能相当耗时。用 AWT 则不然。

我们的网站审计会分析你网站上每个页面获得排名最高的 10 个关键词，然后在所有已抓取的页面中查找对这些确切词项的提及。

基于这些数据，你会收到关于网站页面之间内链的自动建议。

9. 源源不断的新实用功能

我们一直在改进所有产品，免费的 Ahrefs Webmaster Tools 也不例外。

我们最期待的两个即将推出的功能是：

• 始终在线的审计（Always-on audit）将让你能够监控并重新抓取网站上的选定页面，无需每次都进行完整的网站抓取。
• 补丁（Patches）旨在让你有机会直接在 Site Audit 报告中修复一些站内 SEO 问题——无需开发者。

总结

Ahrefs Webmaster Tools 能为你做的还有太多，为了避免让你不堪重负，我没有一一展开，例如：

• 细分（Segmentation）
• 结构化数据检查
• 本地化问题
• 内容重复
• 反向链接分析
• 以及更多

拥有所有这些极为实用的功能，AWT 100% 免费，没有任何隐藏费用，所以不妨试一试。

只需记住，你只能在你拥有或管理的网站上使用它。