技术 SEO 完整入门指南

技术 SEO 常被视为 SEO 中最重要的一环，但这一判断有前提。页面只有先被抓取并进入索引，才谈得上排名；其余许多技术操作的影响，远不及内容与外链。

这份入门指南旨在厘清基础概念，并说明时间应投入哪些环节，才能取得最大回报。

技术 SEO 基础

技术 SEO 的定义

技术 SEO 指对网站进行调整，使搜索引擎能够发现、抓取、理解并索引页面，并提升网站在搜索结果中的可见度与排名。这项工作对 AI 搜索同样关键。

技术 SEO 有多复杂

视情况而定。基础部分并不难掌握，但技术 SEO 也可能相当复杂、不易理解。本文会尽量把它讲清楚。

技术 SEO 对 AI 搜索是否重要

重要。AI 搜索依然依赖可抓取、结构良好且可信的网页。技术 SEO 保证网站加载迅速、易于访问并可被索引，并提高内容被 AI 答案与传统搜索采用的概率。

理解抓取

本章说明如何确保搜索引擎高效抓取站内内容。

抓取的工作机制

抓取指搜索引擎读取页面内容，并顺着页面上的链接发现更多页面。控制站内哪些内容被抓取，有多种方式，以下逐一说明。

Robots.txt

robots.txt 文件用于告知搜索引擎与 AI 平台，网站中哪些位置可以访问、哪些不可以。

多数搜索引擎与 AI 爬虫都会遵守 robots.txt 的设置。一旦明确禁止访问，它们便不会抓取内容，也不会将其纳入训练数据。然而，阻止搜索引擎与 LLM 把网站作为训练材料，同时也限制了品牌出现在其回答中的机会。

你知道吗？

指南与流程图

LLMs.txt

LLMs.txt 是一项自愿性标准，用于说明大型语言模型（LLM）可以使用内容的方式；但正如LLMs.txt 指南所述，它的效果有限，很可能不值得投入精力。

目前尚无证据表明 LLMs.txt 能改善 AI 检索、提升流量或提高模型准确性。

抓取速率

robots.txt 提供 crawl-delay 指令，为众多爬虫所支持，用于设定其抓取页面的频率。不过 Google 并不遵守该指令。^[1] 若要限制 Google，需在 Search Console 中调整抓取速率。^[2]

访问限制

若希望页面仅对部分用户开放、而不被搜索引擎访问，通常有以下三种方案：

• 登录系统
• HTTP 认证（需密码方可访问）
• IP 白名单（仅允许特定 IP 地址访问）

这类设置适用于内部网络、会员专属内容，以及预发布、测试与开发站点。它允许特定用户群访问，而搜索引擎无法访问，因而不会加以索引。

如何查看抓取活动

就 Google 而言，查看其抓取内容最简便的方式，是使用 Google Search Console 的抓取统计信息（Crawl stats）报告，其中可提供 Google 抓取网站的详细情况。

若要查看站内的全部抓取活动（含 AI 爬虫），则需访问服务器日志，并可能借助工具分析数据，难度相对较高。若主机提供 cPanel 之类的控制面板，通常可以访问原始日志，以及 AWstats、Webalizer 等统计聚合工具。

抓取调整

每个网站的抓取预算各不相同，取决于 Google 的抓取意愿与网站可承受抓取量之间的平衡。受欢迎且更新频繁的页面被抓取更频繁；不受关注、外链稀少的页面则抓取更少。

当爬虫察觉到服务器压力迹象时，通常会放慢速度，甚至暂停抓取，直到状况好转。

页面被抓取后会经过渲染，进入索引。索引是能够作为搜索结果返回的页面总集合。下文继续讨论索引。

理解索引

本章讨论如何确保页面被索引，以及如何检查索引状态。

Robots 指令

robots 元标签是一段 HTML 代码，用于指示搜索引擎如何抓取或索引某个页面。它位于网页的 <head> 区域，形式如下：

<meta name="robots" content="noindex" />

规范化（Canonicalization）

当重复内容使同一页面出现多个版本时，Google 会选择其中之一进入索引。这一过程称为规范化，被选为规范版本的 URL 就是 Google 在搜索结果中展示的 URL。Google 依据多种信号选择规范 URL，包括：

• 规范标签
• 重复页面
• 内链
• 重定向
• 站点地图 URL

查看 Google 对某个页面的索引情况，最简便的方式是使用 Google Search Console 的网址检查（URL Inspection）工具，其中会显示 Google 选定的规范 URL。

技术 SEO 中见效最快的项目

对 SEO 从业者而言，排定优先级是最难的事情之一。最佳实践众多，但部分改动对排名与流量的影响远大于其他。以下是我建议优先处理的项目。

检查索引情况

应确保希望被用户找到的页面都能在 Google 中建立索引。前两章集中讨论抓取与索引，原因正在于此。

在 Site Audit（站点审计）中查看 Indexability（可索引性）报告，即可找出无法索引的页面及其原因。该报告在 Ahrefs Free 中即可使用。

找回丢失的链接

网站常会随时间更换 URL，许多旧 URL 仍带有来自其他网站的链接。若未将这些旧 URL 重定向到当前页面，其链接价值就会流失，无法计入页面。补做重定向为时不晚，可迅速挽回损失的价值，堪称最快的链接建设。

可使用 Ahrefs 的 Site Explorer（站点分析）发掘找回链接的机会。输入域名，进入 Best by Links（按链接数排序）报告，添加“404 未找到”这一 HTTP 响应筛选条件。我通常按“引用域名（Referring Domains）”排序。

以 1800flowers.com 为例，结果如下：

在 archive.org 中查看第一个 URL，发现它原本是母亲节页面。仅将这一个页面重定向到当前版本，即可挽回来自 59 个不同网站的 225 条链接，且仍有大量机会可挖。

为此我编写了一个帮助匹配重定向的脚本。无需畏难，只需下载并上传几个文件即可。该 Colab 笔记本会逐步引导操作，并承担繁重的部分。

应当将所有旧 URL 301 重定向到其当前地址，以挽回流失的价值。

你知道吗？

^[3]

添加内链

内链指从站内一个页面指向另一个页面的链接，既有助于页面被发现，也有助于提升排名。Site Audit 中的 Internal Link Opportunities（内链机会）工具可快速定位这类机会。

该工具会查找站内已获得排名的关键词出现的位置，并将其推荐为内链机会。

例如，该工具在重复内容指南中发现一处提及“分面导航（faceted navigation）”。由于 Site Audit 知晓站内已有分面导航页面，便建议添加一条指向该页面的内链。

添加结构化数据标记（Schema markup）

结构化数据标记是帮助搜索引擎理解内容的代码，支撑着许多能让网站在搜索结果中脱颖而出的功能，也可能帮助 LLM 正确解读页面内容。Google 的搜索图库（search gallery）列出了各类搜索功能，以及网站要纳入其中所需的结构化数据。

面向 AI 搜索的技术 SEO

AI 改变了搜索者发现与接触内容的方式，但依然以可抓取、结构良好且可信的网页为基础，同时也在改变内容创作与优化的方式。

关注若干 AI 特有的技术因素，有助于在用户查询信息的各个渠道保持可见。

让网站能被 LLM 访问

与搜索引擎一样，LLM 也需要抓取网站并访问其内容，但工作方式与搜索引擎爬虫略有差异。

例如，多数 LLM 不渲染 JavaScript。若关键内容或导航仅在 JavaScript 加载后出现，部分 AI 爬虫便可能无法看到。因此，希望能在 AI 搜索中可见的关键内容应尽量避免依赖 JavaScript。

此外，还应检查是否有第三方工具在阻止 AI 爬虫访问网站。

例如，Cloudflare 推出的新功能允许站长控制 AI 平台是否可抓取内容用于其训练数据集。

该功能默认阻止 AI 爬虫访问内容。若希望内容在 AI 搜索结果中尽可能获得可见度，则需要将其关闭。

重定向被“幻觉”出来的 URL

AI 搜索系统可能引用你域名下并不存在的 URL。在 Ahrefs 的 Web Analytics 中，查看接收 AI 搜索流量的页面即可发现这类 URL：

若其中任一页面返回 404 错误，该 URL 就可能是 AI 系统“幻觉”出来的。为避免流量流失，可将该 URL 重定向到相关的有效页面。

定期监测可避免用户受挫，并维护品牌权威。

AI 内容检测

用 AI 为网站创作内容本无问题，但 AI 内容过多可能被视为垃圾内容信号，从而限制内容在传统搜索与 AI 搜索系统中的地位。

可使用 Ahrefs 在 Site Explorer > Page Inspect 中提供的 AI 检测器，了解机器如何判断内容中的 AI 使用程度。

也可在 Top Pages（热门页面）报告中批量检查，找出可能需要重写的现有页面：

AI 工具注入的代码

若曾借助 AI 搭建网站或添加功能，它可能额外写入一些 HTML 代码，从而暴露 AI 的使用痕迹。使用站群程序批量建站时尤其需要注意。

曾有案例显示，Yoast SEO 的一个 bug 将 AI 相关的隐藏 class 注入页面，使搜索引擎很容易识别出其中涉及 AI。

若使用 AI 工具进行站内改动，应检查网站源代码，确保没有引入意料之外的内容。通过定期代码审查与发布前测试，可以避免这类隐藏的“指纹”。

其他技术 SEO 项目

本章涉及的项目同样值得关注，但往往需要更多投入，收益却不及上一节的“快速见效”项目。这并非建议跳过它们，而是帮助理解各类项目的优先级如何排定。

页面体验信号

这些属于相对次要的排名因素，但出于用户体验（UX）的考虑仍应关注。它们涵盖影响用户体验的网站各个层面。

Google 的页面体验搜索信号

https://ahrefs.com/blog/core-web-vitals/

核心网页指标（Core Web Vitals）

核心网页指标（Core Web Vitals）是 Google 页面体验信号中的一组速度指标，用于衡量用户体验，其中通过最大内容绘制（LCP）衡量视觉加载，通过累积布局偏移（CLS）衡量视觉稳定性，通过首次输入延迟（FID）衡量交互性。

HTTPS

HTTPS 保护浏览器与服务器之间的通信，防止被攻击者拦截与篡改，为当今绝大多数万维网流量提供机密性、完整性与身份认证。页面应通过 HTTPS 而非 HTTP 加载。

地址栏显示“锁”图标的网站都在使用 HTTPS。

移动端友好性

简言之，它检查网页能否在移动设备上正确显示并便于使用。

如何判断网站的移动端友好程度？查看 Google Search Console 中的“移动设备易用性（Mobile Usability）”报告。

该报告会显示页面是否存在移动端友好性问题。

插页广告（Interstitials）

插页广告会遮挡内容。它们是覆盖主要内容的弹窗，用户可能必须先与其交互才能关闭。

Hreflang —— 面向多语言站点

Hreflang 是一种 HTML 属性，用于指定网页的语言与地区定位。若同一页面存在多种语言版本，可用 hreflang 标签把对应关系告知 Google 等搜索引擎，以便向用户提供正确的版本。

Ahrefs 通过 Site Audit 中的可视化 hreflang 链接图，让 hreflang 的实施更为简便。

该 hreflang 图会展示某页面的全部语言版本，并高亮配置问题，同时标记无效语言代码、缺少自引用链接、缺少互指标签等错误，并给出修复指导。

日常维护 / 网站健康

这些任务对排名影响有限，但出于用户体验通常值得修复。

失效链接（Broken links）

失效链接指站内指向不存在资源的链接，既可能是内部的（指向本站域名下的其他页面），也可能是外部的（指向其他域名下的页面）。

可用 Site Audit 中的 Links（链接）报告快速找出站内失效链接。该报告在 Ahrefs Free 中即可使用。

重定向链

重定向链指初始 URL 与目标 URL 之间发生的一连串重定向。

可用 Site Audit 中的 Redirects（重定向）报告快速找出站内重定向链。该报告在 Ahrefs Free 中即可使用。

技术 SEO 工具

这些工具能帮助改善网站的技术层面。

Google Search Console

Google Search Console（前身为 Google Webmaster Tools）是 Google 提供的免费服务，用于监测与排查网站在其搜索结果中的表现。

可用它发现并修复技术错误、提交站点地图、查看结构化数据问题等。

Bing 和 Yandex 都有各自的版本，Ahrefs 同样如此。Ahrefs Free 可帮助改善网站的 SEO 表现，其功能包括：

• 监测网站的 SEO 健康状况。
• 检查 100 多项 SEO 问题。
• 查看全部反向链接。
• 查看所有已获得排名的关键词。
• 了解页面获得的流量。
• 发现内链机会。

这是针对 Google Search Console 局限性的解决方案。

Google 移动端友好性测试

Google 的移动端友好性测试会检查访客在移动设备上使用页面的难易程度，并指出具体的移动端易用性问题，如文字过小难以阅读、使用了不兼容的插件等。

该测试会显示 Google 抓取该页面时看到的内容。也可使用富媒体结果测试（Rich Results Test），查看 Google 在桌面端或移动端看到的内容。

Chrome DevTools

Chrome DevTools 是 Chrome 内置的网页调试工具，可用于调试页面速度问题、改善渲染性能等。

从技术 SEO 的角度看，其用途不胜枚举。

Ahrefs 的 SEO 工具栏

Ahrefs 的 SEO 工具栏是一款免费的 Chrome 与 Firefox 扩展，为所访问的页面和网站提供实用的 SEO 数据。

免费功能包括：

• 站内 SEO 报告
• 带 HTTP 头的重定向追踪
• 失效链接检查器
• 链接高亮
• SERP 位置

此外，Ahrefs 用户还可获得：

• 所访问的每个站点和页面、以及 Google 搜索结果的 SEO 指标
• 直接呈现在 SERP 中的关键词指标，如搜索量与关键词难度
• 导出 SERP 结果

PageSpeed Insights

PageSpeed Insights 分析网页的加载速度。除性能评分外，它还会给出可执行的优化建议，以加快页面加载。

核心要点

• 内容若未被索引，就无法出现在搜索引擎中。
• 当某处故障影响到搜索流量时，修复它可能属于优先事项；但对大多数网站而言，把时间投入内容与链接更为划算。
• 影响最大的技术项目，多与索引或链接相关。
• 技术 SEO 对 AI 搜索仍然重要。结构良好、可抓取的页面有助于 AI 系统发现、理解并呈现内容。