重复内容：成因与修复方法
重复内容是指相同或高度相似的内容出现在网络的多个位置。本文说明重复内容的成因、对 SEO 的影响，以及检查和修复方法。
想了解什么是重复内容，以及它如何损害 SEO？
重复内容是许多站长持续焦虑的来源。
随便翻阅一些相关资料，就容易把自己的网站看作一颗随时引爆的重复内容定时炸弹，仿佛 Google 的惩罚几天内就会降临。
所幸事实并非如此，但重复内容仍可能引发 SEO 问题。鉴于整个网络中有 25-30% 的内容属于重复内容，掌握避免与修复这类问题的方法很有必要。
本指南涵盖以下内容：
什么是重复内容？
重复内容是指相同或相似的内容在网络中出现于不止一个位置。它可能存在于同一个网站内，也可能跨越多个网站。
例如，来看一个“找不同”的例子……
这是位于 caltonnutrition.com/tag/protein-powder/ 的页面……
……而这是位于 caltonnutrition.com/tag/whey/ 的页面：
能看出区别吗？我也看不出。这两个 URL 的内容完全相同，也就是重复内容。
重复内容为什么对 SEO 不利？
Google 表示并不存在所谓的重复内容惩罚，但重复内容确实会从几个方面损害 SEO 表现。
- 搜索结果中出现不受欢迎或不友好的 URL；
- 反向链接被稀释；
- 消耗抓取预算；
- 被采集或联合发布的内容排名超过你。很多这类重复内容来自小偷程序的批量采集。
1. 搜索结果中出现不受欢迎或不友好的 URL
设想同一个页面可以通过三个不同的 URL 访问：
- domain.com/page/
- domain.com/page/?utm_content=buffer&utm_medium=social
- domain.com/category/page/
第一个本应出现在搜索结果中，但 Google 可能出错，让一个不受欢迎的 URL 取而代之。
用户往往不愿点击不友好的 URL，自然流量因此可能减少。
2. 反向链接被稀释
如果相同内容可通过多个 URL 访问，每个 URL 都可能吸引反向链接，导致“链接权重”分散到多个 URL 上。
举个真实世界的例子，看看 buffer.com 上的这两个页面：
这两个页面几乎是完全相同的副本。它们分别拥有 106 个和 144 个引用域（来自不同网站的链接）。
不必惊慌，得益于 Google 处理重复内容的方式，这并不总是问题。
简言之，Google 检测到重复内容时会把相关 URL 归为一组，然后“选择他们认为最能代表该组出现在搜索结果中的‘最佳’URL”，并“把该组中各 URL 的属性，例如链接权重，归并到代表 URL 上”。这一过程称为规范化（canonicalization）。
因此，在上述情况中，Google 本应在自然搜索中只展示其中一个 URL，并把该组中所有引用域（106+144）都归到这个 URL 上。
但实际情况并非如此：两个 URL 都为相似关键词在 Google 中获得了排名。
在这个例子中，Google 很可能没有把“链接权重”归并到某一个 URL 上。
3. 消耗抓取预算
Google 通过抓取发现网站上的新内容，即沿着现有页面上的链接进入新页面；他们也会定期重新抓取已知页面，查看是否有变化。
重复内容只会增加他们的工作量，影响其抓取新增或更新页面的速度与频率。
这会造成新页面索引延迟、更新页面重新索引延迟。
4. 被采集的内容排名超过你
有时你会允许另一个网站转载内容，这称为联合发布（syndication）；另一些时候，网站可能未经许可采集并重新发布你的内容。
这两种情形都会导致内容在多个域名间重复，但通常不会造成问题。只有当被采集或转载的内容开始排名超过你网站上的原始内容时，问题才会出现。
好在这类情况很少发生，但确实可能出现。
Google 是否有针对重复内容的惩罚？
Google 已多次声明，他们并没有针对重复内容的惩罚。
这一说法并不完全准确。如果重复内容是无意造成的，而非有意操纵搜索结果或使用垃圾手段，就不会受到惩罚；反之则可能受到惩罚。
Google 在这里确认了这一点：
问题在于，什么才算“意图操纵我们的排名并欺骗我们的用户”？
Google 在这里提供了大量相关信息。基本上指以下行为：
- 故意创建大量包含重复内容的多个页面、子域名或域名。
- 发布大量采集来的内容
- 发布从 Amazon 或其他网站采集来的联盟营销内容（且没有增加任何额外价值）
如上所述，即便没有惩罚，重复内容仍可能损害 SEO。
重复内容的常见成因
重复内容的成因多种多样。
分面/筛选导航
分面导航（faceted navigation）是指用户可以在页面上筛选和排序条目。电商网站大量使用它。
这类导航会在 URL 末尾追加参数。
由于这些筛选条件通常有很多组合，分面导航往往会产生大量重复或近似重复的内容。
以这两个页面为例：
URL 各不相同，内容却几乎一致。
此外，参数的顺序往往无关紧要。例如，同一个页面可以通过下面两个 URL 访问：
跟踪参数
带参数的 URL 也被用于跟踪目的。例如，你可能使用 UTM 参数在 Google Analytics 中跟踪来自邮件简报活动的访问：
示例：example.com/page?utm_source=newsletter
会话 ID
会话 ID 存储有关访问者的信息。它们通常会在 URL 后追加一长串字符，如下所示：
示例：example.com?sessionId=jow8082345hnfn9234
HTTPS 与 HTTP、非 www 与 www
大多数网站可以通过以下四种变体之一访问：
- https://www.example.com（HTTPS，www）
- https://example.com（HTTPS，非 www）
- http://www.example.com（HTTP，www）
- http://example.com（HTTP，非 www）
如果你使用 HTTPS，就会是前两种之一。至于使用 www 还是非 www 版本，由你决定。
但如果服务器配置不当，网站可能通过其中两个或更多变体访问，从而引发重复内容问题。
区分大小写的 URL
Google 认为 URL 是区分大小写的。
这意味着下面三个 URL 各不相同：
- example.com/page
- example.com/PAGE
- example.com/pAgE
带尾斜杠与不带尾斜杠
Google 认为带尾斜杠和不带尾斜杠的 URL是唯一的。这意味着在 Google 眼中，下面两个 URL 是不同的：
- example.com/page/
- example.com/page
如果你的内容可以通过这两个 URL 访问，就可能导致重复内容问题。
要检查是否存在这个问题，可以尝试分别加载带尾斜杠和不带尾斜杠的页面。理想情况下，只有一个版本能加载，另一个会重定向。
例如，尝试不带尾斜杠地加载这篇文章，会重定向到带尾斜杠的 URL。
Google 表示这种行为是理想的。
适合打印的 URL
适合打印的版本与原版内容相同，只是 URL 不同。
- example.com/page
- example.com/print/page
适合移动端的 URL
适合移动端的 URL 与适合打印的 URL 一样，都是重复内容。
- example.com/page
- m.example.com/page
AMP URL
加速移动页面（AMP，Accelerated Mobile Pages）也是重复内容。
- example.com/page
- example.com/amp/page
标签页和分类页
使用标签时，大多数 CMS 会创建专门的标签页。
例如，一篇关于有机乳清蛋白的文章同时使用“蛋白粉”和“乳清”作为标签，就会产生下面两个标签页：
这本身并不总会造成重复内容，但确实可能。
本例正是如此：网站上只有一篇文章带有这两个标签，因此每个标签页完全相同。
附件图片 URL
许多 CMS 会为图片附件创建专门的页面。这些页面通常只显示图片和一段样板文字。
由于这段文字在所有自动生成的页面上都相同，就会导致重复内容。
分页评论
WordPress 和其他 CMS 支持对评论分页，实际上为同一 URL 创建了多个版本，因而导致重复内容。
- example.com/post/
- example.com/post/comment-page-2
- example.com/post/comment-page-3
本地化
向使用相同语言但地处不同地区的用户提供相似内容，可能导致重复内容。
例如，你可能为美国、英国和澳大利亚的用户提供不同版本的网站。由于向每个地区提供的内容之间往往只有细微差别（例如以美元还是英镑计价），这些版本就会构成近似重复内容。
搜索结果页面
许多网站设有搜索框，使用后通常跳转到带参数的搜索 URL。
示例：example.com?q=search-term
Google 前反垃圾网页团队负责人 Matt Cutts 表示：
预发环境
预发环境（staging environment）是网站的重复或近似重复版本，用于测试。
例如，若要在网站上安装新插件或修改代码，直接推送到每天有成千上万访客的正式站点风险过高。更稳妥的做法是先在预发环境中测试这些改动。
一旦 Google 为预发环境建立索引，就会带来重复内容，从而成为 SEO 问题。
如何检查你网站上的重复内容
前往 Ahrefs 的 Site Audit（站点审计）并启动一次抓取。
完成后，前往 内容质量（Content quality）报告。
查找没有规范标签的重复与近似重复内容分组，它们以橙色高亮显示。
点击其中任意一个分组，即可查看受影响的页面。
查明重复内容的成因，再采取相应措施。
这些未必都需要修正，近似重复内容尤其如此。
你还可以在 HTML 标签报告中检查重复的标题标签、元描述和 H1。
要查找的是“严重重复”（Bad duplicates），即拥有重复元标签但规范网址不同的页面。
点击 HTML 标签与内容下的“严重重复”（Bad duplicates）开关来筛选它们。
点击任意一条黄色条形，即可查看受影响的页面。
标题、元描述或 H1 重复的页面往往高度相似。
例如，这两个页面拥有相同的标题标签，而且由于产品相同，内容几乎一模一样。唯一的区别是，其中一个页面是 3 支装即点燃火木柴，另一个则是单支装。
Google 指出，你应该尽量减少这类相似内容：
不过，少量相似页面不太可能造成太大问题。
如何检查整个网络上的重复内容问题
内容采集和联合发布也可能导致重复内容问题。但通常只有当你看到自己内容的采集版本排名超过你时，才算问题。
这种情况会发生，但对新建或影响力较弱的网站往往更成问题。原因在于，采集你内容的网站通常更具权威性，有时会“误导”Google 以为它们才是原创。
对于小网站，通常可在 Google 中用引号搜索页面中的一段文本，找到被采集的内容。
对于较大的网站，你需要使用像 Copyscape 这样的自动化工具。它会在网络上搜索你页面上内容的其他出现位置。
无论使用哪种方法，大多数结果都来自垃圾内容和低质量网站。
这些通常无需担心。但如果发现某个正规网站采集了你的内容并担心它抢走流量，可把该 URL 放入 Ahrefs 的 Site Explorer（站点分析）查看自然流量估算。
如果它的流量比你的页面还多，那就可能存在问题。
此时有三种选择：
- 联系对方，要求他们删除内容。
- 联系对方，要求他们为你网站上的原创内容添加规范链接。
- 通过 Google 提交 DMCA 下架请求。
如果有意把内容联合发布到其他网站，值得请对方为原创内容添加规范链接，以消除重复内容的风险。
结语
不必对重复内容过度焦虑，它通常远没有人们想象的那么严重。
如果你只有少数几个重复或近似重复的页面，那不太可能有多大问题。引用其他网站或你网站其他页面的内容时也是如此。少量重复内容或样板内容应该没问题。Google 有相应的系统来处理这类情况。
真正需要警惕的是会导致生成成百上千个重复内容页面的技术 SEO 失误，例如电商网站上分面导航的不当实施。
这类问题会严重破坏抓取预算及其他方面。
如果正为重复内容所困，欢迎在评论区或在 Twitter 上告知我。