重复内容:Google 选择了与用户不同的规范网址——含义、成因与修复方法
该状态会出现在 Google Search Console 的“页面索引”报告中。当 Google 发现网站上存在两段或更多高度相似或完全相同的内容时,就可能触发这一状态。本文说明其成因与修复方法。
Google Search Console 中的状态“已发现重复内容,Google 选择的规范网址与用户不同(Duplicate, Google chose different canonical than user)”,表示 Google 用于索引的 URL 与用户指定的 URL 不一致。当 Google 在某个网站上发现两段或更多高度相似或完全相同的内容时,就可能出现该状态。
该问题显示在 Google Search Console 的“页面索引”报告中,如下图所示。

检查我们一个出现该问题的页面时,我发现两种语言的内容都尚未翻译,仍是英文,因此我怀疑还有更多页面存在同样问题。翻译流程的延迟导致了这一情况。

下面分析该问题的成因与修复方法。
是什么导致了“已发现重复内容,Google 选择的规范网址与用户不同”
有几种情况会把页面标记为这一问题。
重复或相似内容
据 Google 的 Gary Illyes 表示,全网 60% 的内容属于重复内容。
Google 不会存储每个页面的所有版本,而是保存一个主版本,并记录其他替代版本。
规范链接元素,即规范标签(canonical tag),是 Google 使用的约20 个规范化信号之一。它只是一个提示(hint),其他信号同样可能告诉 Google:应当向用户展示并被索引的是另一个页面。
所有信号最终会汇总到被索引的页面版本上,许多其他页面则被标记为重复。如果它们指定的规范 URL 不匹配,就会出现“已发现重复内容,Google 选择的规范网址与用户不同”这一问题。这一般不影响排名,但被索引的页面未必是你更希望展示的那个。
同一段内容可能存在多个 URL,从而引发重复内容问题。这可能由大小写、结尾斜杠、ID、URL 参数等造成。所以下面这些可能同时存在:
另一种情况是:电商商店有许多产品变体,但独特内容很少。这些变体可能设置了自我引用的规范标签,而 Google 可能只索引其中一个版本。
如果只想让其中一个版本被索引,应为该版本设置自我引用的规范标签,并让其他版本的规范标签指向主版本,或将其他版本重定向到主版本。
查看 Site Audit 中的 Duplicates(重复)报告。我们会细分哪些重复内容簇设置了规范标签、哪些存在问题。

该问题也可能出现在国际化网站上。有些公司为使用同一语言的多个国家提供相同或相似的内容,例如在美国、英国和澳大利亚的目标页面上使用相同内容。Google 通常只索引其中一个,但借助 hreflang 标签,这些页面仍可互换,并按对应替代版本展示在搜索结果中。
还有一种情况如前文所示:我们在本应使用另一种语言的页面上发布了英文内容。这些页面等待翻译,完成后问题应当消除。
这些替代版本在 GSC 中通常显示为“已发现重复内容,Google 选择的规范网址与用户不同”。即便 Google 会互换并按正确版本展示,GSC 也只把流量归到规范版本上。
Hreflang 标签成对运作,形成内容簇。Site Audit 提供内容簇可视化工具,能显示问题所在,比常见的表格更易理解与说明。

有时 Google 会判断失误。对于联合发布的内容(syndicated content),Google 偶尔会把复制版本而非原始内容选为规范 URL。
内容被剽窃时也可能出现这种情况。我们此前就有一个页面遭遇过:Google 竟选择另一个网站来索引我们的原创内容。

该问题可能随时间自行解决,我们那次只用了几天。如果内容被另一个网站使用,可以依据《数字千年版权法》(DMCA)提出申诉,通过 Google 的版权移除工具提交 DMCA 下架申请,请求移除受版权保护的材料。
规范标签的错误
与重定向类似,规范标签也可能出现链条(chains)或循环(loops),这些额外页面会被归类为“已发现重复内容,Google 选择的规范网址与用户不同”。
规范链条指一系列 URL,其规范标签依次指向链条中的下一个 URL。

也可能出现规范循环,即链条中某一环又指回序列中较早的页面,形成无限循环。

可在 Site Audit 中检查这些问题,它们归在“把非规范页面指定为规范页面(Non-canonical page specified as the canonical one)”这一问题下。在我们对100 万个域名的研究中,该问题出现在 1.36% 的网站上。

如果规范标签出现笔误,例如多写了一个字符,也可能触发该问题。页面或许仍能正常解析,但 Google 可能把原始 URL 选作规范 URL。
渲染问题
对 JavaScript 网站,尤其是应用外壳(app shell)模式而言,最初返回的 HTML 响应可能只包含很少的内容与代码。实际上,网站每个页面可能都呈现相同代码,甚至与其他某些网站的代码完全一致。
如果在 Site Audit 中看到同一内容簇里有大量重复页面,就可能存在这一问题。

这有时会让页面被当作重复内容处理,而不会立即进入渲染。更糟的是,搜索结果中可能出现错误页面甚至错误网站。这通常会随时间自行解决,但也可能带来麻烦,对新网站尤其如此。
如何修复“已发现重复内容,Google 选择的规范网址与用户不同”
如何修复取决于你的页面适用于哪种情况。
如果你的内容是重复的,就让它更独特
如果存在相同或重复的内容,又希望每个页面都被索引,就需要投入精力让内容更独特。这在模板化内容多、页面独特内容少的网站上很常见。
我们网站上被标记的多数页面都源于翻译流程延迟:有时页面尚未翻译或未完全翻译就发布了其他语言版本,因而被标记为重复。随着翻译完成,这些问题会被清除,翻译后的页面不再被当作重复内容。

如果你有规范化问题,就修复它们
对任何规范链条或循环,先选定偏好的页面版本,再确保该版本和所有其他版本都引用这一偏好版本。
你甚至可以借助更强的规范化信号来合并这些页面,比如 301 或 308 重定向。
如果规范标签出现错误(例如多写了一个字符)且被 Google 忽略,修正规范标签使其指向页面主版本即可解决。
如果你有渲染问题,就使用预渲染或 SSR
如果问题源于网站返回的 HTML 看起来都一样,可能需要预渲染(pre-rendering)或服务端渲染(SSR)方案,在用户或机器人接收之前渲染好页面内容。大多数网站上这部分内容会包含一些独特信息,应当能解决该问题。如需搭建,请与开发人员沟通。
总结
“已发现重复内容,Google 选择的规范网址与用户不同”通常源于页面重复,但并非总是如此。多数情况下,这是 Google 在维持索引整洁、避免大量重复内容堆积,或在修正网站上的错误。
如有疑问,可在 X 或 LinkedIn 上留言。