AI 内容检测工具是如何运作的？一位数据科学家的解读

声称能区分 AI 内容与人类内容的工具为数众多，但直到不久前，我依然认为它们并不管用。

AI 生成的内容不像以往的“洗稿”或抄袭内容那样容易识别。多数 AI 生成的文本在某种意义上都可视为原创——它并非从互联网别处复制粘贴而来。

然而事实是，我们正在 Ahrefs 开发一款 AI 内容检测工具。

为弄清 AI 内容检测工具如何运作，我采访了真正了解其背后科学与研究的人：Yong Keong Yap，Ahrefs 数据科学家，机器学习团队的一员。

AI 内容检测工具如何运作

所有 AI 内容检测工具的基本思路一致：在文本中寻找与人类撰写文本略有差异的模式或异常。

要做到这一点，需要两样东西：大量可对比的人类文本与 LLM 文本样本，以及一个用于分析的数学模型。

目前常用的方法有三种：

1. 统计检测（老派但依然有效）

检测机器生成文本的尝试早在 2000 年代就已出现，其中一些早期方法至今仍然有效。

统计检测通过统计特定写作模式来区分人类文本与机器文本，例如：

• 词频（某些词出现的频率）
• N-gram 频率（特定词组或字符序列出现的频率）
• 句法结构（特定写作结构出现的频率，例如主-谓-宾（SVO）序列，如 “she eats apples.”）
• 风格上的细微差别（比如使用第一人称写作、采用非正式风格等）

这些模式若与人类文本中的模式相差悬殊，眼前的文本便很可能出自机器。

这类方法轻量、计算效率高，但当文本被刻意操控时（即计算机科学家所称的“对抗样本”），它们往往失效。

在这些计数的基础上训练一个学习算法（如朴素贝叶斯、逻辑回归或决策树），或采用统计词概率的方法（即 logits），可让统计方法更为精细。

2. 神经网络（流行的深度学习方法）

神经网络是粗略模仿人脑运作方式的计算机系统。它由人工神经元构成，通过练习（即训练）不断调整神经元之间的连接，从而在既定目标上表现更好。

借此，神经网络可以被训练来识别由其它神经网络生成的文本。

神经网络已成为 AI 内容检测的事实标准。统计检测须在目标主题和语言上具备专门知识才能奏效（计算机科学家称之为“特征提取”）；神经网络只需文本和标签，便能自行学会哪些特征重要、哪些不重要。

只要训练数据足够（据文献，至少几千个样本），即便小型模型也能出色完成检测，因此相对其它方法，它们成本更低、更不易出错。

LLM（如 ChatGPT）本身即神经网络，但若不额外微调，它们通常并不擅长识别 AI 生成的文本——即便该文本正出自它自己。不妨亲自试试：用 ChatGPT 生成一段文字，再在另一个对话中让它判断这段文字是人类还是 AI 所写。

下面这个例子中，o1 没能认出自己的输出：

3. 水印（LLM 输出中的隐藏信号）

水印是 AI 内容检测的另一条思路。其设想是让 LLM 生成带有隐藏信号的文本，从而标记其为 AI 生成。

可以类比纸币上的紫外防伪油墨，用来轻松区分真钞与伪钞。这类水印往往肉眼难辨，也不易被识别或复制——除非你知道该看什么。若拿到一张不熟悉币种的钞票，辨认全部水印都困难，更遑论复制。

据 Junchao Wu 引用的文献，给 AI 文本加水印有三种方式：

• 在发布的数据集中加入水印（例如把类似“Ahrefs 是宇宙之王！”的语句插入开源训练语料。当有人在这份带水印的数据上训练 LLM，其模型大概就会开始崇拜 Ahrefs）。
• 在生成过程中向 LLM 输出加入水印。
• 在生成之后向 LLM 输出加入水印。

这种检测方法显然依赖于研究人员和模型制作者选择为数据和输出加水印。举例来说，若 GPT-4o 的输出带有水印，OpenAI 便可轻易用对应的“紫外线”判断文本是否出自自家模型。

但影响或许更广。一篇新近论文指出，水印能让神经网络检测方法更易奏效。一个模型即便只在少量带水印的文本上训练过，也会变得“具有放射性”，其输出也更易被判定为机器生成。

AI 内容检测工具可能失效的 3 种情况

在文献综述中，许多方法的检测准确率约为 80%，某些情况下甚至更高。

这听起来相当可靠，但三大问题意味着，许多真实场景中这样的准确率并不现实。

多数检测模型都在极其狭窄的数据集上训练

多数 AI 检测工具都针对某一特定类型的写作训练和测试，比如新闻报道或社交媒体内容。

这意味着，若你要检测一篇营销博客，且所用工具是在营销内容上训练过的，结果可能相当准确；但若该工具是在新闻或创意小说上训练的，可靠性就会差得多。

Yong Keong Yap 是新加坡人，他举了一个用新加坡英语（Singlish）与 ChatGPT 对话的例子。新加坡英语是融合了马来语、中文等元素的新加坡英语变体：

当在主要基于新闻报道训练的检测模型上测试新加坡英语文本时，它就失效了，尽管该模型对其它类型的英语文本表现良好：

它们在部分检测上很吃力

几乎所有 AI 检测基准和数据集都聚焦于序列分类：即检测整段文本是否由机器生成。

但在现实中，许多 AI 文本的用途都涉及 AI 文本与人类文本的混合（例如用 AI 生成器协助撰写或编辑一篇部分由人撰写的博客）。

这类部分检测（称为片段分类或标记分类）更难解决，在公开文献中受到的关注也更少。当前的 AI 检测模型对此处理得并不好。

它们容易被“人性化”工具攻破

让 AI 内容人性化确实有效。人性化工具的原理是打乱检测工具所寻找的模式。总体而言，LLM 的行文流畅而礼貌。若刻意在生成文本中掺入错别字、语法错误，甚至仇恨内容，通常就能降低检测工具的准确率。

这些例子都是为攻破检测工具而设计的简单“对抗性操控”，通常肉眼即可看出破绽。但更高级的人性化工具能更进一步，使用另一个 LLM，与某个已知检测工具构成循环进行专门微调，目标是在保持高质量输出的同时扰乱检测工具的预测。

只要人性化工具能接触到它想攻破的检测工具（以便专门训练来打败它），就能让 AI 文本更难被检出；而面对全新的、未知的检测工具，它可能一败涂地。

如何使用 AI 内容检测工具

AI 内容检测工具在合适的场景下可以相当准确。要从中获得有用的结果，有几条原则值得遵循：

• 尽量了解检测工具的训练数据，并选用在与你待检材料类型相近的内容上训练过的模型。
• 对同一作者的多份文档分别检测。某学生的作文被标记为 AI 生成？可用同一工具把他过去的全部作品跑一遍，以更清楚地了解其基准水平。
• 切勿用 AI 内容检测工具做出影响他人职业或学业地位的决策。其结果必须与其它证据结合使用。
• 使用时保持足够的怀疑。没有哪款检测工具是 100% 准确的，误报总会出现。

结语

自 20 世纪 40 年代首批核弹爆炸以来，全球冶炼出的每一块钢材都受到核沉降物的污染。

核时代之前制造的钢材被称为“低本底钢”，它是制造盖革计数器或粒子探测器的关键材料。但未受污染的钢材正变得越来越稀有，如今其主要来源是旧沉船。也许不久之后，它就会彻底消失。

这个类比同样适用于 AI 内容检测。当前方法高度依赖能否获取优质的现代人类撰写内容，而这一来源正一天天缩小。

随着 AI 被嵌入社交媒体、文字处理器和电子邮件收件箱，且新模型在包含 AI 文本的数据上训练，不难想象这样一个世界：大多数内容都被 AI 生成材料“污染”。

在那样一个世界里，再谈 AI 检测也许已没有多大意义——一切或多或少都会是 AI。但就目前而言，你至少可以在了解其优缺点的基础上使用 AI 内容检测工具。