什么是 llms.txt？你真的需要在意它吗？

开发者和营销人员不断被告知，要在自己的网站上添加 llms.txt 文件，以帮助大语言模型（LLM）“理解”其内容。

但 llms.txt 究竟是什么、谁在使用它，更重要的是——你是否真的需要在意它？

什么是 llms.txt？

llms.txt 是一项拟议中的标准，用于帮助 LLM 访问并解读网站上的结构化内容。你可以在 llmstext.org 阅读完整提案。

简而言之，它是一个文本文件，旨在告诉 LLM 到哪里去找好内容：API 文档、退货政策、产品分类，以及其他富含上下文的资源。其目标是通过为语言模型提供一份高价值内容的精选地图来消除歧义，让它们不必再去猜测哪些内容才是重要的。

理论上，这听起来是个好主意。我们已经在用 robots.txt 和 sitemap.xml 这类文件，来帮助搜索引擎理解网站上有什么内容、该去哪里查找。为什么不用同样的逻辑来对待 LLM 呢？

但重要的是，目前没有任何主流 LLM 提供商支持 llms.txt。OpenAI 没有，Anthropic 没有，Google 也没有。

Google 曾把 llms.txt 纳入其于 2025 年 4 月推出的 Agent2Agent（A2A）协议——但这实际上只是把一个“拟议的协议”塞进另一个“拟议的协议”里。值得注意的是，Google 尚未承诺会抓取它。

正如我在开头所说，llms.txt 是一项拟议中的标准。我也可以提议一项标准（就叫它 please-send-me-traffic-robot-overlords.txt 吧），但除非主流 LLM 提供商同意使用它，否则它毫无意义。

这就是 llms.txt 目前的处境：一个尚无任何官方采纳的推测性想法。

llms.txt 示例

下面是 llms.txt 文件在实际应用中的样子。这是 Anthropic 真实的 llms.txt 文件的截图：

从本质上讲，llms.txt 是一份 Markdown 文档（一种特殊格式的文本文件）。它用 H2 标题来组织指向关键资源的链接。下面是你可以采用的一个结构示例：

你可以在几分钟内做出属于自己的 llms.txt：

1. 从一份基础的 Markdown 文件开始。
2. 用 H2 标题按类型对资源进行分组。
3. 链接到结构化的、对 Markdown 友好的内容。
4. 保持更新。
5. 把它架设在你的根域名下：https://yourdomain.com/llms.txt

你可以自己做，也可以用免费的 llms.txt 生成器（比如这个）来帮你生成。

我读到过一些开发者还尝试在 llms.txt 文件中加入 LLM 专用元数据，比如 token 预算或首选文件格式（但没有证据表明爬虫或 LLM 模型会遵循这些东西）。

谁在使用它（如果有的话）？

我们在 Ahrefs Web Analytics 中研究了 137,000 个域名，发现其中 28% 发布了 llms.txt 文件——超过四分之一——尽管没有任何主流 AI 平台曾承诺会读取它。这种采用由“AI 工具或许会开始读取该文件”的猜测驱动，而不是因为有任何证据表明它们确实在这么做。

你也可以在 directory.llmstxt.cloud 看到一份使用 llms.txt 的公司清单——那是一个由社区维护的公开 llms.txt 文件索引。

下面举几个例子：

• Mintlify：开发者文档平台。
• Tinybird：实时数据 API。
• Cloudflare：列出性能与安全相关文档。
• Anthropic：发布了一份完整的 API 文档 Markdown 地图。

那大厂们呢？

到目前为止，没有任何主流 LLM 提供商正式采纳 llms.txt 作为其爬虫协议的一部分：

• OpenAI（GPTBot）：遵循 robots.txt，但并未正式使用 llms.txt。
• Anthropic（Claude）： 发布了自己的 llms.txt，但并未声明其爬虫会使用该标准。
• Google（Gemini/Bard）： 通过 User-agent: Google-Extended 使用 robots.txt 来管理 AI 抓取行为，并未提及支持 llms.txt。
• Meta（LLaMA）：没有公开的爬虫或相关指南，也没有任何使用 llms.txt 的迹象。

这凸显了一个重要的点：创建 llms.txt 和在爬虫行为中强制执行它是两回事。目前，大多数 LLM 厂商都把 llms.txt 当作一个有趣的点子，而不是它们已同意优先遵循的东西。

那么，llms.txt 究竟有用吗？

依我看，目前还没有。

没有任何证据表明 llms.txt 能改善 AI 检索、提升流量或增强模型准确性。而且也没有任何提供商承诺会解析它。

事实上，当我们考察究竟是谁在读取这些文件时，答案是几乎没人。在我们研究中拥有有效 llms.txt 的约 38,000 个域名里，97% 在 2026 年 5 月从未收到过任何针对它的请求。没有机器人，没有人类，什么都没有。

但设置它也非常容易。如果你已经有结构化内容，比如产品页面或开发者文档，那么编一份 llms.txt 是件小事。它就是一个托管在你自己网站上的 Markdown 文件。或许观察不到任何好处，但风险也很小（不过确实有一些风险，比如让竞争对手更容易抓取你的网站）。

我认为 llms.txt 之所以越来越受关注，是因为我们都想影响 LLM 可见度，却又缺乏实现它的工具。于是我们就抓住那些让人感觉能掌控局面的想法。

但依我个人之见，llms.txt 是在为一个并不存在的问题寻找解决方案。搜索引擎早已用 robots.txt 和 sitemap.xml 这类现有标准来抓取和解读你的内容。LLM 使用的也是大部分相同的基础设施。

Google 自己发出的信号也前后矛盾。2026 年 5 月底，其新的面向生成式 AI 功能做优化的指南在一个标题就叫“辟谣”的章节里告诉站长们：要出现在生成式 AI 搜索中，并不需要 llms.txt 这类机器可读文件。可几天之后，Chrome 团队又在 Lighthouse 的实验性审计里加入了一项 llms.txt 检查。

当被追问这一矛盾时，John Mueller 解释说，llms.txt“不是为搜索而做的”——对于解析开发者文档的 AI 编程工具来说，它是一种“临时的拐杖，也许能省下一些 token”，而不是大多数网站需要操心的事。

他此前在一篇 Reddit 帖子里也表达过类似观点，把 llms.txt 比作早已过时的 keywords meta 标签：

不同意我的看法，或者想分享一个相反的例子？在 LinkedIn 或 X 上私信我。