llms.txt该不该放：采用率与被读取的现实

2026 年，「给 AI 看的说明文件」成了网站圈的热门动作：多份测量显示，llms.txt 在头部站点的采用率已从年初的个位数涨到 10%-24% 不等。

但另一边的证据同样扎实：服务器日志显示，驱动 AI 搜索可见度的爬虫很少抓取这个文件，Google 官方口径明确 Search 会忽略它。

这篇文章回答一个被问得很多的问题：llms.txt 到底该不该放？放了 AI 就会多引用我的网站吗？先把结论放在前面：文件可以放（成本近乎为零），但它不是被 AI 引用的杠杆；真正影响 AI 可见度的，是你的 robots 策略有没有自相矛盾。

现象与数据：三组口径里的采用率

结论：llms.txt 的采用率分歧源于口径不同，头部站点在 10.2% 到 24.2% 之间，而约 400 万域名的全量口径只有约 1.2%。

采用率数字看起来有分歧，其实是口径不同。三组测量放在一起看：

测量方与时间	样本	llms.txt 采用率
USTA Closing Web Index（2026-08-01 快照）	Tranco 前 10 万域名，其中 54,730 份可解析 robots.txt	24.2%（可解析子集口径）
AI Visibility UK 季度追踪（Q4 2026）	全球/英国头部 2,000 站点	10.2%（Q1 为 6.5%）
HPI 大规模测量（ACM CCR，2026-07）	约 400 万域名	约 49,600 份（全量占比约 1.2%）

来源：USTA、AI Visibility UK、HPI 论文页。三者分母不同（可解析 robots 子集 / 头部站 / 全量域名），不能直接互相换算。

爬虫封锁侧的数字同样有信息量：USTA 的 8 月快照显示，19.3% 的头部站点（10,573 个）在 robots.txt 里点名封锁了至少一个 AI 爬虫；单爬虫口径里 GPTBot 被挡最多（15.5%），CCBot 15.1%、Bytespider 14.3%、ClaudeBot 13.8%、Google-Extended 12.7%，而 PerplexityBot 只有 4.4%；下通配符全挡的只有 4%。封锁是选择性的——站长们在逐个点名，而不是一刀切。

机制拆解一：采用率为什么在涨

结论：llms.txt 采用率上涨源于生成门槛极低，而约 400 万域名的测量发现其中 91.2% 的内容是站点独创。

采用率上涨的动力不难理解。llms.txt 的生成门槛极低：照着博客教程或生成器几分钟能出一份，几乎不占服务器资源，也没有任何已知的负面后果。

HPI 对约 400 万域名的测量发现，llms.txt 的内容 91.2% 是站点独创的——大部分站长确实是认真写的，不是复制模板。

AI Visibility UK 的追踪还显示，AI Discovery File 一族（含 llms.txt 及各种新文件名）的采用率在四个季度里从 6.5% 涨到 10.2%，增速超过了有 IETF 标准背书的 security.txt 同期涨幅。

但质量信号藏在这份热闹里：连续四个季度，没有任何一个发布 AI Discovery File 的站点引用过正式规范，全部是照博客、生成器或记忆手写；HPI 还发现 llms-full.txt（2,450 份）与 ai.txt（1,540 份）在头部域名里仍然稀有。也就是说，「采用」的主流方式是各自发挥，没有统一标准可依。

把 llms.txt 放到「根目录机器文件」的参照系里看，位次更清楚。

AI Visibility UK 对头部站点的季度追踪显示：robots.txt 的覆盖率从 Q1 的 45.3% 升到 Q4 的 49.9%，有 IETF 标准（RFC 9116）背书的 security.txt 从 12.7% 升到 14.5%，广告系统在用的 ads.txt 从 15.3% 升到 16.1%；而没有任何标准背书的 AI Discovery File 一族同期从 6.5% 涨到 10.2%，3.7 个百分点的年涨幅反超了 security.txt 的 1.8 个百分点。

增长快，说明站长的需求是真实的；没有标准还在涨，说明大家是在抢跑——抢跑的代价就是下一节要说的「写了没人读」。

机制拆解二：为什么「被采用」不等于「被读取」

结论：驱动 AI 搜索可见度的爬虫很少抓取 llms.txt，且有近 19% 的 llms.txt 链接内容被站点自己的 robots.txt 或 ai.txt 封锁。

关键问题是：AI 爬虫到底读不读这个文件？两组独立证据给出的答案都是「基本不读」。

其一，Digital Applied 汇总的对数亿次 LLM 爬虫流量事件的分析显示，驱动 AI 搜索可见度的那些爬虫，很少抓取 llms.txt——采用率 10.13%（近 30 万域名调查）是站点侧的热情，不是爬虫侧的行为（Digital Applied 数据页）。

其二，Google Search Central 的官方口径是：Google Search 会忽略 llms.txt，「既不会伤害也不会帮助你的可见度或排名」（同上转述）。

换句话说，这个文件目前处在「站长在写、爬虫不看」的状态。

比「不读」更值得警惕的，是配置层面的自相矛盾。

HPI 的测量发现，近 19% 的 llms.txt 链接到的内容，被该站点自己的 robots.txt 或 ai.txt 主动封锁着——文件里热情推荐给 AI 的页面，爬虫按 robots 规则根本进不去。

这类冲突说明不少站点在赶「发现文件」的时髦之前，没有先理顺自己的基础访问策略。

而封锁策略本身又与可见度直接相关：AI Visibility UK 的季度对比显示，多数站点（84.2%）还没有任何 AI 专项规则（AI Visibility UK），而 Google-Extended 的封锁数在下降（125 到 113）——站长们在逐季重新权衡「挡训练爬虫」与「留在 AI 答案里」这笔账，毕竟 Google 已把搜索与 AI 爬虫合并成同一个用户代理，挡掉一个等于放弃两个（Cloudflare CEO 对此的评论见 Digital Applied 数据页）。

反直觉观点：先修 robots，再谈「发现文件」

结论：在当前证据下 llms.txt 不是 AI 引用的杠杆，robots 策略才是，因为爬虫抓不到的内容不可能被引用。

营销号把 llms.txt 讲成「AI 时代的 sitemap」，我们的判断相反：在当前证据下，llms.txt 不是 AI 引用的杠杆，robots 策略才是。逻辑很直接——AI 爬虫抓不到的内容不可能被引用，而抓取入口由 robots.txt 和爬虫行为决定，不由 llms.txt 决定。一个站点如果把力气花在写一份没人读的文件上，却留着 19% 式的自相矛盾配置，等于在给「被引用」这件事主动设置路障。

我们在服务中看到，内容本身质量过关、却因为基础抓取配置问题而缺位的情形，比「缺一份发现文件」常见得多；这也是为什么我们在体检流程里把 robots 与抓取诊断排在内容优化之前。

先让机器进得来、读得懂，再谈优先级提示——顺序反了，动作再多也在门外打转。

网站整体的机器可读性问题（不止 robots 一项）在 1300 个站的 AI 就绪度基准一文里有更大的样本画像；页面从被爬到被引用的完整链路，可对照 页面被引用前的流水线。

可执行做法：四步理顺 AI 抓取入口

1. 盘点 robots.txt 里的 AI 规则。逐条检查对主流 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Bytespider 等 21 个常见标识）的规则，明确每个是允许、封锁还是未表态。没有规则的站点（84.2% 的多数派）至少要做一次有意识的决定，而不是留白。
2. 修掉自相矛盾。如果已有 llms.txt，逐条核对它推荐的页面是否被自家 robots.txt 封锁——19% 的站点有这个冲突，修复方式要么放开对应路径，要么从 llms.txt 里移除，两边必须一致。
3. llms.txt 低成本放着，但不押注。文件可以保留（维护成本近零），但不要为它投入内容资源，更不要把它写进对客户的可见度承诺里——「会被读取」目前没有证据支撑。
4. 用服务器日志验证。别信任何结论，包括本文的——看自家日志里 GPTBot、ClaudeBot 等标识的抓取记录：访问了哪些路径、有没有抓 llms.txt。日志是唯一贴合你自己站点的证据。

四步的顺序不是随意的：第 1、2 步决定「机器进不进得来」，是准入问题；第 3 步是低成本的可选项，不必优先；第 4 步是验证手段，也是以后每次调整策略后的固定复核动作。四步做完，站点的 AI 抓取入口才算理顺，之后的内容优化才有意义。

边界与不适用

结论：头部站点的口径不能代表全网，被爬取只是被引用的必要条件，本文不构成任何收录或引用率的承诺。

几条边界要交代清楚。

其一，头部站点口径不能代表全网：Tranco 前 10 万与全球数亿站点是两个世界，中小企业站的采用与封锁行为通常更滞后。

其二，AI Discovery File 至今没有正式标准，本领域结论的半衰期短——一旦有主流爬虫开始读取 llms.txt 或出现新标准，本文判断需要重估。

其三，被爬取是被引用的必要条件而非充分条件，修好入口不等于自动获得引用。

照例说明：我们不做医疗、金融、K12 行业的服务，不删真实差评，不做跨地域排名，本文不构成任何收录或引用率的承诺。

想看这类「先修基础、再谈优化」的体检思路在真实行业里的落地，可以看灵曦GEO的服务页。