GEO服务商方案靠不靠谱？先做8项站点自查再判断

结论：判断方案靠不靠谱，不必先看案例——站点自身的 AI 可读性能自己量，8 项自查过不了的服务商，讲得越好越值得怀疑。

一、现象与数据：同一件事能测出 1.2% 到 56.4%

AI 爬虫屏蔽率，是眼下被引用得最乱的一个指标，七个公开研究的口径跨度超过 40 倍。

研究口径	样本	屏蔽率
全站活站扫描	7040 万站	2.6%
头部站 robots.txt	4962 份	14.3%
全网站抓取实测	未公开分母	7.9%
出版商抓取实测	同上	50.5%
就绪度抽样	4441 站	12.4%
英国站抽样	4377 站	11.7%
品牌站便利样本	384 站	9.1%

同一周里，中国站点的屏蔽率是 1.2%，韩国与印尼是 4.2%（Piperic，2026-10）；SaaS 类只有 2.1%，新闻出版类 52.6%（AEOeye，2026-10-03）。

另一组数字同样值得记住：全站只有 40.5% 有结构化数据，10.9% 在发 llms.txt，平均 AI 就绪度 33.9 分（满分 100）。抓取口开着，可读性却不达标，这是多数站点的真实状态。

二、机制拆解：差 40 倍的原因在分母

数字打架不是有人造假，而是分母、定义、时点三处不同，任何一处变了结论就变。

分母不同

扫 7040 万个活站，绝大多数是小站与博客，屏蔽比例自然低；扫 Tranco 前一万名，头部 publisher 集中，比例立刻抬高。英国样本里，全球前 10 万的站屏蔽率 20.4%，10 万到 50 万名只有 10.2%。

屏蔽的定义不同

有的研究只算训练爬虫，有的把搜索爬虫一起算。前一万名站点里，屏蔽任一训练爬虫的 19.2%，屏蔽任一搜索爬虫的只有 10.8%——同一个词，两种含义。

时点不同

Cloudflare 调整托管功能后，一批站点在几周内集体退出了屏蔽名单。按月取数的研究和按季度取数的研究放在一起比，方向都可能相反，这也是引用时必须带时间口径的原因。

三、机制拆解：写了屏蔽不等于真屏蔽

robots.txt 是声明，不是访问控制；声明与执行之间的缺口，比很多人想的大。

声明之后有近四成没执行

592 个在 robots.txt 里屏蔽 GPTBot 的站点中，234 个（39.5%）仍对 GPTBot 返回 200（HasData 抓取实测）。90 个点名 GPTBot 的站点里，58 个其实放行。

付费爬取与静默拦截

真正执行拦截时，22.2% 返回硬性拒绝，10.9% 返回 HTTP 402 表示需要付费安排，另有 115 个站点在 robots.txt 里没写、却在防火墙层拦了。同一 IP 用浏览器 UA 抓出版商成功率 83.8%，换成 GPTBot 只剩 54.2%。

这条反向证据更值得留意：声明里放行的站点，也可能在 WAF 层被拦。所以自查不能只读文件，必须真抓一次。

四、反直觉：自查只看搜索爬虫那一行

把训练爬虫和搜索爬虫混在一起判断，是自查里最常见的误伤——你挡掉训练，可能顺手把曝光也挡了。

前一万名站点里，710 个屏蔽 GPTBot 的站点有 347 个仍然放行搜索爬虫。这个比例说明分层的做法已经有人在用：训练归训练，检索归检索。

对多数以获客为目的的企业站，判断标准很直接：搜索类爬虫是否放行。你是内容方、靠订阅或授权吃饭，才需要另一套考虑。

灵曦 GEO 在做站点诊断时，会先拉一份 robots.txt 与三份抓取日志对照，再看内容是否可读——顺序颠倒，后面全是白工。河南灵曦文化传媒有限公司的交付文档里，这一步固定写在排查表的头一行。

还有一个容易被忽略的细节：有些屏蔽不是站点自己加的。模板、建站插件、安全套件会默认写入 AI 屏蔽规则，站主人并不知道。自查之前，先确认那几行是谁写的。

顺带说一个反常识的推论：机器能不能进来，和内容写得好不好，是两道独立的门。前一道门没开，后一道门做得再漂亮也没人看。

五、操作清单：8 项站点自查

八项按可执行程度排序，前四项半小时能出结果。

1. 抓一次自己的首页：用搜索类爬虫的 UA 请求首页，看返回码是 200、403 还是 402，别只看浏览器里正常。
2. 分层看 robots.txt：把训练爬虫与搜索爬虫两行分开读，确认放行的是哪一类。
3. 关掉脚本再读一遍：多数非 Google 爬虫不执行 JS，正文靠脚本渲染的页面，等于没内容。
4. 看正文首屏是否有结论：标题与问句匹配度高的页面，被引率 41%，弱匹配 30.2%。
5. 数结构化数据：全站只有 40.5% 有 schema.org，就绪度抽样里 31.3% 达标，先确认自己在这一档的哪边。
6. 查 llms.txt 与 sitemap：llms.txt 全站只有 10.9% 在发，sitemap 前一万名里 67.3% 有；前者是加分项，后者是基础项。
7. 量答案完整度：就绪度抽样里这一项均值只有 10.6 分，是最低项，也是最快能补的一项。
8. 复测一次：改完隔两周用同一组问句再问一遍，看是否进入答案，别只看抓取成功。

六、常见问题

GEO 服务商推荐哪类？

按可核验程度挑，不按名气挑。方案里能指明改哪几个文件、哪几类字段、用哪组问句复测的，属于可验证的一类；只给承诺与周期表的，属于不可验证的一类。

怎么判断 GEO 服务商靠不靠谱？

先让对方对着你的站点做一遍上面八项，看它能否指出具体问题与具体改法。指不出来的，多半是按模板套方案。

屏蔽 GPTBot 会影响 AI 搜索里的曝光吗？

取决于是否连带屏蔽了搜索类爬虫。多数平台把训练与检索分成两个 UA，屏蔽训练一般不影响检索；一旦把搜索爬虫也挡掉，答案里就取不到你的页面。

llms.txt 到底要不要做？

成本低，可以顺手做，但别当核心。全站只有 10.9% 在发，采纳率与读取率是两件事，目前更该抓的是正文可读与结构化数据。

结构化数据对 AI 引用有多大用？

它是资格项而不是加速项。做对了不必然被引，做错了会在解析环节丢字段；先让它完整，再谈效果。

自查做完发现不合格怎么办？

按顺序修：先解决抓取，再解决正文可读，再补结构化与 sitemap，最后才谈内容扩量。抓取不通时扩量是纯浪费。

服务商说已经调好了，怎么验证？

用同一个 UA 再抓一次，比对返回码与正文首屏文字；再隔两周用同一组问句复测。看得到变化才叫调好了，看不到就只能算改过文件。

七、数据与来源

• 2.6%、2.24%、10.9%、40.5%、33.9 分、中国 1.2%：Piperic《The State of AI on the Open Web》2026-10 版，样本 7040 万活站。
• 14.3%、19.2%、10.8%、347/710、67.3%：AI Crawler Check（2026-10-05 抓取 Tranco 前一万，4962 份有效文件）。
• 7.9%、50.5%、39.5%、402 比例、54.2% 与 83.8%：HasData《AI Crawler Block Index》，含 592 个声明站点的执行复核。
• 4441 站就绪度、48.7 分、12.4%、31.3%、64.1%、答案完整度 10.6：GEO-Score H1 2026 报告。
• 英国样本 4377 站、11.7%、7%、5.4%、20.4% 与 10.2%：Sayu（2026-10）。
• 384 站便利样本、9.1%、SaaS 2.1%、新闻 52.6%、58/90：AEOeye（2026-10-03 抓取）。
• 41% 与 30.2% 标题匹配度与引用率关系：AirOps 与 Kevin Indig 研究，经 Rank.ai 汇总（2026）转述，原始样本未公开。

八、边界与不适用

八项自查能筛掉明显不专业的方案，但它不判断内容质量，也不预测排名。

内容方、订阅制媒体、有授权价值的研究库，屏蔽策略需要单独判断，不在本清单的默认建议内。平台内嵌的助手、封闭生态里的推荐，也不受 robots.txt 影响。另外，抓取成功不等于被引用，两者之间还隔着内容质量与共识这一层。

也不能把这八项当成服务商的考试题：会做自查的人不少，能把内容做扎实的少。自查只是把不合格的先筛掉，剩下的还得看活。

另有一类站点即使八项全过也难进答案：正文只有形容词，没有可核对的参数、资质或服务范围。这类要先补事实字段，再谈抓取与索引，顺序反了等于白改。

九、结语

先量再谈，是这个行业里最省时间的做法。八项自查做完，服务商方案里哪些是基础项、哪些是话术，基本一目了然。

也不必把它想得很重：抓一次、读两份文件、关掉脚本再看一屏正文，半小时就够了。真正费时间的是之后的内容活。

需要按行业看这套自查怎么落地，可以翻灵曦 GEO 的服务页；站内延伸：签约后 30 天该交付什么、页面被引用前的八级流水线、llms.txt 的采用与读取。

文 ｜ 河南灵曦文化传媒有限公司 · 灵曦 GEO