AI 爬虫占了 6.3% 的请求，GPTBot 却少了一半：抓取结构变了，GEO 该盯哪一层？

AI 爬虫总量同比涨了 69.9%，其中最大的一家却掉了 51.4%——抓取目的从"囤语料"换成了"答问题"，企业该盯的指标也跟着换了。

这两个数字不是矛盾，而是同一件事的两面。看清单个总量，会得出"AI 越来越重视我的站"；看结构，结论会反过来。

一、现象：总量涨了七成，头部那家却少了一半

AI 爬虫的盘子还在扩张，但扩张的份额没有落到原来最大的几家身上。

据 Cloudflare Radar 的月度机器人流量序列（数据截至 2026 年 10 月，逐月抓取整理见 vester.si 的序列页），AI 爬虫请求占全部 HTTP 请求的 6.3%，同比 +69.9%；人类请求占比 35.0%，同比 -29.0%。

同一序列里，各家爬虫占 AI 爬虫请求的份额差别很大，同比方向也不一致：

口径（截至 2026-10）	读数	同比
AI 爬虫占全部 HTTP 请求	6.3%	+69.9%
人类请求占比	35.0%	-29.0%
Googlebot 占 AI 爬虫请求	23.7%	-48.4%
ClaudeBot 占 AI 爬虫请求	12.6%	+68.5%
Applebot 占 AI 爬虫请求	8.3%	+249.1%
GPTBot 占 AI 爬虫请求	5.5%	-51.4%

读数里最值得注意的不是谁涨，而是涨跌的分布：训练侧的抓取在收缩，检索侧的抓取在扩张。

表格有一处口径要先交代：Radar 把 Googlebot、Bingbot 这类传统搜索爬虫也计入了"AI 爬虫"大类，所以总额里含着搜索索引的部分，不能当成纯 AI 侧的量。

二、机制：训练型与检索型是两笔账

抓取请求看起来一样，实际分属两套预算：一套为训练囤语料，一套为回答现场取页。

为训练囤语料：一次性，越抓越少

训练语料的抓取有明确终点：语料库够了，同一批页面就不必反复取。

这类请求掉下来，往往意味着存量内容已经被读过一轮，而不是站点被放弃。

一个旁证是抓取用途的统计：按爬虫自报用途归类，训练类请求占比在 2025 年春为 22%，到 2026 年 6 月升至 52%（汇编见来源章）。训练侧曾经是绝对主力，随后进入高位平台期。

为回答现场取页：每次提问都要重新取

检索型抓取与提问量同向增长。用户问得越多，取页越频繁，而且每次都要取最新版本。

这类统计有个坑：同一个爬虫名在不同平台承担不同任务，日志里只看 UA 字符串会串账，得结合路径分布一起看。

ClaudeBot 同比 +68.5%、Claude-SearchBot 已占 3.7%，正落在这一条线上。

替用户点开页面：代理型抓取

还有一类请求既不建索引也不训练，只为把页面内容带回对话里。

它对应的是"用户不再点链接"这件事本身，抓取频次直接跟对话量挂钩。这类请求通常要完整渲染页面，单次成本高于普通抓取。

三、为什么 GPTBot 少了，不等于 OpenAI 少读你

OpenAI 的抓取不是一两个名字，而是三个：GPTBot、OAI-SearchBot、ChatGPT-User，用途完全不同。

GPTBot 对应训练侧，OAI-SearchBot 对应检索侧，ChatGPT-User 对应"用户让它打开某个链接"的代理侧。

把三个名字合成一个"OpenAI 爬虫"去看，就会得出"OpenAI 不抓了"的误判。真实情况是训练侧收口、检索侧扩容。

判别方法很朴素：看单日请求的路径分布。训练型倾向从 sitemap 出发、路径发散；检索型集中在少数被问到的页面，重复率高。

对照组更清楚：Googlebot 同比 -48.4%，同期 Google 的 AI Overviews 与 AI Mode 仍在扩张。抓取量下行与产品收缩不是一回事。

四、反直觉：抓得多的站，不一定是被引用的站

抓取量与回引量是两套账，前者的增长不等于后者跟着涨。

一位站点运营者公开了自己 6.2 天的边缘日志：AI 爬虫请求 16,194 次，同期由 AI 助手带来的访问为 0；同一夜里搜索引擎爬虫带来了 41 位访客（原文与日志口径）。

Cloudflare 用"抓取回引比"描述这个落差。2025 年 7 月的口径下，Anthropic 约 38,000 次抓取换 1 次回引，OpenAI 约 1,091 次换 1 次。

这组数的口径要说清：抓取来自边缘日志，回引来自源站访问日志，两者采样方式不同，不能直接相减。它能说明方向，不能当作精确比例。

这一条把很多考核指标打回去了：把"被 AI 抓取"当绩效，方向就错了。抓取是入场券，引用才是曝光。

五、操作清单：企业侧 4 个步骤

1. 把日志按爬虫分开统计：不要只看"AI 爬虫总量"，按 GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、Bytespider、PerplexityBot 分别计数，才看得出是哪一类在变。
2. 再按页面类型分组：把抓取量落到首页、产品页、文章页、问答页四类上。总量涨而产品页跌，说明抓的多是旧库存。
3. 把引用与抓取分开记：抓取看日志，引用看固定问题集的复测。两个数不同源，不能互相代证。
4. 最后定放行策略：检索型放行；纯训练型按内容价值单独决策；规则写进 robots.txt 的训练与检索标记，不要只做口头约定。

六、常见问题

AI 爬虫变多，是不是说明我的站更受欢迎了？

不是。抓取量只说明机器在读，不说明有人在看，也不说明答案里提到了你。要看引用，得用固定问题集复测。

GPTBot 请求下降，要担心 OpenAI 不再收录吗？

不必只看一个名字。GPTBot 管训练，检索由 OAI-SearchBot 承担，两者方向可以相反。分开看三个名字再判断。

纯训练型爬虫要不要直接屏蔽？

取决于内容形态。以知识沉淀换长期可见度的站可以放行；靠原创内容变现的站，按版权与带宽成本单独决策更稳妥。

抓取日志能当 GEO 效果证据吗？

只能当过程证据，不能当结果证据。抓取是必要条件，被引用与否要看答案层的复测记录。二者需要同时留痕。

抓取量跌了要不要立刻改内容？

先分清是哪一类在跌。检索型跌了才与内容相关；训练型跌通常是抓取周期走完，改内容不会让它回来。

检索型爬虫放行了，为什么还是不进答案？

放行只解决"能不能取"。取到之后还有一层：这段内容能否被单独摘出来当答案，靠的是段落是否自包含、结论是否写在前面。

抓取回引比有没有一个"正常区间"？

没有公开的基准区间，各家披露的方式也不统一。可用的做法是拿自家月度数据自比，看比值在改善还是恶化。

七、数据与来源

• Cloudflare Radar，Bot Traffic 序列，数据截至 2026 年 10 月，序列更新于 2026 年 11 月 5 日：radar.cloudflare.com/bots
• Cloudflare Radar 逐月序列整理（含各爬虫份额与同比、robots.txt 采样 4.3k 份）：vester.si/ai-impact/cloudflare
• 单站边缘日志观测（6.2 天、16,194 次 AI 爬虫请求、回引 0），并转引 Cloudflare 2025 年 7 月抓取回引比：blackmoreops.com
• AI 训练类爬虫占爬虫请求比从 2025 年春 22% 升至 2026 年 6 月 52%（168 项带源数字汇编）：rhinorank.io/blog/ai-stats

八、边界与不适用

这套判断只在"有独立域名、能拿到可读日志"的站点上成立。

托管在平台子域下、或只能看到汇总报表的站点，做不了按爬虫拆分的统计，结论只能停在猜测。

另外，各爬虫份额是全网口径，不代表你所在行业的分布。一个垂直站的实际构成，可能与这张表差很远。

还有一层口径限制：Radar 的份额为全网抽样，逐月样本站点会变，跨月只比趋势，不比绝对值。

我们在服务中看到的一个共同点：多数站点能报出总访问量，却报不出按爬虫拆开的抓取量。灵曦 GEO 在郑州做站点诊断时，这一步通常要花掉最长时间——不是技术难，是历史日志没留。

九、结语

抓取结构变了，考核表也该跟着改：从"有多少机器在读"，改成"有多少次被摘进答案"。

如果只改一处，就改报表里的那一行：把"抓取次数"换成"固定问题集里的出现位次"。前者是过程，后者才是结果。

这一换，团队的动作也会跟着换：从盯着日志涨没涨，转到盯着答案里那句话怎么写。

想看这套按爬虫拆分、再与引用复测对齐的做法在具体站点上怎么落地，可以看灵曦 GEO 的服务页。同类的平台结构差异，也可对照十个平台的信源封闭结构一文。

文 ｜ 河南灵曦文化传媒有限公司 · 灵曦 GEO