GEO 报告能复现吗:三个可查的点

GEO 报告能复现吗:三个可查的点

外部工具只能复原被引链接的 26%–28%、域名约一半;20 次重复运行里四成候选链接仅出现一次。GEO 报告能否复核,取决于采集通道是否与用户一致、重复次数是否足够、原始观测是否留档。文章拆解三项机制,给出三个必问问题与四步验收做法。

作者:灵曦GEO

GEO 服务商的报告,你自己能复现吗?先查采集通道、重复次数与原始记录

报告能不能信,先看它能不能被复现。同一段引用,换个采集通道就取不到;同一页内容,重复跑二十次有四次只出现一次。可复核的报告必须交代三件事。

这三件事分别是:数据从哪条通道采的、同一问题跑了几次、每次观测的原始记录还在不在。缺任何一项,报告都只能当参考。

一、现象:同一份结论,你复现不出来

这不是工具坏了,是引用本身就带随机性,而且不同通道看到的候选集不一样。

arXiv 上 2026 年 10 月 11 日提交的一项观测,直接测了 ChatGPT 网页版的检索到引用全过程,覆盖 5.2 至 5.5 四组设置(论文页)。

它做了一个很实用的对照:用 Google 搜索和官方接口当外部代理,去看能不能复原 ChatGPT 实际引用的链接。

结果是取并集也只能复原 28.3% 与 26.2% 的被引链接,域名层好一些,50.3% 与 48.7%,实体层 50.7% 与 45.1%。

口径(论文观测,2026-03 至 07)5.3 Instant5.5 Instant
外部代理复原被引链接28.3%26.2%
外部代理复原被引域名50.3%48.7%
外部代理复原实体50.7%45.1%
20 次运行中只出现一次的候选链接40.8%44.5%
20 次运行都出现的稳定核心9.4%7.7%

这张表说明两件事:链路层不透明,单次观测不稳定。两者叠加,就是「你复现不出来」的技术原因。

二、机制一:采集通道不同,候选集就不同

你测的那条通道,决定了你能看到哪些候选;通道换一条,答案跟着换。

网页态与接口态是两套采集

同一家模型,网页版会改写查询、多轮检索,接口调用往往一次成型。论文里 Thinking 设置平均每次运行发出 11.82 条查询、走 3.20 轮检索,71.3% 的运行不止一次调用检索。

更有意思的是它的检索会自我收窄:首轮查询里带 site: 算子的占 25.1%,到后续轮升到 54.7%;带引号短语从 1.0% 升到 22.7%。

这意味着用接口批量跑出来的引用集,天然少了「多轮收窄」这一段。报告如果用接口数据去描述用户在网页上看到的结果,结论会有系统性偏差。

链接层、域名层、实体层要分开看

复原率的差别本身就是结论:外部代理在域名层能对上一半,在链接层只有四分之一。

所以一份报告只写「被引用 N 次」而不说层级,等于把 26% 与 50% 两种口径混成一个数。

对企业的实际含义是:品牌被提到(实体层)、站点被引(域名层)、具体页面被引(链接层)是三个不同的问题,验收时该分开记,不能用一个总数交差。

三、机制二:单次观测不是结果

二十次运行里,稳定出现的候选只有一成上下;只跑一次的「结论」,本质上是一次抽样。

论文的重复运行对照很直接:5.5 Instant 有 44.5% 的候选链接只出现过一次,5.3 Instant 是 40.8%;稳定核心分别只有 7.7% 与 9.4%。

横向的长期观测也印证了这点。一家机构公开了为期一年、18 次测试、72 条平台级观测的完整档案,累计记录 241 次域名引用与 41 次首名观测(原始档案)。

它的结论写得很克制:某次拿到首名,下一次未必还被引用、提及或展示。

换句话说,「我们让 AI 推荐了你」这类单点结论,在观测学上只等于一次采样。要称得上结论,至少要有重复次数。

四、机制三:引用池在换,时间窗决定方向

引用池本身在流动:三个月后只保留不到一成半的旧域名,跨越时间窗比较必须先对齐口径。

覆盖 7,949 条提问、5 个引擎、23.98 万条引用的观测显示,Google AI Mode 在三个月后只保留了此前被引域名的 14.8%(发布稿)。

池子在换,那么「上季度 30%、本季度 35%」这种比较,只有在问题集、引擎版本、采集通道三项都一致时才有意义。

反过来,报告若只给本月数字、不给上月同口径基线,读者无法判断这是涨了,还是换了采样。

五、反直觉:越整齐的数字,越可能只采了一次

一份报告里每个平台都恰好给出两位小数的引用率,通常不是精度高,而是没做重复观测。

真实分布是长尾的:稳定核心只有一成,其余都是只出现一两次的候选。多次观测之后,数字应该带上区间或波动范围,而不是一个干净的定值。

所以判断报告质量,可以先看它有没有「不确定」的痕迹:观测次数、日期、未命中的比例、版本变更说明。

这几项缺失时,数字越漂亮越该警惕。反过来,一份敢写出「本次 20 次运行中有 8 次未命中」的报告,可信度反而更高。

我们在交付复盘里常见的情形是:客户拿自家后台截图和报告对不上,双方都没错——截图是网页态的一次结果,报告是接口态的批量统计,两条通道本来就不是一个数。灵曦 GEO 现在的做法是把采集通道与观测次数写进报告首页,先对齐口径再谈变化。

六、操作清单:三个必问问题与四步验收做法

  1. 问采集通道:数据来自网页端还是接口?是否登录态?用的哪个模型版本?三项都要落到文字,口头说明不算。
  2. 问重复次数与时间窗:同一问题跑了几次、观测区间是哪几天、跨月比较的口径有没有变。少于三次重复的结论只能当线索。
  3. 要原始记录:每次观测的日期、问题原文、答案截图或录屏、命中链接。公开档案里那种带编号、带录屏的做法,是能做到的参照。
  4. 自己对一遍:抽三到五个问题,用与客户相同的入口手工复测,比对命中链接是否落在同一层级(实体 / 域名 / 链接)。对不上就先查通道,不要先怀疑内容。

七、常见问题

报告里的引用数,我自己能核吗?

能核方向,核不了精确值。用固定问题集手工复测,看同一批页面是否反复出现;数值不会一致,因为观测本身有波动。

为什么我用浏览器看到的结果和报告不一样?

大概率是通道不同。网页端与接口端的检索方式、轮次、是否改写查询都不同,同一问题给出不同候选是常态。

要采多少次才算数?

没有统一标准。可用的做法是至少三次重复并在报告里标出波动;跨月比较时,问题集与通道必须保持不变。

域名被引和链接被引,哪个更重要?

看目标。要品牌曝光看实体与域名层;要具体页面带来访问看链接层。两者复原率差一倍,验收时分栏记。

三个月前做的数据还有效吗?

作为历史基线有效,作为现状无效。引用池三个月能换掉八成半,旧数据只能用来说明趋势,不能代表当下。

公开数据集能直接当基准用吗?

不能。公开数据集的样本量、引擎覆盖、探针分层各不相同,有的还只覆盖单一引擎。它适合用来校准方法,不适合直接对照自家表现。

合同里该写哪几条?

三条最实用:采集通道与模型版本要写明;每次报告附问题清单与观测次数;原始记录留存并可查。计价方式按周期还是按平台,另算一项,别和验收条款混在一起。

八、数据与来源

  • Jiang 等,《Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations》,arXiv 2610.15382,2026-10-11 提交,观测区间 2026-03-29 至 07-29,覆盖 ChatGPT Web 5.2—5.5 四组设置:arxiv.org/abs/2610.15382(全文数据见 HTML 版)
  • NeuralAdX,《One Year of Live AI Retrieval Testing》,研究期 2025-09-19 至 2026-09-19,18 次测试、72 条平台级观测、241 次域名引用、41 次首名观测,编辑复核 2026-11-07:原始档案
  • OMNIFAMOUS 研究发布稿,2026-11-06,样本 2026 年 7—9 月 7,949 条提问、5 个引擎、239,841 条引用、27,765 个域名:发布稿全文;口径限制(单一机构、未经同行评审)的独立转述见 wearethefrontier.org
  • 探针分层的公开样例(品牌探针与非品牌探针分开统计、提供公开数据端点,截至 2026-11-09,样本 1,000 次、单引擎):pressgeo.com/research/data

九、边界与不适用

三项检查只在「能拿到问题清单与观测记录」的前提下成立;只给汇总数的报告,连检查的入口都没有。

另外几条限制要说清:论文观测的是网页版四种设置,国内平台的检索链路不同,复原率不能照搬。

重复次数也不是越多越好。次数增加会拉长时间窗,而引用池每季度换掉八成以上,过长的时间窗会把两个不同状态混在一起。

我们不做的事也说一句:不承诺任何位次、不承诺收录数量、不删除真实差评,也不做跨地域的位次比较。

十、结语

验收 GEO 报告,本质上是验收一份实验记录,不是验收一个漂亮数字。

下次拿到报告,先问三句话:哪条通道、跑了几次、原始记录在哪。三句话都有答案,再谈百分比。

如果只改一处,就在合同附件里加一页「观测说明」:通道、版本、次数、时间窗、留存方式。这一页比任何效果条款都好用。

想看这套验收口径落在一份具体报告里长什么样,可以看灵曦 GEO 的服务页。样本量该怎么定,另见三套团体标准的验收底线;单张截图为什么不能当证据,见截图证据的适用边界。

文 | 河南灵曦文化传媒有限公司 · 灵曦 GEO

更多 GEO 知识库文章