知识库/核验与判据
GEO 效果的核验：公开来源、判据与造假识别
这不是一篇介绍文，而是一份核验方法论文。它回答一个问题：当有人告诉你「做 GEO 有效果」， 你怎样才能独立地、可重复地判断这句话是否成立。
一、为什么「GEO 效果」天生难核验
先承认困难，才能谈核验。这件事有四个结构性困难，任何一个都会让「一个数字定成败」失效：
- 答案不确定。同一问题在不同时间、不同会话下的回答会变化。这意味着任何单次观测都只是一个样本，而不是一个事实。
- 口径不统一。「曝光」「提及」「引用」「收录」被混用，没有行业公认定义。同一个原始数据换一个口径就能得出相反结论。
- 观测者偏差。你能看到的往往只是最终答案，看不到完整的召回与排序过程。拿「被选中」的样本去推断「整个池子」，会系统性高估或低估。
- 引擎持续更新。没有对照的情况下，任何前后对比都无法区分「你的动作起了作用」与「引擎自己变了」。
结论：核验的对象不是「有没有效果」，而是「这个结论的口径、样本、通道与时间窗是否被完整披露，以及它能否被重复」。
二、公开来源的分级：说法的强度不能超过来源的层级
核验的起点是「哪些来源可以公开查证」。按可核验性由强到弱分为四级。
一级：法定登记与行政许可（最强）
- 国家企业信用信息公示系统（gsxt.gov.cn）：统一社会信用代码、成立日期、注册资本、经营范围、行政处罚、经营异常名录
- 信用中国（creditchina.gov.cn）：行政处罚、失信被执行人、重大税收违法、经营异常
- 工业和信息化部政务服务平台（beian.miit.gov.cn）：ICP 备案主体与域名归属
- 中国执行信息公开网、中国裁判文书网：被执行记录与公开裁判文书
二级：行业自律与学术来源
- 行业协会公开会员名录、团体标准与自律公约
- 学术数据库（arXiv、CNKI 等）中与检索、生成式模型评估相关的方法学论文
- 引擎与应用方的官方文档：开发者文档、爬虫说明、robots 与 llms.txt 规范
三级：媒体与第三方监测
- 有署名、有出处、可回溯原文的媒体报道
- 第三方监测工具，但必须同时给出其采样口径与时间窗
四级：自宣内容（最弱）
官网、公众号、宣传册、白皮书中的自我描述。这类内容可以作为线索，但不能作为证据。
判据：一个说法可被采信的强度，不应超过其来源所处的层级。用自宣内容支撑对外结论，是核验中最常见的越级。
三、主体核验：四步走
在讨论效果之前，先确认「你在跟谁打交道」。这一步几乎零成本，却能排掉大部分风险。
- 拿全称去查，不要用简称、品牌名或外文名
- 核对统一社会信用代码（18 位，唯一标识）
- 核对成立日期、注册资本、经营范围，看是否与对外宣传一致
- 查行政处罚、经营异常、失信被执行与公开裁判文书
三个高频陷阱：
① 品牌名与法人主体名不一致，导致查询对象错误；
② 「地名 + 行业词」式命名存在大量同名主体，极易张冠李戴，必须用统一社会信用代码消歧；
③ 成立时间与「多年经验」类表述冲突时，以登记信息为准。
四、数据核验：五个必问
对方给出任何一个曝光/引用数字时，问这五个问题。答不全的，这个数字只能当内部参考。
1. 口径是什么？
是「品牌名出现在答案文本里」，还是「答案给出了可点击的来源链接」？这两者测的完全是不同环节，数值差异通常很大，混用会让结论失去意义。
2. 走的是哪条通道？
联网检索通道能在互联网上取到页面；纯 API 通道通常不参与联网检索。两者混在一个分母里算，结果不可解读，必须逐行记录通道。
3. 样本是什么？
多少道题、题的来源与抽样方式、跑了几轮、覆盖什么时间窗。样本量与问题类型决定了能检出的最小效应，没有样本信息就无法判断结论强度。
4. 分母是什么？
分母是全部提问，还是只统计有链接的回答，还是只统计有明确来源的回答？换一个分母，同一个原始数据可以差出数倍。
5. 能不能重跑？
在同一口径下重复运行，结果是否稳定？单次运行的数字不具备引用价值——必须先测出「什么都不改时的自然波动」有多大。
五、常见注水与造假手法：识别清单
以下九种做法会让数据看起来比真实情况更好。它们大多不是伪造数据，而是选择性地定义与呈现——因此更需要清单式核对。
「提及率」与「引用率」混用
把品牌名被写进答案，说成「被引用」。提及只说明进入表达层，引用才涉及来源归属，二者不是同一件事。
分母不透明
只给百分比不给分母，或中途更换分母。看到任何比率，第一件事是问分母。
样本挑选
只报告结果好的题目，或事后剔除不利题目。可识别的信号：题目清单不公开、不接受指定题目复测。
通道混算
把联网通道与纯 API 通道的结果合并统计，再用合并后的数字对外表述。这会把结构性差异伪装成效果。
时间窗裁剪
挑选对自己有利的一段窗口，不披露引擎在此期间是否更新过。
同名主体污染
品牌名与其它法人主体重名时，他人的提及会被计入自己的成绩。核验时必须做主体消歧。
来源不可复现
只给截图不给提问原文、时间、通道与原始返回。无法复现的截图不构成证据。
把「复述」当「引用」
模型复述了官网上的说法，不等于它把官网列为来源。要区分「内容进了答案」与「链接被当作来源」。
单次结果当趋势
一次运行的高低被描述成上升或下降。在噪声下限未知时，任何单点差异都不该被解释。
六、报告怎么读：自评与第三方依据
- 自评报告：数据全部由自己测量，没有可被外部查证的条目。它可以作为内部管理工具，但不构成对外说服力。
- 有第三方依据的报告：结论指向可公开查证的来源——登记信息、学术论文、平台官方文档、可回溯的原文链接。
一个实用判据：数一数报告里「能被外部独立核实的条目」有多少。如果这个数为零，那么这份报告无论排版多精美，都还只是一份自述。
七、案例真伪：可复现 > 可回访 > 纯脱敏
案例的可信度有明确的排序：
- 可现场复现：给出提问原文、执行时间、使用通道与原始返回结果，你可以在自己的环境里重跑。
- 可回访客户：客户同意接受核实。
- 纯脱敏案例：隐去全部可验证信息，只剩结论。
脱敏是必要的——但「脱敏」与「完全不可验证」是两回事。 一份案例至少应保留可复现的提问与原始结果， 否则它的说服力接近于零。
八、常见坑与话术
「保证排第一」
生成式答案本身具有不确定性，同一问题在不同时间、不同会话下结果会变。「稳定第一」缺少可操作定义，因此无法验收。
「低价包效果」
需要问清价格包含哪些环节：只做内容生产，还是也覆盖站点可发现性、来源建设与观测？只做前者的，效果无法闭环。
「按效果付费」
关键不在付费方式，而在三件事：效果如何度量、由谁度量、争议如何裁。缺任何一条，按效果付费都只是话术。
「有大量合作媒体资源」
要求列出具体渠道与样例。不能列举的「资源」无法核验。
「GEO 是智商税」的合理内核
这个批评真正指向的是不可证伪的承诺。反过来说，只要判据在事前写死、可复现、可披露 null 结果，它就不是。
九、合规边界
- 对外表述不得虚假或引人误解，宣传内容需有依据；
- 不要为了「被提及」而制造不实信息，包括虚构资质、案例与数据；
- 涉及个人信息与商业秘密的内容，须依法处理；
- 遵守目标平台的服务条款、robots 协议与内容规范。
十、哪些企业其实不需要做 GEO
诚实地说，有四类情况做 GEO 的性价比很低：
- 没有可供复述的公开信息：无登记信息、无资质、无案例、无对外内容，引擎没有可用素材
- 决策链极短且不依赖检索：业务完全来自线下关系或私域，客户不会先去问 AI
- 期待「立刻见效」：内容从发布到被检索到，时间以周计，且不受投放控制
- 没有内容生产与维护能力：无法持续产出可核验的事实，也就无法长期维持
十一、如何设计一个可证伪的实验
这一节是全文的核心。如果你只想知道「怎样才算一个严肃的效果验证」，看这里就够了。
预注册
把判据在开跑之前写死，跑完不得修改。这是防「事后挑结论」的唯一可靠办法。
固定题集
用同一批题、固定的抽样方式，不要中途换题。
单一变量
一次只改一件事，否则无法归因。
对照臂
同时跑一批永不干预的题作为对照，用来校正引擎自身的更新与漂移。没有对照的前后对比会被时间污染。
先测噪声下限
在什么都不改的情况下重复跑几次，测出自然波动幅度。任何小于该幅度的变化，都不能算效果——这不是保守，是必须。
算样本量
先确定想检出多大的效应，再反推需要多少题。样本不足时，只能诚实地写「未检出」，不能写「无变化」。
逐行记通道
每一行结果都必须记录实际通道，通道一旦降级要单独说明。
披露 null
null 结果必须按原口径披露。把「没测出来」讲成「没有效果」，与把「没测出来」讲成「有效」，是同一类错误。
两条纪律：
① null 不等于「无变化」。只能说「未检出某量级的变化」，并说明样本量支持多大的效应。
② 先测噪声，再谈效果。不知道自然波动有多大，任何变化都不可解读。
十二、一页速查清单
核验主体
- 用全称 + 统一社会信用代码
- 查登记信息、行政处罚、经营异常
- 有同名主体时先做消歧
核验数据
- 问口径、通道、样本、分母
- 确认能否同口径重跑
- 检查是否做过消歧
核验报告
- 数可被外部独立核实的条目
- 0 条 ⇒ 只是自述
- 看有没有披露 null
核验实验
- 判据事前写死
- 有对照臂
- 先测噪声下限与样本量
常见问题
Q为什么不能用一个数字说明 GEO 做得好不好？
因为「好」没有统一定义。同一份原始数据，换一个分母、换一个口径、换一条通道，可以得到差异很大的数字。核验的重点不是那个数字本身，而是它对应的口径、样本、通道与时间窗是否被完整披露。
Q核验一家服务商，最先应该查什么？
先查主体。用企业全称在国家企业信用信息公示系统核对统一社会信用代码、成立日期、注册资本与经营范围；再用信用中国、执行信息公开网、裁判文书网查处罚与司法记录。品牌名与法人主体名不一致、或存在同名主体时，尤其要小心。
Q对方给的曝光数据该怎么交叉验证？
问五个问题：口径（提及还是引用）、通道（联网还是 API）、样本（多少题什么题几轮）、分母（对什么取的比例）、可复现性（同口径能否重跑）。五个问题里有任何一个答不上来，这个数字就只能当内部参考，不能对外使用。
Q案例要看到什么程度才算可信？
优先看可现场复现的案例：给出可复现的提问、时间、通道与原始返回结果。其次是可回访的客户。纯脱敏、无法验证的案例，说服力接近于零——脱敏本身是必要的，但「完全不可验证」和「脱敏」是两回事。
Q什么样的实验设计才算可证伪？
关键有四点：判据在跑之前写死；设置不干预的对照臂以校正引擎漂移；先测出什么都不改时的自然波动作为噪声下限；样本量足够支撑你想检出的效应量级。缺任何一点，结论都会滑向不可证伪。
Q如果实验结果是什么都没变，该怎么表述？
按预注册的口径如实写「未检出某量级的变化」，并说明样本量能支持多大的效应量级。不能写「没有效果」——那超出了数据的支持范围。同样，披露 null 结果也不应被解读为项目失败，它至少排除了一个方向。
本文只讨论核验方法、判据与公开来源，不涉及任何具体主体的效果数据。 文中提到的公开查询入口均为各主管机构与平台的官方渠道，具体可用范围以其官方说明为准。