方法论

我们怎么测,
以及测不到什么。

答案引擎的回答是非确定性的:同一个问题问两次,措辞、顺序、引用的网页都可能不同。所以一个可见度数字只有连着它的样本量一起看才有意义。这一页写的是完整口径,写下来是为了让你能核对,也是为了在我们自己改口径时能被发现。

我们问什么

提问决定了整份报告的取样范围,所以它不是我们随手拟的。

提问来自按品类维护的模板集。你在设置时选定品类,我们给出该品类下真实用户会拿去问 AI 的购买类问题,例如「扫地机器人怎么选」这一类。品类不在清单里时,落回一套通用问题集,并在界面上标明用的是通用集。

模板是起点不是终点:提问可以增删,报告里每条提问的表现单独列出,所以你能看出结论是被哪几条问题撑起来的。一份只由一条提问支撑的结论,和十条一致指向同一结果的结论,我们不会印成同一个可信度。

我们问几次

样本数就是提问数乘引擎数,没有加权,也没有折算。

场景提问引擎样本节奏
首次检测10 条2 个20 个一次性,免费
持续监测按方案上限2 个每轮 = 提问数 × 引擎数每日固定时刻,付费档

持续监测按每日固定时刻的轮次采集,时刻可以按合约调整。同一天里不同轮次的结果不合并成一次观测,因为引擎在一天内也会变。

为什么每个数字后面都有 n

这是全站唯一的产品承诺,所以它的实现细节全部写在这里。

提及率 40% 这个数,在 5 个样本上和在 200 个样本上说的不是同一件事。前者换一天再问可能变成 20%,后者不会。我们不知道你会拿这个数去做多大的决定,所以把分母印在旁边,判断留给你。

样本量低于 30 时,界面显式标注低置信。这个阈值写在共享组件库里,不是各页自己拿主意;指标卡的样本量是必填参数,图表的构造函数同样要求传入每个点的样本量,缺了就编译不过。

分母为零

显示「数据不足」,不显示 0%

没有可测的样本,和测到了零是两件事。比率在接口上带 insufficient 标记,前端不许把它拍平成零。

样本量低于 30

数字照常显示,样本量标为低置信

30 是我们判定「可以下结论」的下限。低于它的数字不是错的,是还不够稳,所以标出来由你决定要不要用。

某个时间点没有采到

折线在该点断开,不连线

把断点连起来等于画出一段我们没有观测过的变化。缺口本身是信息。

没有可比的上一周期

环比留空,不显示 0%

一个刚建的项目没有上周期。填零会读成「和上周持平」,那是我们没有依据说的话。

这四种情况有一个共同点:它们都不是零。把「不知道」显示成零,会让一份报告看起来比它实际知道的更多,这是我们最不愿意犯的错。

为什么和你自己搜的不一样

这是客户最常提的疑问,答案不是我们测错了。

你在自己的账号里问,引擎带着你的历史对话、地区和偏好回答。我们用干净的接口会话采样,拿到的是一个没有个人化背景的回答。两者本来就不该相同,能相同才奇怪。

另一半原因是时间。引擎的检索结果每天都在变,你此刻手动问一次拿到的是一个瞬时值,我们报的是一段窗口内多个样本的汇总。要对比的话,看趋势线上的那一段,不要拿单次结果对一个区间的数。

引用怎么算

能力取决于引擎接口给什么,我们不补它没给的部分。

豆包

逐条引用

回答里带每条论据的来源链接与站点名,可以算清单条回答引用了谁。

DeepSeek

检索池

接口只返回这次检索取回的网页集合,不标明回答实际用了其中哪几条。所以它的数据能回答「哪些站进了候选」,不能回答「哪些站被采信」。

这个差别不能被平均掉。把两个引擎的引用数据混成一个「引用率」,等于用一个引擎的检索池冒充另一个引擎的采信结果,所以引用相关的指标按引擎分开看,报告里也分开列。

我们测不了什么

一份方法论如果只写能做什么,它就不是方法论。

个人化之后的回答

我们用干净的接口会话采样。带着你的历史对话与账号偏好问出来的回答会不一样,那部分我们看不到。

没有接入的引擎

目前通过官方接口正常采样的是豆包与 DeepSeek 两个。其余是覆盖目标,接入进度见引擎页,不是已经在测。

不返回来源的引擎里的引用归属

接口不给逐条引用时,我们只报检索池,不去猜哪条被采信。

排名之外的商业结果

可见度变化和成交之间隔着渠道、价格和销售动作。我们不声称能把前者换算成后者。

我们不承诺什么

结论可以回溯

所以任何一个数字都可以被要求出示依据。

每次采样的原始回答按原样留存,判定结果与它绑定。报告里的引用节选不是摘要,是从原始回答里取的原文,所以你看到的每一条依据都能对回原始那一次问答。

这也是我们敢把口径公开的原因:口径写在这里,依据存在系统里,两边都可核对。

对口径有疑问,或者想看一份真实报告长什么样,直接联系我们。