先别急着推翻假设。更常见的情况是:试验在个别样本上确实生效,规模化后却出现例外,于是被判定为“无效”。这时应当先确认试验是否真的按设计执行,再决定要不要改方案。判断执行是否到位,靠的是可核查的证据链,而不是某个指标有没有动。
假设你在少量页面上调整了标题与摘要的写法,观察到这几页的点击率上升,于是推广到全站同类页面,结果整体没有变化,甚至个别页面变差。这个矛盾有两种完全不同的解释。
这两种解释指向完全相反的动作:前者要修正假设和适用范围,后者要先修执行。搞错顺序,就会在方案上反复折腾,却始终没解决真正的问题。
结果指标无法区分这两种解释,因为两种情况都会表现为“整体没变化”。能区分的是执行痕迹:试验设计覆盖了哪些对象,实际生效了哪些对象,两者之间的差集就是执行缺口。
具体可以核对三类证据:
如果生效范围与设计范围基本一致,却仍然没有预期变化,才轮到怀疑假设本身。如果生效范围明显偏小,那么当前数据不能用来评价方案好坏。
假设某次试验计划覆盖 200 个页面,实际线上确认只有 60 个页面带有新版本。此时整体指标没有变化,不能说明方案无效,因为大部分页面压根没参与试验。下一步动作应是先补齐剩余页面或缩小结论范围,而不是更换方案。
反过来,如果 200 个页面全部确认生效,指标仍然不动,那么更合理的下一步是回到假设本身:这批页面是否共享了某个让改动无效的前提,比如需求本身已经饱和,或改动幅度不足以影响判断。此时再调整方案才有意义。
个别样本成立、规模化失效,还有一种中间情况:执行到位,但样本与总体不同质。小样本可能集中在某一类意图、某一类页面结构或某一段时间,这些条件在规模化后不再成立。判断这一点,需要比较生效页面与未生效页面在结构、意图和时段上的分布,而不是只看总量。
可以这样取舍:
这条顺序能避免一个常见错误:把执行缺口当成方案失败,从而在错误的方向上反复修改。第三方估算流量、搜索引擎报告与站内统计口径不同,三者之间的差异本身不能单独证明执行是否到位,也不能用来还原算法行为。它们只能作为线索,最终仍要回到线上实际内容这一可核查的证据上。
检查完成后,结论应落到一个明确动作上。执行缺口大,就补执行并重新观察;范围完整但样本不同质,就限定结论边界;两者都排除,才进入方案调整。每个动作的结果都应记录为可复查的证据,比如生效页面的清单和确认时间,这样下一轮判断才有依据,而不是靠印象决定改不改。