我给的场景很具体：结算页改版跑了一周，实验组支付转化率相对提升 2.1%（题设），p 值 0.03，负责人当天下午要全量，问你签不签字。
这道题里，答「签」和「不签」都不重要。我要听的是他在签字前会去核哪几件事。实验结论在电商里是最容易被高估的一类证据，因为它看起来太硬了：有数字、有显著性、有平台背书。
本系列第 8/10 篇 · 上一篇：GMV 涨了，利润跌了 · 下一篇：商家后台难用，需求从哪一单排起
2.1% 之前，先确认实验本身没坏
我的第一组问题永远跟分流有关。
实验单位是什么。按用户、按设备、按会话？结算页这种跨端场景，按设备分流会让同一个人在手机上进对照组、在电脑上进实验组，两边的行为互相污染。我会要求按账号 ID 分流，未登录态要有能稳定复用的匿名 ID，并说明登录后如何归并。
分流均不均匀。两组人数明显不等时，先怀疑分流或埋点，别急着解释指标差异。这个检查有专门名字但不必背，说出「先验样本比例是否符合预期，不符合就当作实验基础设施故障」就够了。同时看两组在实验前的历史指标有没有差异，这是判断分组是否真的随机的土办法。
观测窗够不够。一周听起来不短，但如果只覆盖了周一到周日的一半、或者正好撞上一次投放放量，就不够。我会要求至少覆盖一个完整周，并且叠加业务的退款与售后周期——支付转化率当天就能看到，退款率和复购要等更久。
显著性不是决策。p=0.03 只说明在这套数据和假设下差异不太像随机波动，不说明效果大小值得上线，也不说明实验过程中没人反复偷看。我会追问：这一周里，是不是每天看一次、涨了就继续、不显著就再跑两天。这种「边看边停」的做法会把假阳性抬高，很多漂亮结论是这么来的。
电商里特有的几种污染
确认实验没坏之后，我会让候选人说「什么情况下，这个 +2.1% 不能外推到全量」。
新奇效应排第一。改版后老用户因为界面变了多停两秒、多点一下，短期数据会好看，两三周后回落。区分办法是看实验组新用户和老用户的差异走势，以及按「进入实验的天数」切分指标曲线。如果增益集中在头两三天，就要等它稳下来。
季节性与大促。投放节奏、发薪日、周末、平台活动，都会改变下单人群构成。一周实验若正好跨了活动预热，实验组里多了一批高意愿用户，转化提升跟改版没关系。我会要求按天看两组差值，而不是只看汇总。
用户之间的干扰。这一条电商比内容产品更常见：给一组用户发券，会通过拼团、分享、评价、库存占用影响另一组；商家侧的实验更明显，同一家店的流量被两个桶的商品共同竞争，对照组不是干净的对照。这类实验要按商家或按地域做整群分流，不能按用户随机。
共同的外部变量。价格、库存、活动规则在实验期间变了，而且对所有人都变了，差值里就混进了时间效应。我会要求把实验期间的变更记录对齐到时间轴，尤其是运营临时调价、上游限流、支付渠道抖动。
还有一个很实际的：实验期间有没有别的同时在跑的结算相关实验。两个实验共用同一批流量又没做正交，交互效应谁也说不清。问一句「实验平台上还有谁在用这批桶」，往往能问出东西。
护栏不能只写「转化率不降」
转化率涨了，但涨的方式可能很糟。我要求护栏清单覆盖四类：
- 交易质量：客单价、件数、退款率、取消率、支付失败率；
- 用户成本：客服工单量、投诉率、页面报错、加载时长；
- 平台成本：券核销与补贴金额、履约与售后成本、资损拦截量；
- 长期价值：7/30 日复购、留存、通知关闭或卸载（若改了触达）。
一个经典反例我会主动抛出来：新版把「优惠券不可用」的提示藏得更深，支付转化率涨了，退款和投诉在两周后才上来。实验的一周窗口完整错过了它。所以护栏不只是「多列几个指标」，还要承认有些指标跟不上实验节奏，需要延后观测或留一个长期对照桶。
多重比较也在这里。一次看二十个指标，总会有一两个显著，把偶然挑出来说成洞察是常见事故。我的做法是事先指定一个主指标和少数几个护栏，其余只做诊断；要宣称的次要结论，单独再跑一次验证。
不能实验的时候，怎么办
我一定会加一个约束：大促前一周，实验平台冻结，这个改动只能全量或不上。这时候怎么办。
我期待的答案不是「那就凭经验」，而是给出替代的因果证据：
- 灰度按地域或按用户群逐步放开，保留一批未放开人群做对照，观察差值随时间的走势；
- 双重差分：比较放开前后两组的指标变化量，而不是比较绝对水平，抵消一部分时间趋势；
- 找自然形成的断点，比如某省因为合规原因晚几天上线，把它当作准实验；
- 无论哪种，都要有开关、回滚条件、值班人和回滚演练，且明确「看到什么数就退回去」。
能说出「回滚条件要在上线前写好，不是出事后现场讨论」的，多半经历过一次半夜 revert。
我最后签不签
回到那张签字单。我的答案通常是：不在今天下午全量。
具体给四条：实验再跑一个完整周，跨过至少两个周末；按新老客、端、渠道复核差值是否一致，确认不是某一层拉动；把退款率、工单、补贴成本拉出来看；留 5% 的长期对照桶，观察 30 日复购。如果这些都没问题，再分批放量，而不是一次性开关。
这道题的分档也很清楚。及格线是知道看显著性之外的样本量、周期和分流。好一档能说出新奇效应、跨端污染、护栏指标和时间趋势。最强的一档，会主动处理「实验做不了」的现实，并且把回滚条件写进上线方案——他把实验当成一次可撤销的决策，而不是一张通往全量的通行证。
我收尾常问一句：如果负责人说业务等不了两周，只给你三天。答「先放 20%，护栏实时看，异常自动关」的，我认；答「那就先上，后面再补数据」的，我会在评分表上写清楚原因。
评论