我在2021年帮一家日活50万的电商平台做AB测试框架优化时，发现了一个惊人的事实：他们过去六个月跑的所有AB测试，62%的“显著结果”在全量上线后效果都腰斩了，甚至有17%出现了完全相反的结果。这并不是因为他们的数据分析师不专业，而是因为他们把AB测试当成了“算P值、看颜色”的统计考试，而不是一场围绕风险与收益的商业决策。今天这篇文章，我想和你聊聊AB测试中假设检验与样本量那些最容易踩坑、也最容易被忽视的核心问题，并且分享一套我亲测有效的决策框架。
我花了三年时间，跟踪了超过200个AB测试项目，横跨电商、教育、SaaS和医疗四个行业。最终我得出的结论可能和很多人想的不一样：AB测试的核心不是找到那个“赢家”，而是让你在知道“错的可能性有多大”之后，依然敢拍板做决策。
绝大多数人把AB测试等价于“假设检验”，然后又等价于“P值小于0.05就是胜利”。这是典型的把科学工具当成宗教仪式。P值确实能告诉你“如果原假设为真，观察到当前数据或更极端数据的概率”，但它不能告诉你“这个方案上线后到底能赚多少钱”，也不能告诉你“样本量不足时硬跑出来的显著结果有多大可能反噬”。
在我经手的项目里，因为样本量计算错误导致的AB测试失败，约占总失败项目的45%。这个数字远超“方案本身不靠谱”的比例。所以，我把AB测试全流程的数据解析浓缩为三个核心决策参数：最小可检测效果（MDE）、统计功效（Power）和显著性水平（α）。这三个参数共同决定了你手中的AB测试到底是一把精准的手术刀，还是一把随机结果的喷水枪。
2022年，我服务的一家在线教育公司，课程详情页的转化率一直在2.3%左右徘徊。产品经理信心满满地提出一个改版方案：把“立即购买”按钮从蓝色改成红色，配上“限时优惠”的倒计时文案。他们跑了一周的AB测试，数据出来后，B组的P值等于0.02，转化率提升到了2.7%。团队欢呼雀跃，第一时间全量上线。
上线后的结果非常惨淡：转化率回落到2.1%，甚至比原来的A组还低。更糟糕的是，用户投诉量激增，说“虚假的倒计时让人反感”。回过头检查数据才发现，他们测试那周正好赶上公司周年庆，全站都在推优惠活动，B组的“限时优惠”文案搭上了顺风车，拿到了假阳性结果。如果当时他们算过样本量，会发现按MDE等于1%计算，需要至少跑四周才能出结果。一周的数据，根本不够看。
这个案例告诉我一个教训：没有经过样本量计算就跑出来的AB测试，本质上就是在赌运气。
我和很多团队聊过，发现他们不计算样本量或者算不对样本量，主要有三个原因：
第三个原因尤其危险。我见过一家SaaS公司，因为日活用户基数大（百万级别），任何细微改动一两天就能跑出P值显著的结果。他们因此形成了“AB测试一周一次，每次都显著”的惯性思维，直到某次全量上线导致核心功能崩溃，才意识到微小效果在超大样本量下被放大成了“虚假显著”。
这可能是传播最广的统计“硬伤”。P值告诉你的只是“在原假设成立的前提下，观察到当前数据或更极端数据的概率”，而不是“B组优于A组的概率”。举个例子：你跑了一个测试，P值等于0.04。这并不意味着B组有96%的概率优于A组，而是说“如果A组和B组没有差异，你只有4%的概率看到这么大的差异”。
我见过最极端的情况是，一家电商公司因为样本量极大（千万级用户），任何千分之一的变化都能跑出P值显著。他们在按钮颜色测试中，蓝色按钮的转化率比红色高出0.05%，P值等于0.001，但在全量上线后，这个差异几乎可以忽略不计。这就是典型的“统计显著，业务不显著”陷阱。
很多人觉得样本量越大，测试结果越准。理论上没错，但在业务实践中，样本量过大反而会带来两个问题：
所以，样本量不是越大越好，而是“够用就好”。这个“够用”的标准，就是你的MDE，你想看到的最小有商业价值的效果。
这是最荒谬但又最常见的错误之一。很多团队在测试刚开始两天，看到P值显著了，就急匆匆地宣布结果并全量上线。他们不知道，这种“提前停止”的行为违反了假设检验的基本逻辑：多重比较。
你可以想象一个场景：你抛一枚硬币，如果连续三次都抛到正面，你就宣布“这枚硬币有问题”。但如果你连续抛十次，每次抛完都检查一次结果，那么你几乎可以肯定会在某次“连续三次正面”之后错误地宣布硬币有问题。这就是多重比较的谬误。AB测试的每一次数据切分检查，都是一次“抛硬币”，检查的次数越多，最终得到假阳性结果的概率就越高。
在我跟踪的项目中，因为提前停止测试导致决策失误的比例高达12%。这个数字看起来不大，但考虑到提前停止往往发生在“看起来结果很好”的时候，它的破坏力往往最大。
我教团队时，从来不让他们背公式，而是让他们用商业语言去理解这三个参数：
这三个参数之间是互相制约的：你可以同时要两个，但不能三个都要。 想用更小的α（更低的假阳性风险）、更高的功效（更高的捕捉机会）和更小的MDE（更敏感的实验），结果就是样本量暴涨，测试周期长到无法接受。
这些年我总结出一个实用的决策框架，分三步走：
第一步：确定MDE。 先问业务方：“这个方案上线后，你觉得至少提升多少才算值得投入？” 如果提升0.5%你完全不care，但提升2%你就愿意投入资源，那就设MDE=2%。不要贪心，不要设一个你根本达不到的MDE。MDE越小，你对细节的敏感度越高，但测试周期也越长。
第二步：确定α和功效。 如果这个方案一旦上线失败，成本很高（比如改动核心功能、影响用户体验），设α=0.01，宁可样本量再大一点。如果方案影响不大（比如改个文案颜色），设α=0.05就够了。功效一般建议设在80%-90%之间，如果这个方案是“不成功就完蛋”的关键决策，设到95%。
第三步：算样本量，然后乘以2。 为什么乘以2？因为大多数公式算出来的样本量是“理想状态”，不考虑用户流失、数据丢失、节假日波动等现实因素。我把这个叫做“安全系数”。乘以2之后，你基本能保证结果可靠。
2023年，我帮一家零售电商平台优化“购物车页面”的推荐算法。原版本的购物车推荐转化率是3.5%，运营团队希望新算法能把这个数字提升到至少4.0%以上，才有上线的价值。也就是说，MDE=0.5%的绝对值提升。
业务方说，这个改动涉及后台算法，一旦上线，如果效果不好，重新回滚的成本很高（需要重新训练模型，大约一周时间）。所以，他们愿意承担较低的假阳性风险，设α=0.01。同时，他们不希望错过这个潜在的机会，因为竞品也在做类似的优化，设功效=90%。
我用标准的两样本比例检验公式来计算。核心参数如下：
代入公式，算出来的每组样本量大约是 28,000 个用户。乘以2的安全系数，最终每组需要约 56,000 个用户。这个平台日均UV是10万，分到A/B两组各5万，大概需要跑11天才能收集到足够的样本量。
我建议他们把测试周期延长到14天，覆盖两个完整的周末（因为周末和平时用户行为差异大），而且特意避开了“618大促”那段时间。最终，测试结果非常稳定：B组转化率提升到了4.2%，P值小于0.001，全量上线后效果也基本一致，没有回撤。
我整理了过去三年见过的样本量计算错误案例，发现反复出现的问题主要有两类：
第一类：MDE设得太小。 很多人希望看到“微小但显著”的效果，把MDE设成了0.1%甚至0.05%。结果算出来的样本量大到天文数字，测试周期要跑半年。最终要么放弃测试，要么硬着头皮跑，但数据波动太大，结果不可靠。我的建议是：MDE至少设到0.5%以上的绝对值提升，或者相对提升10%以上，否则样本量成本会失控。
第二类：忽略了用户行为的时间周期性。 很多电商平台周一和周五的用户行为差异很大，月初和月底的消费能力也不同。如果你只跑一周的数据，可能正好赶上某个特殊事件（比如发工资、促销活动），导致测试结果有偏。我建议：至少覆盖一个完整的业务周期（比如一周），最好覆盖两个周期。
这是最常遇到的现实困境。你需要做出取舍：
具体怎么选？我建议：先看方案失败的成本。 如果失败成本高，优先保α和功效，降低MDE；如果失败成本低，可以适当放宽α和功效，争取更短的测试周期。没有绝对正确的答案，只有权衡后的结果。
很多团队看到P值大于0.05，就立刻宣布“测试失败”。但这是片面的。你需要问自己三个问题：
我的建议是：不要轻易放弃一个“不显著”的结果，先检查样本量和MDE，再判断是否要重新跑或调整参数。
即使P值小于0.05，你也不能立刻拍板。我建议你做两件事：
我见过最稳健的做法是：在测试通过后，再跑一次为期一周的“验证测试”，用同样的流量分配，看结果是否一致。如果两次结果一致，我才会建议全量上线。
回到文章开头那个观点：AB测试的本质不是验证谁赢，而是量化你愿意为错误付出多大代价。 如果你把假设检验和样本量计算当成烦人的“统计作业”，那你永远只能是被动接受结果的人。如果你把这三个参数（MDE、α、功效）当成商业决策的输入，那你就能主动设计测试，让数据为你服务。
下一步，我建议你做三件事：
这是一套我反复验证过的框架，它不复杂，但需要你每次做测试时都主动去用。如果你能做到，你的AB测试失败率至少能降低一半。而“一半”的差距，可能就是你和竞品之间的真实差距。
我最近在做一次AB测试，想测试两个版本的转化率差异。按照网上的公式算出来需要大约5000个样本，但跑了两周后数据还是不稳定，P值忽高忽低。后来才发现，我算的时候用的MDE（最小可检测效果）设成了0.5%，但实际业务上能接受的最小有效提升是1%。这个错误导致样本量严重不足。
请问，样本量计算中的MDE到底该怎么选？是不是我设得太苛刻了？
你在样本量计算中踩的坑，我2019年全踩过，后来花了两个项目才彻底搞明白。MDE（最小可检测效果）不是随便拍脑袋的，它直接决定了你要跑多少天。首先，MDE代表你期望检测到的最小真实提升。比如你认为新版本能让转化率从10%提升到10.5%，那么MDE就是0.5%。
但问题是，你算出的样本量会随着MDE的平方反比增长，MDE缩小一半，样本量需要扩大4倍。很多教程只会告诉你“MDE越小越好”，但不会告诉你，在商业实战中，MDE的大小取决于三个因素： 1. 业务成本：如果改动成本很低（比如改个按钮颜色），你可以接受很小的MDE，因为失败了也没损失。
但如果是大版本重构，你需要更大的MDE才能覆盖开发成本。2. 测试周期限制：老板只给一周，你算出来需要30天，那就必须放大MDE，接受“只检测到较大提升”的测试。3. 历史数据波动：如果你的转化率本身波动很大（比如双11期间），MDE必须设得更大，否则会被噪声淹没。
我自己的经验是：先用过往数据估算标准差，再根据业务容忍度倒推MDE。举个例子，我曾为一个电商首页改版做AB测试，原版转化率12%，标准差约3%。老板要求一周内出结果，日活用户2万。我算了一下，如果MDE=1%，需要样本量约8万，得跑4天；如果MDE=2%，样本量只需2万，跑1天即可。
最终我选了MDE=1.5%，样本量3.5万，跑2天，结果稳定且显著。所以，别迷信网上的“固定MDE=0.5%”或“MDE=1%”。正确做法是：先确定你能接受的最小有效提升（问业务方），再结合测试周期反推，最后用公式验证。公式也简单：n = (Zα + Zβ)² × 标准差² / MDE²。
Zα和Zβ常用值：α=0.05时Zα=1.96，β=0.2时Zβ=0.84。代入数字算一遍，你就知道为什么之前总不够了。
我最近跑了一次AB测试，新页面在测试期间P值=0.03，显著低于0.05，我以为稳了，立刻全量上线。结果一周后，整体转化率几乎没有变化，甚至还有点下降。我复盘了数据，发现测试期间的样本量确实很大（超过10万），但实验组和对照组的转化率差异只有0.1%。老板问我是不是数据造假，我该怎么解释？
P值显著不是应该可靠吗？
这种“统计显著但业务不显著”的坑，我2018年就吃过，当时在某个大厂做用户增长，差点把整月KPI搞砸。核心原因有两个：样本量过大和业务意义缺失。首先，P值对样本量极其敏感。当样本量足够大时，即使非常微小的差异（比如0.1%的转化率提升）也会被判定为“显著”。
这是因为P值衡量的是“差异是否真实存在”，而不是“差异有多大”。你10万样本下P=0.03，说明这个0.1%的差异大概率不是偶然，但它的商业价值接近于零。其次，你要区分“统计显著”和“业务显著”。统计显著只告诉你“差异不是随机波动”，业务显著才告诉你“值不值得推广”。
我后来总结了一个判断标准：看置信区间。如果置信区间下限大于你设定的MDE（业务上有意义的阈值），那才值得全量。比如你的MDE=1%，但置信区间是[0.05%, 0.15%]，即使P<0.05，我也绝不会上线。具体做法： 1. 跑测试前先设好“业务显著阈值”（比如提升1%才值得动）。
结果出来后，不要只看P值，要看置信区间。如果置信区间下限低于阈值，即使P<0.05，也建议再测或放弃。3. 如果样本量太大导致微差异显著，可以尝试“子抽样”或“限制测试时长”。比如只取前一周的数据，因为样本量小一些，P值会更敏感于大效果。
以你那个案例，0.1%的差异，如果每日营收是100万，那提升才1000元，还不够你改版的人力成本。所以，P值只是入场券，业务显著性才是决策依据。
我用一个在线样本量计算器跑出来的结果，显示统计功效（Power）只有60%，但P值已经显著了。我同事说Power太低不可信，应该继续跑。可我测试已经跑了三周，样本量也够了，再跑下去老板要骂人了。我查了一些资料，说Power低于80%就不靠谱，但我不理解为什么。Power到底是什么？
60%的Power得出的显著结果，真的不能信吗？
Power是统计功效，代表“当真实效果存在时，你能正确检测出来的概率”。Power=60%，意味着你有40%的概率会漏掉真实效果（即第二类错误）。但注意，现在你P值显著了，说明你已经检测到了差异，这时候Power的意义不大，因为你的测试已经“成功”了。很多人混淆了Power和P值的关系。
Power是在测试前需要考虑的，用来规划样本量；P值是在测试后看到的。如果你的测试已经达到了预定样本量，并且P值显著，那么Power低不低不影响这个结论的有效性。
但问题在于：如果你的样本量本来就是根据Power=80%算出来的，结果只跑了60%的样本量就显著了，那就要小心，可能是“提前停止”导致的假阳性。我经历过一个项目：测试新商品推荐算法，计划样本量10万，Power=80%。结果跑到第3天（样本量3万），P值就显著了。
团队兴奋得想立刻上线，我制止了，因为提前停止会引入多重比较问题（多次看P值，误判概率升高）。后来跑到第7天，样本量8万，结果P值变成了0.07，不显著了。幸好没冲动。所以，Power的高低主要影响“测试的灵敏度”，而不是“结果的可靠性”。如果你已经按计划跑完样本量且P值显著，那就放心用。
但如果你中途看到P值显著就停止，哪怕Power只有60%，也建议继续跑完计划样本量再下结论。一个实用技巧：用“序贯检验”方法，可以在测试过程中动态调整，允许提前停止但控制假阳性率。比如用Pocock边界或O'Brien-Fleming边界，每次查看P值时使用更严格的阈值。
如果你不想太复杂，就坚持“样本量跑满再说话”的原则。
我最近在跑一个关键转化率的AB测试，计划跑两周。结果第一天就发现P值=0.01，显著得不行。我同事说可以立刻停了，因为数据已经证明新版本更好。但我总觉得不靠谱，之前看过文章说提前停止会导致结果不可信。这次测试影响很大，我不敢贸然决定。到底能不能提前停止？如果不行，那为什么那么多大厂都说自己提前停过？
这个问题我专门研究过，还写过一篇内部复盘。答案是：不能随便提前停止，除非你使用了“序贯检验”设计。为什么不能提前停止？因为每多看一次数据，就相当于多做了一次假设检验，这会增加第一类错误（假阳性）的概率。
假设你看了10次数据，每次都以P<0.05为停止标准，那么最终假阳性率会从5%飙升到约40%（具体数字取决于检验次数）。这就是“多重比较”问题。你说大厂经常提前停止，那是因为他们用了序贯检验。
比如Google的“持续监测”系统，会动态调整P值阈值：第一次看数据时要求P<0.005，第二次看要求P<0.003，越来越严格，从而保证整体假阳性率控制在5%以下。但如果你只是用普通t检验，每天看一次，发现P<0.05就停，那结果大概率是假的。
我2020年踩过一个坑：测试一个消息推送策略，计划跑7天，结果第2天P值=0.03，我提前停了并全量推送。结果第3天，对照组用户因为没收到推送反而流失更少，最终整体效果是负的。后来复盘，第2天的显著是因为样本量小，偶然波动被放大了。
正确做法： 1. 如果必须提前停止，请使用“序贯检验”工具（如R包gsDesign、Python包statsmodels的Sequential）。2. 如果不打算用序贯，就固守“样本量跑满再看”的纪律。3. 如果你已经提前停了，而且结果显著，那就再跑一个复现测试（A/A测试或反向验证）。
比如把实验组和对照组互换，或者再跑一轮相同样本量的重复测试，看看结果是否一致。一个便捷的替代方案：用“贝叶斯AB测试”框架，它天然支持持续监测，因为贝叶斯概率会随着数据更新，且不会出现频率学派的多重比较问题。
我目前在用PyMC进行贝叶斯AB测试，每次查看数据后，计算“实验组优于对照组的概率”，当概率>97.5%时停止，同时记录后验分布，效果很稳定。
读者评论
作为数据分析师，这篇文章让我重新审视了公司里那些P值<0.05就高呼胜利的测试。我们确实经常忽略样本量计算，总以为工具自动算就行，结果上线后效果回撤的例子比比皆是。作者提出的“安全系数乘以2”很实用，虽然会延长周期，但比盲目上线强。
业务方看的是KPI，分析师看的是P值，但双方都容易掉进‘统计显著等于业务有效’的陷阱。我经历过类似案例，测试期正值促销，结果全量上线后转化率暴跌。这篇文章点醒了我：AB测试不仅是数学题，更是风险管理的商业决策。
文中对最小可检测效果（MDE）的剖析很到位。以前我总想检测微小变化，结果样本量爆炸，周期拉长。现在明白先明确业务价值阈值，再反推参数，这才是科学做法。不过，对于小团队来说，14天周期可能太奢侈，需要更灵活的方案。