广告 A/B 测试该跑多久？提前停止为什么会骗了你

“测试要跑多久？”这个问题有真正的答案，但答案不是天数。测试跑够了的标准，是见过的人足够多，多到能把两个版本区分开。天数只在最后一步出现：用需要的人数除以你的流量。顺序对了，测试才能告诉你点什么。顺序错了，你上线的就是某个走运的周二恰好领先的那条广告。

免费的 A/B 测试计算器会在你的浏览器里完成本文里的所有计算。下面讲讲它的原理，好让你知道该往里填什么。

先定下值得发现的最小提升

开测之前，先想清楚：多大的提升你才会真的采取行动？如果一个新钩子让转化率提升 3%，你会围绕它重做所有广告吗？大概不会。提升 20% 呢？多半会。这个值得发现的最小提升决定了后面的一切，因为差异越小，看清它需要的数据就越多。

你还需要另外三个数字：

你现在的转化率。取自你准备测试的广告、受众或落地页，用最近一段正常时期的数据。
置信水平。通常选 95%。它决定了两个版本其实没差别时，测试仍然判出赢家的频率：大约 5%。
统计功效。提升真实存在时，你能抓到它的概率。Meta 对自家测试通常建议 80% 或更高，80% 也是常见的默认值。

换算成每个版本需要的访客数

有了这四个数字，用比较两个转化率的标准公式，就能算出每个版本需要多少访客。计算器里有完整公式。下面是一家转化率 2% 的店铺，在 95% 置信水平、80% 功效下的结果：

值得发现的最小提升	B 的转化率	每个版本的访客数	合计
30%	2.6%	9,798	19,596
20%	2.4%	21,109	42,218
10%	2.2%	80,682	161,364

想看到的提升减半，需要的流量大约翻四倍。光这一点就能解释大多数失败的广告测试：有人想用为大差异准备的预算，去检测一个小差异。

提高功效也有代价。同样是 20% 的提升，功效拉到 90%，每个版本需要 28,258 个访客，而不是 21,109。

最后一步，才换算成天数

用合计人数除以两个版本每天加起来能拿到的访客数。每天 3,000 个访客的话，20% 那个测试需要 42,218 ÷ 3,000 = 14.07，也就是 15 天。每天 1,000 个访客要 43 天。每天 10,000 个要 5 天。

然后拿平台的规定检查一下这个答案：

太短。Meta 的 A/B 测试最佳实践建议至少跑 7 天，并指出更短的测试可能得不出结论。如果你算出来是 5 天，照样跑满 7 天。同一页还说，如果你的客户看到广告后通常要超过 7 天才转化，就该跑得更久。
太长。Meta 的 A/B 测试最长 30 天。如果你算出来是 43 天，按现在的设计这个测试跑不完。要么找更大的提升（测一个更大胆的改动），要么争取更多流量（加预算或放宽受众），要么接受更低的置信水平，并在汇报结果时说明。
Google Ads。它的实验帮助页建议让实验跑 2 到 3 周，如果结果仍不明朗，就增加预算或延长时间。

提前停止为什么会骗了你

陷阱是这样的。你上线测试，每天早上看一眼。第四天，B 领先了，工具显示显著。你停掉测试，上线 B，然后去忙别的。

95% 置信水平只适用于在计划样本量时只读一次的测试。如果 A 和 B 的真实转化率一样，这一次读数大约有 5% 的概率判出一个假赢家。每天都看，就是另一套流程了。访客陆续进来，两个转化率会来回波动，每看一次，偶然的差距就多一次越线的机会。在第一次越线时停下，等于专门挑了最走运的那一刻。真实的假阳性率会高于 5%，而且你看得越频繁，它就越高。

屏幕上的 p 值没法提醒你，因为它不知道你看了多少次。它读起来就跟你只看了一次一模一样。

三条规则能让测试保持诚实：

上线前把样本量写下来。实在不行就写进测试名称里。
可以看，但别停。检查两个版本都在正常投放、没有东西坏掉，这没问题。因为数字好看就结束测试，不行。
在计划样本量时读一次结果。如果不显著，这本身也是答案：就算有差异，也小于你说值得发现的那个提升。

解读结果

测试达到样本量后，把计算器切到我的结果显著吗？，填入两个版本的访客数和转化数。假设 A 在 10,000 个访客中转化了 200 个（2.00%），B 在 10,000 个中转化了 245 个（2.45%）。计算器给出 z = 2.157，双侧 p 值 0.031，低于 0.05，所以 B 在 95% 置信水平下胜出。

接着看区间，别只看结论。差值的 95% 区间是 +0.04 到 +0.86 个百分点，换算成相对 A 的提升，大约是 +2% 到 +43%。B 更好，但好多少还很不确定。如果 B 的制作成本更高，正是这个区间告诉你它值不值。

平台的结论不一定和计算器一致，这很正常。Meta 的 A/B 结果显示的是一个置信百分比，并把 65% 或更高视为胜出，这和 p 值是两种度量。Google Ads 用每个实验组 20 个分桶的刀切法重抽样来计算区间，默认显示 80% 区间。平台的测试就看平台的结论，计算器用来规划样本量、核对计算。

把测试设好，答案才有意义

只改一个变量。Meta 的最佳实践指出，除了被测变量之外各版本完全相同，结果会更有说服力。
正确分流。Meta 不建议靠开关广告组来做测试，因为受众可能重叠，并建议两个版本用相同预算。请用平台自带的 A/B 测试或实验工具。
看钱，不只看转化率。转化率胜出的版本，如果单次点击更贵，照样可能亏钱。放量之前，先把赢家放进 ROAS 计算器，和你的盈亏平衡 ROAS 比一比。

简短版

选定值得发现的最小提升，算出每个版本需要的访客数，除以每天的流量，让结果落在 Meta 的 7 到 30 天之间，并且别提前停止。A/B 测试计算器两半都能帮你算。如果你更希望有人帮你提出测试，Hermoso 是一个 AI 营销代理，让你的营销自动驾驶：它能读取你连接的每个广告平台，告诉你接下来该放量什么、暂停什么、测试什么，每个测试都附上假设、决定胜负的指标、预算和时长。

常见问题

Facebook 广告 A/B 测试应该跑多久？

跑到开测前算好的样本量，并且至少 7 天，这是 Meta 建议的最短时长。Meta 的 A/B 测试最长 30 天。每天 3,000 个访客、转化率 2%、想发现 20% 提升的测试，大约需要 15 天。

A/B 测试需要多少次转化？

取决于你的转化率和想检测的提升。转化率 2% 时，要在 95% 置信水平、80% 功效下发现 20% 的提升，每个版本需要 21,109 个访客，原版本大约是 422 次转化。

A/B 测试已经显著了，可以提前停止吗？

如果你希望置信水平站得住，就不行。频繁查看、在第一次显著时停下，等于给了偶然因素更多越线的机会，真实的假阳性率会高于你选定的那个。

如果我的测试需要超过 30 天怎么办？

Meta 的 A/B 测试不能超过 30 天，所以要改设计：测一个更大胆的改动，让你要找的提升更大；加预算或放宽受众来争取更多流量；或者接受更低的置信水平，并在汇报结果时说明。