落地页改版常见的流程是:运营觉得首屏文案不够打动人,改一版上线,两周后看数据——询盘涨了就说改对了,跌了就再改回去。问题在于,两周内的流量波动、投放渠道变化与季节性因素都被算进了「改版效果」里。
A/B 测试的价值就是把这类判断变成可复现的比较。它不复杂,但有几个前提要先立住。
一、先锁定一个主指标与转化事件
测试开始前要写清一个主指标。落地页常见的主指标有三类:
- 询盘提交数:以表单提交成功为准,适合以线索为目标的 B2B 站点;
- 有效线索数:在提交基础上要求邮箱可送达、必填字段完整,适合线索质量波动较大的业务;
- 进入下一步的点击数:如点击「获取报价」后进入表单页,适合流量较小、转化事件稀少的阶段。
次要指标可以记录,但不用于判定胜负。如果测试结束时三个指标一升一降,大概率是样本不足,而不是版本更优。
二、样本量:先估算,再看数据
样本量取决于三个参数:基线转化率、希望检测到的最小相对提升、以及显著性水平。工程上常用的估算方式如下:
- 基线转化率:取近 4 周同渠道的实际提交率,例如 3%;
- 最小可检测提升:设定为相对提升 15% 至 20%,低于此幅度在实践中难以稳定复现;
- 每组转化事件数:建议每组至少积累 300 次以上转化事件,低于 100 次所得结论不具备参考价值。
按基线 3%、期望提升 20% 估算,每组约需 1 万至 2 万名访客,两组合计 2 万至 4 万。若站点单周流量只有 2000 人,与其硬测两周,不如先测差异更大的元素——例如首屏主张,而非按钮颜色。
三、单一变量原则
一次只改一个元素,是让结论可解释的前提。常测的四类元素按影响程度排序大致为:
- 首屏主张与主标题:说明「为谁解决什么问题」,影响最直接;
- 首屏视觉:产品实拍图、使用场景图或短视频,影响停留时长;
- 表单字段数量:字段从 7 个减到 4 个通常提升提交率,但可能降低线索完整度,需与主指标口径保持一致;
- 按钮文案与位置:影响相对较小,适合在流量充裕时做微调测试。
如果确实需要同时验证多个想法,应改为多变量测试并配置足够流量,不能把多变量结果当作单变量结论使用。
四、四个常见误判
- 提前叫停:看到第三天领先就结束测试。前期波动幅度偏大,提前结束后回归常态的情况并不少见;
- 样本来源混杂:一边跑广告流量一边跑自然流量,两类访客的意图差异过大,结论难以外推;
- 只看提交率不看线索质量:表单字段减少后提交数上升,无效邮箱与无效电话同步上升,销售端的有效线索并未增加;
- 忽略时间因素:工作日与周末、不同时区的访客行为不同,测试周期建议覆盖完整的两个 7 天周期,即两周。
五、上线与记录规范
- 分流规则:按访客维度稳定分流,同一访客再次访问应看到同一版本,避免版本频繁切换造成体验割裂;
- 标记与归因:为两个版本使用不同的媒介参数或页面标识,便于与询盘来源数据对照;
- 记录文档:每次测试记录假设、改动点、起止时间、样本量、主指标结果与结论,包括未达显著的结果——这些记录能避免团队反复测试同一个无效改动;
- 小步推进:单次提升 10% 至 20% 已属正常,把它们逐个累加,半年后的整体转化率差异会比任何一次大改版更明显。
A/B 测试的作用不是证明某个想法对,而是用可控的成本淘汰错的想法。
