你上线了新的用户旅程之后,后台的转化率曲线在往上走,收入也在涨。但只有一个问题能决定这个数字到底有没有意义:这次增长是你的推送带来的,还是这些用户本来就会转化?
很多因素都会拉动转化,却和你的推送毫无关系——大促季节性波动、App 商店的一次功能上线、用户的自然增长。想真正搞清楚答案,只有一个办法:把一部分用户完全排除在推送之外,单独观察他们的自然行为。这正是对照组(control group)要做的事。
这篇文章会讲清楚对照组的工作原理、如何解读增量效果(uplift),以及如何在 Pushwoosh 中几步就配置好一个对照组。
为什么 A/B 测试回答不了这个问题
面对”如何衡量推送效果”这个问题,大多数团队的第一反应是做 A/B 测试。这是个经典工具,也确实好用——只是它不是为解决这个问题而生的。
A/B 测试回答的是一个更窄的问题:哪条消息效果更好。推送 A 对比推送 B,紧迫感文案对比折扣文案,推送对比邮件。它是优化你发送内容的合适工具,但这和证明”这次发送本身值不值得”是两件完全不同的事。
你缺的正是这个基线。没有基线,你只是在拿自己的赢家和另一个赢家比,却完全不知道它们里有没有哪个真的跑赢了”什么都不发”。
| A/B 测试 | 对照组 | |
|---|---|---|
| 问题 | 哪条消息效果最好? | 推送到底有没有用? |
| 谁会收到消息 | 所有人(所有版本) | 除留出组外的所有人 |
| 你能得到什么 | 效果最好的版本 | 你真实的增量效果 |
很多人把 A/B 测试和对照组混为一谈,而这种混淆正在悄悄烧钱。A/B 测试告诉你哪条消息更好,对照组告诉你这条消息到底该不该发。
打开率、点击率、送达率、订阅数都在涨,大家都很开心,但没人去验证这些用户是不是本来就会转化。
没错,百万订阅用户、99% 送达率,确实证明你的推送通道跑得通。但这就等于你的推送真的带来了一美元的收入吗?转化率本来就会涨:发薪日、季节性因素,或者只是自然增长。如果你减不掉这部分,你就是在为一个不属于你的结果邀功。
而且,A/B 测试比较的是不同的消息方案,却从来不跟”什么都不发”比较。对照组做的正是这件事:留出一部分用户不发送,给其他人正常发送,两者之间的差异,才是你在真实基线上真正带来的收入增量。
总结一下:A/B 测试能让一条消息变得更好,但对照组能证明你的团队真的有存在的价值。
对照组到底衡量的是什么
对照组(也叫留出组/holdout)把你的用户分成两部分:
- 实验组(Treatment)。 正常接收你所有营销消息的用户:推送通知(FCM/APNs)、邮件、应用内消息。
- 对照组(Control)。 固定比例的用户被排除在所有营销活动之外。他们仍会收到交易类消息,比如密码重置、订单确认,所以体验不会受影响。他们只是永远不会收到营销活动(campaign)。
因为这两组用户之间唯一的区别就是有没有收到你的营销消息,他们行为上的任何差异都是你造成的。这个差异有个名字:增量效果(uplift)。
在 Pushwoosh 中,你可以直接使用全球对照组(Global control group)功能。设定一个固定的留出比例(1%–15%),平台会基于你选定的转化事件自动对比两组用户,并输出分析报告:
实际场景是什么样的
假设你留出 5% 的用户作为对照组,再选定一个转化目标——也就是你 App 里代表”成功”的那个动作。转化目标不一定是下单:可以是跨境电商场景里的下单成功,出海游戏里的通关或首次付费,订阅类产品的开通订阅,或者任何你认定为有效转化的行为。能选的话,尽量选离收入最近的那个指标——在给预算做汇报的时候,这个数字最有说服力。
在 30 天的观察窗口里,被推送的 95%(实验组)和保持沉默的 5%(对照组)并行运行,你可以对比两组的转化情况:
| 用户组 | 转化率 |
|---|---|
| 实验组(收到推送) | 8.2% |
| 对照组(留出) | 6.1% |
增量效果:+34%,标记为显著(Significant)。(*增量效果是相对于对照组基线计算的:(8.2 − 6.1) / 6.1 ≈ 34%。)
如何解读: 由推送带来的转化,30 天内大约多出 940 笔订单。按 45 美元的客单价计算,这大概是 4.2 万美元的收入,是你的推送项目可以真正拿来邀功的部分——这就是”我们发了很多推送”和**“我们为公司带来了 4.2 万美元收入”**之间的区别。
这是最理想的情况,也是你向 CEO 和 CFO 证明”这些营销活动真的有用”的方式!💰
但这个数字不会总是这么好看。下面来看看不同结果分别该怎么解读。
解读结果:3 种情况,以及你该怎么做
拿到增量效果的数字之后,它会直接告诉你下一步该做什么。
| 结果 | 说明 | 你的行动 |
|---|---|---|
| 正向且显著(如上面的例子) | 你的推送确实在基线之上带来了真实增长 | 加大投入表现最强的流程,砍掉表现弱的。把这个数字带到预算会上——“比对照组高出 34%”这句话没人能轻易反驳 |
| 持平或不显著 | 实验组和对照组的转化率差不多;这些用户本来就会转化 | 先别急着砍,优化文案或收紧用户分群。通常问题出在群发太泛,精细分群的版本大概率能跑赢 |
| 负向 | 对照组转化率反而更高——收到推送的那组表现更差,通常是推送过度导致的 | 大幅降低发送频率,重新测量。对照组是唯一能真正发现“推送过度”问题的工具;没有它,你所有的打开率图表看起来都很正常 |
如果你想清楚地知道自己的营销消息在用户那边到底产生了什么效果,以及被排除在外的用户接下来会怎样,那么使用全球对照组(Global control group)几乎是必选项。
这个方法已经在我们的金融科技和内容创作类客户身上证明了价值:启用全球对照组之后,他们获得了大量有意义的洞察、行动项和调整方向,可以直接用到日常的发送运营中。
两组用户之间的差异——通过行业特定事件、用户行为,以及反过来的沉默信号来衡量——就像是对整套沟通策略的试金石。当你觉得对现有用户已经没有新想法的时候,这个方法尤其有用:对照组会告诉你,你的推送到底带来了什么,以及用户本来就会做什么。
在 Pushwoosh 中几步配置好你的对照组
-
选择留出比例
设定要留出的用户比例;5% 是一个比较平衡的默认值。新注册用户会自动被分配进对照组。
-
把你的营销活动标记为 marketing
留出规则只作用于营销消息,所以你的交易类消息——比如订单收据、密码重置——依然会发给所有人。
-
选定代表成功的事件
把这些事件添加为旅程里的转化目标,报告才知道该衡量什么。它不一定是购买行为——选任何能代表你 App 真实价值的事件即可:电商场景下的完成购买,订阅产品的升级到付费,游戏场景下的通关,或者其他任何你认定为转化的事件。
-
查看报告
对照组页面会直接显示你的增量效果,以及它是否显著——不需要你自己算。
