新しいジャーニーを配信してからダッシュボードのコンバージョンは伸び、売上も増えています。しかし、その数字に意味があるかどうかは、たった一つの問いで決まります。その増加は本当にメッセージングが引き起こしたものなのか、それとも配信しなくても同じユーザーがコンバージョンしていたのか？
コンバージョンを動かす要因は、あなたの施策とは無関係のところにもたくさんあります。季節的な需要の高まり、ストア側の機能追加、オーガニックな成長など。これを確実に見極める方法は一つだけです。ユーザーの一部をメッセージング配信から完全に外し、何もしなければどう行動するかを観察すること。これこそが、コントロールグループの役割です。
この記事では、コントロールグループの仕組み、増分効果（アップリフト）の読み方、そしてPushwooshでコントロールグループを数クリックで設定する方法を解説します。
なぜA/Bテストではこの問いに答えられないのか
メッセージングの効果をどう測るか、という問いに直面したとき、多くのチームはまずA/Bテストに手を伸ばします。定番であり、優れた手法ですが、この問いに答えるためのツールではありません。
A/Bテストが答えるのは、もっと狭い問い、「どちらのメッセージがより高い成果を出すか」です。 プッシュAとプッシュB、緊急性を訴える文言と割引訴求、プッシュとメール。配信内容を最適化するには適したツールですが、「配信そのものに価値があったか」を証明するのは別の話です。
そこで欠けているのが、ベースラインです。ベースラインがなければ、あなたは自分の勝者同士を比較しているだけで、そのどれもが「何もしない」に勝っているかどうかは分かりません。
| A/Bテスト | コントロールグループ | |
|---|---|---|
| 問い | どのメッセージが最も効果的か？ | そもそもメッセージングに効果はあるのか？ |
| 配信対象 | 全員（すべてのバリエーション） | ホールドアウトを除く全員 |
| 得られる知見 | 最も成果の高いバージョン | 本当の増分効果（インクリメンタル効果） |
A/Bテストとコントロールグループは、よく混同されます。問題は、この混同が静かに予算を溶かしていくことです。A/Bテストはどのメッセージが勝ったかを教えてくれますが、コントロールグループは、そもそも配信すべきだったのかを教えてくれます。
開封率、クリック率、配信率、登録者数はどんどん伸び、誰もが満足します。しかし、それらのユーザーが自然にコンバージョンしていたかどうかを、誰も確認しません。
確かに、100万人の登録者と99％の配信率は、配信の仕組みが機能している証拠です。しかし、それはメッセージングが1ドルでも売上を動かした証拠になるでしょうか？コンバージョンは給料日や季節要因、単なる自然増加など、常に何らかの理由で伸びます。それを差し引けなければ、あなたは自分が生み出していない成果の手柄を取っていることになります。
さらに、A/Bテストでは配信オプションを比較しますが、「何もしない」状態と比較することは決してありません。コントロールグループはまさにそれを行います。一部を配信対象から外し、残り全員に配信し、その差こそが本当のベースラインに対して生み出した売上です。
まとめると、A/Bテストはメッセージを改善しますが、コントロールグループは、あなたのチームが本当に存在すべき理由を証明します。
コントロールグループが実際に測るもの
コントロールグループ（ホールドアウト）は、オーディエンスを2つに分けます。
- トリートメント（配信対象群）。 通常どおりマーケティング施策を受け取るユーザー全員です。プッシュ通知、メール、アプリ内メッセージ、LINEなど、通常利用しているすべてのチャネルが対象になります。
- コントロール（ホールドアウト群）。 すべてのマーケティング施策から除外された、固定比率のユーザーです。パスワード再設定や購入確認メールなどのトランザクション通知は引き続き届くため、体験が損なわれることはありません。ただし、キャンペーンは一切配信されません。
この2つのグループの違いはメッセージングの有無だけなので、行動に差が出れば、それはあなたの施策によるものです。この差には名前があります。**アップリフト（増分効果）**です。
Pushwooshでは、グローバルコントロールグループ機能を利用できます。ホールドアウトの比率を1〜15%の範囲で固定値として設定すると、プラットフォームが選択したコンバージョンイベントに基づいて2つのグループを自動的に比較し、分析結果を提供します。
実際の運用イメージ
例えば、ユーザーの5%をホールドアウトし、コンバージョンゴール、つまりアプリ内で「成功」とみなすアクションを設定するとします。コンバージョンゴールは必ずしも購入である必要はありません。決済完了、プランアップグレード、サブスクリプション開始、レベルクリアなど、成果とみなすものであれば何でも構いません。可能であれば、収益に最も近い指標を選んでください。それが、予算を稟議にかけるときに最も説得力を持つ数字になります。
30日間の計測期間中、配信対象の95%（トリートメント）と、配信なしの5%（コントロール）を並行して走らせ、両グループのコンバージョン率を比較します。
| グループ | コンバージョン率 |
|---|---|
| トリートメント（配信対象） | 8.2% |
| コントロール（ホールドアウト） | 6.1% |
アップリフト：+34%、統計的に有意と判定されました。（＊アップリフトはコントロールのベースラインに対して算出されます：(8.2 − 6.1) / 6.1 ≈ 34%。）
この結果の解釈： メッセージングによって生まれたコンバージョンは、30日間で約940件の追加購入に相当します。平均注文額を45米ドル（約6,750円）とすると、これはプログラムが主張できる収益として約4万2000米ドル（約630万円）にあたります。「プッシュをたくさん送った」ではなく、**「会社に4万2000ドル（約630万円）の売上を生んだ」**と言えるかどうかの差です。
これは理想的なケースであり、こうして、CEOやCFO、そして稟議の場でキャンペーンが本当に機能していることを証明できるのです！💰
もちろん、数字が常にこのように出るとは限りません。どんな結果が出ても正しく読み解く方法を見ていきましょう。
結果の読み方：3つのパターンと次のアクション
アップリフトが分かれば、その数字が次に何をすべきかを教えてくれます。
| 結果 | 意味 | 次のアクション |
|---|---|---|
| ポジティブかつ有意（今回の例のように） | メッセージングがベースラインを超える、本物の増分効果を生んでいる | 効果の高い施策を拡大し、弱い施策を削る。予算レビューや稟議の場に持ち込める。「コントロール比で34%の増加」という一文は、誰も無視できません |
| フラット、または有意ではない | トリートメントとコントロールがほぼ同じ結果。そのユーザーはもともとコンバージョンしていた | 削る前にオファーやセグメントを見直す。多くの場合、一律配信をセグメント配信に変えるだけで改善します |
| ネガティブ | コントロールの方が良い結果、つまり配信対象群のパフォーマンスが低下している。多くは配信過多が原因 | 配信頻度を大幅に減らし、再計測する。配信過多を検知できるのはコントロールグループだけであり、これがなければ開封率などの指標はどれも問題なく見えてしまいます |
グローバルコントロールグループの活用は、自社のマーケティングコミュニケーションがオーディエンスにどう届いているか、そして配信対象から除外されたユーザーと比較して何が起きているかを明確に把握したいのであれば、必須の取り組みです。
このアプローチは、フィンテックとコンテンツ制作業界のお客様において、その価値を実証してきました。グローバルコントロールグループを導入したことで、日々の配信運用にそのまま活かせる、多くの有意義な知見・アクションアイテム・改善策が得られています。
2つのグループの差、つまり業界特有のイベント、ユーザー行動、そして裏を返せば非活性の兆候によって測られる差は、コミュニケーション戦略全体に対するリトマス試験紙のように機能します。特に、オーディエンスに向けた新しいアイデアが尽きたと感じたときに有効です。コントロールグループは、あなたのメッセージングが実際に何を生み出しているのか、そしてユーザーが本来どう行動していたのかを教えてくれます。
Pushwooshで数クリックでコントロールグループを設定する
-
ホールドアウトのサイズを選択する
ホールドアウトに割り当てるユーザーの比率を設定します。5%がバランスの取れたデフォルト値です。 新規登録ユーザーは自動的にグループに追加されます。
-
キャンペーンをマーケティング配信として設定する
ホールドアウトはマーケティング配信のみに適用されます。パスワード再設定や購入確認メールなどのトランザクション配信は、これまでと変わらず全ユーザーに届きます。
-
成功を定義するイベントを選ぶ
選んだイベントをジャーニーのコンバージョンゴールとして追加すると、レポートが何を計測すべきかを認識します。必ずしも購入でなくても構いません。ECなら購入完了、サブスクリプションなら有料プランへのアップグレード、ゲームならレベルクリアなど、あなたのアプリにとって本当の価値を示すイベントであれば何でも設定できます。
-
レポートを確認する
コントロールグループのレポート画面には、アップリフトとその統計的有意性が自動的に表示されます。手作業での計算は必要ありません。
