A/B/n スプリットテスト

ジャーニーの中で勝ちパターンを見つける

ジャーニーのトラフィックを最大4つの分岐に分け、それぞれに異なるコピー・タイミング・チャネルを設定できます。Pushwoosh が各分岐をコンバージョン目標に対してスコアリングし、成果の高い分岐へ新規ユーザーを自動的に送ります。

デモをリクエスト無料で始める

カート放棄トリガーがA/B/nスプリット要素に流れ込み、トラフィックの25%ずつを4つの分岐(既存のプッシュリマインダー、新しいプッシュコピー、同じオファーのメール、メッセージなしの同等の待機)に振り分け、すべてが1つの退出に合流するカスタマージャーニーキャンバス

スプリットテストに必要なものすべて

最大4分岐

分岐 A がコントロール（対照群）です。各分岐のトラフィック配分は自由に設定できます。

ランダム配分

新規ユーザーはすべて、設定した割合に従って自動的に振り分けられます。

目標ベースの結果評価

1 つまたは複数のコンバージョンイベントを、それぞれ個別にスコアリングします。

統計的有意性を標準搭載

Z スコアと P 値を算出し、90% の信頼水準で有意と判定します。

勝者ブランチへの自動ルーティング

手動操作なしに、新規ユーザーを勝者ブランチへ自動的に送ります。

進行中のユーザーを保護

すでにいずれかの分岐に入っているユーザーは、そのまま最後まで進みます。

各分岐で変えられるもの

ジャーニーキャンバス上の任意の位置に A/B/n スプリット要素を配置し、2〜4 の分岐を設定します。各分岐は独立したサブフローとして動作するため、メッセージのコピー、待機時間の長さ、チャネル、あるいはメッセージを送らないという選択まで、分岐ごとに変えられます。トラフィック配分の合計は 100% にする必要があり、リセットボタンで均等配分に戻せます。

分岐 A — コントロール。現在運用しているフロー、または新規のベースラインです。
分岐 B・C・D — チャレンジャー。それぞれ独自のメッセージ、待機時間、チャネルを持ちます。
トラフィック配分 — 合計が 100% になる任意の比率。均等配分がもっとも早く有意水準に達します。

スプリット要素そのものにメッセージングのロジックはありません。誰をどちらに送るかを決めるのがこの要素の役割で、実際の送信は配下のチャネルブロックが担います。

テストを終了させる2つの方法

4つの分岐が18%、41%、22%、19%を示し、劣勢の分岐が停止され、勝者の分岐にSignificant 90%バッジが表示されたA/B/nテスト結果カード

自動勝者選択

プラットフォームが目標を継続的に監視します。いずれかの分岐が 90% の信頼水準を超えた時点で、Pushwoosh は成績の振るわない分岐を自動で無効化し、以降の新規ユーザーをすべて勝者ブランチへ送ります。

誰もダッシュボードを見ていない時間帯でも、この処理は実行されます。

分岐A〜Dごとのコンバージョン率とスパークラインを示すライブテスト統計カードと、その下のKeep only winnerボタン

必要なときは手動で制御

手動モードでも同じライブ統計が表示され、判断は担当者に委ねられます。数値を確認したうえで、Keep only winner（勝者のみを残す）をクリックすれば、劣勢の分岐を無効化できます。

判断を下すまでの間もジャーニーは動き続けます。テストを終了するのに、ジャーニー自体を一時停止する必要はありません。

無効化の対象は新規ユーザーのみです。 すでにいずれかの分岐に割り当てられているユーザーは、その後その分岐がどうなろうと、割り当てられたパスを最後まで完了します。

A/B/n スプリットテストが特に有効な場面

カート放棄対策

リマインダーの文言と待機時間をテストし、より多くのカートを回復できるバージョンを残します。

有料化・トライアル訴求

トライアル終了メッセージの文言やタイミングを、コンバージョンイベントに対して A/B テストします。

ダイジェストの見出しと配信時刻

定期配信ダイジェストで2つの見出し・2つの配信時刻を試し、開封率やクリック率でスコアリングします。

チャネルの好み

同じメッセージをプッシュ・メール・SMSで送り、あるセグメントにどのチャネルが最もコンバージョンするかを見極めます。

ゲーム内のマネタイズ施策

再エンゲージメントジャーニーの中で、購入イベントを目標にオファーの文言やタイミングをテストします。

休眠ユーザー復帰施策のタイミング

休眠ユーザーへの接触までの待機時間を比較検証します。

1つのジャーニー、あらゆるチャネル

スプリット要素はすべてのチャネルブロックと同じキャンバス上に置けるため、1つの分岐にモバイルプッシュ、アプリ内メッセージ、メール、SMS、WhatsApp、Webプッシュを、単一の顧客プロフィールに対して組み込めます。

すでに稼働しているジャーニーの中、カスタマージャーニービルダーでテストを組み立てられるため、別立ての実験用ツールを横につなぐ必要がありません。

テスト設計の3つのパターン

現行フロー vs 新アイデア

分岐Aは現在配信している内容のまま。B・C・Dにチャレンジャーを置きます。

新アイデア vs 新アイデア

既存フローを含めず、新しいバージョンの1つをコントロールに選び、残りをそれに対してスコアリングします。

メッセージあり vs なし

1つの分岐に同じ長さのTime Delayを設定してメッセージを送らないようにし、接触そのものが指標を動かすかどうかを測定します。

勝者はどう決まるか

テストを開始するには、少なくとも1つのコンバージョン目標を定義する必要があります。目標とは、購入・チェックアウト・サブスクリプション開始・レベルクリアなど、すでに Pushwoosh に送信しているトラッキングイベントのことです。

Pushwoosh は各分岐をコントロールに対して Z スコアと P 値でスコアリングし、90% の信頼水準に達した結果を Significant（有意）と判定します。

同一テストで複数の目標を同時に走らせることも可能です。結果は目標ごとに個別に算出され、複数の目標が同時に稼働している場合は、どの目標を確認するかを選択できます。

実体のあるインフラの上でテストする

Pushwoosh は米国とドイツの自社ハードウェア上で稼働し、GDPR および BDSG（ドイツ連邦データ保護法）に準拠しています。テストデータ、目標イベント、顧客プロフィールは、メッセージ配信を行っているのと同じプラットフォーム上に保持されます。情シス審査で求められるデータ所在地や第三者認証の確認にも、そのままお答えできます。

認証の詳細はデータセーフティページをご覧ください。

使い方

ジャーニーを一時停止してスプリットを追加

キャンバス上に A/B/n スプリット要素を配置し、2〜4の分岐を設定して、それぞれのトラフィック配分を決めます。
コンバージョン目標を定義

成功とみなすイベントを選びます。コントロールを含むすべての分岐で発火できるイベントかどうかを確認してください。
開始してモードを選ぶ

自動モードは新規ユーザーを勝者ブランチへ自動でルーティングします。手動モードでは Keep only winner の判断を担当者が行います。

ドキュメントを読む

開始前に知っておきたいこと

スプリットの追加・再設定には、ジャーニーの一時停止が必要です。稼働中のジャーニーをそのまま編集することはできません。
1つのスプリット要素につき、分岐は最大4つまでです。
1つの分岐でしか発火しない目標は、比較そのものを成立させません。コントロールを含むすべての分岐で、その目標を達成できる必要があります。
有意判定は90%の信頼水準で行われます。この基準は95%水準よりも早く勝者を決定できますが、その分、誤検出（偽陽性）のリスクも高くなります。
Pushwoosh は最小サンプルサイズや最小テスト期間を強制していません。Significant と判定される前に、トラフィックの少ないジャーニーでは相応の時間を見込んでください。