A/B/n-тестирование

Находите ветку-победителя прямо внутри сценария

Разделите трафик сценария на до 4 веток — у каждой свой текст, тайминг или канал. Pushwoosh оценивает каждую ветку по вашим целям конверсии и направляет новых пользователей в ту, что работает лучше всего.

Холст Customer Journey: триггер брошенной корзины ведёт в элемент A/B/n Split, который направляет по 25% трафика в каждую из четырёх веток — текущее push-напоминание, новый текст push, то же предложение по email и равную задержку без сообщения — все ветки сходятся в общем выходе

Всё для запуска сплит-теста

До 4 веток

Ветка A — контрольная. Долю трафика для каждой ветки задаёте вы.

Случайное распределение

Каждый новый пользователь распределяется по заданным вами процентам.

Результаты по целям

Отслеживайте 1 событие конверсии или несколько — каждое оценивается отдельно.

Значимость встроена

Z-Score и P-Value, статус Significant при доверительном уровне 90%.

Автоматическая маршрутизация победителя

Новые пользователи направляются в ветку-победителя без ручного шага.

Пользователи в процессе защищены

Тот, кто уже попал в ветку, проходит начатый путь до конца.

Что можно менять в каждой ветке

Разместите элемент A/B/n Split в любом месте холста сценария и задайте от 2 до 4 веток. Каждая ветка — это свой под-поток, поэтому вариант может отличаться текстом сообщения, длиной задержки, каналом или полным отсутствием отправки. Доли трафика должны в сумме давать 100%, а кнопка сброса возвращает равномерное распределение.

  • Ветка A — контрольная: поток, который вы используете сегодня, либо новая базовая версия.
  • Ветки B, C и D — претенденты, у каждой свои сообщения, задержки и каналы.
  • Доля трафика — любое распределение с суммой 100%. Равный сплит быстрее всего достигает значимости.

Сам элемент сплита не несёт логики отправки сообщений. Он решает, кто куда попадёт, а отправкой занимаются канальные блоки под ним.

Два способа завершить тест

Автоматический выбор победителя

Платформа непрерывно следит за вашей целью. Как только ветка преодолевает порог доверия 90%, Pushwoosh отключает отстающие ветки и направляет всех новых пользователей в победителя.

Это происходит независимо от того, смотрит ли кто-то в этот момент на дашборд.

Ручное управление, когда оно нужно

В ручном режиме доступна та же живая статистика, но решение остаётся за вами. Изучите цифры и нажмите Оставить только победителя, чтобы отключить проигравшие ветки.

Сценарий продолжает работать, пока вы принимаете решение. Закрытие теста не требует его остановки.

Отключение касается только новых пользователей. Те, кто уже был распределён в ветку, проходят путь, который им достался, независимо от того, что происходит с этой веткой дальше.

Для каких задач подходит A/B/n-тестирование

Брошенные корзины

Тестируйте текст напоминания и длину задержки, затем оставляйте версию, которая возвращает больше корзин.

Пейволл и сообщения о триале

A/B-тестируйте формулировку или тайминг сообщения об окончании триала против вашего события конверсии.

Заголовки и время отправки дайджеста

Запустите 2 заголовка или 2 времени отправки на регулярном дайджесте и оцените их по открытиям или кликам.

Предпочтение канала

Отправьте одно и то же сообщение по push, email и SMS, чтобы узнать, какой канал конвертирует лучше для сегмента.

Монетизационные предложения в играх

Тестируйте текст или тайминг предложения внутри сценария реактивации, с событиями покупки в качестве цели.

Тайминг win-back

Сравнивайте, сколько ждать перед обращением к неактивному пользователю.

Один сценарий, любой канал

Элемент сплита находится на том же холсте, что и каждый канальный блок, поэтому ветка может нести мобильный push, in-app сообщения, email, SMS, WhatsApp или web push для одного профиля клиента.

Вы строите тест там, где сценарий уже работает — внутри Customer Journey Builder, — вместо того чтобы подключать отдельный инструмент экспериментов рядом с ним.

Три способа спроектировать тест

Текущий поток против новой идеи

Ветка A сохраняет то, что вы отправляете сегодня. B, C и D несут претендентов.

Новая идея против новой идеи

Без действующего варианта. Выберите одну новую версию как контрольную и оценивайте остальные против неё.

Сообщение против отсутствия сообщения

Дайте одной ветке равный Time Delay и никакого сообщения, чтобы измерить, влияет ли касание на метрику вообще.

Как определяется победитель

Прежде чем тест сможет запуститься, задайте минимум 1 цель конверсии. Цель — это отслеживаемое событие, которое вы уже отправляете в Pushwoosh: покупка, оформление заказа, старт подписки, завершение уровня.

Pushwoosh оценивает каждую ветку против контрольной с помощью Z-Score и P-Value и отмечает результат как Significant при доверительном уровне 90%.

На одном тесте может работать несколько целей одновременно. Результаты считаются отдельно по каждой цели, и вы сами выбираете, какую цель смотреть, если активна не одна.

Тестирование на инфраструктуре, которую можно назвать по имени

Pushwoosh сертифицирован по SOC 2 Type I и ISO 27001:2022, соответствует требованиям GDPR и HIPAA и работает на собственном оборудовании в США и Германии, под юрисдикцией BDSG. Данные вашего теста, события целей и профили клиентов остаются на той же платформе, что отправляет сообщения.

ISO 27001:2022 CertifiedISO 27001 CertifiedGDPR CompliantData Privacy FrameworkHIPAA CompliantSOC 2 Type I CertifiedOWASP Compliant

Подробности сертификации — на странице безопасности данных.

Как это работает

  1. Поставьте сценарий на паузу и добавьте сплит

    Разместите элемент A/B/n Split на холсте, задайте от 2 до 4 веток и укажите долю трафика для каждой.

  2. Определите цель конверсии

    Выберите событие, которое считается победой. Проверьте, что оно может сработать в каждой ветке, включая контрольную.

  3. Запустите и выберите режим

    Автоматический сам направляет новых пользователей в победителя. Ручной оставляет решение «Оставить только победителя» за вами.

Важно знать перед запуском.

  • Сценарий нужно поставить на паузу, чтобы добавить или изменить сплит. Это не горячая правка работающего сценария.
  • До 4 веток на один элемент сплита.
  • Цель, которая может сработать только в одной ветке, ломает сравнение. Каждая ветка, включая контрольную, должна быть способна её выполнить.
  • Значимость объявляется при доверительном уровне 90%. Этот порог называет победителя раньше, чем 95%, но несёт более высокий риск ложного срабатывания.
  • Pushwoosh не задаёт минимальный размер выборки или минимальную длительность теста перед тем, как результат может быть отмечен как Significant. Сценариям с низким трафиком нужно больше терпения.

Другие продукты

Конструктор Customer Journey

Спроектируйте и оптимизируйте свои кампании с помощью одного визуального инструмента. Коммуницируйте, вовлекайте, удерживайте, конвертируйте, сегментируйте и экспериментируйте с помощью Pushwoosh Customer Journey Builder.

Триггерный маркетинг в реальном времени

Запускайте кампании автоматически, когда пользователи совершают действия. Поведенческие триггеры конвертируют в 3-5 раз лучше запланированных рассылок.

Кросс-канальная оркестрация

Омниканальная платформа для продуктовых команд. Координируйте push, in-app, email, SMS и WhatsApp в единой среде. Автоматизируйте customer journey на основе поведения пользователей.

Восстановление брошенных корзин

Превратите брошенные корзины в выручку с помощью автоматизации восстановления. Отправляйте своевременные напоминания, персонализированные предложения и стимулы, которые повышают конверсию.

Аналитика: основанные на данных инсайты для кампаний

Получайте практические инсайты по всем каналам коммуникации и повышайте ROI ваших кампаний с помощью комплексной аналитики Pushwoosh.

Напоминания о пополнении запасов

Увеличьте количество повторных покупок с помощью напоминаний о пополнении запасов. Автоматизируйте уведомления о повторном заказе на основе жизненного цикла продукта и стимулируйте предсказуемую регулярную выручку.