Дашборд показывает, что конверсии растут после запуска нового сценария, а выручка увеличивается. Но есть один вопрос, от ответа на который зависит, значат ли эти цифры хоть что-нибудь: ваши сообщения вызвали этот рост, или пользователи совершили бы целевое действие в любом случае?
На конверсии влияет множество факторов, не имеющих отношения к вашим кампаниям: сезонный всплеск, новая функция в приложении, органический рост. Есть только один способ узнать наверняка: полностью исключить часть пользователей из рассылок и понаблюдать, что они будут делать сами по себе. Именно этим и занимается контрольная группа.
В этой статье разберём, как работает контрольная группа, как читать метрику прироста (uplift) и как настроить её в Pushwoosh за пару кликов.
Почему A/B-тест не даёт ответа на этот вопрос
Столкнувшись с этим вопросом (как измерить эффект от рассылок), большинство команд первым делом хватаются за A/B-тестирование. Это классический и действительно хороший инструмент — просто он не предназначен для этой задачи.
A/B-тест отвечает на более узкий вопрос: какое сообщение работает лучше. Пуш A против пуша B, срочность против скидки, пуш против email. Это правильный инструмент для оптимизации того, что вы отправляете, — но это совсем другая задача, отличная от доказательства того, что отправка вообще была оправдана.
Именно базовой линии вам и не хватает. Без неё вы сравниваете своих победителей с другими своими победителями, но не можете понять, обошёл ли хоть один из них молчание.
| A/B-тест | Контрольная группа | |
|---|---|---|
| Вопрос | Какое сообщение работает лучше? | Работают ли рассылки вообще? |
| Кто получает сообщения | Все (все варианты) | Все, кроме удерживаемой группы |
| Что вы узнаёте | Наиболее эффективный вариант | Ваш реальный, инкрементальный эффект |
Люди постоянно путают A/B-тестирование и контрольные группы. Проблема в том, что эта путаница незаметно съедает бюджеты. A/B-тест говорит, какое сообщение победило, а контрольная группа — стоило ли вообще отправлять рассылку.
Открытия, клики, доставляемость, число подписчиков растут, все довольны — и никто не проверяет, конвертировались бы эти пользователи и без рассылки.
Да, миллион подписчиков и 99% доставляемости доказывают, что технически всё работает. Но означает ли это, что ваши сообщения принесли хоть один доллар? Конверсии растут всегда: зарплата, сезонность или просто органический рост. Если вы не можете вычесть этот эффект, вы приписываете себе результат, который не заработали.
Кроме того, в A/B-тесте вы сравниваете варианты сообщений, но никогда не сравниваете их с молчанием. Контрольная группа делает именно это: часть аудитории не получает рассылку, остальным отправляются сообщения, и разница — это реальная выручка, которую вы принесли, на фоне настоящей базовой линии.
Итого: A/B-тестирование делает сообщение лучше, а контрольная группа доказывает, что ваша команда действительно нужна.
Что на самом деле измеряет контрольная группа
Контрольная группа (холдаут) делит вашу аудиторию на 2 части:
- Тестовая группа (treatment). Все, кто получает ваши маркетинговые сообщения в обычном режиме: пуш-уведомления, email, in-app сообщения.
- Контрольная группа (control). Фиксированная часть аудитории, исключённая из всех маркетинговых рассылок. Транзакционные сообщения — например, сброс пароля или чеки — они всё равно получают, так что для них ничего не ломается. Просто они никогда не получают кампании.
Поскольку единственное различие между двумя группами — это ваши рассылки, любой разрыв в их поведении — это результат вашей работы. У этого разрыва есть название: прирост (uplift).
В Pushwoosh для этого можно использовать функцию Global control group. Вы задаёте фиксированный процент пользователей для исключения (1–15%), а платформа автоматически сравнивает обе группы по выбранному вами событию конверсии и предоставляет аналитику:
Как это выглядит на практике
Допустим, вы исключаете 5% пользователей и выбираете цель конверсии — действие, которое считается успехом в вашем приложении. Цель конверсии не обязательно должна быть покупкой: успешное оформление заказа, переход на платный тариф, начало подписки, пройденный уровень — что угодно, что вы считаете победой. Там, где возможно, выбирайте метрику, максимально близкую к выручке — именно она весит больше всего, когда вы защищаете бюджет.
За 30-дневный период 95% пользователей, получавших сообщения (treatment), сравниваются с молчаливыми 5% (control), и вы смотрите, как конвертируется каждая группа:
| Группа | Конверсия |
|---|---|
| Тестовая группа (получала сообщения) | 8.2% |
| Контрольная группа (исключена) | 6.1% |
Прирост: +34%, отмечен как статистически значимый. (*Прирост считается относительно базовой линии контрольной группы: (8.2 − 6.1) / 6.1 ≈ 34%.)
Как это интерпретировать: конверсии, вызванные рассылками, — это примерно 940 дополнительных покупок за 30 дней. При среднем чеке $45 это около $42 тыс. выручки, которую ваша программа может записать на свой счёт — разница между «мы отправили много пушей» и «мы принесли компании $42 тыс.»
Это лучший из возможных сценариев — и именно так вы доказываете CEO и CFO, что ваши кампании действительно работают! 💰
Но результат не всегда будет выглядеть так радужно. Вот как читать его в любом случае.
Как читать результат: 3 сценария и что делать дальше
Когда прирост посчитан, эта цифра подсказывает, что делать дальше.
| Результат | Что это значит | Ваши действия |
|---|---|---|
| Положительный и значимый (как в нашем примере) | Ваши рассылки создают реальный прирост сверх базовой линии | Масштабируйте самые сильные сценарии, отключайте слабые. Берите эту цифру на защиту бюджета — фразу «прирост 34% относительно контроля» никто не отмахнётся |
| Без изменений или незначимо | Тестовая и контрольная группы конвертируются примерно одинаково — эти пользователи конвертировались бы в любом случае | Прежде чем отключать рассылку, переработайте предложение или сузьте сегмент. Обычно это массовая рассылка без сегментации, которую легко обходит таргетированная версия |
| Отрицательный | Контрольная группа конвертируется лучше — тестовая группа показывает худший результат, обычно из-за избыточных рассылок | Резко снизьте частоту и измерьте снова. Контрольная группа — единственный способ вообще заметить избыточные рассылки; без неё всё будет выглядеть нормально на любом графике open rate |
Использование Global control group обязательно, если вы хотите ясно видеть, как ваши маркетинговые коммуникации воздействуют на аудиторию — и что происходит дальше, — по сравнению с пользователями, которые из них исключены.
Этот подход доказал свою ценность у наших клиентов в FinTech и Content Creation: внедрение Global control group дало им множество значимых инсайтов, конкретных задач и корректировок, которые они сразу применили в повседневной работе с рассылками.
Разница между двумя группами — измеряемая через специфичные для отрасли события, действия пользователей и, наоборот, признаки неактивности — работает как лакмусовая бумажка для всей вашей коммуникационной стратегии. Это особенно полезно, когда кажется, что свежие идеи для аудитории закончились: контрольная группа показывает, что на самом деле драйвят ваши рассылки, а что пользователи сделали бы в любом случае.
Настройка контрольной группы в Pushwoosh за несколько кликов
-
Выберите размер удерживаемой группы
Задайте долю пользователей для исключения; 5% — сбалансированное значение по умолчанию. Новые пользователи автоматически попадают в группу.
-
Отметьте кампании как маркетинговые
Исключение применяется только к маркетинговым сообщениям, поэтому транзакционные рассылки — чеки, сброс пароля — всё равно доходят до всех.
-
Выберите события, которые определяют успех
Добавьте их как цели конверсии в ваших сценариях, чтобы отчёт знал, что измерять. Это не обязательно покупка — выбирайте всё, что представляет реальную ценность для вашего приложения: завершённая покупка для e-commerce, переход на платную подписку, пройденный уровень для игр или любое другое событие, которое вы считаете конверсией.
-
Читайте отчёт
Страница контрольной группы показывает ваш прирост и его статистическую значимость — никаких ручных расчётов не требуется.
