컨트롤 그룹으로 메시징의 진짜 효과 측정하는 방법

대시보드를 보면 새로운 저니를 시작한 이후로 전환이 오르고, 매출도 늘고 있습니다. 하지만 이 숫자가 의미가 있는지는 단 하나의 질문에 달려 있습니다. 정말 내가 보낸 메시지가 이 상승을 만든 걸까요, 아니면 그 사용자들은 어차피 전환됐을까요?

전환에 영향을 주는 요소 중에는 메시징과 전혀 관계없는 것도 많습니다. 추석이나 설날 프로모션 같은 시즌 특수, 앱 자체 기능 개선, 자연 유입 증가가 대표적입니다. 이를 확실히 구분하는 방법은 하나뿐입니다. 사용자 일부를 모든 메시징에서 완전히 제외하고, 그들이 스스로 어떤 행동을 하는지 지켜보는 것입니다. 이것이 바로 컨트롤 그룹(control group)이 하는 일입니다.

이 글에서는 컨트롤 그룹이 어떻게 작동하는지, 업리프트(uplift)를 어떻게 해석하는지, 그리고 Pushwoosh에서 몇 번의 클릭만으로 컨트롤 그룹을 설정하는 방법을 다룹니다.

A/B 테스트로는 답할 수 없는 이유

메시징 효과를 어떻게 측정할지 고민할 때, 대부분의 팀은 A/B 테스트를 먼저 떠올립니다. 훌륭하고 검증된 도구지만, 애초에 이 질문에 답하기 위한 도구는 아닙니다.

A/B 테스트는 더 좁은 질문에 답합니다: 어떤 메시지가 더 잘 작동하는가입니다. 푸시 A 대 푸시 B, 긴급성 문구 대 할인 문구, 푸시 대 이메일처럼요. 무엇을 보낼지 최적화하는 데는 적합한 도구지만, 그 발송 자체가 가치가 있었는지를 증명하는 것은 전혀 다른 문제입니다.

여기서 빠진 것이 바로 기준선(baseline)입니다. 기준선이 없으면 여러분은 ‘이긴 메시지’를 ‘또 다른 이긴 메시지’와 비교하고 있을 뿐, 그중 무엇이든 아무 메시지도 보내지 않은 상태를 이겼는지는 전혀 알 수 없습니다.

”

사람들은 A/B 테스트와 컨트롤 그룹을 자주 혼동합니다. 문제는 이 혼동이 조용히 예산을 갉아먹는다는 것입니다. A/B 테스트는 어떤 메시지가 이겼는지 알려주지만, 컨트롤 그룹은 애초에 메시지를 보낼 가치가 있었는지를 알려줍니다.

오픈율, 클릭률, 전달률, 구독자 수가 모두 오르면 다들 만족하지만, 그 사용자들이 원래도 전환됐을지는 아무도 확인하지 않습니다.

물론 구독자 100만 명과 전달률 99%는 발송 파이프라인이 잘 작동한다는 증거입니다. 하지만 그것이 여러분의 메시징이 실제로 매출을 1원이라도 움직였다는 뜻일까요? 전환은 월급날, 시즌 특수, 혹은 그저 자연 성장만으로도 항상 오릅니다. 이를 걸러내지 못하면, 여러분이 만들지 않은 결과를 자신의 성과로 가져가는 셈입니다.

또한 A/B 테스트는 메시징 옵션끼리만 비교할 뿐, 아무것도 보내지 않은 상태와는 절대 비교하지 않습니다. 컨트롤 그룹은 정확히 이 지점을 채웁니다. 일부를 남겨두고 나머지 전체에 메시지를 보낸 뒤, 그 차이가 실제 기준선 대비 여러분이 만들어낸 매출입니다.

정리하면, A/B 테스트는 메시지를 더 좋게 만들지만, 컨트롤 그룹은 여러분의 팀이 존재해야 하는 이유를 증명합니다.

Sergei Slizh

CMO at Pushwoosh

컨트롤 그룹이 실제로 측정하는 것

컨트롤 그룹(홀드아웃)은 오디언스를 두 그룹으로 나눕니다:

• Treatment(발송군). 평소처럼 마케팅 메시지를 받는 모든 사용자입니다. 푸시 알림, 이메일, 인앱 메시지, 카카오톡 알림 등이 여기에 포함됩니다.
• Control(홀드아웃군). 모든 마케팅에서 고정 비율로 제외된 사용자입니다. 비밀번호 재설정이나 영수증 같은 트랜잭션 메시지는 그대로 받기 때문에 서비스 이용에는 문제가 없습니다. 다만 캠페인은 절대 받지 않습니다.

두 그룹의 유일한 차이는 메시징 여부이므로, 행동에서 나타나는 모든 차이는 여러분의 메시징이 만든 결과입니다. 이 차이에는 이름이 있습니다. 바로 **업리프트(uplift)**입니다.

🛠️

Pushwoosh에서는 글로벌 컨트롤 그룹 기능을 사용할 수 있습니다. 홀드아웃 비율(1~15%)을 고정해두면, 플랫폼이 선택한 전환 이벤트를 기준으로 두 그룹을 자동으로 비교하고 분석 데이터를 제공합니다:

Pushwoosh의 글로벌 컨트롤 그룹 분석

실제로는 이렇게 작동합니다

사용자의 5%를 홀드아웃으로 설정하고, 전환 목표—앱에서 성공으로 간주하는 행동—를 정한다고 가정해봅시다. 전환 목표가 반드시 구매일 필요는 없습니다. 결제 완료, 플랜 업그레이드, 구독 시작, 레벨 완료 등 여러분이 성과로 취급하는 어떤 행동이든 가능합니다. 가능하다면 매출과 가장 가까운 이벤트를 선택하세요. 예산을 방어할 때 힘을 갖는 숫자는 바로 그것입니다.

30일 동안 메시지를 받은 95%(treatment)와 아무 메시지도 받지 않은 5%(control)를 비교하면 다음과 같습니다:

업리프트: +34%, 유의미(Significant)로 표시됩니다. (*업리프트는 컨트롤 그룹의 기준선 대비로 계산합니다: (8.2 − 6.1) / 6.1 ≈ 34%.)

해석 방법: 메시징으로 발생한 전환은 30일 동안 약 940건의 추가 구매입니다. 평균 주문 금액을 6만 원으로 잡으면, 여러분의 프로그램이 주장할 수 있는 매출은 약 5,640만 원입니다. “푸시를 많이 보냈다”와 “회사에 5,640만 원의 매출을 만들어줬다” 사이의 차이가 바로 여기서 생깁니다.

이것이 바로 이상적인 시나리오이며, CEO와 CFO에게 캠페인이 실제로 효과가 있다는 것을 증명하는 방법입니다! 💰

하지만 숫자가 항상 이렇게 좋게 나오는 것은 아닙니다. 어떤 결과가 나오든 해석하는 방법을 알아보겠습니다.

결과 해석하기: 3가지 케이스와 다음 행동

업리프트 값을 확인했다면, 그 숫자가 다음에 무엇을 해야 할지 알려줍니다.

”

마케팅 메시지가 오디언스에게 실제로 어떻게 전달되고, 그 이후 어떤 일이 벌어지는지를 제외된 사용자와 비교해 명확히 파악하려면 글로벌 컨트롤 그룹을 적용하는 것이 필수입니다.

이 방식은 저희 고객사 중 핀테크(Fintech)와 콘텐츠 제작(Content Creation) 업종에서 이미 효과를 입증했습니다. 글로벌 컨트롤 그룹을 도입한 이후 이들은 일상적인 발송 운영에 바로 적용할 수 있는 의미 있는 인사이트와 액션 아이템, 조정 사항을 다수 확보했습니다.

두 그룹의 차이—산업별 이벤트, 사용자 행동, 그리고 반대로 비활성 신호까지—는 전체 커뮤니케이션 전략을 검증하는 리트머스 시험지 역할을 합니다. 특히 오디언스를 위한 새로운 아이디어가 바닥났다고 느껴질 때 유용합니다. 컨트롤 그룹은 여러분의 메시징이 실제로 무엇을 만들어내고 있는지, 그리고 사용자들이 어차피 무엇을 했을지를 보여줍니다.

Max Kuzakov

Senior Customer Success Manager at Pushwoosh

Pushwoosh에서 몇 번의 클릭만으로 컨트롤 그룹 설정하기