A/B/n 스플릿 테스트

여정 안에서 승리하는 변형을 찾으세요

여정 트래픽을 최대 4개 분기로 나누고, 각 분기마다 다른 문구, 타이밍, 채널을 적용하세요. Pushwoosh가 전환 목표를 기준으로 모든 분기를 채점하고, 가장 성과가 좋은 분기로 신규 사용자를 자동으로 보냅니다.

데모 신청하기 무료로 시작하기

고객 여정 캔버스: 장바구니 이탈 트리거가 A/B/n 스플릿 요소로 연결되어 트래픽의 25%씩을 네 개 분기(기존 푸시 리마인더, 새 푸시 문구, 동일한 오퍼의 이메일, 메시지 없는 동일한 대기)로 보내고 모두 하나의 종료 지점에서 만나는 모습

스플릿 테스트에 필요한 모든 것

최대 4개 분기

분기 A가 대조군입니다. 분기마다 트래픽 비율을 직접 설정합니다.

무작위 배분

신규 진입자는 설정한 비율에 따라 자동으로 배정됩니다.

목표 기반 결과

전환 이벤트 1개 또는 여러 개를 추적하고, 각각 별도로 채점합니다.

내장된 유의성 검정

Z-Score와 P-Value를 계산하며, 90% 신뢰도에서 유의미(Significant)로 표시됩니다.

자동 승자 라우팅

신규 사용자는 별도 작업 없이 승리 분기로 자동 라우팅됩니다.

진행 중인 사용자 보호

이미 특정 분기에 들어간 사용자는 시작한 경로를 그대로 완료합니다.

각 분기에서 바꿀 수 있는 것

여정 캔버스 어디에나 A/B/n 스플릿 요소를 놓고 2~4개의 분기를 설정하세요. 각 분기는 자체 서브플로우로 실행되므로, 변형은 메시지 문구, 대기 시간, 채널, 또는 아무것도 보내지 않는 것까지 서로 다르게 만들 수 있습니다. 트래픽 비율의 합은 100%가 되어야 하며, 초기화 버튼으로 균등 분배로 되돌릴 수 있습니다.

분기 A – 대조군, 현재 운영 중인 플로우이거나 새로운 기준선.
분기 B, C, D – 도전자, 각각 고유한 메시지, 대기, 채널을 가집니다.
트래픽 비율 – 합이 100%가 되는 어떤 분배든 가능합니다. 균등 분배가 유의성에 가장 빨리 도달합니다.

스플릿 요소 자체는 메시징 로직을 가지고 있지 않습니다. 누가 어디로 갈지만 결정하며, 실제 발송은 그 아래의 채널 블록이 담당합니다.

테스트를 종료하는 두 가지 방법

A/B/n 테스트 결과 카드: 네 개 분기가 각각 18%, 41%, 22%, 19%를 기록하고, 성과가 낮은 분기는 비활성화되었으며 승리 분기에 90% 유의미 배지가 강조된 모습

자동 승자 선정

플랫폼이 목표를 지속적으로 관찰합니다. 한 분기가 90% 신뢰도 기준을 통과하면 Pushwoosh는 성과가 낮은 분기를 비활성화하고 모든 신규 진입자를 승리 분기로 보냅니다.

대시보드를 누가 보고 있는지와 상관없이 일어납니다.

A부터 D까지 분기별 전환율과 스파크라인이 담긴 실시간 테스트 통계 카드, 그 아래 승자만 유지 버튼

원할 때는 수동으로 제어

수동 모드는 동일한 실시간 통계를 보여주되 결정은 사용자에게 맡깁니다. 수치를 확인한 뒤 승자만 유지 버튼을 눌러 낮은 성과의 분기를 비활성화하세요.

여정은 결정을 내리는 동안에도 계속 실행됩니다. 테스트 종료가 여정 일시 중지를 요구하지 않습니다.

비활성화는 신규 진입자에게만 적용됩니다. 이미 특정 분기에 배정된 사용자는 이후 그 분기에 어떤 일이 일어나든 배정받은 경로를 그대로 완료합니다.

A/B/n 스플릿 테스트가 가장 효과적인 상황

장바구니 이탈

리마인더 문구와 대기 시간을 테스트한 뒤, 더 많은 장바구니를 복구하는 버전을 유지하세요.

페이월 및 체험판 메시지

전환 이벤트를 기준으로 체험판 종료 메시지의 문구나 타이밍을 A/B 테스트하세요.

다이제스트 헤드라인과 발송 시각

정기 다이제스트에서 헤드라인 2종 또는 발송 시각 2가지를 실행하고 오픈율이나 클릭률로 채점하세요.

채널 선호도

동일한 메시지를 푸시, 이메일, SMS, 카카오톡으로 보내 세그먼트별로 어떤 채널이 가장 잘 전환되는지 확인하세요.

게임 내 수익화 오퍼

재참여 여정 안에서 오퍼 문구나 타이밍을 테스트하고, 구매 이벤트를 목표로 설정하세요.

윈백 타이밍

휴면 사용자에게 연락하기까지 얼마나 기다려야 하는지 비교하세요.

핀테크 앱이라면 결제 리마인더 문구나 알림 타이밍을 이 방식으로 비교해, 규제 대응이 필요한 채널에서도 안전하게 실험할 수 있습니다.

하나의 여정, 모든 채널

스플릿 요소는 모든 채널 블록과 동일한 캔버스에 위치하므로, 한 분기 안에서 모바일 푸시, 인앱 메시지, 이메일, SMS, WhatsApp, 카카오톡, 웹 푸시까지 하나의 고객 프로필을 대상으로 함께 사용할 수 있습니다.

이미 여정이 실행되고 있는 고객 여정 빌더 안에서 바로 테스트를 설계하므로, 별도의 실험 도구를 따로 연결할 필요가 없습니다.

테스트를 설계하는 세 가지 방법

기존 플로우 vs 새로운 아이디어

분기 A는 현재 발송 중인 메시지를 유지합니다. B, C, D가 도전자를 담당합니다.

새 아이디어 vs 새 아이디어

기존 플로우 없이, 새 버전 하나를 대조군으로 정하고 나머지를 그 기준으로 채점하세요.

메시지 vs 메시지 없음

한 분기에는 동일한 타임 딜레이만 두고 메시지를 보내지 않아, 접촉 자체가 지표를 움직이는지 측정하세요.

승자는 어떻게 결정되나요

테스트를 시작하려면 최소 1개의 전환 목표를 정의해야 합니다. 목표는 이미 Pushwoosh로 전송하고 있는 추적 이벤트입니다: 구매, 결제, 구독 시작, 레벨 완료 등입니다.

Pushwoosh는 각 분기를 대조군과 비교해 Z-Score와 P-Value로 채점하고, 90% 신뢰도에서 결과를 유의미(Significant)로 표시합니다.

하나의 테스트에서 여러 목표를 동시에 추적할 수 있습니다. 결과는 목표별로 따로 계산되며, 여러 목표가 동시에 진행 중일 때 어떤 목표를 기준으로 볼지 직접 선택할 수 있습니다.

이름을 밝힐 수 있는 인프라에서 테스트하세요

Pushwoosh는 미국과 독일에 있는 자체 인프라에서 운영되며, GDPR과 독일 연방 데이터보호법(BDSG)을 준수합니다. 고객 데이터 보호는 타협할 수 없는 원칙입니다. Pushwoosh는 SOC 2 Type I 및 ISO 27001:2022 인증을 획득했습니다. 테스트 데이터, 목표 이벤트, 고객 프로필은 모두 메시지를 발송하는 동일한 플랫폼 위에 안전하게 보관됩니다.

전체 인증 정보는 데이터 안전성 페이지에서 확인하세요.

이용 방법

여정을 일시 중지하고 스플릿을 추가하세요

캔버스에 A/B/n 스플릿 요소를 배치하고 2~4개의 분기를 설정한 뒤, 각 분기의 트래픽 비율을 정하세요.
전환 목표를 정의하세요

승리 기준이 될 이벤트를 선택하세요. 대조군을 포함한 모든 분기에서 해당 이벤트가 발생할 수 있는지 확인하세요.
시작하고 모드를 선택하세요

자동 모드는 신규 사용자를 승리 분기로 스스로 라우팅합니다. 수동 모드는 승자만 유지 버튼을 누르는 결정을 사용자에게 맡깁니다.

문서 보기

시작하기 전에 알아두면 좋은 점.

스플릿을 추가하거나 재구성하려면 여정이 일시 중지되어 있어야 합니다. 실행 중인 여정에서 즉시 수정할 수는 없습니다.
스플릿 요소 하나에 최대 4개 분기까지 설정할 수 있습니다.
한 분기에서만 발생할 수 있는 목표는 비교를 무너뜨립니다. 대조군을 포함한 모든 분기가 해당 목표를 완료할 수 있어야 합니다.
유의성은 90% 신뢰도에서 판정됩니다. 이는 95% 기준보다 승자를 더 빨리 선언하지만 오탐 위험도 더 높습니다.
Pushwoosh는 결과를 유의미로 표시하기 전에 최소 샘플 크기나 최소 테스트 기간을 강제하지 않습니다. 트래픽이 적은 여정에서는 인내심이 필요합니다.