A/B/n Split Testing

अपनी journey के अंदर ही winning variant ढूंढें

Journey traffic को 4 branches तक split करें, हर एक की अपनी copy, timing, या channel। Pushwoosh हर branch को आपके conversion goals पर score करता है और नए यूज़र्स को उस branch पर भेजता है जो सबसे बेहतर perform करे — बिना किसी अलग experimentation tool के।

डेमो बुक करें फ्री में शुरू करें

Customer Journey canvas: a cart-abandoned trigger feeding an A/B/n Split element that sends 25% of traffic down each of four branches — the current push reminder, a new push copy, the same offer by email, and an equal delay with no message — all ending at a shared exit

Split test चलाने के लिए जो कुछ चाहिए, सब यहीं है

4 branches तक

Branch A control होती है। हर branch के लिए traffic share आप set करते हैं।

Random allocation

हर नया entrant उन percentages के हिसाब से assign होता है जो आपने configure किए हैं।

Goal-driven results

1 conversion event track करें या कई — हर एक अलग से score होता है।

Significance built in

Z-Score और P-Value, 90% confidence पर Significant मार्क होता है।

Automatic winner routing

नए यूज़र्स को बिना किसी manual step के winning branch पर route किया जाता है।

In-flight यूज़र्स protected

जो यूज़र पहले से किसी branch में है, वो अपना started path पूरा करता है।

हर branch क्या बदल सकती है

Journey canvas पर कहीं भी A/B/n Split element ड्रॉप करें और उसे 2 से 4 branches दें। हर branch अपना अलग sub-flow चलाती है, तो कोई variant message copy से, delay length से, channel से, या कुछ भेजे ही ना — इससे अलग हो सकता है। Traffic percentages का total 100% होना चाहिए, और एक reset control उन्हें बराबर distribution पर वापस लाता है।

Branch A – control, या तो आज चल रहा flow या एक fresh baseline।
Branches B, C और D – challengers, हर एक की अपनी messages, delays और channels।
Traffic share – कोई भी split जो 100% तक जोड़े। Even split सबसे तेज़ significance तक पहुंचता है — भारत जैसे high-volume, mobile-first market में यह मायने रखता है, जहाँ एक single flash sale में लाखों entrants एक साथ आ सकते हैं।

Split element में अपनी कोई messaging logic नहीं होती। यह सिर्फ तय करता है कि कौन कहाँ जाए, और नीचे के channel blocks भेजने का काम करते हैं।

Test बंद करने के दो तरीके

A/B/n test results card: four branches at 18, 41, 22 and 19 percent, the losing branches switched off and the winning branch highlighted with a Significant 90% badge

Automatic winner selection

Platform आपके goal को लगातार watch करता है। कोई branch जैसे ही 90% confidence bar clear करती है, Pushwoosh underperforming branches को deactivate कर देता है और हर नए entrant को winner पर भेजता है।

ये तब भी होता है जब कोई dashboard पर देख नहीं रहा — रात 2 बजे का Big Billion Days traffic भी उतना ही अच्छे से handle होता है।

Live test statistics card with per-branch conversion rates and sparklines for branches A to D, above a Keep only winner button

जब चाहें Manual control

Manual mode वही live statistics दिखाता है और फैसला आप पर छोड़ता है। Numbers पढ़ें, फिर losing branches को deactivate करने के लिए Keep only winner पर click करें।

Journey आपके फैसला लेने के दौरान चलती रहती है। Test बंद करने के लिए उसे pause करना ज़रूरी नहीं।

Deactivation सिर्फ नए entrants पर लागू होता है। जो यूज़र्स पहले से किसी branch को assign हैं, वो अपना दिया गया path पूरा करते हैं, बाद में उस branch का जो भी हो।

A/B/n split testing किसके लिए सबसे बेहतर है

Cart abandonment

Reminder copy और delay length test करें, फिर वो version रखें जो ज़्यादा carts recover करे — जैसे Diwali सेल के पीक हफ़्तों में।

Paywall और trial messages

अपने conversion event के against trial-ending message की wording या timing को A/B करें।

Digest headlines और send times

किसी recurring digest पर 2 headlines या 2 send times चलाएं और उन्हें opens या clicks पर score करें।

Channel preference

एक ही message push, email और SMS पर भेजें ये पता करने के लिए कि किसी segment के लिए कौन-सा channel सबसे ज़्यादा convert करता है — भारत में push अक्सर email से आगे निकल जाता है।

Games में monetization offers

किसी re-engagement journey के अंदर offer copy या timing test करें, purchase events को goal बनाकर।

Win-back timing

किसी dormant यूज़र तक पहुंचने से पहले कितना wait करना है, ये compare करें।

एक journey, हर channel

Split element उसी canvas पर बैठता है जिस पर हर channel block है, तो कोई branch एक ही customer profile के against mobile push, in-app messages, email, SMS, WhatsApp या web push ले जा सकती है।

आप test वहीं build करते हैं जहाँ journey पहले से चल रही है, Customer Journey Builder के अंदर, ना कि उसके साथ कोई अलग experimentation tool जोड़कर।

Test design करने के तीन तरीके

आज का flow बनाम नया idea

Branch A वो रखती है जो आप आज भेजते हैं। B, C और D challengers ले जाती हैं।

नया idea बनाम नया idea

कोई incumbent involved नहीं। एक नए version को control चुनें और बाकियों को उसके against score करें।

Message बनाम कोई message नहीं

एक branch को बराबर का Time Delay दें और कोई message ना दें, ये मापने के लिए कि touch metric को हिलाता भी है या नहीं।

Winner कैसे तय होता है

Test launch होने से पहले कम-से-कम 1 conversion goal define करें। Goal एक tracked event है जो आप पहले से Pushwoosh को भेज रहे हैं: कोई purchase, checkout, subscription start, या level completion — UPI payment confirm होना भी एक valid goal event है।

Pushwoosh हर branch को control के against Z-Score और P-Value से score करता है, और result को 90% confidence level पर Significant मार्क करता है।

एक ही test पर कई goals एक साथ चल सकते हैं। Results हर goal के लिए अलग calculate होते हैं, और एक से ज़्यादा live हों तो आप चुनते हैं कि कौन-सा goal पढ़ना है।

ऐसी infrastructure पर testing जिसका नाम आप बता सकते हैं

Pushwoosh अपने hardware पर US और Germany में चलता है, GDPR और BDSG के तहत। आपका test data, goal events और customer profiles उसी platform पर रहते हैं जो messages भेजता है।

पूरी certification detail data safety page पर है।

यह कैसे काम करता है

Journey pause करें और split जोड़ें

Canvas पर A/B/n Split element रखें, 2 से 4 branches सेट करें, और हर एक को उसका traffic share दें।
Conversion goal define करें

वो event चुनें जो win गिनता है। Check करें कि वो हर branch में fire हो सकता है, control भी शामिल।
Launch करें और अपना mode चुनें

Automatic नए यूज़र्स को खुद winner पर route करता है। Manual Keep only winner का फैसला आप पर छोड़ता है।

Docs पढ़ें

Launch से पहले जानने लायक बातें।

Split add या reconfigure करने के लिए journey pause होनी चाहिए। किसी running journey पर hot edit नहीं है।
एक split element में 4 branches तक।
जो goal सिर्फ एक branch में fire हो सकता है, वो comparison तोड़ देता है। हर branch, control भी शामिल, उसे complete कर पाना चाहिए।
Significance 90% confidence पर call होती है। ये bar 95% वाले से जल्दी winner नाम देता है और false-positive risk ज़्यादा रखता है।
Pushwoosh किसी result को Significant मार्क करने से पहले minimum sample size या minimum test duration enforce नहीं करता। Low-traffic journeys को patience चाहिए।