आपका डैशबोर्ड दिखा रहा है कि नई जर्नी लॉन्च करने के बाद conversions बढ़ रहे हैं, और रेवेन्यू भी ऊपर जा रहा है। लेकिन एक सवाल तय करता है कि यह नंबर वाकई मतलब रखता है या नहीं: क्या आपके मैसेज की वजह से यह बढ़त आई, या ये यूज़र्स बिना मैसेज के भी convert हो जाते?
कई चीज़ें conversions बढ़ाती हैं जिनका आपकी मैसेजिंग से कोई लेना-देना नहीं होता — त्योहारी सीज़न की सेल (जैसे दिवाली या Big Billion Days), ऐप का कोई नया feature, या organic growth। इसे पक्के तौर पर जानने का एक ही तरीका है: अपने यूज़र्स का एक हिस्सा पूरी तरह मैसेजिंग से बाहर रखें और देखें कि वे अपने आप क्या करते हैं। यही एक control group करता है।
यह पोस्ट बताती है कि control group कैसे काम करता है, uplift कैसे पढ़ें, और Pushwoosh में इसे कुछ ही क्लिक में कैसे सेट करें।
A/B test इस सवाल का जवाब क्यों नहीं दे सकता
इस सवाल का सामना करते हुए (मैसेजिंग impact कैसे मापें), ज़्यादातर टीमें A/B testing की तरफ जाती हैं। यह एक क्लासिक टूल है, और अच्छा भी है — बस यह इस काम के लिए नहीं बना।
A/B test एक ज़्यादा सीमित सवाल का जवाब देता है: कौन सा मैसेज बेहतर परफॉर्म करता है। Push A बनाम Push B, urgency बनाम discount, push बनाम email। जो आप भेज रहे हैं उसे optimize करने के लिए यह सही टूल है, जो यह prove करने से बिल्कुल अलग काम है कि भेजना फायदेमंद था भी या नहीं।
वह baseline वही चीज़ है जो आपके पास नहीं है। इसके बिना, आप अपने winners की तुलना अपने ही दूसरे winners से कर रहे हैं, और यह पता नहीं चलता कि इनमें से कोई silence को भी बीट करता है या नहीं।
| A/B test | Control group | |
|---|---|---|
| सवाल | कौन सा मैसेज सबसे बेहतर काम करता है? | क्या मैसेजिंग असल में काम करती है? |
| किसे मैसेज मिलता है | सभी को (सभी variants) | एक holdout को छोड़कर सभी को |
| आप क्या सीखते हैं | सबसे बेहतर परफॉर्म करने वाला version | आपका असली, incremental impact |
लोग अक्सर A/B testing और control groups को लेकर कन्फ्यूज़ हो जाते हैं। समस्या यह है कि यह कन्फ्यूज़न चुपचाप budgets जलाता रहता है। जहां A/B test बताता है कि कौन सा मैसेज जीता, वहीं control group बताता है कि आपको सेंड बटन दबाना भी चाहिए था या नहीं।
Opens, click rates, delivered rates, subscriber counts बढ़ते हैं, सब खुश रहते हैं, और कोई यह चेक नहीं करता कि वे यूज़र्स अपने आप भी convert हो जाते या नहीं।
हां, एक मिलियन subscribers और 99% delivered rate यह साबित करते हैं कि आपकी pipes काम कर रही हैं। लेकिन इसका मतलब यह नहीं कि आपकी मैसेजिंग ने एक भी डॉलर हिलाया। Conversions हमेशा बढ़ते हैं: payday, seasonality, या बस organic growth की वजह से। अगर आप इसे subtract नहीं कर सकते, तो आप एक ऐसे रिज़ल्ट का क्रेडिट ले रहे हैं जो आपने कमाया ही नहीं।
साथ ही, A/B test में आप मैसेजिंग के ऑप्शन्स compare करते हैं, लेकिन कभी silence के मुकाबले नहीं मापते। Control group ठीक यही करता है: एक हिस्सा रोककर रखें, बाकी सबको मैसेज करें, और जो फर्क आता है वही असल revenue है जो आपने एक सच्चे baseline के मुकाबले ड्राइव किया।
कुल मिलाकर, A/B testing किसी मैसेज को बेहतर बनाता है, लेकिन control group यह साबित करता है कि आपकी टीम का असल में वजूद होना चाहिए।
Control group असल में क्या मापता है
एक control group (एक holdout) आपकी ऑडियंस को 2 हिस्सों में बांटता है:
- Treatment. वे सभी जिन्हें आपके मार्केटिंग मैसेज हमेशा की तरह मिलते हैं: push notifications, email, in-app message।
- Control. एक फिक्स्ड हिस्सा जिसे सारी मार्केटिंग से बाहर रखा जाता है। उन्हें फिर भी transactional मैसेज मिलते हैं जैसे password reset और receipts, इसलिए उनके लिए कुछ भी नहीं टूटता। उन्हें बस कोई campaign कभी नहीं मिलता।
चूंकि इन 2 groups के बीच सिर्फ आपकी मैसेजिंग का फर्क है, उनके behavior में कोई भी gap आपकी वजह से है। उस gap का एक नाम है: uplift।
Pushwoosh में, आप Global control group फीचर इस्तेमाल कर सकते हैं। आप होल्ड आउट करने के लिए यूज़र्स का एक फिक्स्ड percentage सेट करते हैं (1–15%), और प्लेटफॉर्म अपने आप आपके चुने हुए किसी भी conversion event पर दोनों groups को compare करता है और आपको एनालिटिक्स देता है:
प्रैक्टिस में यह कैसा दिखता है
मान लीजिए आप अपने 5% यूज़र्स को होल्ड आउट करते हैं और एक conversion goal चुनते हैं — वह एक्शन जो आपके ऐप में success माना जाता है। conversion goal का purchase होना ज़रूरी नहीं: e-commerce में एक successful checkout, EdTech में कोई कोर्स पूरा होना, FinTech में एक UPI पेमेंट, या कोई भी और चीज़ जिसे आप win मानते हैं। जहां मुमकिन हो, वह गोल चुनें जो revenue के सबसे करीब हो — यही वह नंबर है जो budget डिफेंड करते वक्त वज़न रखता है।
30-दिन के window में, मैसेज पाने वाले 95% (treatment) साइलेंट 5% (control) के मुकाबले चलते हैं, और आप compare करते हैं कि हर group कैसे convert करता है:
| Group | Conversion rate |
|---|---|
| Treatment (मैसेज किए गए) | 8.2% |
| Control (होल्ड आउट) | 6.1% |
Uplift: +34%, Significant के तौर पर मार्क किया गया। (*Uplift को control baseline के मुकाबले मापा जाता है: (8.2 − 6.1) / 6.1 ≈ 34%।)
इसे कैसे पढ़ें: मैसेजिंग से आई conversions: 30 दिनों में लगभग 940 एक्स्ट्रा purchases। ₹1,500 के average order value पर, यह आपके प्रोग्राम के नाम लगभग ₹14 लाख का revenue है — यही फर्क है “हमने बहुत सारे pushes भेजे” और “हमने कंपनी को ₹14 लाख बनाकर दिए” के बीच।
यह happy path है, और इसी तरह आप अपने CEO और CFO को साबित करते हैं कि आपके campaigns असल में काम करते हैं! 💰
लेकिन नंबर हमेशा ऐसा नहीं दिखेगा। यहां बताया गया है कि जो भी रिज़ल्ट आए, उसे कैसे पढ़ें।
रिज़ल्ट पढ़ना: 3 outcomes और आपका अगला कदम
एक बार जब आपके पास uplift आ जाए, तो नंबर बताता है कि आगे क्या करना है।
| रिज़ल्ट | इसका मतलब क्या है | आपका अगला कदम |
|---|---|---|
| Positive & significant (जैसा हमारे example में है) | आपकी मैसेजिंग baseline से आगे असली lift बनाती है | सबसे मज़बूत flows को scale करें, कमज़ोर वालों को काटें। इस नंबर को budget review में ले जाएं — “control के मुकाबले 34% का lift” एक ऐसी लाइन है जिसे कोई नज़रअंदाज़ नहीं कर सकता |
| Flat या not significant | Treatment और control लगभग बराबर convert करते हैं; वे यूज़र्स वैसे भी convert हो जाते | काटने से पहले offer को दोबारा बनाएं या segment को टाइट करें। आम तौर पर यह एक generic blast होता है जिसे एक segmented version हरा देगा |
| Negative | Control बेहतर convert करता है — मैसेज पाने वाला group नुकसान में है, आम तौर पर over-messaging की वजह से | Frequency तुरंत कम करें और फिर से measure करें। सिर्फ एक control group ही over-messaging को पकड़ पाता है; इसके बिना, यह आपके हर open-rate chart पर बिल्कुल ठीक दिखता है |
अगर आप साफ तौर पर देखना चाहते हैं कि आपके मार्केटिंग कम्युनिकेशन्स आपकी ऑडियंस पर कैसा असर डालते हैं, और आगे क्या होता है, उन यूज़र्स के मुकाबले जो इनसे बाहर रखे गए हैं — तो एक Global control group लगाना ज़रूरी है।
यह approach हमारे Fintech और Content Creation कस्टमर्स के साथ अपनी वैल्यू साबित कर चुका है: Global control group अपनाने से उन्हें कई मीनिंगफुल insights, action items, और adjustments मिले जिन्हें वे सीधे अपने day-to-day sending operations में ला सके।
दो groups के बीच का फर्क — जो industry-specific events, user actions, और उल्टा, inactivity के signals में मापा जाता है — आपकी पूरी communication strategy के लिए एक litmus test की तरह काम करता है। यह खासतौर पर तब काम आता है जब आपको लगे कि आपकी ऑडियंस के लिए नए आइडियाज़ खत्म हो गए हैं: control group दिखाता है कि आपकी मैसेजिंग असल में क्या ड्राइव कर रही है, और यूज़र्स वैसे भी क्या करते।
Pushwoosh में अपना control group कुछ ही क्लिक में सेट करें
-
अपना holdout साइज़ चुनें
उन यूज़र्स का हिस्सा सेट करें जिन्हें होल्ड आउट करना है; 5% एक बैलेंस्ड डिफॉल्ट है। नए sign-ups अपने आप group में जुड़ जाते हैं।
-
अपने campaigns को marketing के रूप में मार्क करें
Holdout सिर्फ marketing मैसेज पर लागू होता है, इसलिए आपके transactional sends — receipts, password resets — सबको मिलते रहते हैं।
-
वे events चुनें जो success तय करते हैं
इन्हें अपनी journeys में conversion goals के तौर पर जोड़ें ताकि report को पता चले कि क्या measure करना है। यह purchase होना ज़रूरी नहीं — जो भी आपके ऐप के लिए असली value दिखाता है वह चुनें: e-commerce के लिए एक पूरी हुई purchase, subscription के लिए paid पर upgrade, gaming के लिए एक पूरा हुआ level, या कोई भी और event जिसे आप conversion मानते हैं।
-
Report पढ़ें
Control group page आपका uplift दिखाता है और यह भी कि वह significant है या नहीं — आपकी तरफ से कोई manual math नहीं।
