নতুন journey লঞ্চ করার পর আপনার dashboard-এ conversion বাড়ছে, revenue-ও বাড়ছে। কিন্তু একটা প্রশ্নই ঠিক করে দেয় এই সংখ্যার আসলে কোনো মানে আছে কিনা: আপনার message-এর কারণেই কি এই lift এসেছে, নাকি এই ইউজাররা এমনিতেই convert করতেন?
conversion বাড়ার পেছনে আপনার কোনো হাত নেই এমন অনেক কারণ থাকতে পারে — একটা seasonal স্পাইক (যেমন ঈদ বা পহেলা বৈশাখের সেল), অ্যাপের নতুন কোনো feature, বা এমনিতেই organic growth। এটা নিশ্চিতভাবে জানার একটাই উপায় আছে: আপনার ইউজারদের একটা অংশকে সম্পূর্ণভাবে messaging থেকে বাইরে রাখুন, আর দেখুন তারা নিজেরা কী করেন। এটাই একটা control group করে।
এই পোস্টে থাকছে: control group কিভাবে কাজ করে, uplift কিভাবে পড়বেন, আর কয়েক ক্লিকেই Pushwoosh-এ কিভাবে এটা সেটআপ করবেন।
কেন একটা A/B test এই প্রশ্নের উত্তর দিতে পারে না
messaging-এর impact কিভাবে measure করবেন — এই প্রশ্নের সামনে পড়লে বেশিরভাগ টিম প্রথমেই A/B testing-এর দিকে যায়। এটা একটা ক্লাসিক আর ভালো টুল — কিন্তু এই কাজের জন্য বানানো হয়নি।
A/B test একটা ছোট প্রশ্নের উত্তর দেয়: কোন message ভালো পারফর্ম করছে। Push A বনাম Push B, urgency বনাম discount, push বনাম email। আপনি যা পাঠাচ্ছেন তা optimize করার জন্য এটা ঠিক টুল — কিন্তু পাঠানোটা আসলে worth ছিল কিনা প্রমাণ করা এটা থেকে সম্পূর্ণ আলাদা একটা কাজ।
সেই baseline-টাই আপনার কাছে নেই। এটা ছাড়া আপনি আপনার winner message-গুলোকে আরেকটা winner message-এর সাথে তুলনা করছেন — কোনোটাই silence-কে (কিছু না পাঠানোকে) হারাতে পেরেছে কিনা তার কোনো hint নেই।
| A/B test | Control group | |
|---|---|---|
| প্রশ্ন | কোন message সবচেয়ে ভালো কাজ করে? | messaging আসলেই কাজ করে কিনা? |
| কাকে message পাঠানো হয় | সবাইকে (সব variant) | একটা holdout ছাড়া সবাইকে |
| কী শিখবেন | সবচেয়ে ভালো পারফর্ম করা ভার্সন | আপনার real, incremental impact |
মানুষ প্রায়ই A/B testing আর control group গুলিয়ে ফেলে। সমস্যা হলো, এই গুলিয়ে ফেলাটা নিঃশব্দে budget পুড়িয়ে দেয়। A/B test বলে দেয় কোন message জিতেছে, কিন্তু control group বলে দেয় আসলে send বাটনে ক্লিক করাটা ঠিক ছিল কিনা।
Open, click rate, delivered rate, subscriber count — সব বাড়ছে, সবাই খুশি, আর কেউ চেক করছে না এই ইউজাররা এমনিতেই convert করতেন কিনা।
হ্যাঁ, এক মিলিয়ন subscriber আর 99% delivered rate প্রমাণ করে আপনার pipe ঠিকমতো কাজ করছে। কিন্তু এর মানে কি এই যে আপনার messaging আসলে এক টাকাও নাড়িয়েছে? Conversion তো এমনিতেই বাড়ে: বেতনের দিন, কোনো season, বা শুধু organic growth-এর কারণে। এটা বাদ দিতে না পারলে, আপনি এমন একটা রেজাল্টের credit নিচ্ছেন যা আপনি অর্জন করেননি।
আরেকটা কথা, A/B test-এ আপনি messaging-এর বিভিন্ন option তুলনা করেন, কিন্তু silence-এর বিরুদ্ধে কখনো measure করেন না। Control group ঠিক এটাই করে: একটা অংশ আলাদা রাখুন, বাকি সবাইকে message পাঠান, আর যে পার্থক্যটা পাবেন সেটাই একটা real baseline-এর বিরুদ্ধে আপনি আসলে যে revenue এনেছেন।
সংক্ষেপে বললে, A/B testing একটা message-কে ভালো করে, কিন্তু control group প্রমাণ করে আপনার টিমের আসলেই থাকা উচিত কিনা।
একটা control group আসলে কী measure করে
একটা control group (বা holdout) আপনার audience-কে ২ ভাগে ভাগ করে:
- Treatment। যারা স্বাভাবিকভাবে আপনার marketing message পান: push notification, email, in-app message — সবকিছু।
- Control। সব marketing থেকে বাইরে রাখা একটা fixed অংশ। তারা তবু transactional message পান, যেমন password reset বা receipt — তাদের জন্য কিছুই ভাঙে না। শুধু তারা কোনো campaign পান না।
এই দুই group-এর মধ্যে একমাত্র পার্থক্য আপনার messaging, তাই তাদের behavior-এ যে gap দেখা যায় তা আপনারই কাজ। এই gap-এর একটা নাম আছে: uplift।
Pushwoosh-এ আপনি Global control group ফিচার ব্যবহার করতে পারেন। আপনি একটা fixed percentage ঠিক করে দিন (1–15%) কতজন ইউজারকে holdout-এ রাখবেন, আর platform automatically আপনার বেছে নেওয়া conversion event-এর ভিত্তিতে দুই group তুলনা করে analytics দিয়ে দেয়:
বাস্তবে এটা কেমন দেখতে
ধরুন আপনি ইউজারদের 5% হোল্ডআউটে রেখেছেন আর একটা conversion goal বেছে নিয়েছেন — মানে, আপনার অ্যাপে যেটাকে আপনি success ধরেন। Conversion goal-টা অবশ্যই একটা purchase হতে হবে তা নয়: একটা successful checkout (e-commerce অ্যাপের জন্য), একটা কোর্স সম্পন্ন করা (EdTech অ্যাপের জন্য), একটা transaction সফল হওয়া (FinTech অ্যাপের জন্য), plan upgrade, বা যা কিছুকে আপনি জয় ধরেন। যেখানে সম্ভব, revenue-র সবচেয়ে কাছের event-টা বেছে নিন — কারণ budget defend করার সময় ঠিক এই সংখ্যাটাই ওজন রাখে।
৩০ দিনের একটা window-এ, message পাওয়া 95% (treatment) আর silent 5% (control) — এই দুই group কিভাবে convert করছে তা তুলনা করুন:
| গ্রুপ | Conversion rate |
|---|---|
| Treatment (message পাওয়া) | 8.2% |
| Control (holdout) | 6.1% |
Uplift: +34%, Significant হিসেবে মার্ক করা। (*Uplift মাপা হয় control baseline-এর বিরুদ্ধে: (8.2 − 6.1) / 6.1 ≈ 34%।)
এটা কিভাবে পড়বেন: messaging-এর কারণে হওয়া conversion মানে, ৩০ দিনে আনুমানিক 940টা এক্সট্রা purchase। $45 গড় order value ধরলে, সেটা প্রায় $42K revenue, যা আপনার প্রোগ্রাম claim করতে পারে — “আমরা অনেক push পাঠিয়েছি” আর “আমরা কোম্পানিকে $42K দিয়েছি” — এই দুইয়ের মধ্যেকার পার্থক্যটাই এটা।
এটাই সবচেয়ে ভালো সিনারিও, আর ঠিক এভাবেই আপনি আপনার CEO আর CFO-কে প্রমাণ করেন যে আপনার campaign আসলেই কাজ করছে! 💰
কিন্তু, সংখ্যাটা সবসময় এভাবে আসবে না। এটা যা-ই দেখাক, কিভাবে পড়বেন তা দেখে নিন।
রেজাল্ট পড়া: ৩টা সম্ভাব্য outcome আর আপনার পরের move
Uplift হাতে পেলে, সংখ্যাটাই বলে দেয় পরে কী করতে হবে।
| রেজাল্ট | এর মানে কী | আপনার পরের move |
|---|---|---|
| Positive ও significant (আমাদের example-এর মতো) | আপনার messaging baseline-এর চেয়ে বেশি একটা real lift তৈরি করছে | সবচেয়ে ভালো flow-গুলো scale করুন, দুর্বলগুলো বাদ দিন। এই সংখ্যাটা budget review-এ নিয়ে যান — “control-এর তুলনায় 34% lift” কথাটা কেউ হেসে উড়িয়ে দেবে না |
| Flat বা significant না | Treatment আর control প্রায় একই রকম convert করছে; মানে এই ইউজাররা এমনিতেই convert করতেন | বাদ দেওয়ার আগে offer পরিবর্তন করুন বা segment আরও টাইট করুন। সাধারণত এটা একটা generic blast, যাকে একটা segmented version সহজেই হারাতে পারবে |
| Negative | Control বরং ভালো convert করছে — message পাওয়া group-এর অবস্থা খারাপ, সাধারণত over-messaging-এর কারণে | Frequency অনেকটা কমান আর আবার measure করুন। Over-messaging ধরার একমাত্র উপায় একটা control group; এটা ছাড়া আপনার প্রতিটা open-rate chart-এ সবকিছু ঠিকই দেখাবে |
আপনার marketing communication আসলে audience-এর কাছে কিভাবে পৌঁছাচ্ছে, আর তার পরে কী হচ্ছে — এটা পরিষ্কারভাবে দেখতে চাইলে, সেই কমিউনিকেশন থেকে বাদ পড়া ইউজারদের সাথে তুলনা করে দেখাটা একটা Global control group ব্যবহার করেই সম্ভব, আর এটা must।
আমাদের Fintech আর Content Creation-এর customer-দের সাথে এই approach-টা তার value প্রমাণ করেছে: একটা Global control group নেওয়ার ফলে তারা অনেক meaningful insight, action item আর adjustment পেয়েছে, যা তারা সরাসরি তাদের দিনের প্রতিদিনের sending operation-এ নিয়ে আসতে পেরেছে।
দুই group-এর মধ্যেকার পার্থক্য — যা industry-specific event, user action, আর তার বিপরীতে inactivity-র লক্ষণ দিয়ে measure করা হয় — আপনার পুরো communication strategy-র জন্য একটা litmus test-এর মতো কাজ করে। আপনার audience-এর জন্য নতুন কোনো আইডিয়া না পেলে এটা বিশেষভাবে কাজে লাগে: control group দেখিয়ে দেয় আপনার messaging আসলে কী driving করছে, আর ইউজাররা এমনিতেই কী করতেন।
কয়েক ক্লিকেই Pushwoosh-এ আপনার control group সেটআপ করুন
-
আপনার holdout size বেছে নিন
কতজন ইউজারকে হোল্ডআউটে রাখবেন তা ঠিক করুন; 5% একটা balanced default। নতুন sign-up automatically এই group-এ যুক্ত হয়ে যায়।
-
আপনার campaign-গুলোকে marketing হিসেবে মার্ক করুন
Holdout শুধু marketing message-এর ক্ষেত্রে প্রযোজ্য, তাই আপনার transactional send — receipt, password reset — সবার কাছেই পৌঁছাবে।
-
যে event সফলতা define করে তা বেছে নিন
আপনার journey-তে এগুলোকে conversion goal হিসেবে যুক্ত করুন, যাতে report জানে কী measure করতে হবে। এটা অবশ্যই একটা purchase হতে হবে না — আপনার অ্যাপের জন্য যা real value বোঝায় তা বেছে নিন: e-commerce-এর জন্য একটা completed purchase, EdTech-এর জন্য একটা কোর্স সম্পন্ন করা, FinTech-এর জন্য একটা সফল transaction, subscription-এর জন্য paid-এ upgrade, বা আপনার conversion বলে মনে করা যেকোনো event।
-
রিপোর্ট পড়ুন
Control group page-এ আপনার uplift আর সেটা significant কিনা দেখানো হয় — নিজে হাতে কোনো math করতে হবে না।
