הדשבורד שלכם מציג עלייה בהמרות אחרי שהפעלתם את ה-journey החדש, וגם ההכנסות עולות. אבל יש שאלה אחת שקובעת אם המספר הזה אומר משהו: ההודעות שלכם גרמו לעלייה הזו, או שהמשתמשים האלה היו ממירים בכל מקרה?
הרבה דברים מזיזים המרות בלי שום קשר אליכם — עלייה עונתית (למשל בשיא הקניות של חגי תשרי או ב-Black Friday), פיצ’ר חדש בחנות, צמיחה אורגנית. יש דרך אחת לדעת בוודאות: להשאיר חלק מהמשתמשים שלכם מחוץ לכל שליחה, ולראות מה הם עושים על דעת עצמם. זה בדיוק מה ש-control group עושה.
הפוסט הזה מסביר איך control group עובד, איך קוראים uplift, ואיך מגדירים אחד ב-Pushwoosh בכמה קליקים.
למה A/B test לא עונה על השאלה הזו
כשמתמודדים עם השאלה הזו (איך מודדים את ההשפעה של ההודעות), רוב הצוותים פונים ל-A/B testing. זה כלי קלאסי, וטוב — הוא פשוט לא בנוי למשימה הזו.
A/B test עונה על שאלה יותר צרה: איזו הודעה מתפקדת טוב יותר. Push A מול Push B, דחיפות מול הנחה, push מול email. זה הכלי הנכון לאופטימיזציה של מה שאתם שולחים, וזו משימה אחרת מלהוכיח שהשליחה בכלל היתה שווה.
הבייסליין הזה הוא מה שחסר לכם. בלעדיו, אתם משווים בין המנצחים שלכם למנצחים אחרים שלכם, בלי שום אינדיקציה אם אחד מהם בכלל מנצח שקט מוחלט.
| A/B test | Control group | |
|---|---|---|
| שאלה | איזו הודעה עובדת הכי טוב? | האם השליחה עוזרת בכלל? |
| מי מקבל הודעות | כולם (כל הוריאציות) | כולם חוץ מה-holdout |
| מה לומדים | הגרסה עם הביצועים הטובים ביותר | ההשפעה האמיתית והמצטברת שלכם |
אנשים מבלבלים כל הזמן בין A/B testing ל-control groups. הבעיה היא שהבלבול הזה שורף תקציבים בשקט. בזמן ש-A/B test אומר לכם איזו הודעה ניצחה, control group אומר לכם אם בכלל היה צריך לשלוח.
Opens, click rates, delivered rates, מספרי מנויים — הכל עולה, כולם מרוצים, ואף אחד לא בודק אם המשתמשים האלה היו ממירים גם לבד.
נכון, מיליון מנויים ו-99% delivered rate מוכיחים שהצנרת שלכם עובדת. אבל זה אומר שההודעות שלכם הזיזו דולר אחד? המרות עולות תמיד: יום משכורת, עונתיות, או סתם צמיחה אורגנית. אם אתם לא יכולים להוריד את זה מהחשבון, אתם מזכים את עצמכם בתוצאה שלא הרווחתם.
חוץ מזה, ב-A/B test משווים בין אפשרויות שליחה, אבל אף פעם לא מודדים מול שקט. control group עושה בדיוק את זה: משאירים חלק בצד, שולחים לכולם האחרים, וההפרש הוא ההכנסה שבאמת הבאתם, מול בייסליין אמיתי.
בשורה התחתונה: A/B testing משפר הודעה, אבל control group מוכיח שהצוות שלכם בכלל צריך להתקיים.
מה control group בעצם מודד
control group (holdout) מחלק את הקהל שלכם ל-2:
- Treatment. כולם שמקבלים את הודעות השיווק שלכם כרגיל: push notifications, email, in-app message.
- Control. חלק קבוע שמוחזק מחוץ לכל שיווק. הם עדיין מקבלים הודעות transactional כמו איפוס סיסמה וקבלות, כך שכלום לא נשבר בשבילם. הם פשוט לעולם לא מקבלים קמפיין.
כי ההבדל היחיד בין 2 הקבוצות הוא ההודעות שלכם, כל פער בהתנהגות שלהן הוא באחריותכם. לפער הזה יש שם: uplift.
ב-Pushwoosh אפשר להשתמש בתכונת Global control group. מגדירים אחוז קבוע של משתמשים להשאיר בחוץ (1–15%), והפלטפורמה משווה אוטומטית בין 2 הקבוצות לפי כל conversion event שתבחרו, ומספקת לכם אנליטיקס:
איך זה נראה בפועל
נניח שאתם משאירים 5% מהמשתמשים בחוץ ובוחרים conversion goal — הפעולה שנחשבת הצלחה באפליקציה שלכם. ה-conversion goal לא בהכרח צריך להיות רכישה: checkout מוצלח, upgrade למסלול בתשלום, הרשמה למנוי, שלב שהושלם במשחק — כל דבר שאתם רואים כניצחון. איפה שאפשר, תבחרו את הדבר הכי קרוב להכנסה — זה המספר שנושא משקל כשאתם מגנים על תקציב.
בחלון של 30 יום, ה-95% שקיבלו הודעות (treatment) רצים במקביל ל-5% השקטים (control), ואתם משווים איך כל קבוצה ממירה:
| קבוצה | שיעור המרה |
|---|---|
| Treatment (קיבלו הודעות) | 8.2% |
| Control (הוחזקו בחוץ) | 6.1% |
Uplift: +34%, מסומן כ-Significant. (*ה-uplift נמדד מול הבייסליין של ה-control: (8.2 − 6.1) / 6.1 ≈ 34%.)
איך לפרש את זה: המרות שנבעו מהשליחה: בערך 940 רכישות נוספות ב-30 יום. עם average order value של ₪150, זה בערך ₪141K הכנסה שהתוכנית שלכם יכולה לזקוף לזכותה — ההבדל בין “שלחנו הרבה pushes” לבין “הרווחנו לחברה ₪141K.”
זה המסלול האופטימלי, וכך מוכיחים ל-CEO ול-CFO שהקמפיינים שלכם באמת עובדים! 💰
אבל המספר לא תמיד יחזור כך. הנה איך לקרוא כל מה שהוא מציג.
קריאת התוצאה: 3 תוצאות אפשריות והצעד הבא שלכם
כשיש לכם uplift, המספר אומר לכם מה לעשות עם זה.
| תוצאה | מה זה אומר | הצעד שלכם |
|---|---|---|
| חיובי ומשמעותי (כמו בדוגמה שלנו) | ההודעות שלכם יוצרות עלייה אמיתית מעבר לבייסליין | תגדילו את ה-flows החזקים, תחתכו את החלשים. תביאו את המספר לדיון התקציב — “עלייה של 34% מעל control” זה משפט שאף אחד לא מזלזל בו |
| שטוח או לא משמעותי | ה-treatment וה-control ממירים בערך אותו דבר; המשתמשים האלה היו ממירים בכל מקרה | תעבדו מחדש על ההצעה או תדייקו את ה-segment לפני שאתם חותכים. ברוב המקרים זו שליחה גנרית שגרסה ממוקדת תנצח |
| שלילי | ה-control ממיר טוב יותר — הקבוצה שקיבלה הודעות במצב גרוע יותר, בדרך כלל מ-over-messaging | תחתכו תדירות בחדות ותמדדו מחדש. control group הוא הדבר היחיד שתופס over-messaging בכלל; בלעדיו, זה נראה תקין בכל גרף open-rate שיש לכם |
הפעלת Global control group היא must אם אתם רוצים לראות בבירור איך התקשורת השיווקית שלכם נופלת על הקהל, ומה קורה אחר כך, בהשוואה למשתמשים שמוחרגים ממנה.
הגישה הזו הוכיחה את עצמה עם הלקוחות שלנו ב-Fintech וב-Content Creation: אימוץ Global control group נתן להם תובנות משמעותיות, action items והתאמות שהם יכלו להביא ישר לתפעול השליחה היומיומי.
ההפרש בין 2 הקבוצות — נמדד באירועים ספציפיים לתעשייה, בפעולות משתמש, ולהיפך, בסימני חוסר פעילות — עובד כמו מבחן לימוס לכל אסטרטגיית התקשורת שלכם. זה שימושי במיוחד כשאתם מרגישים שנגמרו לכם רעיונות חדשים לקהל: ה-control group מציג מה ההודעות שלכם באמת מניעות, ומה המשתמשים היו עושים בכל מקרה.
הגדירו את ה-control group שלכם ב-Pushwoosh בכמה קליקים
-
בחרו את גודל ה-holdout
קבעו את אחוז המשתמשים שיישארו בחוץ; 5% הוא ה-default המאוזן. הרשמות חדשות מצטרפות לקבוצה אוטומטית.
-
סמנו את הקמפיינים שלכם כ-marketing
ה-holdout חל על הודעות שיווק, כך שהשליחות ה-transactional שלכם — קבלות, איפוסי סיסמה — עדיין מגיעות לכולם.
-
בחרו את האירועים שמגדירים הצלחה
הוסיפו אותם כ-conversion goals ב-journeys שלכם כדי שהדוח ידע מה למדוד. זה לא חייב להיות רכישה — תבחרו את מה שמסמן ערך אמיתי לאפליקציה שלכם: רכישה שהושלמה ב-e-commerce, upgrade לתשלום במנוי, שלב שהושלם במשחק, או כל אירוע אחר שאתם רואים כהמרה.
-
קראו את הדוח
עמוד ה-control group מציג את ה-uplift שלכם ואם הוא significant — בלי חישובים ידניים מהצד שלכם.
