แดชบอร์ดของคุณแสดงตัวเลข conversion ที่พุ่งขึ้นหลังจากเปิด journey ใหม่ และรายได้ก็เพิ่มตามไปด้วย แต่มีคำถามหนึ่งที่ตัดสินว่าตัวเลขนี้มีความหมายจริงหรือไม่: ข้อความที่คุณส่งเป็นสาเหตุของการเติบโตนี้ หรือผู้ใช้กลุ่มนี้จะ convert อยู่ดีแม้ไม่ได้รับข้อความเลย?
มีหลายปัจจัยที่ทำให้ conversion เพิ่มขึ้นโดยไม่เกี่ยวกับคุณเลย เช่น ช่วงพีคตามฤดูกาลอย่างเทศกาลสงกรานต์ ฟีเจอร์ใหม่ของแอป หรือการเติบโตแบบ organic วิธีเดียวที่จะรู้แน่ชัดคือ กันผู้ใช้กลุ่มหนึ่งออกจากการรับข้อความทั้งหมด แล้วดูว่าพวกเขาทำอะไรด้วยตัวเอง นี่คือสิ่งที่ Control Group ทำ
บทความนี้จะอธิบายว่า Control Group ทำงานอย่างไร วิธีอ่านค่า uplift และวิธีตั้งค่าใน Pushwoosh แค่ไม่กี่คลิก
ทำไม A/B Test ตอบคำถามนี้ไม่ได้
เมื่อเจอคำถามนี้ (วิธีวัดผลกระทบของ messaging) ทีมส่วนใหญ่มักหันไปใช้ A/B testing ซึ่งเป็นเครื่องมือคลาสสิกและดีมากด้วย แต่มันไม่ได้ถูกออกแบบมาเพื่องานนี้
A/B test ตอบคำถามที่แคบกว่า: ข้อความไหนทำงานได้ดีกว่ากัน Push A เทียบกับ Push B, ข้อความเร่งด่วนเทียบกับข้อความส่วนลด, push เทียบกับอีเมล มันเป็นเครื่องมือที่ถูกต้องสำหรับ optimize สิ่งที่คุณส่ง ซึ่งเป็นงานที่ต่างจากการพิสูจน์ว่าการส่งนั้นคุ้มค่าหรือไม่
สิ่งที่ขาดไปคือ baseline นี่เอง หากไม่มีมัน คุณกำลังเทียบผู้ชนะของคุณกับผู้ชนะอีกฝั่ง โดยไม่รู้เลยว่าฝั่งใดเอาชนะความเงียบได้จริง
| A/B Test | Control Group | |
|---|---|---|
| คำถาม | ข้อความไหนทำงานดีที่สุด? | Messaging ได้ผลจริงหรือไม่? |
| ใครได้รับข้อความ | ทุกคน (ทุก variant) | ทุกคนยกเว้นกลุ่ม holdout |
| สิ่งที่คุณได้เรียนรู้ | เวอร์ชันที่ทำงานดีที่สุด | ผลกระทบที่แท้จริงและเป็น incremental ของคุณ |
คนมักสับสนระหว่าง A/B testing กับ Control Group อยู่เสมอ ปัญหาคือความสับสนนี้เผาผลาญงบประมาณไปเงียบๆ ในขณะที่ A/B test บอกคุณว่าข้อความไหนชนะ Control Group บอกคุณว่าคุณควรกดส่งตั้งแต่แรกหรือไม่ครับ
Opens, click rate, delivered rate, จำนวน subscriber เพิ่มขึ้น ทุกคนพอใจ แต่ไม่มีใครเช็กว่าผู้ใช้เหล่านั้นจะ convert เองอยู่ดีหรือไม่
ใช่ ผู้ subscribe หนึ่งล้านคนกับ delivered rate 99% พิสูจน์ว่าระบบส่งของคุณทำงานได้ดี แต่นั่นแปลว่า messaging ของคุณสร้างรายได้จริงหรือเปล่า? Conversion เพิ่มขึ้นเสมอ ไม่ว่าจะเป็นวันเงินเดือนออก ฤดูกาล หรือแค่การเติบโตแบบ organic ถ้าคุณหักส่วนนั้นออกไม่ได้ คุณกำลังรับความดีความชอบจากผลลัพธ์ที่คุณไม่ได้สร้างขึ้นเอง
อีกอย่างหนึ่ง ใน A/B test คุณเทียบตัวเลือก messaging กันเอง แต่ไม่เคยวัดเทียบกับความเงียบ Control Group ทำแบบนั้นเป๊ะๆ: กันกลุ่มหนึ่งออก ส่งข้อความให้คนอื่นทั้งหมด ส่วนต่างคือรายได้ที่คุณสร้างขึ้นจริง เทียบกับ baseline ที่แท้จริง
สรุปคือ A/B testing ช่วยให้ข้อความดีขึ้นก็จริง แต่ Control Group คือสิ่งที่พิสูจน์ว่าทีมของคุณควรมีอยู่จริง
Control Group วัดอะไรกันแน่
Control Group (หรือ holdout) แบ่งผู้ใช้ของคุณออกเป็น 2 กลุ่ม:
- Treatment. ผู้ใช้ทุกคนที่ได้รับข้อความการตลาดตามปกติ ทั้ง push notification, อีเมล, ข้อความในแอป และข้อความผ่าน LINE
- Control. กลุ่มที่ถูกกันออกจากการตลาดทั้งหมดในสัดส่วนที่กำหนดไว้ พวกเขายังได้รับข้อความ transactional เช่น การรีเซ็ตรหัสผ่านหรือใบเสร็จตามปกติ เพื่อไม่ให้อะไรเสียหาย เพียงแต่ไม่เคยได้รับแคมเปญเลย
เนื่องจากความแตกต่างเดียวระหว่าง 2 กลุ่มนี้คือ messaging ของคุณ ส่วนต่างของพฤติกรรมที่เกิดขึ้นจึงเป็นผลจากสิ่งที่คุณทำ ส่วนต่างนี้มีชื่อเรียกว่า uplift
ใน Pushwoosh คุณสามารถใช้ฟีเจอร์ Global control group ได้ โดยกำหนดสัดส่วนผู้ใช้ที่ต้องการกันออกแบบตายตัว (1–15%) จากนั้นแพลตฟอร์มจะเทียบผลลัพธ์ของทั้ง 2 กลุ่มโดยอัตโนมัติตาม conversion event ที่คุณเลือก พร้อมแสดงผลวิเคราะห์ให้คุณ:
ตัวอย่างการใช้งานจริง
สมมติว่าคุณกันผู้ใช้ 5% ออกและเลือก conversion goal หนึ่งไว้ — การกระทำที่ถือว่าเป็นความสำเร็จในแอปของคุณ conversion goal ไม่จำเป็นต้องเป็นการซื้อเสมอไป: การเช็กเอาต์สำเร็จ, การอัปเกรดแพลน, การสมัคร subscription, การจองห้องพักสำเร็จสำหรับธุรกิจโรงแรม, หรือเลเวลที่เล่นจบ — อะไรก็ได้ที่คุณนับเป็นชัยชนะ ถ้าเป็นไปได้ ให้เลือกเหตุการณ์ที่ใกล้เคียงกับรายได้ที่สุด นั่นคือตัวเลขที่มีน้ำหนักตอนที่คุณต้องปกป้องงบประมาณ
ในช่วงเวลา 30 วัน กลุ่มที่ได้รับข้อความ 95% (treatment) เทียบกับกลุ่มเงียบ 5% (control) แล้วดูว่าแต่ละกลุ่ม convert อย่างไร:
| กลุ่ม | Conversion rate |
|---|---|
| Treatment (ได้รับข้อความ) | 8.2% |
| Control (ถูกกันออก) | 6.1% |
Uplift: +34% ถูกจัดว่ามีนัยสำคัญ (*Uplift วัดเทียบกับ baseline ของ control: (8.2 − 6.1) / 6.1 ≈ 34%)
วิธีตีความ: Conversion ที่มาจาก messaging: ประมาณ 940 การซื้อเพิ่มขึ้นใน 30 วัน ที่ AOV เฉลี่ย ฿1,500 นั่นเท่ากับรายได้ประมาณ ฿1.4 ล้านบาทที่โปรแกรมของคุณอ้างได้ — ความแตกต่างระหว่าง “เราส่ง push ไปเยอะมาก” กับ “เราทำรายได้ให้บริษัท ฿1.4 ล้านบาท”
นี่คือ happy path และนี่คือวิธีที่คุณพิสูจน์ให้ CEO และ CFO เห็นว่าแคมเปญของคุณได้ผลจริง! 💰
แต่ตัวเลขจะไม่ออกมาสวยแบบนี้เสมอไป มาดูวิธีอ่านผลลัพธ์ไม่ว่าจะออกมาแบบไหนกัน
อ่านผลลัพธ์: 3 รูปแบบและสิ่งที่ควรทำต่อ
เมื่อคุณมีค่า uplift แล้ว ตัวเลขนี้จะบอกว่าควรทำอะไรต่อ
| ผลลัพธ์ | ความหมาย | สิ่งที่ควรทำ |
|---|---|---|
| เป็นบวกและมีนัยสำคัญ (เหมือนตัวอย่างของเรา) | Messaging ของคุณสร้าง lift จริงเหนือ baseline | ขยาย flow ที่แข็งที่สุด ตัด flow ที่อ่อน นำตัวเลขนี้ไปเสนอในที่ประชุมงบประมาณ — “uplift 34% เทียบกับ control” คือประโยคที่ไม่มีใครมองข้าม |
| ทรงตัวหรือไม่มีนัยสำคัญ | Treatment และ control convert ในระดับใกล้เคียงกัน ผู้ใช้กลุ่มนี้ convert อยู่แล้วโดยไม่ต้องมี messaging | ปรับ offer หรือเจาะ segment ให้แคบลงก่อนจะตัดทิ้ง ส่วนใหญ่มักเป็นเพราะยิงข้อความแบบ blast กว้างเกินไป ซึ่งเวอร์ชันที่แบ่ง segment แล้วจะทำได้ดีกว่า |
| เป็นลบ | Control convert ดีกว่า — กลุ่มที่ได้รับข้อความแย่กว่า มักมาจากการส่งข้อความถี่เกินไป | ลดความถี่ลงอย่างจริงจังแล้ววัดใหม่ Control Group เป็นสิ่งเดียวที่จับการส่งข้อความถี่เกินไปได้ ถ้าไม่มีมัน ทุกอย่างจะดูดีในกราฟ open rate ที่คุณมีอยู่ |
การใช้ Global control group เป็นสิ่งจำเป็นถ้าคุณต้องการเห็นชัดเจนว่าการสื่อสารทางการตลาดของคุณส่งผลต่อผู้ใช้อย่างไร และเกิดอะไรขึ้นต่อจากนั้น เมื่อเทียบกับผู้ใช้ที่ถูกกันออกจากการสื่อสารเหล่านั้น
แนวทางนี้พิสูจน์คุณค่าให้กับลูกค้าของเราในกลุ่ม Fintech และ Content Creation มาแล้วครับ การใช้ Global control group ทำให้พวกเขาได้ insight ที่มีความหมาย, action item และการปรับปรุงมากมายที่นำไปใช้กับการส่งข้อความในแต่ละวันได้ทันที
ความแตกต่างระหว่าง 2 กลุ่ม — วัดจาก event เฉพาะอุตสาหกรรม, พฤติกรรมผู้ใช้ และในทางกลับกัน สัญญาณของความเฉื่อยชา — ทำงานเหมือน litmus test สำหรับกลยุทธ์การสื่อสารทั้งหมดของคุณ มันมีประโยชน์มากเป็นพิเศษเมื่อคุณรู้สึกว่าหมดไอเดียใหม่ๆ สำหรับผู้ใช้ของคุณแล้ว: Control Group จะแสดงให้เห็นว่า messaging ของคุณขับเคลื่อนอะไรจริงๆ และผู้ใช้จะทำอะไรอยู่ดีแม้ไม่มีมัน
ตั้งค่า Control Group ใน Pushwoosh ได้ในไม่กี่คลิก
-
เลือกขนาดกลุ่ม holdout
กำหนดสัดส่วนผู้ใช้ที่ต้องการกันออก 5% คือค่าเริ่มต้นที่สมดุลที่สุด ผู้ใช้ใหม่ที่สมัครเข้ามาจะถูกเพิ่มเข้ากลุ่มนี้โดยอัตโนมัติ
-
ตั้งแคมเปญของคุณเป็น marketing
การ holdout จะใช้กับข้อความด้าน marketing เท่านั้น ดังนั้นข้อความ transactional ของคุณ เช่น ใบเสร็จหรือการรีเซ็ตรหัสผ่าน จะยังส่งถึงผู้ใช้ทุกคนตามปกติ
-
เลือก event ที่นับเป็นความสำเร็จ
เพิ่ม event เหล่านี้เป็น conversion goal ใน journey ของคุณ เพื่อให้รายงานรู้ว่าต้องวัดอะไร ไม่จำเป็นต้องเป็นการซื้อเสมอไป — เลือกสิ่งที่สร้างมูลค่าจริงให้แอปของคุณ เช่น การซื้อสำเร็จสำหรับ e-commerce, การอัปเกรดเป็นแบบเสียเงินสำหรับ subscription, เลเวลที่เล่นจบสำหรับเกม หรือ event อื่นใดที่คุณนับเป็น conversion
-
อ่านรายงาน
หน้า Control Group จะแสดง uplift ของคุณและบอกว่ามีนัยสำคัญหรือไม่ — ไม่ต้องคำนวณเองเลยครับ
