Ihr Dashboard zeigt, dass die Conversions seit dem Start Ihrer neuen Journey steigen, und der Umsatz zieht mit. Doch eine Frage entscheidet darüber, ob diese Zahl überhaupt etwas bedeutet: haben Ihre Nachrichten diesen Anstieg ausgelöst, oder hätten diese Nutzer ohnehin konvertiert?
Vieles bewegt Conversions, ohne dass Sie etwas damit zu tun haben – eine saisonale Spitze, ein neues Store-Feature, organisches Wachstum. Es gibt genau einen Weg, das sicher zu wissen: Sie halten einen Teil Ihrer Nutzer komplett aus dem Messaging heraus und beobachten, was sie von sich aus tun. Genau das leistet eine Kontrollgruppe.
Dieser Beitrag zeigt, wie eine Kontrollgruppe funktioniert, wie Sie den Uplift lesen, und wie Sie in Pushwoosh in wenigen Klicks eine einrichten.
Warum ein A/B-Test das nicht beantworten kann
Bei dieser Frage (wie Sie die Wirkung Ihres Messagings messen) greifen die meisten Teams zum A/B-Test. Das ist ein bewährtes Werkzeug – nur eben nicht für diese Aufgabe gemacht.
Ein A/B-Test beantwortet eine engere Frage: welche Nachricht besser performt. Push A gegen Push B, Dringlichkeit gegen Rabatt, Push gegen E-Mail. Das richtige Werkzeug, um das Gesendete zu optimieren – eine andere Aufgabe, als zu beweisen, dass sich das Versenden überhaupt gelohnt hat.
Genau diese Baseline fehlt Ihnen. Ohne sie vergleichen Sie Ihre Gewinner nur mit Ihren anderen Gewinnern – ohne jeden Hinweis darauf, ob einer von ihnen besser ist als Schweigen.
| A/B-Test | Kontrollgruppe | |
|---|---|---|
| Frage | Welche Nachricht funktioniert am besten? | Wirkt Messaging überhaupt? |
| Wer wird angeschrieben | Alle (alle Varianten) | Alle außer einer Holdout-Gruppe |
| Was Sie lernen | Die leistungsstärkste Version | Ihre reale, inkrementelle Wirkung |
Menschen verwechseln A/B-Tests und Kontrollgruppen ständig. Das Problem: Diese Verwechslung verbrennt still und leise Budget. Ein A/B-Test zeigt Ihnen, welche Nachricht gewonnen hat – eine Kontrollgruppe zeigt Ihnen, ob Sie überhaupt hätten senden sollen.
Öffnungsraten, Klickraten, Zustellraten, Abonnentenzahlen steigen, alle sind zufrieden, und niemand prüft, ob diese Nutzer nicht ohnehin konvertiert wären.
Ja, eine Million Abonnenten und eine Zustellrate von 99 % beweisen, dass Ihre Infrastruktur funktioniert. Aber heißt das, dass Ihr Messaging tatsächlich einen einzigen Euro bewegt hat? Conversions steigen immer: Gehaltstag, Saisonalität oder einfach organisches Wachstum. Wenn Sie das nicht herausrechnen können, schreiben Sie sich ein Ergebnis zu, das Sie nicht erzielt haben.
Außerdem vergleichen Sie bei einem A/B-Test nur Messaging-Optionen untereinander, nie gegen Stille. Genau das macht eine Kontrollgruppe: Ein Teil bleibt außen vor, alle anderen erhalten die Nachricht, und die Differenz ist das, was Sie tatsächlich an Umsatz bewirkt haben – gegenüber einer echten Baseline.
Kurz gesagt: Ein A/B-Test macht eine Nachricht besser, aber eine Kontrollgruppe beweist, dass Ihr Team überhaupt existieren sollte.
Was eine Kontrollgruppe wirklich misst
Eine Kontrollgruppe (eine Holdout-Gruppe) teilt Ihre Zielgruppe in 2 Teile:
- Treatment. Alle, die Ihre Marketing-Nachrichten wie gewohnt erhalten: Push-Benachrichtigungen, E-Mail, In-App-Nachrichten.
- Control. Ein fester Anteil, der von jeglichem Marketing ausgeschlossen ist. Diese Nutzer erhalten weiterhin transaktionale Nachrichten wie Passwort-Resets und Zahlungsbelege, damit für sie nichts ausfällt. Nur eine Kampagne erreicht sie nie.
Diese Trennung deckt sich mit der DSGVO-Unterscheidung zwischen transaktionalen und werblichen Nachrichten: Für werbliche Inhalte brauchen Sie ohnehin eine Einwilligung – unabhängig davon, ob ein Nutzer in der Kontrollgruppe landet oder nicht.
Da der einzige Unterschied zwischen den beiden Gruppen Ihr Messaging ist, geht jede Abweichung im Verhalten auf Ihr Konto. Diese Abweichung hat einen Namen: Uplift.
In Pushwoosh nutzen Sie dafür die Funktion Global Control Group. Sie legen einen festen Prozentsatz an Nutzern fest, die ausgeschlossen werden (1–15 %), und die Plattform vergleicht die beiden Gruppen automatisch anhand des von Ihnen gewählten Conversion-Events und liefert Ihnen die passende Auswertung:
Wie sieht das in der Praxis aus
Angenommen, Sie schließen 5 % Ihrer Nutzer aus und legen ein Conversion-Ziel fest – die Aktion, die in Ihrer App als Erfolg zählt. Das Conversion-Ziel muss kein Kauf sein: ein abgeschlossener Checkout, ein Upgrade auf einen kostenpflichtigen Plan, eine abgeschlossene Werkstattbuchung in einer Automotive-App – alles, was Sie als Erfolg werten. Wählen Sie, wo möglich, das Ziel, das dem Umsatz am nächsten liegt – das ist die Zahl, die zählt, wenn Sie ein Budget verteidigen müssen.
Über ein Fenster von 30 Tagen laufen die angeschriebenen 95 % (Treatment) gegen die stillen 5 % (Control), und Sie vergleichen, wie jede Gruppe konvertiert:
| Gruppe | Conversion-Rate |
|---|---|
| Treatment (angeschrieben) | 8,2 % |
| Control (ausgeschlossen) | 6,1 % |
Uplift: +34 %, als signifikant markiert. (*Der Uplift wird gegenüber der Control-Baseline berechnet: (8,2 − 6,1) / 6,1 ≈ 34 %.)
So lesen Sie das Ergebnis: Durch Messaging ausgelöste Conversions: rund 940 zusätzliche Käufe in 30 Tagen. Bei einem durchschnittlichen Bestellwert von 42 € sind das etwa 39.500 € Umsatz, den Ihr Programm für sich verbuchen kann – der Unterschied zwischen „Wir haben viele Pushes verschickt” und „Wir haben dem Unternehmen 39.500 € eingebracht.”
Das ist der Idealfall, und genau so weisen Sie Ihrem CEO und CFO nach, dass Ihre Kampagnen tatsächlich funktionieren! 💰
Allerdings sieht das Ergebnis nicht immer so aus. Hier erfahren Sie, wie Sie es einordnen – unabhängig vom Ausgang.
Ergebnis lesen: 3 Szenarien und Ihr nächster Schritt
Sobald Sie den Uplift kennen, sagt Ihnen die Zahl, was als Nächstes zu tun ist.
| Ergebnis | Was es bedeutet | Ihr nächster Schritt |
|---|---|---|
| Positiv & signifikant (wie in unserem Beispiel) | Ihr Messaging erzeugt eine reale Wirkung über die Baseline hinaus | Skalieren Sie die stärksten Flows, streichen Sie die schwachen. Nehmen Sie die Zahl mit in die Budgetrunde – „ein Uplift von 34 % gegenüber der Kontrollgruppe“ ist ein Satz, den niemand einfach abtut |
| Flach oder nicht signifikant | Treatment und Control konvertieren etwa gleich; diese Nutzer hätten ohnehin konvertiert | Überarbeiten Sie das Angebot oder schärfen Sie das Segment, bevor Sie kürzen. Meist ist es ein generischer Blast, den eine segmentierte Version schlagen würde |
| Negativ | Die Control-Gruppe konvertiert besser – die angeschriebene Gruppe steht schlechter da, meist wegen Over-Messaging | Reduzieren Sie die Frequenz deutlich und messen Sie erneut. Nur eine Kontrollgruppe deckt Over-Messaging überhaupt auf; ohne sie sieht jede Öffnungsraten-Grafik, die Sie besitzen, völlig unauffällig aus |
Der Einsatz einer Global Control Group ist ein Muss, wenn Sie klar erkennen wollen, wie Ihre Marketingkommunikation bei Ihrer Zielgruppe ankommt – und was im Vergleich zu den ausgeschlossenen Nutzern passiert.
Dieser Ansatz hat sich bei unseren Kunden aus FinTech und Content Creation bewährt: Die Einführung einer Global Control Group lieferte ihnen zahlreiche aussagekräftige Erkenntnisse, konkrete Maßnahmen und Anpassungen, die sie direkt in den täglichen Versandbetrieb einfließen lassen konnten.
Der Unterschied zwischen den beiden Gruppen – gemessen an branchenspezifischen Events, Nutzeraktionen und, umgekehrt, Anzeichen von Inaktivität – funktioniert wie ein Lackmustest für Ihre gesamte Kommunikationsstrategie. Besonders nützlich ist das, wenn Ihnen die frischen Ideen für Ihre Zielgruppe ausgehen: Die Kontrollgruppe zeigt, was Ihr Messaging tatsächlich bewirkt – und was Nutzer ohnehin getan hätten.
Kontrollgruppe in Pushwoosh in wenigen Klicks einrichten
-
Holdout-Größe wählen
Legen Sie den Anteil der ausgeschlossenen Nutzer fest; 5 % sind der ausgewogene Standardwert. Neue Registrierungen werden automatisch der Gruppe zugeordnet.
-
Kampagnen als Marketing kennzeichnen
Die Holdout-Gruppe gilt für Marketing-Nachrichten – Ihre transaktionalen Sendungen wie Zahlungsbelege und Passwort-Resets erreichen weiterhin alle.
-
Events festlegen, die Erfolg definieren
Fügen Sie sie als Conversion-Ziele in Ihren Journeys hinzu, damit der Report weiß, was zu messen ist. Es muss kein Kauf sein – wählen Sie, was für Ihre App echten Wert markiert: ein abgeschlossener Kauf für E-Commerce, ein Upgrade auf einen kostenpflichtigen Plan für Abonnements, eine abgeschlossene Werkstattbuchung für Automotive-Apps oder jedes andere Event, das Sie als Conversion werten.
-
Report lesen
Die Control-Group-Seite zeigt Ihnen den Uplift und ob er signifikant ist – ohne manuelle Rechnerei auf Ihrer Seite.
Verwandte Artikel
Alle anzeigen
