Seu dashboard mostra as conversões subindo depois que você lançou aquela nova jornada, e a receita está em alta. Mas uma pergunta decide se esse número significa alguma coisa: foram suas mensagens que causaram esse aumento, ou esses usuários converteriam de qualquer jeito?
Muita coisa move as conversões sem ter nada a ver com você — um pico sazonal como a Black Friday, uma funcionalidade nova da loja, crescimento orgânico. Só existe um jeito de saber com certeza: deixar uma parte dos seus usuários totalmente fora das mensagens e observar o que eles fazem por conta própria. É exatamente isso que um grupo de controle faz.
Este post explica como um grupo de controle funciona, como interpretar o uplift, e como configurar um no Pushwoosh em poucos cliques.
Por que um teste A/B não responde essa pergunta
Diante dessa pergunta (como medir o impacto das mensagens), a maioria dos times recorre ao teste A/B. É uma ferramenta clássica, e boa — só que não foi feita para essa tarefa.
Um teste A/B responde a uma pergunta mais restrita: qual mensagem performa melhor. Push A contra Push B, urgência contra desconto, push contra email. É a ferramenta certa para otimizar o que você envia, o que é uma tarefa diferente de provar que valeu a pena enviar.
Essa linha de base é o que está faltando. Sem ela, você está comparando seus vencedores contra outros vencedores, sem saber se algum deles supera o silêncio.
| Teste A/B | Grupo de controle | |
|---|---|---|
| Pergunta | Qual mensagem funciona melhor? | A mensageria funciona mesmo? |
| Quem recebe mensagem | Todo mundo (todas as variantes) | Todo mundo, exceto o holdout |
| O que você aprende | A versão com melhor desempenho | Seu impacto real e incremental |
As pessoas confundem teste A/B com grupo de controle o tempo todo. O problema é que essa confusão queima orçamento silenciosamente. Enquanto um teste A/B mostra qual mensagem venceu, um grupo de controle mostra se você deveria ter enviado a mensagem, ponto.
Aberturas, taxa de cliques, taxa de entrega, número de assinantes sobem, todo mundo fica feliz, e ninguém verifica se esses usuários converteriam de qualquer jeito.
Sim, um milhão de assinantes e 99% de taxa de entrega provam que seu pipe funciona. Mas isso significa que sua mensageria realmente moveu um real sequer? As conversões sempre sobem: dia de pagamento, sazonalidade ou simplesmente crescimento orgânico. Se você não consegue subtrair isso, está levando crédito por um resultado que não conquistou.
Além disso, no teste A/B você compara opções de mensagem, mas nunca mede contra o silêncio. Um grupo de controle faz exatamente isso: mantém uma parte de fora, envia mensagem para o resto, e a diferença é o que você realmente gerou de receita, contra uma linha de base real.
Resumindo: o teste A/B melhora a mensagem, mas o grupo de controle prova que seu time realmente deveria existir.
O que um grupo de controle realmente mede
Um grupo de controle (um holdout) divide sua audiência em 2:
- Tratamento. Todo mundo que recebe suas mensagens de marketing normalmente: push notifications, email, mensagem in-app.
- Controle. Uma parte fixa mantida fora de todo marketing. Eles continuam recebendo mensagens transacionais, como redefinição de senha e recibos — inclusive confirmação de pagamento via PIX —, então nada quebra para eles. Eles simplesmente nunca recebem uma campanha.
Como a única diferença entre os 2 grupos é sua mensageria, qualquer diferença no comportamento é resultado do seu trabalho. Essa diferença tem nome: uplift.
No Pushwoosh, você pode usar o recurso Grupo de controle global. Você define uma porcentagem fixa de usuários para manter fora (1–15%), e a plataforma compara automaticamente os 2 grupos no evento de conversão que você escolher, entregando analytics prontos:
Como isso funciona na prática
Digamos que você mantenha 5% dos seus usuários fora e escolha uma meta de conversão — a ação que conta como sucesso no seu app. A meta de conversão não precisa ser necessariamente uma compra: um checkout concluído, um upgrade de plano, uma assinatura iniciada, uma confirmação de pagamento via PIX, uma fase completada, qualquer coisa que você considere uma vitória. Sempre que possível, escolha a que está mais próxima da receita — esse é o número que pesa quando você está defendendo orçamento.
Ao longo de uma janela de 30 dias, os 95% que recebem mensagem (tratamento) rodam contra os 5% silenciosos (controle), e você compara como cada grupo converte:
| Grupo | Taxa de conversão |
|---|---|
| Tratamento (recebeu mensagem) | 8,2% |
| Controle (ficou de fora) | 6,1% |
Uplift: +34%, marcado como Significativo. (*O uplift é medido contra a linha de base do controle: (8,2 − 6,1) / 6,1 ≈ 34%.)
Como interpretar: Conversões geradas pela mensageria: cerca de 940 compras extras em 30 dias. Com um ticket médio de R$150, isso representa aproximadamente R$141 mil em receita que seu programa pode reivindicar — a diferença entre “enviamos muitos pushes” e “geramos R$141 mil para a empresa.”
Esse é o cenário ideal, e é assim que você prova para o CEO e o CFO que suas campanhas realmente funcionam! 💰
Mas o número nem sempre vai aparecer assim. Veja como interpretar qualquer resultado que aparecer.
Interpretando o resultado: 3 cenários e seu próximo passo
Depois que você tem o uplift, o número te diz o que fazer a seguir.
| Resultado | O que significa | Seu próximo passo |
|---|---|---|
| Positivo e significativo (como no nosso exemplo) | Sua mensageria cria um aumento real além da linha de base | Escale os fluxos mais fortes, corte os fracos. Leve o número para a reunião de orçamento — “um aumento de 34% sobre o controle” é uma frase que ninguém ignora |
| Estável ou não significativo | Tratamento e controle convertem quase igual; esses usuários converteriam de qualquer jeito | Repense a oferta ou refine a segmentação antes de cortar. Geralmente é um disparo genérico que uma versão segmentada superaria |
| Negativo | O controle converte melhor — o grupo que recebeu mensagem está pior, geralmente por excesso de mensagens | Reduza a frequência com força e meça de novo. Um grupo de controle é a única coisa capaz de flagrar excesso de mensagens; sem ele, tudo parece ótimo em qualquer gráfico de taxa de abertura que você tiver |
Usar um grupo de controle global é essencial se você quer ver com clareza como suas comunicações de marketing chegam até a audiência, e o que acontece depois, comparado aos usuários excluídos delas.
Essa abordagem já comprovou seu valor com nossos clientes de Fintech e Criação de Conteúdo: adotar um grupo de controle global trouxe insights relevantes, itens de ação e ajustes que eles puderam levar direto para a operação de envio no dia a dia.
A diferença entre os 2 grupos — medida em eventos específicos do setor, ações dos usuários e, por outro lado, sinais de inatividade — funciona como um teste de tornassol para toda a sua estratégia de comunicação. É especialmente útil quando você sente que ficou sem ideias novas para sua audiência: o grupo de controle mostra o que sua mensageria está realmente gerando, e o que os usuários fariam de qualquer forma.
Configure seu grupo de controle no Pushwoosh em poucos cliques
-
Escolha o tamanho do seu holdout
Defina a porcentagem de usuários a manter fora; 5% é o padrão equilibrado. Novos cadastros entram no grupo automaticamente.
-
Marque suas campanhas como marketing
O holdout se aplica às mensagens de marketing, então seus envios transacionais — recibos, redefinições de senha — continuam chegando para todo mundo.
-
Escolha os eventos que definem sucesso
Adicione-os como metas de conversão nas suas jornadas para que o relatório saiba o que medir. Não precisa ser uma compra — escolha o que representa valor real para seu app: uma compra concluída para e-commerce (incluindo confirmação via PIX), um upgrade para o plano pago em assinaturas, uma fase completada em games, ou qualquer outro evento que você considere uma conversão.
-
Leia o relatório
A página do grupo de controle mostra seu uplift e se ele é significativo — sem contas manuais da sua parte.
Artigos relacionados
Ver todos
