A/B Test Prematuro

Rodar A/B test com 200 visitas e declarar vencedor.

Marina gerencia a conta de tráfego de um cliente que investe cerca de R$ 22.000 por mês. No relatório, está tudo no azul. O painel mostra conversões, o gasto bate com o planejado, os gráficos sobem. Mas quando o financeiro fecha o mês, o número não fecha junto. Falta resultado, e ninguém consegue explicar direito o porquê.

O que Marina não enxerga é que existe um erro rodando na conta agora. Ele não dispara alerta, não fica vermelho, não aparece em canto nenhum do dashboard. Só drena orçamento, todo dia, no silêncio. Na 1x1ads, a gente dá nome a esse tipo de erro. Este é o código #60, A/B Test Prematuro.

#60O que é o código A/B Test Prematuro

Rodar A/B test com 200 visitas e declarar vencedor. É um erro da categoria Landing & Conversão, uma das frentes onde o orçamento mais costuma vazar sem que ninguém perceba, especialmente em contas de Meta Ads e Google Ads.

Como identificar na sua conta

O código #60 quase nunca chega gritando. Ele se disfarça de flutuação normal, daquelas que a gente atribui ao "algoritmo instável". Se a conta que você gerencia mostra os sinais abaixo, ele provavelmente está ativo:

Uma simulação real, com números

Conceito sem número é fácil de ignorar. Então vamos colocar valor na mesa, usando a conta da Marina como exemplo. Os valores são ilustrativos, mas a proporção é a que aparece na prática.

Esse é o detalhe que pega todo mundo. O desperdício não aparece como um buraco no relatório, aparece como "normal". É por isso que o código fica meses ativo antes de alguém desconfiar que tem dinheiro escorrendo pelo ralo.

A causa raiz

Não entender significancia estatistica. Declarar vencedores com amostra insuficiente.

Na prática, isso quase sempre nasce de uma decisão que parecia inofensiva no dia em que foi tomada. Ninguém liga um código de propósito. Ele entra de fininho, numa pressa de fim de mês, numa configuração copiada de outra conta, num "depois eu arrumo" que nunca chega. E quando você percebe, virou rotina.

O protocolo de correção

A correção não é heroica, é método. Siga os passos na ordem, anote o que mudou e a data, e avalie em janelas de 7 a 14 dias. Olhe sempre a tendência, nunca o número de um dia isolado, que engana.

1. Mínimo: 1000 visitas por variante OU 100 conversões por variante antes de declarar vencedor.
2. Use calculadora de significancia.
3. Se não tem volume, faca mudancas baseadas em heuristica e boas…

Resista à vontade de mexer em tudo ao mesmo tempo. Cada alteração empilhada em cima da outra torna impossível saber o que de fato funcionou, e aí você volta a otimizar no escuro.

Coloque em prática agora

Teoria que não vira ação não corrige conta nenhuma. Faça este exercício rápido na sua própria operação antes de fechar a página: