Calculadora de tamanho de amostra de teste A/B.
Antes de segmentar um público-alvo SMS ou WhatsApp, calcule quantos destinatários cada variante precisa para que o resultado seja estatisticamente válido — e não ruído. Insira a sua taxa de conversão de referência, o menor aumento que valha a pena detetar, o seu nível de confiança e poder estatístico, e obtenha a amostra necessária por variante e no total. Tudo funciona no seu navegador.
Os cálculos são padrão e exatos; a confiabilidade depende das suas suposições.
Este método utiliza a fórmula clássica para o cálculo do tamanho da amostra em testes com duas proporções. Ele pressupõe que cada participante converte independentemente, que você defina o tamanho da amostra antecipadamente e leia o resultado apenas uma vez ao final (um teste de horizonte fixo), e que a linha de base inserida seja representativa. Não criamos parâmetros de referência — você fornece a linha de base. Verificar o teste repetidamente e interrompê-lo assim que parecer significativo ("dar uma espiada") aumenta os falsos positivos muito além do seu nível de confiança declarado; defina o tamanho da amostra e deixe o teste rodar.
O seu teste
A sua taxa de conversão atual — cliques, respostas, compras, inscrições, qualquer coisa que você considere como conversão.
Relativo: por exemplo, +10 significa uma melhoria de 10% em relação à linha de base — de 5% para 5,5%.
Com um nível de confiança de 95%, o valor de α é igual a 0,05, representando a taxa de falsos positivos tolerada. Um nível de confiança mais elevado requer uma amostra maior. A probabilidade de detetar um aumento real dessa magnitude é de 80%, o que é comum; 90% é mais rigoroso e exige um número maior de participantes.
Testes bicaudais verificam se a variante apresenta alguma diferença (recomendado). Testes unicaudais avaliam apenas a melhoria e requerem uma amostra menor.
Incluindo o controlo. 2 = clássico A/B. Mais variantes aplicam uma correção Bonferroni e precisam de mais público.
Total de contactos que você pode registar por dia em todas as variantes. Usado para estimar a duração do teste.
Amostra necessária
Teste de duas proporções · tamanho da amostra fixo decidido antecipadamente · leitura única no final · os destinatários convertem independentemente.
O valor de n por variante é calculado a partir da fórmula padrão de duas proporções com as suas entradas exatas:
p̄ = (0.0500 + 0.0550) / 2 = 0.0525
z(α) = 1.9600 z(β) = 0.8416
n = (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂−p₁)²
n per variant = 31,234 ×2 variants = 62,468Ao espiarEste tamanho de amostra só é válido se você o definir antecipadamente e avaliar o teste apenas uma vez, ao final. Verificar diariamente e interromper o teste assim que ele parecer significativo pode multiplicar a sua taxa real de falsos positivos várias vezes. Se precisar monitorizar durante o voo, use um método sequencial ou Bayesiano desenvolvido para essa finalidade.
Insira um valor de referência entre 0 e 100% e um efeito mínimo detetável maior que zero para visualizar a amostra necessária.
A resposta curta
Quantas pessoas são necessárias num teste A/B?
Suficiente para que uma diferença real do tamanho que você considera importante apareça acima do ruído aleatório da conversão. A amostra necessária por variante aumenta quando a sua taxa de conversão basal é baixa, quando o aumento que você deseja detetar é pequeno e quando você exige maior confiança ou poder estatístico. Ela diminui quando o efeito é grande ou quando você aceita mais riscos. Esta calculadora aplica a fórmula padrão de tamanho de amostra de duas proporções para que o seu teste SMS ou WhatsApp tenha poder estatístico suficiente para realmente detetar o aumento — em vez de terminar inconclusivo ou, pior, declarar um vencedor que foi apenas sorte.
Como funciona o cálculo
Você fornece duas taxas de conversão: a sua linha de base (p₁) e a taxa alvo que deseja detetar (p₂), derivadas do seu efeito mínimo detetável. A partir do seu nível de confiança, a calculadora encontra z(α) — o número de desvios padrão que limita a taxa de falsos positivos — e a partir do seu poder estatístico, encontra z(β). Esses valores são inseridos na fórmula de duas proporções abaixo para devolver o número mínimo de recetores por variante. O total é esse valor multiplicado pelo número de variantes. Os valores z são calculados dinamicamente com uma função normal inversa de aproximação racional, portanto, qualquer nível de confiança ou poder estatístico funciona, não apenas os valores predefinidos comuns.
A fórmula
Com p̄ = (p₁ + p₂) / 2, a amostra necessária por variante é:
| Taxa agrupada | p̄ = (p₁ + p₂) / 2 |
|---|---|
| z(α) de duas caudas | Φ⁻¹(1 − α/2) |
| z(α) unilateral | Φ⁻¹(1 − α) |
| z(β) | Φ⁻¹(power) |
| n por variante | (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂ − p₁)² |
| Público total | n × number of variants |
Valores z comuns
Para referência, as predefinições correspondem a estes valores críticos padrão (calculados, não consultados):
| Nível | z(α) de duas caudas | Energia z(β) |
|---|---|---|
| 90% | 1.645 | 1.282 |
| 95% | 1.960 | 1.645 |
| 99% | 2.576 | — |
| 80% power | — | 0.842 |
Os valores z provêm da inversa da aproximação racional de Acklam da distribuição normal padrão CDF (erro relativo inferior a 1,15×10⁻⁹), portanto, valores arbitrários de confiança e poder são suportados.
Perguntas frequentes
Qual é o efeito mínimo detetável (MDE), absoluto versus relativo?
MDE é o menor aumento que você deseja que o teste seja capaz de detetar. O valor absoluto é medido em pontos percentuais: a partir de uma base de 5%, +1 pp significa detetar uma mudança para 6%. O valor relativo é uma porcentagem da base: +10% relativo significa detetar uma mudança de 5% para 5,5%. Valores menores de MDE são mais difíceis de comprovar e exigem um público muito maior, portanto, defina-o para o menor aumento que realmente alteraria a sua decisão.
O que realmente significam confiança e poder?
A confiança (1 − α) limita os falsos positivos — com 95% de confiança, você aceita uma probabilidade de 5% de considerar uma diferença real quando ela não o é. O poder (1 − β) é a probabilidade de detetar um aumento real do tamanho escolhido; com 80% de poder, você deixaria de detetar um efeito real uma vez a cada cinco tentativas. Aumentar qualquer um dos valores torna o teste mais rigoroso e aumenta o tamanho da amostra necessário.
Com uma cauda ou com duas caudas?
Use testes bicaudais, a menos que tenha um motivo forte para não fazê-lo. O teste bicaudal pergunta "a variante é diferente?" e protege você caso a variante seja, na verdade, pior. O teste unicaudal pergunta apenas "a variante é melhor?" — ele precisa de uma amostra menor, mas ignora a possibilidade de dano, o que raramente é desejável numa campanha em andamento.
Posso testar mais de duas variantes?
Sim. Defina o número de variantes (incluindo o controlo). Com mais de duas, a calculadora aplica uma correção Bonferroni — ela divide α entre as comparações com o controlo para que a taxa geral de falsos positivos permaneça dentro do seu nível de confiança. Essa correção é conservadora e aumenta o público-alvo necessário para cada variante.
Porque não posso simplesmente interromper o teste assim que o resultado parecer significativo?
Como essa fórmula pressupõe um tamanho de amostra fixo, lido apenas uma vez ao final, cada vez que você verifica e poderia parar, você tem outra chance de ser enganado pelo ruído. Assim, verificações repetidas podem multiplicar a sua taxa real de falsos positivos muito além dos 5% que você pensava ter definido. Defina o tamanho da amostra antecipadamente e deixe o processo rodar. Se precisar monitorizar continuamente, use um delineamento sequencial ou Bayesiano desenvolvido especificamente para isso.
Isso é preciso para as campanhas SMS e WhatsApp?
As estatísticas são padrão e exatas para comparar duas taxas de conversão, que é exatamente o que a maioria dos testes de mensagens A/B faz — comparar taxas de cliques, respostas, opt-ins ou compras entre variantes. A precisão depende das suas entradas: uma linha de base representativa, destinatários independentes e uma leitura limpa no final. A ferramenta não cria benchmarks; você fornece a linha de base e o aumento que são importantes para você.
Projete a receita, o custo e o ROI (retorno sobre o investimento) assim que o seu teste escolher um vencedor.
Segmentação, jornadas e campanhas em conformidade com as normas, em grande escala.
Codificação, segmentos e custo da mensagem que você enviará.
Calculadora e utilitário para desenvolvedores BroadNet totalmente gratuitos.
Execute a campanha vencedora em grande escala.
Configure o teste aqui e envie-o através da infraestrutura criada para garantir a entrega — SMS, WhatsApp e voz pela nossa rede direta de operadoras. Converse com a nossa equipa sobre encaminhamento, taxa de transferência e tarifas.