Calcolatore della dimensione del campione di test A/B.
Prima di suddividere un pubblico SMS o WhatsApp, calcola quanti destinatari sono necessari per ciascuna variante affinché il risultato sia statisticamente valido e non casuale. Inserisci il tuo tasso di conversione di base, il minimo incremento rilevabile, il tuo livello di confidenza e la potenza statistica, e ottieni il campione richiesto per variante e in totale. Tutto funziona direttamente nel tuo browser.
I calcoli sono standard ed esatti; l'affidabilità dipende dalle ipotesi formulate.
Questo metodo utilizza la classica formula per il calcolo della dimensione del campione basata su due proporzioni. Presuppone che ogni destinatario effettui la conversione in modo indipendente, che la dimensione del campione sia fissa e che il risultato venga letto una sola volta al termine (un test a orizzonte fisso) e che il valore di riferimento inserito sia rappresentativo. Non creiamo alcun parametro di riferimento: lo fornite voi. Controllare ripetutamente il test e interromperlo non appena appare significativo ("sbirciare") aumenta i falsi positivi ben oltre il livello di confidenza dichiarato; dimensionate il test e poi lasciatelo eseguire.
Il tuo test
Controlla il tuo attuale tasso di conversione: clic, risposte, acquisti, iscrizioni, qualsiasi cosa tu consideri una conversione.
Relativo: ad esempio, +10 significa un miglioramento del 10% rispetto al valore di riferimento, ovvero dal 5% al 5,5%.
Livello di confidenza del 95% → α = 0,05, il tasso di falsi positivi tollerato. Un livello di confidenza più elevato richiede un campione più ampio. La probabilità di rilevare un sollevamento reale di queste dimensioni è dell'80%, una percentuale comune; il 90% è più restrittivo e richiede un numero maggiore di soggetti.
I test a due code verificano se la variante presenta differenze (consigliati). I test a una coda verificano solo il miglioramento e richiedono un campione più piccolo.
Incluso il controllo. 2 = A/B classico. Altre varianti applicano una correzione Bonferroni e necessitano di un pubblico più ampio.
Numero totale di contatti che è possibile registrare al giorno per tutte le varianti. Utilizzato per stimare la durata del test.
Campione richiesto
Test a due proporzioni · dimensione del campione fissa decisa in anticipo · lettura una sola volta alla fine · i destinatari convertono in modo indipendente.
Il valore di n per variante viene calcolato utilizzando la formula standard delle due proporzioni con i dati di input forniti:
p̄ = (0.0500 + 0.0550) / 2 = 0.0525
z(α) = 1.9600 z(β) = 0.8416
n = (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂−p₁)²
n per variant = 31,234 ×2 variants = 62,468SbirciareQuesta dimensione del campione è valida solo se la si stabilisce a priori e si valuta il test una sola volta, alla fine. Controllare quotidianamente e interrompere il monitoraggio non appena si osserva un risultato significativo può moltiplicare il tasso reale di falsi positivi diverse volte. Se è necessario monitorare il campione durante il periodo di osservazione, è consigliabile utilizzare un metodo sequenziale o bayesiano specificamente progettato per questo scopo.
Inserisci un valore di riferimento compreso tra 0 e 100% e un effetto minimo rilevabile maggiore di zero per visualizzare il campione richiesto.
La risposta breve
Di quante persone hai bisogno per un test A/B?
Abbastanza da far sì che una differenza reale della dimensione che ti interessa risulti evidente rispetto al rumore casuale della conversione. Il campione richiesto per variante aumenta quando il tasso di conversione di base è basso, quando l'incremento che si desidera rilevare è piccolo e quando si richiede maggiore confidenza o potenza. Diminuisce quando l'effetto è grande o si accetta un rischio maggiore. Questo calcolatore applica la formula standard per la dimensione del campione a due proporzioni in modo che il tuo test SMS o WhatsApp abbia la potenza necessaria per rilevare effettivamente l'incremento, invece di risultare inconcludente o, peggio, di dichiarare un vincitore che in realtà è stato il caso.
Come funziona il calcolo
Si forniscono due tassi di conversione: il valore di riferimento (p₁) e il valore target che si desidera essere in grado di rilevare (p₂), derivato dall'effetto minimo rilevabile. Dal livello di confidenza, il calcolatore ricava z(α), ovvero il numero di deviazioni standard che delimita il tasso di falsi positivi, e dalla potenza statistica ricava z(β). Questi valori vengono inseriti nella formula a due proporzioni riportata di seguito per restituire il numero minimo di destinatari per variante. Il totale è dato da tale valore moltiplicato per il numero di varianti. I valori z vengono calcolati al volo con una funzione inversa normale ad approssimazione razionale, quindi qualsiasi livello di confidenza o potenza statistica funziona, non solo le impostazioni predefinite più comuni.
La formula
Con p̄ = (p₁ + p₂) / 2, il campione richiesto per variante è:
| Tariffa forfettaria | p̄ = (p₁ + p₂) / 2 |
|---|---|
| z(α) a due code | Φ⁻¹(1 − α/2) |
| z(α) a una coda | Φ⁻¹(1 − α) |
| z(β) | Φ⁻¹(power) |
| n per variante | (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂ − p₁)² |
| Pubblico totale | n × number of variants |
Valori z comuni
A titolo di riferimento, i preset corrispondono ai seguenti valori critici standard (calcolati, non recuperati):
| Livello | z(α) a due code | z(β) potenza |
|---|---|---|
| 90% | 1.645 | 1.282 |
| 95% | 1.960 | 1.645 |
| 99% | 2.576 | — |
| 80% power | — | 0.842 |
I valori z derivano dall'inverso di approssimazione razionale della distribuzione normale standard CDF di Acklam (errore relativo inferiore a 1,15×10⁻⁹), quindi sono supportati valori di confidenza e potenza arbitrari.
Domande frequenti
Qual è l'effetto minimo rilevabile (MDE), assoluto o relativo?
MDE è il minimo incremento che si desidera che il test sia in grado di rilevare. Il valore assoluto è misurato in punti percentuali: da una base del 5%, +1 punto percentuale significa rilevare un movimento al 6%. Il valore relativo è una percentuale rispetto alla base: +10% relativo significa rilevare un movimento dal 5% al 5,5%. Valori di MDE più piccoli sono più difficili da dimostrare e richiedono un pubblico molto più ampio, quindi impostalo sul minimo incremento che effettivamente cambierebbe la tua decisione.
Che cosa significano concretamente fiducia e potere?
La confidenza (1 − α) definisce i limiti dei falsi positivi: con una confidenza del 95% si accetta una probabilità del 5% di considerare reale una differenza quando non lo è. La potenza (1 − β) è la probabilità di rilevare un aumento reale della dimensione scelta; con una potenza dell'80% si rischierebbe di non rilevare un effetto reale una volta su cinque. Aumentando uno dei due valori, il test diventa più rigoroso e aumenta il campione necessario.
A una coda o a due code?
Utilizzate test a due code a meno che non abbiate un valido motivo per non farlo. Il test a due code si chiede "la variante è diversa?" e vi protegge nel caso in cui la variante sia effettivamente peggiore. Il test a una coda si chiede solo "la variante è migliore?" — richiede un campione più piccolo ma ignora la possibilità di un danno, che raramente è ciò che si desidera in una campagna in corso.
Posso testare più di due varianti?
Sì. Imposta il numero di varianti (incluso il controllo). Con più di due varianti, il calcolatore applica una correzione Bonferroni: divide α per i confronti con il controllo in modo che il tasso complessivo di falsi positivi rimanga entro il tuo livello di confidenza. Questa correzione è conservativa e aumenta il pubblico di cui ogni variante ha bisogno.
Perché non posso semplicemente interrompere il test non appena i risultati appaiono significativi?
Poiché questa formula presuppone una dimensione fissa del campione, letto una sola volta alla fine, ogni volta che si dà un'occhiata e si potrebbe interrompere l'analisi, si ha un'ulteriore possibilità di essere ingannati dal rumore, quindi le ripetute sbirciatine possono moltiplicare il tasso di falsi positivi effettivo ben oltre il 5% che si pensava di aver impostato. Decidete la dimensione del campione in anticipo e lasciate che l'analisi proceda. Se dovete monitorare in modo continuo, utilizzate un disegno sequenziale o bayesiano progettato appositamente.
Questa informazione è corretta per le campagne SMS e WhatsApp?
Le statistiche sono standard e precise per confrontare due percentuali di conversione, che è esattamente ciò che fanno la maggior parte dei test di messaggistica A/B: confrontare i tassi di clic, risposta, iscrizione o acquisto tra le diverse varianti. L'accuratezza dipende dai dati di input: una base di riferimento rappresentativa, destinatari indipendenti e una lettura finale pulita. Lo strumento non inventa parametri di riferimento; sei tu a fornire la base di riferimento e l'incremento che ti interessa.
Proietta ricavi, costi e ROI una volta che il tuo test avrà individuato il vincitore.
Segmentazione, percorsi del cliente e campagne conformi su larga scala.
Codifica, segmenti e costo del messaggio che invierai.
Tutte le calcolatrici e le utility per sviluppatori BroadNet gratuite.
Realizza una campagna vincente su larga scala.
Dimensiona il test qui, quindi invialo su un'infrastruttura progettata per la consegna: SMS, WhatsApp e voce attraverso la nostra rete diretta di operatori. Parla con il nostro team per informazioni su routing, throughput e tariffe.