Calculateur de taille d'échantillon de test A/B.
Avant de segmenter une audience SMS ou WhatsApp, déterminez le nombre de destinataires nécessaire pour chaque variante afin d'obtenir un résultat statistiquement valide, et non un résultat parasite. Indiquez votre taux de conversion de base, le seuil de variation minimal détectable, votre niveau de confiance et la puissance statistique de votre test, et obtenez la taille d'échantillon requise pour chaque variante et au total. Tout se déroule directement dans votre navigateur.
Les calculs mathématiques sont standard et exacts ; la fiabilité dépend de vos hypothèses.
Cette méthode utilise la formule classique de calcul de la taille de l'échantillon pour la comparaison de deux proportions. Elle suppose que chaque destinataire effectue la conversion indépendamment, que la taille de l'échantillon est fixée à l'avance et que le résultat est lu une seule fois à la fin (test à horizon fixe), et que la valeur de référence saisie est représentative. Nous ne fournissons pas de valeurs de référence ; vous fournissez la valeur de référence. Vérifier le test de manière répétée et l'interrompre dès qu'il semble significatif (« vérification rapide ») augmente considérablement le nombre de faux positifs, bien au-delà du niveau de confiance indiqué ; dimensionnez le test, puis laissez-le s'exécuter.
Votre test
Votre taux de conversion actuel (clics, réponses, achats, inscriptions, tout ce que vous considérez comme une conversion).
Relatif : par exemple, +10 signifie une amélioration de 10 % par rapport à la valeur de référence — de 5 % à 5,5 %.
Niveau de confiance de 95 % → α = 0,05, le taux de faux positifs toléré. Un niveau de confiance plus élevé nécessite un échantillon plus important. La probabilité de détecter une augmentation réelle de cette ampleur est de 80 % ; 90 % est un seuil plus strict qui nécessite un plus grand nombre de bénéficiaires.
Les tests bilatéraux permettent de déterminer si la variante présente une différence (recommandé). Les tests unilatéraux ne permettent de tester que l'amélioration et nécessitent un échantillon plus petit.
Y compris le contrôle. 2 = A/B classique. D'autres variantes appliquent une correction Bonferroni et nécessitent un public plus large.
Nombre total de contacts pouvant être enregistrés par jour, toutes variantes confondues. Permet d'estimer la durée du test.
Échantillon requis
Test à deux proportions · taille d'échantillon fixe décidée à l'avance · lecture unique à la fin · conversion indépendante par les destinataires.
Le nombre n par variante est calculé à partir de la formule standard à deux proportions avec vos données d'entrée exactes :
p̄ = (0.0500 + 0.0550) / 2 = 0.0525
z(α) = 1.9600 z(β) = 0.8416
n = (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂−p₁)²
n per variant = 31,234 ×2 variants = 62,468En jetant un coup d'œilCette taille d'échantillon n'est valable que si elle est définie au préalable et que le test est évalué une seule fois, à la fin. Un contrôle quotidien, interrompu dès qu'un résultat semble significatif, peut multiplier par plusieurs fois le taux réel de faux positifs. Si un suivi en cours de vol est nécessaire, utilisez une méthode séquentielle ou bayésienne adaptée.
Saisissez une valeur de référence comprise entre 0 et 100 % et un effet minimal détectable supérieur à zéro pour visualiser l'échantillon requis.
La réponse courte
De combien de personnes avez-vous besoin pour un test A/B ?
Suffisamment puissant pour qu'une différence significative, de l'ampleur qui vous importe, se distingue nettement du bruit aléatoire des conversions. La taille de l'échantillon requise par variante augmente lorsque votre taux de conversion de base est faible, lorsque l'augmentation que vous souhaitez détecter est minime et lorsque vous exigez un niveau de confiance ou une puissance statistique plus élevés. Elle diminue lorsque l'effet est important ou que vous acceptez un risque accru. Ce calculateur applique la formule standard de calcul de la taille de l'échantillon pour deux proportions, afin que votre test SMS ou WhatsApp soit suffisamment puissant pour détecter réellement l'augmentation, au lieu de conclure à un résultat non concluant ou, pire encore, de désigner un vainqueur qui était en réalité dû au hasard.
Fonctionnement du calcul
Vous indiquez deux taux de conversion : votre taux de référence (p₁) et le taux cible à détecter (p₂), calculé à partir de votre effet minimal détectable. À partir de votre niveau de confiance, le calculateur détermine z(α) (le nombre d'écarts-types qui limite le taux de faux positifs) et, à partir de votre puissance, z(β). Ces valeurs sont ensuite intégrées dans la formule des deux proportions ci-dessous pour obtenir le nombre minimal de destinataires par variante. Le total est obtenu en multipliant ce nombre par le nombre de variantes. Les valeurs z sont calculées dynamiquement à l'aide d'une fonction normale inverse par approximation rationnelle ; par conséquent, tout niveau de confiance ou puissance est compatible, et pas seulement les valeurs prédéfinies courantes.
La formule
Avec p̄ = (p₁ + p₂) / 2, l'échantillon requis par variante est :
| taux groupé | p̄ = (p₁ + p₂) / 2 |
|---|---|
| z(α) à deux queues | Φ⁻¹(1 − α/2) |
| z(α) à une queue | Φ⁻¹(1 − α) |
| z(β) | Φ⁻¹(power) |
| n par variante | (z(α)·√(2·p̄·(1−p̄)) + z(β)·√(p₁(1−p₁)+p₂(1−p₂)))² / (p₂ − p₁)² |
| Audience totale | n × number of variants |
Valeurs z courantes
À titre de référence, les préréglages correspondent à ces valeurs critiques standard (calculées, et non consultées) :
| Niveau | z(α) à deux queues | Puissance z(β) |
|---|---|---|
| 90% | 1.645 | 1.282 |
| 95% | 1.960 | 1.645 |
| 99% | 2.576 | — |
| 80% power | — | 0.842 |
Les valeurs z proviennent de l'inverse de l'approximation rationnelle de Acklam de la loi normale standard CDF (erreur relative inférieure à 1,15×10⁻⁹), donc des valeurs de confiance et de puissance arbitraires sont prises en charge.
Questions fréquentes
Quel est l'effet minimal détectable (MDE), absolu ou relatif ?
MDE correspond à la plus petite augmentation que le test doit pouvoir détecter. La valeur absolue est exprimée en points de pourcentage : par rapport à une base de référence de 5 %, +1 pp signifie détecter une augmentation à 6 %. La valeur relative est exprimée en pourcentage de la base de référence : +10 % relatif signifie détecter une augmentation de 5 % à 5,5 %. Les valeurs de MDE plus faibles sont plus difficiles à prouver et nécessitent des audiences beaucoup plus larges. Il est donc conseillé de la définir sur la plus petite augmentation susceptible de modifier votre décision.
Que signifient réellement la confiance et le pouvoir ?
Le niveau de confiance (1 − α) limite les faux positifs : à 95 % de confiance, on accepte une probabilité de 5 % de conclure à une différence réelle alors qu’elle ne l’est pas. La puissance (1 − β) représente la probabilité de détecter un véritable effet de l’ampleur choisie ; à 80 % de puissance, on manquerait un effet réel une fois sur cinq. Augmenter l’un ou l’autre de ces paramètres rend le test plus rigoureux et accroît la taille de l’échantillon nécessaire.
À une queue ou à deux queues ?
Utilisez un test bilatéral, sauf raison impérieuse de faire autrement. Ce type de test répond à la question « La variante est-elle différente ? » et vous protège si elle s'avère en réalité moins performante. Le test unilatéral, quant à lui, se contente de répondre à la question « La variante est-elle meilleure ? » ; il nécessite un échantillon plus petit mais ignore le risque d'effets indésirables, ce qui est rarement souhaitable dans une campagne en production.
Puis-je tester plus de deux variantes ?
Oui. Indiquez le nombre de variantes (y compris la variante de contrôle). Au-delà de deux variantes, le calculateur applique une correction Bonferroni : il divise α par le nombre de comparaisons avec la variante de contrôle afin que le taux de faux positifs global reste dans les limites de votre niveau de confiance. Cette correction est prudente et augmente la taille de l'audience requise pour chaque variante.
Pourquoi ne puis-je pas simplement arrêter le test une fois que les résultats semblent significatifs ?
Cette formule suppose une taille d'échantillon fixe, mesurée une seule fois à la fin. Chaque consultation, même si elle pourrait s'arrêter, augmente le risque d'être induit en erreur par le bruit. Ainsi, des consultations répétées peuvent multiplier votre taux de faux positifs bien au-delà des 5 % que vous pensiez avoir fixés. Déterminez la taille de l'échantillon dès le départ et laissez le processus se dérouler. Si une surveillance continue est nécessaire, utilisez un modèle séquentiel ou bayésien adapté.
Cela est-il exact pour les campagnes SMS et WhatsApp ?
Les statistiques sont standardisées et précises pour comparer deux taux de conversion, ce que font la plupart des tests de messagerie A/B : comparer les taux de clics, de réponses, d’inscription ou d’achats entre différentes variantes. La précision dépend de vos données d’entrée : une base de référence représentative, des destinataires indépendants et une analyse finale unique et fiable. L’outil ne crée pas de points de référence ; vous fournissez la base et l’augmentation qui vous importent.
Projetez les revenus, les coûts et le retour sur investissement une fois que votre test aura désigné un gagnant.
Segmentation, parcours clients et campagnes conformes à grande échelle.
Encodage, segments et coût du message que vous enverrez.
Toutes les calculatrices et tous les utilitaires de développement BroadNet gratuits.
Déployez la campagne gagnante à grande échelle.
Dimensionnez le test ici, puis envoyez-le sur une infrastructure optimisée pour la diffusion : SMS, WhatsApp et voix via notre réseau opérateur direct. Contactez notre équipe pour toute question relative au routage, au débit et aux tarifs.