Taille d'échantillon & puissance A/B
Calculez la taille d'échantillon exacte, la puissance statistique et la durée de vos tests A/B. Résolution inverse du MDE, métriques continues, correction de Bonferroni multi-bras et détection de SRM.
Regime:
Référence technique et guide d'architecture
Taille d'échantillon & puissance A/B — Guide de référence
Calculez la taille d'échantillon exacte, la puissance statistique et la durée d'un test A/B. Intègre le calcul inversé du MDE, métriques continues, correction de Bonferroni multi-bras et détection de SRM.
Paramètres clés et contrôles
Taux de conversion de référence (p₁)Flottant / Pourcentage (0,0001 - 0,9999)
Proportion binomiale historique de la cohorte témoin (contrôle). L'approximation normale asymptotique exige le critère de Cochran : n·p₁ ≥ 5 et n(1 - p₁) ≥ 5. Un taux de base plus faible gonfle le volume d'échantillon requis, de façon inversement proportionnelle à la variance de Bernoulli p₁(1 - p₁).
Par défaut : 0,03 (3,0 %)
Effet minimum détectable (MDE / Δ)Flottant / Pourcentage (Relatif ou Absolu)
Seuil de sensibilité statistique cible. Régit par la loi en carré inverse n ∝ 1/Δ² : diviser par deux le MDE relatif quadruple le volume d'échantillon requis. Calculé côté client via des approximations rationnelles exactes de la fonction quantile normale inverse (probit) avec une précision machine IEEE 754 (epsilon de 2,22e-16).
Par défaut : 0,05 (+5,0 % de lift relatif)
Seuil de significativité (α / Erreur de type I)Flottant (0,001 - 0,20)
Probabilité maximale tolérée de faux positif (rejet à tort de l'hypothèse nulle). Le seuil bilatéral symétrique standard divise α sur les deux queues gaussiennes (Z_{α/2} = 1,95996 pour α = 0,05). Les tests multi-bras requièrent un ajustement de Bonferroni α_adj = α / (K - 1) pour maîtriser le taux d'erreur par famille (FWER).
Par défaut : 0,05 (confiance à 95 %)
Puissance statistique (1 - β / Sensibilité)Flottant (0,50 - 0,99)
Complément du taux d'erreur de type II (β). Définit la probabilité de rejeter à juste titre l'hypothèse nulle lorsqu'un effet réel existe. Augmenter la puissance de 0,80 (Z_β = 0,8416) à 0,90 (Z_β = 1,2816) accroît le quota de visiteurs requis d'environ 34,2 % en raison du décalage critique non linéaire du score Z.
Par défaut : 0,80 (puissance de 80 %)
Nombre de variantes (K)Entier (2 - 20 variantes)
Nombre total de variantes expérimentales incluant le contrôle. En test multi-bras (A/B/n), les comparaisons directes non corrigées multiplient le risque de faux positifs : α_cum = 1 - (1 - α)^(K - 1). Régulé côté client via les corrections de multiplicité de Bonferroni ou Dunnett en O(K).
Par défaut : 2 (1 Contrôle vs 1 Variante)
Conseils de pro et bonnes pratiques
Respecter des cycles complets de 7 ou 14 jours calendaires
Même lorsqu'une plateforme à fort trafic atteint la significativité nominale (p < 0,05) en 48 heures, couper prématurément le test invalide l'inférence statistique en raison de l'autocorrélation temporelle et de la saisonnalité hebdomadaire (comportements d'achat distincts entre semaine et week-end). Maintenez le test sur au moins deux cycles hebdomadaires complets de 7 jours pour absorber la variance calendaire et dissiper les effets de nouveauté.
Éliminer le peeking continu via l'alpha spending ou le mSPRT
Consulter de façon répétée les p-values d'un tableau de bord au fur et à mesure de l'arrivée des données (« peeking ») fait bondir l'erreur empirique de type I de 5 % à plus de 30 % à maturité. Si des arrêts anticipés en temps réel sont requis, déployez des fonctions d'allocation d'alpha de Lan-DeMets avec frontières d'O'Brien-Fleming ou des tests séquentiels de rapport de vraisemblance mélangée (mSPRT).
Auditer le Sample Ratio Mismatch (SRM) avant d'analyser le lift
Exécutez un test d'adéquation du Chi-deux de Pearson en O(K) (χ² = Σ(O - E)² / E) sur les volumes bruts d'affectation avant d'évaluer le taux de conversion. Une p-value de SRM inférieure à 0,001 trahit un biais structurel d'infrastructure (pertes de requêtes sur edge workers CDN, anomalies de cache sur redirections ou filtrage asymétrique des bots), ce qui rend caduc tout test d'hypothèse ultérieur.
Standardiser le MDE relatif pour l'alignement inter-équipes
Communiquez systématiquement l'effet minimum détectable en valeur relative (ex. : +8,0 % de lift relatif sur un taux de base de 4,0 % équivaut à 4,32 %) plutôt qu'en points de pourcentage absolus (+0,32 pt). Le MDE relatif s'échelonne uniformément quelle que soit la taille des cohortes, s'intègre directement aux projections de ROI financier et prévient toute confusion entre points de marge et croissance relative.
Pièges courants et dépannage
⚠️La taille d'échantillon requise est démesurée (ex. : > 500 000 visiteurs par variante).
Ciblez une micro-conversion située plus haut dans le tunnel avec un taux de référence plus élevé (ex. : Ajout au panier à 12 % plutôt que Commande finalisée à 1,8 %), relevez le MDE d'objectifs trop granulaires (ex. : 2 % relatif) vers des seuils opérationnels réalistes (7 % à 10 %), ou calibrez la puissance statistique à 80 % au lieu de 95 %.
⚠️L'alerte de Sample Ratio Mismatch (SRM) se déclenche avec un Chi-deux p < 0,001.
Interrompez immédiatement toute prise de décision et ne désignez aucun vainqueur. Segmentez les ratios d'affectation par moteur de rendu, type d'appareil, point de présence (POP) CDN et latence de redirection HTTP. Le SRM provient généralement de timeouts d'exécution de scripts côté client, d'un blocage agressif de cookies par l'ITP de WebKit ou de filtres anti-bots ciblant préférentiellement les URL des variantes.
⚠️La taille d'échantillon pour une métrique continue (Panier moyen/ARPU) diverge des projections normales.
Les données continues en e-commerce affichent une forte asymétrie de Pareto à queue lourde et une variance élevée (σ² >> μ). Neutralisez ces valeurs aberrantes en winsorisant les montants de commande au 99e percentile, en appliquant une transformation logarithmique (log(1 + x)), ou en délaissant le test t de Welch au profit du test non paramétrique de Mann-Whitney U ou d'un rééchantillonnage par bootstrap empirique.
Foire aux questions (FAQ)
Comment calculer la taille d'échantillon d'un test A/B ?▼
La taille d'échantillon par variante se calcule via la formule à deux proportions regroupées : n = [Z_{α/2}√(2p̄(1 - p̄)) + Z_β√(p₁(1 - p₁) + p₂(1 - p₂))]² / (p₂ - p₁)², où p̄ = (p₁ + p₂)/2, Z_{α/2} représente la valeur critique de significativité (1,96 pour un niveau de confiance de 95 %) et Z_β la valeur critique de puissance (0,8416 pour 80 % de puissance). Cet outil exécute des approximations rationnelles de la fonction quantile normale inverse côté client avec une complexité temporelle en O(1) sans aucune transmission de données vers un serveur.
Pourquoi une puissance statistique de 80 % est-elle le standard en test A/B ?▼
Une puissance statistique de 80 % (β = 0,20) offre l'arbitrage économique optimal entre risque de faux négatif et coût d'allocation du trafic. Passer de 80 % à 90 % de puissance (Z_β évoluant de 0,84 à 1,28) exige environ 34 % d'échantillon supplémentaire, et viser 95 % requiert ~74 % de trafic en plus. Pour la plupart des produits digitaux, immobiliser le trafic sur des durées excessives induit un coût d'opportunité bien supérieur au risque résiduel de 20 % d'erreur de type II.
Quelle est la différence entre un MDE relatif et un MDE absolu ?▼
Le MDE relatif exprime l'augmentation attendue en pourcentage du taux de référence : pour un taux de 5,0 %, un MDE relatif de 10 % cible un taux de 5,5 % (Δ = 0,005). Le MDE absolu exprime la variation directe en points de pourcentage : un MDE absolu de 2,0 % sur un taux de 5,0 % vise 7,0 % (Δ = 0,02). Le MDE relatif est la norme des plateformes d'expérimentation car les objectifs d'affaires et la mise à l'échelle de la variance s'articulent naturellement autour de variations proportionnelles.
Faut-il privilégier un test d'hypothèse unilatéral ou bilatéral ?▼
Un test bilatéral est impératif pour tout test A/B en production, car une variante peut dégrader l'expérience utilisateur et affaiblir les conversions. Le test bilatéral répartit le risque alpha sur les deux extrémités de la distribution (α/2 = 0,025 de chaque côté), garantissant un rempart mathématique contre la validation erronée d'un impact négatif. Les tests unilatéraux doivent être strictement restreints aux essais de non-infériorité ou aux migrations d'infrastructure cloud où seule la régression de performance est sous surveillance.
Qu'est-ce que le Sample Ratio Mismatch (SRM) et comment le détecter ?▼
Le Sample Ratio Mismatch (SRM) survient lorsque la répartition réelle des visiteurs observée diverge significativement du ratio d'allocation prévu (ex. : split 50/50 planifié contre 48,8/51,2 constaté). On le détecte grâce au test d'adéquation du Chi-deux de Pearson : χ² = Σ(O_i - E_i)² / E_i avec K - 1 degrés de liberté. Un résultat p < 0,001 signale une anomalie technique critique (problèmes de mise en cache CDN, crashes de navigateur ou latences asymétriques de redirection) qui anéantit la validité de toute inférence causale.
Pourquoi un test A/B doit-il s'exécuter sur 7 ou 14 jours complets au minimum ?▼
Les tests doivent impérativement couvrir au minimum 7 ou 14 cycles entiers de 24 heures, même si les quotas d'échantillon sont validés plus tôt. Les comportements de navigation et d'achat présentent une forte saisonnalité intra-hebdomadaire (semaine vs week-end). Stopper le test prématurément engendre des faux positifs dus à l'autocorrélation temporelle, expose au paradoxe de Simpson selon les cohortes quotidiennes et occulte les fenêtres de latence de conversion multi-jours.
Outils et utilitaires connexes
Tous les outils →Convertisseur PX en REM & REM en PXDéveloppement
Convertissez instantanément PX en REM et REM en PX avec taille de police racine personnalisée. Générez du CSS clamp() fluide, des classes Tailwind et des tables de conversion.
Ouvrir l'outil→
Vérificateur Code HTTP & RedirectionDéveloppement
Vérifiez les codes d'état HTTP, testez les chaînes de redirection et analysez les en-têtes de réponse. Diagnostiquez les erreurs 1xx à 5xx, la conformité RFC et l'impact SEO.
Ouvrir l'outil→
Testeur Regex & DébogueurDéveloppement
Testez, déboguez et optimisez vos expressions régulières en temps réel. Analysez les correspondances de motifs, les groupes de capture, l'arbre syntaxique et les substitutions.
Ouvrir l'outil→
Calculateur Sous-Réseau IP & CIDRDéveloppement
Calculez masques de sous-réseau IPv4, plages CIDR, hôtes utilisables et adresses de diffusion. Inspection binaire bit à bit, découpage VLSM et règles VPC cloud.
Ouvrir l'outil→
Calcul Addition & Soustraction BinaireDéveloppement
Effectuez des additions et soustractions binaires avec calcul pas à pas des retenues, complément à deux signé, simulation de portes logiques et conversion hexadécimale en temps réel.
Ouvrir l'outil→
Testeur & Validateur Robots.txtDéveloppement
Testez et validez la syntaxe robots.txt selon la norme RFC 9309. Vérifiez les autorisations de crawl par User-Agent, déboguez les chemins Disallow et inspectez les sitemaps.
Ouvrir l'outil→