Calculadora Tamaño de Muestra Test A/B
Calcula el tamaño exacto de muestra para tests A/B, la potencia estadística y la duración de la prueba. Incluye resolución inversa de MDE, métricas continuas, corrección de Bonferroni y SRM.
Regime:
Referencia técnica y guía de arquitectura
Tamaño de Muestra & Potencia Test A/B — Guía de referencia
Calcula con exactitud el tamaño de muestra, la potencia estadística y la duración de tus test A/B. Incluye cálculo inverso de MDE, métricas continuas, corrección de Bonferroni multivariante y detección de SRM.
Parámetros clave y controles
Tasa de conversión base (p₁)Decimal / Porcentaje (0.0001 - 0.9999)
Proporción binomial histórica de la cohorte de control. La aproximación normal asintótica exige el criterio de Cochran: n·p₁ ≥ 5 y n(1 - p₁) ≥ 5. Tasas base más reducidas incrementan el volumen de observaciones requeridas de forma inversamente proporcional a la varianza de Bernoulli p₁(1 - p₁).
Por defecto: 0,03 (3,0 %)
Efecto mínimo detectable (MDE / Δ)Decimal / Porcentaje (Relativo o Absoluto)
Umbral objetivo de sensibilidad estadística. Se rige por la ley del cuadrado inverso n ∝ 1/Δ²: reducir el MDE relativo a la mitad cuadruplica el tamaño muestral necesario. Se calcula en el cliente mediante aproximaciones racionales exactas de la CDF normal inversa (función probit) bajo el épsilon de doble precisión IEEE 754 (2.22e-16).
Por defecto: 0,05 (5,0 % de incremento relativo)
Nivel de significancia (α / Error tipo I)Decimal (0.001 - 0.20)
Probabilidad máxima admisible de falso positivo o falso descubrimiento (rechazar la hipótesis nula siendo cierta). El umbral simétrico bilateral estándar divide α entre ambas colas gaussianas (Z_{α/2} = 1.95996 para α = 0.05). Los experimentos multivariante (multi-brazo) exigen el ajuste de Bonferroni α_adj = α / (K - 1) para controlar la tasa de error por familia (FWER).
Por defecto: 0,05 (95 % de confianza)
Potencia estadística (1 - β / Sensibilidad)Decimal (0.50 - 0.99)
Complemento de la tasa de error tipo II (β). Define la probabilidad de rechazar correctamente la hipótesis nula cuando existe un efecto real. Aumentar la potencia de 0,80 (Z_β = 0.8416) a 0,90 (Z_β = 1.2816) incrementa la cuota de usuarios requerida en un ~34,2 % debido al desfase no lineal del valor crítico Z.
Por defecto: 0,80 (80 % de potencia)
Número de variantes o ramas (K)Entero (2 - 20 variantes)
Total de variantes experimentales incluyendo el grupo de control. En pruebas multivariante o multi-brazo (A/B/n), las comparaciones no corregidas sufren acumulación de falsos descubrimientos: α_cum = 1 - (1 - α)^(K - 1). Se controla en el navegador mediante correcciones de multiplicidad de Bonferroni o Dunnett con complejidad O(K).
Por defecto: 2 (1 Control vs. 1 Tratamiento)
Consejos profesionales y mejores prácticas
Cumple ciclos completos de 7 o 14 días naturales
Aunque las plataformas de alto tráfico alcancen una significancia nominal (p < 0,05) en apenas 48 horas, finalizar el test antes de tiempo invalida la inferencia estadística debido a la autocorrelación temporal y la estacionalidad del día de la semana (patrones de compra dispares entre laborables y fines de semana). Mantén la prueba activa durante al menos dos semanas completas (ciclos de 7 días) para registrar la varianza semanal y neutralizar el sesgo por efecto novedad.
Evita la monitorización continua (peeking) mediante Alpha Spending o mSPRT
Revisar reiteradamente los valores p en el panel a medida que entran datos («peeking») infla la tasa empírica de error tipo I desde el 5 % nominal hasta más del 30 % al concluir la muestra. Si necesitas reglas de parada temprana en tiempo real, implementa funciones de gasto de alfa de Lan-DeMets con límites de O'Brien-Fleming o contrastes secuenciales de razón de probabilidad mixta asimétrica (mSPRT).
Audita el desajuste de asignación (SRM) antes de evaluar el impacto
Ejecuta una prueba de bondad de ajuste chi-cuadrado de Pearson de complejidad O(K) (χ² = Σ(O - E)² / E) sobre los recuentos brutos de asignación antes de comparar conversiones. Un valor p de SRM inferior a 0,001 evidencia un sesgo técnico estructural (pérdidas en workers asíncronos de CDN, anomalías de caché en redirecciones o filtrado asimétrico de bots), lo que anula por completo la validez del contraste de hipótesis.
Estandariza el MDE relativo para alinear a los equipos
Comunica siempre el efecto mínimo detectable en términos relativos (por ejemplo, un incremento relativo del +8,0 % sobre una tasa base del 4,0 % equivale a alcanzar un 4,32 %) en lugar de usar puntos porcentuales absolutos (+0,32 p. p.). Las métricas relativas escalan de forma consistente entre distintos tamaños de cohorte, facilitan las proyecciones de negocio y evitan confusiones críticas entre puntos de margen y crecimiento porcentual.
Problemas comunes y soluciones
⚠️El tamaño de muestra requerido es inviable (p. ej., > 500.000 usuarios por variante).
Elige como proxy una microconversión previa en el embudo con mayor frecuencia basal (p. ej., «Añadir al carrito» con un 12 % frente a «Compra completada» con un 1,8 %), ajusta el MDE de umbrales hipergranulares (p. ej., 2 % relativo) a metas de negocio viables (7 %–10 %), o fija la potencia estadística en el 80 % en lugar del 95 %.
⚠️Se activa la alerta de Sample Ratio Mismatch (SRM) con chi-cuadrado de Pearson p < 0,001.
Detén la toma de decisiones y no declares ninguna variante ganadora. Segmenta los porcentajes de asignación por motor de navegador, tipo de dispositivo, nodo CDN geográfico y latencia de redirección HTTP. El SRM suele originarse por tiempos límite de ejecución de scripts en el cliente, bloqueos agresivos de cookies por Intelligent Tracking Prevention (ITP) en WebKit o filtros antibot que descartan URLs de prueba de forma asimétrica.
⚠️El tamaño de muestra para métricas continuas (ingresos/ARPU) difiere drásticamente de las proyecciones normales.
Las métricas continuas en comercio electrónico presentan una asimetría positiva extrema de tipo Pareto y una varianza muy elevada (σ² >> μ). Modera estas colas pesadas aplicando winsorización de importes en el percentil 99, utilizando transformaciones logarítmicas (log(1 + x)) o sustituyendo la prueba t de Welch por el test no paramétrico U de Mann-Whitney o remuestreo por bootstrap sobre distribuciones empíricas.
Preguntas frecuentes (FAQ)
¿Cómo se calcula el tamaño de muestra para un test A/B?▼
El tamaño de muestra por variante se calcula mediante la fórmula agrupada de dos proporciones: n = [Z_{α/2}√(2p̄(1 - p̄)) + Z_β√(p₁(1 - p₁) + p₂(1 - p₂))]² / (p₂ - p₁)², donde p̄ = (p₁ + p₂)/2, Z_{α/2} es el valor crítico para el nivel de significancia (1,96 para un 95 % de confianza) y Z_β representa el valor crítico de potencia (0,8416 para un 80 % de potencia). Esta herramienta ejecuta aproximaciones racionales en el navegador para la CDF normal inversa con una complejidad temporal O(1) y sin enviar datos al servidor.
¿Por qué el 80 % de potencia estadística es el estándar del sector en tests A/B?▼
Una potencia estadística del 80 % (β = 0,20) constituye el equilibrio económico idóneo entre el riesgo de falsos negativos y el coste de asignar tráfico. Elevar la potencia del 80 % al 90 % (con Z_β pasando de 0,84 a 1,28) exige cerca de un 34 % más de volumen de muestra, y alcanzar el 95 % de potencia requiere un ~74 % de tráfico adicional. En la mayoría de productos digitales, prolongar la duración del experimento genera un coste de oportunidad comercial muy superior al riesgo residual del 20 % de incurrir en un error tipo II.
¿Cuál es la diferencia entre el efecto mínimo detectable (MDE) relativo y absoluto?▼
El MDE relativo expresa el incremento esperado como un porcentaje sobre la tasa base: ante una base del 5,0 %, un MDE relativo del 10 % apunta a una conversión del 5,5 % (Δ = 0,005). Por el contrario, el MDE absoluto expresa la variación directamente en puntos porcentuales brutos: un MDE absoluto del 2,0 % sobre una base del 5,0 % persigue una tasa del 7,0 % (Δ = 0,02). El MDE relativo es la convención estándar en plataformas de experimentación, ya que los objetivos de crecimiento y el escalado de varianza se normalizan de forma natural mediante variaciones proporcionales.
¿Debe utilizarse un contraste de hipótesis unilateral o bilateral en un test A/B?▼
En entornos de producción se requiere un contraste bilateral (two-tailed), ya que las variantes de tratamiento pueden perjudicar la experiencia de usuario y reducir la conversión. La prueba bilateral reparte el nivel alfa entre ambos extremos de la distribución (α/2 = 0,025 en cada cola), garantizando protección matemática contra falsos ganadores ante caídas de rendimiento. Los contrastes unilaterales (one-tailed) deben reservarse exclusivamente para pruebas de no inferioridad o migraciones de infraestructura en la nube donde la degradación técnica sea la única hipótesis direccional a evaluar.
¿Qué es el Sample Ratio Mismatch (SRM) y cómo se detecta?▼
El desajuste de asignación de tráfico o SRM (Sample Ratio Mismatch) se produce cuando el tráfico observado en las variantes discrepa significativamente de la división aleatoria configurada (por ejemplo, una distribución teórica del 50/50 frente a un 48,8/51,2 registrado). Se detecta mediante una prueba de bondad de ajuste chi-cuadrado de Pearson: χ² = Σ(O_i - E_i)² / E_i con K - 1 grados de libertad. Un umbral de p < 0,001 revela un problema técnico grave (fallos de caché perimetral, bloqueos del navegador o latencia desigual en redirecciones) que invalida toda inferencia causal.
¿Por qué un test A/B debe ejecutarse durante un mínimo de 7 o 14 días completos?▼
Los experimentos deben abarcar al menos 7 o 14 ciclos completos de 24 horas, incluso si el tamaño muestral estimado se alcanza con anterioridad. El comportamiento de los usuarios muestra una marcada periodicidad semanal (diferencias de compra entre fines de semana y días laborables). Interrumpir el test antes de tiempo induce falsos positivos por autocorrelación temporal, desencadena la paradoja de Simpson entre cohortes de días y omite la ventana de latencia natural necesaria para que los usuarios completen su conversión.
Herramientas y utilidades relacionadas
Todas las herramientas →Conversor PX a REM y REM a PXDesarrollo
Convierte PX a REM y REM a PX al instante con tamaño base personalizable. Genera tipografía fluida con clamp() en CSS, clases de Tailwind y tablas de conversión.
Abrir herramienta→
Comprobador de Códigos HTTP & RedirectsDesarrollo
Comprueba códigos de estado HTTP, analiza cadenas de redirección e inspecciona cabeceras de respuesta. Diagnostica errores de 1xx a 5xx, normas RFC, impacto en SEO y soluciones.
Abrir herramienta→
Probador Regex & Depurador RegExpDesarrollo
Prueba, depura y optimiza expresiones regulares en tiempo real. Inspecciona coincidencias de patrones, grupos de captura, desglose de tokens y sintaxis de sustitución.
Abrir herramienta→
Calculadora de Subredes IP & CIDRDesarrollo
Calcule máscaras de subred IPv4, rangos de red CIDR, direcciones de host utilizables e IP de broadcast. Incluye inspección binaria bit a bit, planificación VLSM y reglas de VPC en la nube.
Abrir herramienta→
Calculadora de Suma y Resta BinariaDesarrollo
Calcula sumas y restas binarias con acarreos paso a paso, complemento a dos con signo, compuertas lógicas y conversión a hexadecimal en tiempo real.
Abrir herramienta→
Validador de Robots.txt & TesterDesarrollo
Pruebe y valide la sintaxis de robots.txt conforme a RFC 9309. Verifique permisos de rastreo por User-Agent, depure rutas Disallow e inspeccione sitemaps en el navegador.
Abrir herramienta→