Calculadora de Amostra & Teste A/B
Calcule o tamanho exato da amostra, o poder estatístico e a duração de testes A/B. Inclui cálculo reverso de MDE, métricas contínuas, correção de Bonferroni multibraço e SRM.
Regime:
Referência técnica e guia de arquitetura
Tamanho de Amostra & Poder Teste A/B — Guia de referência
Calcule o tamanho exato da amostra, o poder estatístico e a duração do teste A/B. Inclui cálculo reverso de MDE, métricas contínuas, correção de Bonferroni para múltiplos braços e detecção de SRM.
Parâmetros-chave e controles
Taxa de Conversão Basal (p₁)Decimal / Porcentagem (0,0001 - 0,9999)
Proporção binomial histórica da coorte de controle. A aproximação normal assintótica exige o critério de Cochran n·p₁ ≥ 5 e n(1 - p₁) ≥ 5. Taxas basais menores inflam o volume necessário de observações de forma inversamente proporcional à variância de Bernoulli p₁(1 - p₁).
Padrão: 0,03 (3,0%)
Efeito Mínimo Detectável (MDE / Δ)Decimal / Porcentagem (Relativo ou Absoluto)
Limiar de sensibilidade estatística desejado. Regido pela escala do inverso do quadrado n ∝ 1/Δ²: reduzir o MDE relativo pela metade quadruplica o volume amostral exigido. Calculado no lado do cliente via aproximações racionais exatas da CDF normal inversa (função probit) com precisão épsilon IEEE 754 de ponto flutuante duplo (2,22e-16).
Padrão: 0,05 (5,0% de aumento relativo)
Nível de Significância (α / Erro Tipo I)Decimal (0,001 - 0,20)
Probabilidade máxima aceitável de falso descobrimento (rejeitar a hipótese nula quando verdadeira). O limiar bicaudal simétrico padrão divide α entre as duas caudas gaussianas (Z_{α/2} = 1,95996 para α = 0,05). Experimentos com múltiplos braços exigem ajuste de Bonferroni α_adj = α / (K - 1) para controlar a taxa de erro por família (FWER).
Padrão: 0,05 (95% de confiança)
Poder Estatístico (1 - β / Sensibilidade)Decimal (0,50 - 0,99)
Complemento da taxa de erro Tipo II (β). Define a probabilidade de rejeitar corretamente a hipótese nula quando existe um efeito real. Aumentar o poder de 0,80 (Z_β = 0,8416) para 0,90 (Z_β = 1,2816) expande a cota necessária de visitantes em aproximadamente 34,2% devido ao deslocamento não linear do Z-score crítico.
Padrão: 0,80 (80% de poder)
Número de Braços de Tratamento (K)Inteiro (2 - 20 variantes)
Total de variantes experimentais incluindo o grupo de controle. Em testes com múltiplos braços (A/B/n), comparações não ajustadas sofrem com o acúmulo de falsos positivos: α_cum = 1 - (1 - α)^(K - 1). Controlado no lado do cliente por meio de correções de multiplicidade O(K) de Bonferroni ou Dunnett.
Padrão: 2 (1 Controle vs. 1 Tratamento)
Dicas profissionais e melhores práticas
Exija Ciclos Semanais Completos de 7 ou 14 Dias
Mesmo quando plataformas de alto tráfego atingem significância nominal (p < 0,05) em 48 horas, encerrar o teste precocemente invalida a inferência estatística devido à autocorrelação temporal e à sazonalidade dos dias da semana (comportamento de compra nos fins de semana vs. dias úteis). Conclua pelo menos dois ciclos completos de 7 dias para capturar a variância semanal e atenuar o efeito novidade.
Elimine Espiadas Contínuas com Alpha Spending ou mSPRT
Avaliar repetidamente os p-valores no painel enquanto os dados se acumulam ('peeking' ou espiada contínua) infla o erro empírico do Tipo I de 5% nominais para mais de 30% até a maturidade da amostra. Se a interrupção antecipada em tempo real for indispensável, implemente funções de alpha spending de Lan-DeMets com limites de O'Brien-Fleming ou Testes Sequenciais de Razão de Verossimilhança por Mistura Assimétrica (mSPRT).
Audite Desvios na Razão Amostral (SRM) Antes de Avaliar Métricas
Execute um teste de aderência Qui-Quadrado de Pearson O(K) (χ² = Σ(O - E)² / E) nas contagens brutas de alocação antes de avaliar conversões. Um p-valor de SRM inferior a 0,001 indica viés estrutural de rastreamento — como perda de eventos em workers assíncronos de CDN, anomalias de cache em redirecionamentos ou filtragem assimétrica de bots —, o que invalida qualquer teste de hipótese subsequente.
Padronize o MDE Relativo para Alinhamento entre Equipes
Sempre comunique o Efeito Mínimo Detectável em termos relativos (por exemplo, um aumento relativo de +8,0% sobre uma base de 4,0% equivale a 4,32%) em vez de pontos percentuais absolutos (+0,32%). Métricas relativas mantêm a consistência de escala em coortes de tamanhos diversos, alinham-se a modelos financeiros e evitam confusões entre pontos percentuais e crescimento percentual.
Armadilhas comuns e solução de problemas
⚠️A exigência de tamanho de amostra é inviavelmente alta (ex.: > 500.000 visitantes por variante).
Defina como meta uma microconversão intermediária no funil com taxa basal mais alta (ex.: Adicionar ao Carrinho a 12% em vez de Pedido Concluído a 1,8%), flexibilize o MDE de metas muito estreitas (ex.: 2% relativo) para patamares acionáveis de negócio (7% a 10%) ou ajuste o poder estatístico para 80% em vez de 95%.
⚠️Alerta de Desvio na Razão Amostral (SRM) disparado com Qui-Quadrado de Pearson p < 0,001.
Interrompa a tomada de decisão imediatamente; não declare nenhuma variante vencedora. Segmente as taxas de alocação por motor de navegador, categoria de dispositivo, POP geográfico e latência de redirecionamento HTTP. O SRM é habitualmente causado por timeouts na execução de scripts no cliente, descarte agressivo de cookies pelo WebKit Intelligent Tracking Prevention (ITP) ou filtros de bots expurgando URLs das variantes de forma desproporcional.
⚠️O tamanho de amostra para métricas contínuas (Receita/ARPU) diverge drasticamente das projeções normais.
Dados contínuos de e-commerce apresentam assimetria à direita extrema do tipo Pareto e alta variância (σ² >> μ). Atenue caudas pesadas aplicando winsorização nos valores de pedidos no percentil 99, utilizando transformação logarítmica (log(1 + x)) ou migrando do teste t de Welch para o teste não paramétrico de Mann-Whitney U ou distribuições empíricas via bootstrap.
Perguntas frequentes (FAQ)
Como calcular o tamanho de amostra para um teste A/B?▼
O tamanho de amostra por variante em um teste A/B é calculado pela fórmula de duas proporções agrupadas (pooled): n = [Z_{α/2}√(2p̄(1 - p̄)) + Z_β√(p₁(1 - p₁) + p₂(1 - p₂))]² / (p₂ - p₁)², onde p̄ = (p₁ + p₂)/2, Z_{α/2} é o valor crítico de significância (1,96 para 95% de confiança) e Z_β é o valor crítico de poder (0,8416 para 80% de poder). Esta ferramenta executa aproximações racionais no cliente para a CDF normal inversa com complexidade de tempo O(1) e envio zero de dados para servidores.
Por que 80% de poder estatístico é o padrão da indústria em testes A/B?▼
Um poder estatístico de 80% (β = 0,20) representa o equilíbrio econômico ideal entre o risco de falsos negativos e o custo de alocação de tráfego. Elevar o poder de 80% para 90% (com Z_β subindo de 0,84 para 1,28) exige cerca de 34% mais volume amostral, e 95% de poder demanda aproximadamente 74% mais tráfego. Para a maioria dos produtos digitais, a extensão prolongada do teste acarreta custos de oportunidade de negócio que superam o risco residual de 20% de cometer um erro do Tipo II.
Qual é a diferença entre MDE relativo e absoluto?▼
O MDE relativo expressa o aumento esperado como uma porcentagem da linha de base: para uma base de 5,0%, um MDE relativo de 10% mira uma conversão de 5,5% (Δ = 0,005). Já o MDE absoluto expressa a alteração diretamente em pontos percentuais brutos: um MDE absoluto de 2,0% em uma base de 5,0% visa 7,0% (Δ = 0,02). O MDE relativo é o padrão nas plataformas de experimentação porque metas de crescimento e a dispersão da variância se normalizam organicamente em torno de variações percentuais relativas.
Um teste A/B deve usar teste de hipótese unicaudal ou bicaudal?▼
Testes de hipótese bicaudais são indispensáveis em testes A/B em produção, pois variantes de tratamento podem degradar a experiência do usuário e derrubar a conversão. O teste bicaudal divide o alfa entre ambas as caudas da distribuição (α/2 = 0,025 em cada lado), garantindo salvaguarda matemática contra falsas vitórias em alterações negativas. Testes unicaudais devem se restringir exclusivamente a estudos de não inferioridade ou migrações de infraestrutura de nuvem, onde o único risco avaliado é a regressão de desempenho.
O que é Sample Ratio Mismatch (SRM) e como detectá-lo?▼
O Sample Ratio Mismatch (SRM), ou desvio na proporção da amostra, ocorre quando o tráfego real observado entre as variantes diverge significativamente da divisão aleatória planejada (ex.: 50/50 projetado vs. 48,8/51,2 observado). Ele é detectado por meio do teste de aderência Qui-Quadrado de Pearson: χ² = Σ(O_i - E_i)² / E_i com K - 1 graus de liberdade. Um limiar de p < 0,001 indica distorção técnica crítica (ex.: problemas de cache na borda, falhas no navegador ou latência assimétrica em redirecionamentos) que invalida qualquer inferência causal.
Por que um teste A/B deve rodar por no mínimo 7 ou 14 dias completos?▼
Os experimentos devem cobrir ao menos 7 ou 14 ciclos completos de 24 horas, mesmo que a meta de tamanho de amostra seja atingida antes, pois os padrões de conversão apresentam forte periodicidade semanal (comportamento de compra nos fins de semana vs. dias úteis). Encerrar o teste antes induz falsos positivos causados por autocorrelação temporal, paradoxo de Simpson entre coortes diárias e desconsideração da janela de latência de conversão que leva vários dias.
Ferramentas e utilitários relacionados
Todas as ferramentas →Conversor PX para REM & REM para PXDesenvolvimento
Converta PX em REM e REM em PX instantaneamente com tamanhos de fonte base personalizados. Gere clamp() fluido CSS, classes Tailwind e tabelas de conversão.
Abrir ferramenta→
Verificador de Status HTTP & RedirectsDesenvolvimento
Verifique códigos de status HTTP, teste cadeias de redirecionamento e inspecione headers de resposta. Diagnostique erros 1xx a 5xx, normas RFC, impacto em SEO e correções.
Abrir ferramenta→
Testador de Regex & DepuradorDesenvolvimento
Teste, depure e otimize expressões regulares em tempo real. Inspecione correspondências, grupos de captura, nós sintáticos e regras de substituição.
Abrir ferramenta→
Calculadora de Sub-rede IP & CIDRDesenvolvimento
Calcule máscaras de sub-rede IPv4, intervalos CIDR, hosts utilizáveis e broadcast. Inclui inspeção binária bit a bit, planejamento VLSM e regras de VPC em nuvem.
Abrir ferramenta→
Calculadora Binária (Adição & Subtração)Desenvolvimento
Calcule adição e subtração binária com transporte passo a passo (carry bits), complemento de dois, portas lógicas e conversão hexadecimal em tempo real.
Abrir ferramenta→
Testador e Validador de Robots.txtDesenvolvimento
Teste e valide a sintaxe do robots.txt conforme a RFC 9309. Verifique permissões de rastreamento por user-agent, depure caminhos de disallow e inspecione sitemaps no navegador com validação instantânea.
Abrir ferramenta→