ABテスト サンプルサイズ計算
A/Bテストに必要なサンプルサイズ、統計的検定力、所要期間を高精度に計算。最小検出効果（MDE）の逆算、売上等の連続値指標、多群ボンフェローニ補正、サンプル比率の不整合（SRM）検証に対応。
Regime:
技術リファレンス・アーキテクチャガイド
A/Bテストサンプルサイズ計算ガイド — 技術リファレンス
A/Bテストに必要なサンプルサイズ（標本数）、統計的検出力、検証期間を高精度に算出します。最小検出可能効果（MDE）の逆算、連続変数メトリクス、ボンフェローニ補正を用いた多群検定、サンプル比率不均衡（SRM）検定に対応。
主要パラメータと設定項目
基準コンバージョン率（p₁）浮動小数点数 / パーセンテージ（0.0001〜0.9999）
統制群（コントロール群）における過去実績の二項母比率です。漸近的正規近似を成立させるには、コクランの基準（n・p₁ ≧ 5 かつ n(1 - p₁) ≧ 5）を満たす必要があります。基準値が低くなるほど、ベルヌーイ分散 p₁(1 - p₁) に反比例して必要な観測サンプル数が急増します。
初期値: 0.03（3.0%）
最小検出可能効果（MDE / Δ）浮動小数点数 / パーセンテージ（相対または絶対）
統計的感度の目標閾値です。逆二乗則（n ∝ 1/Δ²）に従うため、相対MDEを半分に設定すると必要なサンプルサイズは4倍に跳ね上がります。本ツールでは、IEEE 754倍精度マシンイプシロン（2.22e-16）以内の精度で、標準正規分布の累積分布逆関数（プロビット関数）の有理近似を用いてクライアントサイドで高速算出します。
初期値: 0.05（相対リフト 5.0%）
有意水準（α / 第1種の過誤）浮動小数点数（0.001〜0.20）
偽陽性（帰無仮説が真であるにもかかわらず誤って棄却する確率）の許容上限です。標準的な対称両側検定では、正規分布の両裾に α を均等配分します（α = 0.05 のとき Z_{α/2} = 1.95996）。3群以上の多変量テスト（A/B/n検定）では、群全体のファミリーワイズ誤り率（FWER）を抑制するためにボンフェローニ補正（α_adj = α / (K - 1)）を適用します。
初期値: 0.05（信頼水準 95%）
統計的検出力（1 - β / 感度）浮動小数点数（0.50〜0.99）
第2種の過誤率（β / 偽陰性）の余事象です。真の有意差が存在するときに、帰無仮説を正しく棄却できる確率を定義します。臨界Zスコアの非線形な変位により、検出力を0.80（Z_β = 0.8416）から0.90（Z_β = 1.2816）に引き上げると、必要な訪問者数（サンプル枠）は約34.2%増加します。
初期値: 0.80（検出力 80%）
テスト群（バリアント）総数（K）整数（2〜20パターン）
統制群（コントロール）を含む全実験群の総数です。多変量テスト（A/B/nテスト）において無補正のまま比較を繰り返すと、累積偽陽性率が α_cum = 1 - (1 - α)^(K - 1) へと急拡大します。本ツールでは、O(K)のボンフェローニ法またはダネット法による多重比較補正をクライアントサイドで動的に実行します。
初期値: 2（統制群 1 対 テスト群 1）
現場のベストプラクティス・実践Tips
7日間または14日間の完全なカレンダー周期を遵守する
高トラフィックなサービスで開始から48時間以内に名目上の有意水準（p < 0.05）に達した場合でも、早期終了してはなりません。時間的自己相関や曜日ごとの購買行動の周期性（平日と休日のユーザー行動差）により、統計的推論が無効化されるためです。週次分散を正確に捕捉し、ユーザーの初頭効果（目新しさによる一時的リフト）を排除するため、最低でも2週間（7日間×2サイクル）の検証を完遂してください。
逐次モニタリング（Peeking）を排除し、アルファ消費関数やmSPRTを導入する
データ収集中にダッシュボードのp値を繰り返し確認・評価する行為（Peeking問題）は、実験終了時点での実質的な第1種の過誤率（偽陽性率）を名目上の5%から30%以上に跳ね上がらせます。リアルタイムでの早期終了判定が不可欠な場合は、オブライエン・フレミング境界を用いたラン・デメッツ（Lan-DeMets）のアルファ消費関数、または非対称混合逐次確率比検定（mSPRT）を実装してください。
指標の評価前にサンプル比率の不均衡（SRM）を必ず検定する
コンバージョン率を比較する前に、各群への実際のユーザー割り当て数に対してピアソンのカイ二乗適合度検定（χ² = Σ(O - E)² / E、計算量 O(K)）を必ず実行してください。SRMのp値が0.001未満となった場合、非同期CDNワーカーの脱落、リダイレクトキャッシュの異常、Botフィルタリングの偏りなど、構造的なトラッキング欠損が発生している証拠であり、以後の仮説検定はすべて統計的妥当性を失います。
チーム間の認識統一のため相対MDEを標準指標とする
最小検出可能効果（MDE）を議論する際は、絶対パーセンテージポイント（+0.32%pt）ではなく、必ず相対値（例: 基準CVR 4.0% に対して相対リフト +8.0% の場合は 4.32% を目標とする）で統一してください。相対指標は異なる規模のユーザー層やファネル間でも整合してスケールし、売上予測モデルとも整合しやすく、パーセントポイントと成長率の混同による誤認を防ぎます。
よくある落とし穴とトラブルシューティング
⚠️算出された必要サンプルサイズが非現実的な規模になる（例: 各バリアントで50万人以上の訪問者が必要）。
発生頻度が高い上流のマイクロコンバージョン（例: 最終注文完了率 1.8% ではなく、カート追加率 12%）を代理指標として設定する、MDEを微小な目標（相対2%など）から事業上意思決定可能な現実的閾値（相対7%〜10%）へと緩和する、あるいは検出力を95%から実用標準である80%へ調整することを検討してください。
⚠️ピアソンのカイ二乗検定で p < 0.001 となり、サンプル比率不均衡（SRM）警告が発生する。
ただちにテスト結果に基づく意思決定を中断し、勝敗の判定を下さないでください。ブラウザエンジン、デバイス種別、地域配信拠点（POP）、HTTPリダイレクト遅延などの切り口で割り当て比率をセグメント分析します。SRMの主な原因には、クライアントスクリプトの実行タイムアウト、WebKitのITP（Intelligent Tracking Prevention）によるCookie破棄、あるいはBot防御ツールによる特定バリアントURLの偏向フィルタリングなどが挙げられます。
⚠️連続変数メトリクス（売上金額やARPU）の必要サンプルサイズが正規分布の予測から大幅に乖離する。
ECなどの連続データは極端なパレート分布的右裾の歪みと巨大な分散（σ² >> μ）を示します。外れ値による裾野の肥大化を抑制するため、注文金額の上位1%（99パーセンタイル）をウィンザライズ（縮約）処理する、対数変換（log(1 + x)）を適用する、あるいはウェルチのt検定からノンパラメトリックなマン・ホイットニーのU検定やブートストラップ経験分布へと検定手法を移行してください。
よくある質問 (FAQ)
A/Bテストのサンプルサイズはどのように計算しますか？▼
各バリアントに必要なサンプルサイズは、2群の母比率のプール分散を用いた以下の標準算定式で計算されます：n = [Z_{α/2}√(2p̄(1 - p̄)) + Z_β√(p₁(1 - p₁) + p₂(1 - p₂))]² / (p₂ - p₁)²。ここで p̄ = (p₁ + p₂)/2、Z_{α/2} は有意水準の臨界値（信頼水準95%の場合は1.960）、Z_β は検出力の臨界値（検出力80%の場合は0.8416）を表します。当ツールは、標準正規分布の累積分布逆関数を有理近似アルゴリズムによって計算量O(1)でクライアントサイド処理し、サーバーへのデータ送信ゼロで瞬時に計算します。
なぜA/Bテストでは統計的検出力80%が業界標準なのですか？▼
統計的検出力80%（β = 0.20）は、偽陰性（効果を見逃すリスク）とトラフィック配賦コストのバランスにおける最適な経済的妥協点であるためです。検出力を80%から90%へ引き上げる（Z_βが0.84から1.28へ増加）には約34%多いサンプル数が必要となり、95%を目指すと約74%もの追加トラフィックが必要になります。多くのデジタルプロダクトにおいて、テスト期間の長期化に伴う事業機会損失は、残余20%の第2種の過誤リスクを遥かに上回るため、80%が最適水準として採用されています。
相対MDEと絶対MDE（最小検出可能効果）の違いは何ですか？▼
相対MDEは基準CVRに対する比率（%）として期待リフトを表現します。例えば基準値5.0%に対し相対MDE 10%を設定した場合、目標コンバージョン率は5.5%（Δ = 0.005）となります。一方、絶対MDEはパーセンテージポイントの差分を直接示し、基準値5.0%に対し絶対MDE 2.0%を設定すると目標値は7.0%（Δ = 0.02）となります。事業成長のKPI設定や分散のスケーリング特性が相対的な比率変化と親和性が高いため、現代の主要な実験基盤では相対MDEが標準的に採用されています。
A/Bテストでは片側検定と両側検定のどちらを採用すべきですか？▼
本番環境のA/Bテストでは、両側検定の採用が原則必須です。施策バリアントがユーザー体験を損ね、コンバージョン率を低下させるリスクが常に存在するためです。両側検定は有意水準αを分布の両裾に分割（片側あたり α/2 = 0.025）し、マイナスの変化に対しても統計的検知を行う数学的防御機構を備えています。片側検定の適用は、新旧インフラ移行時の非劣性試験（性能劣化がないことのみを確認するケース）など、検証の関心が単一方向に限定される特殊なケースに限るべきです。
サンプル比率の不均衡（SRM）とは何ですか？どのように検出しますか？▼
サンプル比率の不均衡（SRM: Sample Ratio Mismatch）とは、各バリアントに観測された訪問者トラフィック比率が、設計時の無作為化比率（例: 設定上の50:50に対し実際は48.8:51.2）から統計的に著しく乖離する現象です。自由度 K - 1 のピアソンのカイ二乗適合度検定（χ² = Σ(O_i - E_i)² / E_i）によって検出します。一般に p < 0.001 の閾値を超えて不均衡が検知された場合、エッジキャッシュの不具合、ブラウザのクラッシュ、非対称なリダイレクト遅延などの致命的な技術的障害が存在することを示し、あらゆる因果推論の結論が無効になります。
なぜA/Bテストは最低でも7日間または14日間フルに実施する必要があるのですか？▼
規定のサンプルサイズが早期に達成された場合であっても、実験は最低7日間または14日間の完全な24時間サイクル（カレンダー週単位）で運用する必要があります。ユーザーの購買や成約行動には強い週内周期性（平日と休日の行動パターンの相違）が存在するためです。途中で打ち切ると、時間的自己相関、曜日コホート間でのシンプソンのパラドックス、および検討から購入に至るまでのコンバージョン遅延（Latency Window）の無視によって、大量の偽陽性（誤検出）を引き起こす原因となります。
関連開発者ツール
全ツール一覧 →PX・REM変換ツール開発者ツール
ルートフォントサイズを基準にPXとREMを即座に相互変換。CSS clamp()流体タイポグラフィ、Tailwindクラス、対照表を自動生成します。
ツールを開く→
HTTPステータスコード確認開発者ツール
HTTPステータスコードの確認、リダイレクトチェーン（多段転送）の追跡、レスポンスヘッダーの解析をリアルタイム実行。1xx〜5xxのエラー原因、RFC仕様、SEO検索評価への影響、復旧手順をブラウザ完結で診断します。
ツールを開く→
正規表現チェッカー＆検証開発者ツール
正規表現のパターン一致、キャプチャグループ、構文トークン解説、置換処理をリアルタイムに検証・デバッグ・最適化します。
ツールを開く→
サブネット計算・CIDR範囲開発者ツール
IPv4サブネットマスク、CIDRネットワーク範囲、利用可能ホストIP、ブロードキャストアドレスを計算。ビット単位バイナリ検証、VLSM計画、クラウドVPC規則に対応。
ツールを開く→
2進数加算・減算計算機開発者ツール
2進数の加算・減算をリアルタイム計算。ステップごとのキャリー伝播（繰り上がり）、2の補数による符号付き演算、論理ゲート信号、16進数への相互変換に対応。
ツールを開く→
robots.txt 構文検証開発者ツール
RFC 9309規格に準拠したrobots.txtの構文検証ツール。User-Agent別のクロール許可判定、Disallowパスのデバッグ、XMLサイトマップ宣言の検査をブラウザ上で即座に実行。
ツールを開く→