A/Bテストの p値と有意差 — 「統計的に有意」が実は罠である5つのケース

p値の定義は意外と誤解されやすいので、まず厳密に述べます。

p値: 帰無仮説が真だと仮定したとき、観測されたデータ以上に極端な(差が大きい)結果が得られる確率。

よくある誤解:

• ❌ p値は「A案とB案に差がない確率」 → 違います
• ❌ p値 < 0.05 なら「95%の確率で差がある」 → 違います
• ✅ p値は「帰無仮説(差がない)を仮定した上での、観測データの希少さ」

Fisher (1925) は p値を「データが帰無仮説とどれだけ矛盾するかの目安」として提案しました。彼自身は0.05 という固定閾値を強く推奨していません。文脈に応じて 0.01 や 0.1 を使うべきと明言しています (Statistical Methods for Research Workers, p.47)。

「有意水準 5%」という閾値は Fisher が論文中で例として示したものが一人歩きしたものです。この値に客観的な正当性はありません。

American Statistical Association (ASA) は 2016年に異例の声明を発表し、以下を強調しました:

• p値は科学的な結論・ビジネス判断の唯一の根拠にすべきでない
• 「有意差なし」は「差がない」を意味しない
• 結果は効果量(実用的な大きさ)と信頼区間とともに報告すべき

実務的対処: p値だけでなく95%信頼区間と効果量(コンバージョン率の差、Cohen's h など)を併記。A案 4.2% → B案 4.5% なら差は0.3ポイントですが、実用的な価値があるか別問題。

Neyman-Pearson (1933) は2種類の誤りを定義しました:

• Type I 誤り (α): 本当は差がないのに「差あり」と判定 (偽陽性)
• Type II 誤り (β): 本当は差があるのに「差なし」と判定 (偽陰性)
• 検出力 (Power) = 1 − β: 差があるときに正しく検出できる確率

慣習的に α = 0.05, 検出力 0.80 を目標とします。必要サンプルサイズは以下で近似されます(比率の差の検定):

n ≈ 2 × (z_α/2 + z_β)² × p̄(1 − p̄) / δ²

δ : 検出したい差(例: 4% vs 5% → δ = 0.01)
p̄ : 平均比率
z_α/2 ≈ 1.96 (α=0.05)
z_β ≈ 0.84 (Power=0.80)

検出力なしに A/Bテストを走らせると、差を検出できずに「有意差なし」と判定するも、実は単にサンプル不足ということが頻発します。事前に必要 n を計算しない人が本当に多いです。

A/Bテストで「コンバージョン率」「滞在時間」「クリック率」「離脱率」など複数指標をチェックし、どれか1つでも p < 0.05 なら「有意差あり」と宣言するパターンは要注意です。

k 個の独立な指標を同時に検定した場合、最低1つが偶然に p < 0.05 となる確率は:

P(1つ以上偽陽性) = 1 − (1 − α)^k

k=5, α=0.05 : P ≈ 22.6%
k=10, α=0.05 : P ≈ 40.1%
k=20, α=0.05 : P ≈ 64.2%

対策: Bonferroni 補正。主要指標が k 個なら、各検定の閾値を α/k に設定 (k=5なら 0.01)。より洗練された方法には Benjamini-Hochberg 法(偽発見率 FDR 制御)があります。

A/Bテストを走らせながら毎日結果を見て、p < 0.05 になった瞬間に「勝った!」とテストを終了するのは典型的な間違いです。

これは繰り返し検定であり、繰り返すたびに偽陽性率が累積します。事前に設計したサンプルサイズに達するまで結果を見ない(または統計的逐次検定手法を使う)のが正しい。

Optimizely, Google Optimize などの商用ツールは 逐次有意性検定 や ベイズ的手法 を採用し、早期停止しても理論的に正しい判定ができる設計になっています。独自集計で判定する場合は必ず事前設計を。

サンプルサイズを極めて大きく (N = 100万) すると、0.01ポイントの差でも p < 0.05 になります。しかし 4.00% → 4.01% の改善は、実装コストを考えれば多くの場合意味がありません。

実務的意義の評価:

• MDE (Minimum Detectable Effect): 意思決定を変える最小の差を事前に決める
• 効果量 (Effect Size): 標準化された差 (Cohen's h, d など)、データ量に依存しない
• 信頼区間: 推定される差の幅。下限が実務的閾値を超えるか確認

古典的頻度主義(Fisher/Neyman-Pearson)ではなく、ベイズ統計を使うと「B案がA案より良い確率」を直接計算できます。

事前分布(Beta) × 観測データ(Binomial) → 事後分布(Beta)
P(B > A) = ∫ P(θ_B > θ_A | data) dθ

Netflix, Microsoft などの A/Bテスト基盤は近年ベイズ手法を採用する事例が増えています。利点:

• 早期停止が理論上問題なし(事後確率は繰り返し見てOK)
• 結果解釈が直感的(「72%の確率でBが優る」)
• 事前知識を反映できる

ただし事前分布の設定が恣意的になる批判もあります。使い分けが重要です。

1. 事前に MDE と サンプルサイズ を計算。n が集まるまで結果を見ない
2. 主要指標は1つに絞る。複数見るなら Bonferroni 補正
3. p値と併せて 95%信頼区間 と 効果量 を報告
4. 有意差があっても実務的に意味のある差かビジネス観点で再確認
5. 早期停止をしたいならベイズ手法か逐次検定を採用
6. 再現性のために同じ条件で再テストできるか設計しておく

• p値は「帰無仮説下での観測データの希少さ」。差の確率ではない
• 0.05 閾値は慣習、科学的根拠なし (ASA 2016声明)
• 検出力 0.80 以上を確保するサンプルサイズ設計が必須
• 複数指標の同時検定は Bonferroni などで補正
• 早期停止は頻度主義では禁忌。ベイズならOK
• 統計的有意 ≠ 実務的有意。効果量で判断