A/Bテストの p値と有意差 — 「統計的に有意」が実は罠である5つのケース

p値の定義は意外と誤解されやすいので、まず厳密に述べます。

p値: 帰無仮説が真だと仮定したとき、観測されたデータ以上に極端な(差が大きい)結果が得られる確率。

よくある誤解:

• ❌ p値は「A案とB案に差がない確率」 → 違います
• ❌ p値 < 0.05 なら「95%の確率で差がある」 → 違います
• ✅ p値は「帰無仮説(差がない)を仮定した上での、観測データの希少さ」

p値を固定閾値だけで機械的に二分せず、研究・実験の設計、効果の大きさ、不確実性、判断コストとともに解釈することが重要です。

「有意水準 5%」は広く使われる慣習ですが、あらゆる判断に適する普遍的な境界ではありません。有意水準は、誤判定の影響と実験設計に応じて事前に定めます。

American Statistical Association (ASA) は 2016年に異例の声明を発表し、以下を強調しました:

• p値は科学的な結論・ビジネス判断の唯一の根拠にすべきでない
• 「有意差なし」は「差がない」を意味しない
• 結果は効果量(実用的な大きさ)と信頼区間とともに報告すべき

実務的対処: p値だけでなく95%信頼区間と効果量(コンバージョン率の差、Cohen's h など)を併記。A案 4.2% → B案 4.5% なら差は0.3ポイントですが、実用的な価値があるか別問題。

Neyman-Pearson (1933) は2種類の誤りを定義しました:

• Type I 誤り (α): 本当は差がないのに「差あり」と判定 (偽陽性)
• Type II 誤り (β): 本当は差があるのに「差なし」と判定 (偽陰性)
• 検出力 (Power) = 1 − β: 差があるときに正しく検出できる確率

慣習的に α = 0.05, 検出力 0.80 を目標とします。必要サンプルサイズは以下で近似されます(比率の差の検定):

n ≈ 2 × (z_α/2 + z_β)² × p̄(1 − p̄) / δ²

δ : 検出したい差(例: 4% vs 5% → δ = 0.01)
p̄ : 平均比率
z_α/2 ≈ 1.96 (α=0.05)
z_β ≈ 0.84 (Power=0.80)

検出力なしに A/Bテストを走らせると、差を検出できずに「有意差なし」と判定するも、実は単にサンプル不足ということが頻発します。事前に必要 n を計算しない人が本当に多いです。

A/Bテストで「コンバージョン率」「滞在時間」「クリック率」「離脱率」など複数指標をチェックし、どれか1つでも p < 0.05 なら「有意差あり」と宣言するパターンは要注意です。

k 個の独立な指標を同時に検定した場合、最低1つが偶然に p < 0.05 となる確率は:

P(1つ以上偽陽性) = 1 − (1 − α)^k

k=5, α=0.05 : P ≈ 22.6%
k=10, α=0.05 : P ≈ 40.1%
k=20, α=0.05 : P ≈ 64.2%

対策: Bonferroni 補正。主要指標が k 個なら、各検定の閾値を α/k に設定 (k=5なら 0.01)。より洗練された方法には Benjamini-Hochberg 法(偽発見率 FDR 制御)があります。

A/Bテストを走らせながら毎日結果を見て、p < 0.05 になった瞬間に「勝った!」とテストを終了するのは典型的な間違いです。

これは繰り返し検定であり、繰り返すたびに偽陽性率が累積します。事前に設計したサンプルサイズに達するまで結果を見ない(または統計的逐次検定手法を使う)のが正しい。

途中で判断したい場合は、停止規則と誤判定率を含めて事前設計された逐次検定などを使います。手法名だけで早期停止が正当化されるわけではないため、独自集計では特に停止規則を明確にしてください。

サンプルサイズを極めて大きく (N = 100万) すると、0.01ポイントの差でも p < 0.05 になります。しかし 4.00% → 4.01% の改善は、実装コストを考えれば多くの場合意味がありません。

実務的意義の評価:

• MDE (Minimum Detectable Effect): 意思決定を変える最小の差を事前に決める
• 効果量 (Effect Size): 標準化された差 (Cohen's h, d など)、データ量に依存しない
• 信頼区間: 推定される差の幅。下限が実務的閾値を超えるか確認

古典的頻度主義(Fisher/Neyman-Pearson)ではなく、ベイズ統計を使うと「B案がA案より良い確率」を直接計算できます。

事前分布(Beta) × 観測データ(Binomial) → 事後分布(Beta)
P(B > A) = ∫ P(θ_B > θ_A | data) dθ

ベイズ手法では、モデルと事前分布を明示した上で、意思決定に必要な事後確率や期待損失を扱えます。特徴:

• モデルの下で「Bの率がAを上回る事後確率」などを計算できる
• 効果の大きさや損失を意思決定規則へ組み込める
• 事前知識を反映できる

ただし、結果はモデル・事前分布・停止規則・意思決定規則に依存します。「ベイズなら何度見ても無条件に安全」という意味ではありません。感度分析と事前設計が必要です。

1. 事前に MDE と サンプルサイズ を計算。n が集まるまで結果を見ない
2. 主要指標は1つに絞る。複数見るなら Bonferroni 補正
3. p値と併せて 95%信頼区間 と 効果量 を報告
4. 有意差があっても実務的に意味のある差かビジネス観点で再確認
5. 早期停止をしたいなら停止規則まで設計された逐次的手法を採用
6. 再現性のために同じ条件で再テストできるか設計しておく

• p値は「帰無仮説下での観測データの希少さ」。差の確率ではない
• 0.05 閾値は慣習、科学的根拠なし (ASA 2016声明)
• 検出力 0.80 以上を確保するサンプルサイズ設計が必須
• 複数指標の同時検定は Bonferroni などで補正
• 途中で判断するなら、選んだ枠組みに合う停止規則を事前設計する
• 統計的有意 ≠ 実務的有意。効果量で判断