ビジネス・仕事効率化

A/Bテスト有意差検定ツール

独立2群のCVRを両側の2標本比率Z検定で比較。正規近似の条件を確認し、観測差・Zスコア・p値を表示。

登録不要

同じ期間に無作為に割り付けた、互いに独立な2群の二値結果を入力してください。このツールは両側の2標本比率Z検定です。

パターン A

パターン B

このツールについて問い合わせる →

A/Bテスト有意差検定ツールについて

A/Bテストの有意差検定とは？

同じ期間に無作為に割り付けた独立な2群について、コンバージョンのような二値結果の割合を比較します。本ツールは「2群の母比率が等しい」という帰無仮説に対する、プールした2標本比率Z検定の両側p値を計算します。

p値は、帰無仮説が正しいと仮定したときに観測結果以上に極端な結果が得られる確率です。「差が偶然である確率」や「Bが優れている確率」ではありません。

計算式と正規近似の条件

p_A = CV_A / n_A
p_B = CV_B / n_B
p_pool = (CV_A + CV_B) / (n_A + n_B)
SE = √(p_pool × (1 − p_pool) × (1/n_A + 1/n_B))
Z = (p_B − p_A) / SE
p_value = 2 × (1 − Φ(|Z|)) ※両側検定

Z検定は正規近似です。本ツールでは帰無仮説下のA成功・A失敗・B成功・B失敗の期待度数を求め、その最小値が5未満ならZスコア、p値、有意差判定を表示しません。単純な「各群30人以上」「各群1000人以上」では判定しません。

結果の読み方

  • 観測CVR・絶対差: 今回集めた標本で見えた割合とポイント差です。
  • 相対変化: Aの観測CVRを基準にした変化です。Aが0%なら割り算できないため表示しません。
  • p値: 帰無仮説下でのデータの極端さを表します。閾値だけで施策の採否を決めないでください。
  • 棄却しない: 「差がない」と証明した意味ではありません。効果の不在と検出力不足は、この結果だけでは区別できません。

採否には、事前に定めた有意水準・主要指標・MDE、効果の大きさと不確実性、費用、ガードレール指標、再現性を合わせて使います。

この計算だけでは扱えないこと

  • 途中経過を繰り返し確認して停止する逐次判断
  • 多数のパターンや指標を同時に試す多重比較
  • 同一利用者の重複観測、時系列依存、クラスタ割付
  • 割付比率の異常、計測漏れ、ボット、季節性など実験品質の診断
  • 信頼区間、検出力、必要サンプル数、実務的な採算の評価

これらがある場合は、実験計画に合う推定・検定方法を選び直してください。

よくある質問

Q. 何人集めれば判定できますか？
一律の人数はありません。ベースライン率、検出したい最小差(MDE)、有意水準、検出力、割付比率から事前に設計します。本ツールでZ検定を表示する最低条件は、帰無仮説下の4つの期待度数がすべて5以上であることですが、これは十分な検出力を保証しません。
Q. 期待度数が5未満の場合は？
本ツールはZスコアとp値を表示しません。2×2表に適した正確法などを検討してください。ただし、検定の選択は標本設計、片側・両側、停止規則などにも依存します。
Q. p < 0.05ならBを採用してよいですか？
p値だけでは採用判断はできません。観測差の大きさ、信頼区間、事前に決めたMDE、費用、主要指標とガードレール指標、実験品質を確認してください。また、結果を見ながら停止した固定標本のZ検定では、表示p値をそのまま解釈できません。
Q. 片側検定や3群以上に使えますか？
使えません。本ツールは独立2群の両側検定だけを実装しています。片側仮説、3群以上、多重指標、対応のあるデータ、反復測定には、設計に合う別の手法が必要です。

関連記事

ROI と ROAS の使い分け — 「ROAS 300%」が本当に黒字か、数式で読み解く

広告運用やマーケティングで頻出する ROI と ROAS。どちらも「費用対効果」を示しますが、計算式と意味が大きく違います。利益ベース vs 売上ベース、原価・税の扱い、LTV/CAC との関係と確認項目を一次資料で整理します。

A/Bテストの p値と有意差 — 「統計的に有意」が実は罠である5つのケース

A/Bテストの結果判定で使われるp値。p < 0.05 なら「有意差あり」と言いがちですが、Fisher と Neyman-Pearson の原典に立ち返ると、この慣習的な閾値と解釈には複数の落とし穴があります。サンプルサイズ設計・多重比較・早期停止問題を整理します。

このツールを評価
—(0件)