プロダクト・顧客価値
A/Bテスト
A/B Testing
読み：えーびーてすと
対象者などを比較可能な群へ分け、異なる案を試して、指標への影響を比較する実験方法です。
01初心者向け
まず意味をつかむ
A案とB案のどちらがよいかを、感想だけでなく実際の行動で確かめます。公平な比較のため、対象の割当てや計測条件をそろえることが重要です。
02実務者向け
仕事でどう使うか
仮説、主要指標、悪影響を見逃さない指標、期間、必要な標本を計画します。適切に無作為割当てを行い、結果の差と不確実性、実務上の大きさを検討します。
03専門家向け
判断を一段深める
偶然の差、途中のぞき見、多重比較、群の偏りなどで誤判断が起きます。差が出た時点だけで終了せず、事前の計画や適切な統計手法に従います。統計的な差と事業上の価値、安全性を区別し、実験の対象と範囲を明示する必要があります。
別名・略語：ABテスト、A／Bテスト
IN PRACTICE
具体例で考える
講座の申込案内を無作為に二群へ表示し、申込完了率を比べます。クリックだけでなく誤申込や離脱も確認し、不確実性を含めて採用を判断します。
理解を助けるための架空の例です。対象を適切に割当て
A案とB案を計測
差・不確実性・影響を判断
比較実験の構成図です。有意差や改善効果を保証するものではありません。
ここは誤解しやすい
単に今月と先月を比べただけでは、季節性などの影響を除いたA/B実験にはなりません。
この知識を、組織の力へ。