効果検証のステップ
問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
- メンテナンス以外からの利益確保
- 新規顧客からの利益
- 顧客利用率を上げる
- メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
- ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
- 平均滞在時間を図る仕組み
- 現行の平均滞在時間
仮説検定の注意点
- 繰り返しの検定
- 有意差とビジネスインパクト
- 複数検定９９８
偽陽性と偽陰性
- 帰無仮説: 差がないと仮定する。
- 現象: 集団Xと集団X’について差がYでる。
- これは５％でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される＝誤って差があると認識される＝誤って陽性が反応が出る＝偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
- 有意差が出たから該当の対策をとるか
- 0.1%の有意差により増える利益 – 対策にはコストがかかる
因果効果の推定
- 仮説検定とは標本集団から母集団を推定する
- 「Y事象が施策Xによりどれだけ影響を受けたか」
ルービンの因果モデル
- 介入
- 結果変数
- 介入群
- 対象群
広告の結果は見たときと見なかった時の購買行動における結果
- 個人の行動は介入あるかなしかのどちらかである。
- 広告に接触した個人は、広告に接触しなかったケース＝反事実から観測できない
因果関係推定における主な問題→A/Bテスト
- 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
- セレクションバイアスの問題→ランダム化比較試験
- 時間経過による比較の困難→2群の同時比較による時間変化影響の除去
