科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 6章 効果検証

投稿日:

効果検証のステップ

問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
  • メンテナンス以外からの利益確保
  • 新規顧客からの利益
  • 顧客利用率を上げる
  • メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
  • ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
  • 平均滞在時間を図る仕組み
  • 現行の平均滞在時間

仮説検定の注意点

  • 繰り返しの検定
  • 有意差とビジネスインパクト
  • 複数検定998

偽陽性と偽陰性

  • 帰無仮説: 差がないと仮定する。
  • 現象: 集団Xと集団X’について差がYでる。
  • これは5%でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される=誤って差があると認識される=誤って陽性が反応が出る=偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
  • 有意差が出たから該当の対策をとるか
  • 0.1%の有意差により増える利益 – 対策にはコストがかかる

因果効果の推定

  • 仮説検定とは標本集団から母集団を推定する
  • 「Y事象が施策Xによりどれだけ影響を受けたか」
 
ルービンの因果モデル
  • 介入
  • 結果変数
  • 介入群
  • 対象群
 
広告の結果は見たときと見なかった時の購買行動における結果
  • 個人の行動は介入あるかなしかのどちらかである。
  • 広告に接触した個人は、広告に接触しなかったケース=反事実から観測できない
 
因果関係推定における主な問題→A/Bテスト
  • 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
  • セレクションバイアスの問題→ランダム化比較試験
  • 時間経過による比較の困難→2群の同時比較による時間変化影響の除去

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

dataanalysis-002-week5

ANOVA – quantitative 分散分析、数学的に分散分析と重回帰分析は同じ 分散分析では3群以上の平均の差異を検定する ただし非線形では異なる http://oshiete.g …

no image

Pythonではじめる機械学習 – Chap04

4.4 Binning, Discretization, Linear Models, and Trees ビン化のメリット 決定木でビン化するメリットはあまりない 決定木はモデルの中で一つの特徴につ …

no image

データ分析の基本と業務

開発生産性は調和平均で計算する。 安全性の在庫の計算には正規分布を利用できる。 標準偏差=5であることを利用すると何が言えるか。 Z=1.96で95%をカバーする。 よって 5 x 1.96でほぼ10 …

no image

Pythonではじめる機械学習 – Chap05 – Model Evaluation and Improvement

Chapter 5. Model Evaluation and Improvement 学習モデルの評価 定量的なモデルの評価は教師付きモデルが主になる。 教師なしモデルは定性的なアプローチで評価する …

no image

dataanalysis-002-week3

exploratory analysis グラフの目的 データのおおよそを理解する パターンを探す モデリングを探す デバッグ コミュニケーション boxplot 値のレンジを確認する 他の値とレンジ …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー