科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 6章 効果検証

投稿日:

効果検証のステップ

問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
  • メンテナンス以外からの利益確保
  • 新規顧客からの利益
  • 顧客利用率を上げる
  • メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
  • ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
  • 平均滞在時間を図る仕組み
  • 現行の平均滞在時間

仮説検定の注意点

  • 繰り返しの検定
  • 有意差とビジネスインパクト
  • 複数検定998

偽陽性と偽陰性

  • 帰無仮説: 差がないと仮定する。
  • 現象: 集団Xと集団X’について差がYでる。
  • これは5%でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される=誤って差があると認識される=誤って陽性が反応が出る=偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
  • 有意差が出たから該当の対策をとるか
  • 0.1%の有意差により増える利益 – 対策にはコストがかかる

因果効果の推定

  • 仮説検定とは標本集団から母集団を推定する
  • 「Y事象が施策Xによりどれだけ影響を受けたか」
 
ルービンの因果モデル
  • 介入
  • 結果変数
  • 介入群
  • 対象群
 
広告の結果は見たときと見なかった時の購買行動における結果
  • 個人の行動は介入あるかなしかのどちらかである。
  • 広告に接触した個人は、広告に接触しなかったケース=反事実から観測できない
 
因果関係推定における主な問題→A/Bテスト
  • 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
  • セレクションバイアスの問題→ランダム化比較試験
  • 時間経過による比較の困難→2群の同時比較による時間変化影響の除去

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

仕事で始める機械学習 – 3.学習結果を評価しよう – 指標

主な指標 モデル構築後に確認する主な指標は4つある。 正解率 適合率 再現率 F値 正解率 $$ 正解率 = \frac{TP + TN}{TP+FP+TN+FN} $$ 正解率は全データ数に対する正 …

no image

Exploratory Data Analysis

データを取得した後にやることは、データの構造化とクレンジング。それが完了したらData Exploratory Analysisに入る。 Exloratory Data Analysis(EDA)に関 …

no image

線形回帰とリッジ回帰を比較する

リッジ回帰はL2ノルムの正則項を導入することで、過学習を防ぐ。この場合過学習を防ぐとは、重みを0の方向に動かすという意味である。実際に線形回帰とリッジ回帰を比べてみて、どのようにモデルが変わるかを確認 …

no image

データ分析のメモ

一変量解析 各変数についてsummaryをとり、平均値、分散を確認する。変数について尺度を確認してどのように分析を進めるかを考える。 度数分布を作成して値の分布をみてみる。正規分布の値であればいろいろ …

no image

SIGNATE お弁当の需要予測-2

データの内容を確認する。 期間を調べる d_train[‘datetime’].min() ‘ ‘2013-11-18’ d_train[‘datetime’].max() ‘ ‘2014-9-9’ …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー