科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 6章 効果検証

投稿日:

効果検証のステップ

問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
  • メンテナンス以外からの利益確保
  • 新規顧客からの利益
  • 顧客利用率を上げる
  • メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
  • ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
  • 平均滞在時間を図る仕組み
  • 現行の平均滞在時間

仮説検定の注意点

  • 繰り返しの検定
  • 有意差とビジネスインパクト
  • 複数検定998

偽陽性と偽陰性

  • 帰無仮説: 差がないと仮定する。
  • 現象: 集団Xと集団X’について差がYでる。
  • これは5%でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される=誤って差があると認識される=誤って陽性が反応が出る=偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
  • 有意差が出たから該当の対策をとるか
  • 0.1%の有意差により増える利益 – 対策にはコストがかかる

因果効果の推定

  • 仮説検定とは標本集団から母集団を推定する
  • 「Y事象が施策Xによりどれだけ影響を受けたか」
 
ルービンの因果モデル
  • 介入
  • 結果変数
  • 介入群
  • 対象群
 
広告の結果は見たときと見なかった時の購買行動における結果
  • 個人の行動は介入あるかなしかのどちらかである。
  • 広告に接触した個人は、広告に接触しなかったケース=反事実から観測できない
 
因果関係推定における主な問題→A/Bテスト
  • 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
  • セレクションバイアスの問題→ランダム化比較試験
  • 時間経過による比較の困難→2群の同時比較による時間変化影響の除去

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

Pythonではじめる機械学習 – GMM

k-Meansの課題 クラスタ間で微妙な位置関係にあるデータについて特定クラスタに分類された際の不確実の度合いを知ることができない。 例えば51%の確率でクラスタAであり、49%の確率でクラスタBかも …

no image

Core Concept in Data Analysis – Week 1

パート Data Mining Core Analysis Visualization Illustrate Data Mining data mining = patterns in data + …

no image

R Dataset – AirPassengers

データの説明 1949~1960年における月別飛行機搭乗者数 フォーマット このデータは時系列データであることがわかる。 > str(AirPassengers)  Time-Series [1 …

no image

Pythonではじめる機械学習 – KDE

カーネル密度分布とは カーネル密度分布とは一言でいうと滑らかなヒストグラムであり曲線になっている。標本データから確率密度を計算することにより標本がない部分についても確率密度を計算できる。 例えば犯罪の …

no image

線形回帰とリッジ回帰を比較する

リッジ回帰はL2ノルムの正則項を導入することで、過学習を防ぐ。この場合過学習を防ぐとは、重みを0の方向に動かすという意味である。実際に線形回帰とリッジ回帰を比べてみて、どのようにモデルが変わるかを確認 …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー