科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 6章 効果検証

投稿日:

効果検証のステップ

問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
  • メンテナンス以外からの利益確保
  • 新規顧客からの利益
  • 顧客利用率を上げる
  • メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
  • ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
  • 平均滞在時間を図る仕組み
  • 現行の平均滞在時間

仮説検定の注意点

  • 繰り返しの検定
  • 有意差とビジネスインパクト
  • 複数検定998

偽陽性と偽陰性

  • 帰無仮説: 差がないと仮定する。
  • 現象: 集団Xと集団X’について差がYでる。
  • これは5%でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される=誤って差があると認識される=誤って陽性が反応が出る=偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
  • 有意差が出たから該当の対策をとるか
  • 0.1%の有意差により増える利益 – 対策にはコストがかかる

因果効果の推定

  • 仮説検定とは標本集団から母集団を推定する
  • 「Y事象が施策Xによりどれだけ影響を受けたか」
 
ルービンの因果モデル
  • 介入
  • 結果変数
  • 介入群
  • 対象群
 
広告の結果は見たときと見なかった時の購買行動における結果
  • 個人の行動は介入あるかなしかのどちらかである。
  • 広告に接触した個人は、広告に接触しなかったケース=反事実から観測できない
 
因果関係推定における主な問題→A/Bテスト
  • 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
  • セレクションバイアスの問題→ランダム化比較試験
  • 時間経過による比較の困難→2群の同時比較による時間変化影響の除去

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

Core Concept in Data Analysis – Week 2

1D analysis summary ヒストグラム ヒストグラムのタイプ:gaussian/power law 中心極限定理 確率分布 ブートストラップによる検証 gaussian 測定誤差もしくは …

no image

スピアマンの順位相関

スピアマンの順位相関を利用して県のデータを使った相関係数を出してみる。 持家普及率を自動車普及率のランキングは、土地がせまいほど低く、有効な土地が広いほど高くなるために順位相関があると考えられる。 持 …

no image

irisデータを読み込んでseabornでいろいろ表示をしてみる。

data可視化ライブラリのseabornではすぐに機械学習を始められるように質が良いデータが用意されている。その中でも最も有名であるirisについてpairplotを使って可視化してみる。 ここでは以 …

no image

irisをナイーブベイズで分類

ナイーブベイズの概要 ナイーブベイズは教師ありの分類アルゴリズムの一つである。 計算アルゴリズムとしてはベイズ定理を用いている。 機械学習における特徴としてはいかがある 実装が簡単であり、複雑なハイパ …

no image

Core Concept in Data Analysis – Week 3

2d Analsysis 分布図 相関 回帰分析 因果関係 ガルトンはダーウィンのいとこ Related posts:データ取り込み後に確認すること線形回帰と最急降下法仕事で始める機械学習 – 2.機 …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー