科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 6章 効果検証

投稿日:

効果検証のステップ

問題認識: 顧客の機器利用率が低い
問題の影響: 長期的なメンテナンス契約からの利益の確保
課題設定候補:
  • メンテナンス以外からの利益確保
  • 新規顧客からの利益
  • 顧客利用率を上げる
  • メンテナンスコストの削減
課題: ユーザーアクティブ率を上げる
  • ここの選択は影響、緊急性、実現性、コスト、外部制御性から判断する。
メカニズム: ユーザーアクティブ率=平均滞在時間+イベント参加時間+オフラインイベント参加時間
仮説設定 : コンテンツ推薦システムにより平均滞在時間が延びる
アクション: コンテンツリコメンドシステムの開発
効果検証: 平均滞在時間の上昇
  • 平均滞在時間を図る仕組み
  • 現行の平均滞在時間

仮説検定の注意点

  • 繰り返しの検定
  • 有意差とビジネスインパクト
  • 複数検定998

偽陽性と偽陰性

  • 帰無仮説: 差がないと仮定する。
  • 現象: 集団Xと集団X’について差がYでる。
  • これは5%でしか起きない現象である。よって帰無仮説を棄却する。
これは差がない場合でも5%の確率で発生する事象であり、その場合あやまって棄却される=誤って差があると認識される=誤って陽性が反応が出る=偽陽性
標本サイズを増やす→標準誤差が小さくなる→小さな差でも有意差が出る
  • 有意差が出たから該当の対策をとるか
  • 0.1%の有意差により増える利益 – 対策にはコストがかかる

因果効果の推定

  • 仮説検定とは標本集団から母集団を推定する
  • 「Y事象が施策Xによりどれだけ影響を受けたか」
 
ルービンの因果モデル
  • 介入
  • 結果変数
  • 介入群
  • 対象群
 
広告の結果は見たときと見なかった時の購買行動における結果
  • 個人の行動は介入あるかなしかのどちらかである。
  • 広告に接触した個人は、広告に接触しなかったケース=反事実から観測できない
 
因果関係推定における主な問題→A/Bテスト
  • 個人単位での効果は算出できない→母集団の単位では効果を明らかにすることができる = ATE (Average Treatment Effect)
  • セレクションバイアスの問題→ランダム化比較試験
  • 時間経過による比較の困難→2群の同時比較による時間変化影響の除去

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

Pythonではじめる機械学習 – KDE

カーネル密度分布とは カーネル密度分布とは一言でいうと滑らかなヒストグラムであり曲線になっている。標本データから確率密度を計算することにより標本がない部分についても確率密度を計算できる。 例えば犯罪の …

no image

conjoint分析の資料

マニュアル conjointパッケージ caFactorialDesign Rでconjointパッケージを利用した例 Rでコンジョイント分析 Rでコンジョイント分析 |極めて個人的なメモ コンジョイ …

no image

dataanalysis-002-week1

Rstudioを開発に使う 開発が用意 Forumがある 標準 フリー Help R Mailling list Stackoverflow CrossValidated R-Help ?rnorm …

no image

ラテン方格

ラテン方格は1~nまでの数字についてn x nの正方行列に一回だけ現れるように並べたものである。ラテン方格を利用して実験の割り付けを行う実験計画法がラテン方格法である。 ラテン方格法と似た実験計画法に …

no image

仕事で始める機械学習 – 1. 機械学習プロジェクトの始め方

機械学習プロジェクトの流れ 問題の定式化 機械学習を利用しない方法 システム設計 アルゴリズム選定 特徴量・教師データ・ログの設計 前処理 学習・パラメータチューニング システム統合 問題の定式化 目 …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー