科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 1. 機械学習プロジェクトの始め方

投稿日:

機械学習プロジェクトの流れ

  1. 問題の定式化
  2. 機械学習を利用しない方法
  3. システム設計
  4. アルゴリズム選定
  5. 特徴量・教師データ・ログの設計
  6. 前処理
  7. 学習・パラメータチューニング
  8. システム統合

問題の定式化

目的+KPI+解き方

目的 KPI 解き方
ECサイトの売り上げを向上 ユーザー一人当たりの売り上げ ユーザーにお勧め商品の掲示
工場のコスト削減 工場の電力消費量 消費電力予測
ECサイトの売り上げを向上 有料会員数 有料会員への変わる確率予測

機会学習をしなくてもよい方法

機械学習には様々な技術的負債がある

機械学習に向いているシステム

  • 大量データから高速・安定した出力(予測、分類など)
  • 一定数の間違いは許容

MVPによりPOCを進めて、既存オペレーションとの相性を確認する

システム設計

予測結果の配布

  • Web経由
  • データベース
  • API

撤退方針

  • 時間軸に対して予測結果を決めておく。例)2か月で90%の予測

アルゴリズム選定

過去の類似問題の解き方、正解ラベルが利用できるか、問題の種類による絞り込み

EDAによる絞り込み

特徴量・教師データ・ログの設計

特徴量 – 選定したアルゴリズムに対する説明変数

教師データ – 選定したアルゴリズムに対する実際のデータ(目的変数・説明変数)

ログ – 教師データの取得方法

前処理

NAの変換

異常値の処理

テキストデータの変換

数値データのとりあつかい

ダミー変数生成

学習・パラメータチューニング

シンプルなモデル

適切なパラメータ

  • Grid Search

過学習を避ける

  • Cross Validation
  • 正則化
  • Learning Curveの検証

システムへの組み込み

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

SIGNATE お弁当の需要予測-1

SIGNATEのコンペであるお弁当の需要予測をpythonで分析 データは下記から取得できる https://signate.jp/competitions/24 ライブラリ読み込み importnu …

no image

ジニ係数(再掲)

ジニ係数について修正した。とりあえずコード。 revenue<-read.csv(file=”data.csv”, head=TRUE) revenue$TotalRevenues_n < …

no image

research pipeline

Related posts:K近傍法と決定木の比較kaggle Titanic Tutorial – 3仕事で始める機械学習 – 6章 効果検証

no image

Core Concept in Data Analysis – Week 4

Contingency Table : 分割表 Nominal : 名目 (カテゴリカル) Taxon : 分類 Marginal : 周辺 Conditional Probability : 条件付 …

no image

多変量解析

多変量解析の分類 回帰分析 ロジスティック分析 判別分析 主成分分析 因子分析 共分散 クラスタリング 共分散 Sxy = Σ(Xi – X~)(Yi – Y~) / n 共分 …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー