科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 4章 システムに機械学習を組み込む

投稿日:2019年11月16日 更新日:

機械学習アーキテクチャ

学習方法としては3つのパターンがある
  • バッチ処理で一括学習
  • バッチ処理で逐次学習
  • リアルタイムで逐次学習
学習と予測パターンの提供方法としては4つのパターンがある
  • バッチ学習-予測をwebアプリで提供(リアルタイムで予測)
  • バッチ学習-予測をAPIで利用(リアルタイムで予測)
  • バッチ学習-予測をDBで利用(予測はバッチ)
  • リアルタイムで学習
3つのシステムの関係性がアーキテクチャである
  • Webアプリケーションサーバー
  • 予測サーバー
  • 学習サーバー

ログ設計

教師データを生成するためにはログが必要である。ログの設計はモデルから逆算して必要なログデータを設計する。
モデルについて考えるべきこと
  • ユーザー情報
  • コンテンツ情報
  • 行動情報
ユーザー情報ログ→特徴抽出→ユーザー情報特徴→モデル
  • 登録時ユーザー情報
  • メール、名前等をキーにした紐づけられるその他ユーザー情報
コンテンツ情報
  • コンテンツ登録時情報
  • コンテンツ提供会社からの情報
  • コンテンツ配信業者からの情報
行動情報
  • アクセスログ
  • ユーザーイベント情報

ログの保持

ログ情報は巨大になるためにデータベースに保持すること
  • 分散RDBMS
  • KVS
  • オブジェクトデータベース

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

R Dataset – bone

データの説明 261人の子供たちから得られた年齢別骨密度。 フォーマット idnum: 識別コード age: 測定時の年齢 gender: 性別 spnbmd: 骨密度 チェック テーブル全体について …

no image

Mahout環境構築

Mahoutのシステム要件を確認する。 Java 1.6.x or greater. Maven 3.x to build the source code. CPU, Disk and Memory …

no image

Pythonではじめる機械学習 – Chap02

2.1 Classification and Regression 分類問題の目的 クラスがどのようなラベルであるかを予測 分類問題 2つのクラスに分類するバイナリクラシフィケーション 例)Yes/N …

no image

データ取り込み後に確認すること

# tidyデータの原則 # 1カラム = 1変数 # 1行 = 1観察 # 1テーブル = 1 unique key # foreign key to link # テーブル全体で見ること # カラ …

no image

売り上げデータの分析

利益 = 売り上げ – コスト 売り上げ = 客数 x 客単価 コスト ≒ 人件費 + 廃棄コスト 客数 客単価 = Σ 品物i x 購入数 客数を増やす方法 来てもらう方法 安売りキャン …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー