科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 4章 システムに機械学習を組み込む

投稿日:2019年11月16日 更新日:

機械学習アーキテクチャ

学習方法としては3つのパターンがある
  • バッチ処理で一括学習
  • バッチ処理で逐次学習
  • リアルタイムで逐次学習
学習と予測パターンの提供方法としては4つのパターンがある
  • バッチ学習-予測をwebアプリで提供(リアルタイムで予測)
  • バッチ学習-予測をAPIで利用(リアルタイムで予測)
  • バッチ学習-予測をDBで利用(予測はバッチ)
  • リアルタイムで学習
3つのシステムの関係性がアーキテクチャである
  • Webアプリケーションサーバー
  • 予測サーバー
  • 学習サーバー

ログ設計

教師データを生成するためにはログが必要である。ログの設計はモデルから逆算して必要なログデータを設計する。
モデルについて考えるべきこと
  • ユーザー情報
  • コンテンツ情報
  • 行動情報
ユーザー情報ログ→特徴抽出→ユーザー情報特徴→モデル
  • 登録時ユーザー情報
  • メール、名前等をキーにした紐づけられるその他ユーザー情報
コンテンツ情報
  • コンテンツ登録時情報
  • コンテンツ提供会社からの情報
  • コンテンツ配信業者からの情報
行動情報
  • アクセスログ
  • ユーザーイベント情報

ログの保持

ログ情報は巨大になるためにデータベースに保持すること
  • 分散RDBMS
  • KVS
  • オブジェクトデータベース

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

dataanalysis-002-week6

prediction study motivation 手順 データの選択 エラーの測定 デザイン データの分割 トレーニング テスト 検証 true false positives true pos …

no image

手書き数字データについて次元縮約および教師ありモデルの構築

前回手書き数字データについてイメージで確認した結果、人の目で確認する分には区別ができる。では機械学習ではどのように実施していくのか。 今回は以下の内容について説明する。 多様体学習による次元縮約 ナイ …

no image

モンベルダウンジャケットについて売れ筋商品を分析してみる。

幾何平均が値付けに利用されているという話を聞いたので実際の商品を例にして分析してみる。 調査の目的 適切なダウンジャケットを選ぶことで冬季にあるいは夏季の3000m級の高山で気持ちよく過ご巣ことができ …

no image

Pythonではじめる機械学習 – Chap02

2.1 Classification and Regression 分類問題の目的 クラスがどのようなラベルであるかを予測 分類問題 2つのクラスに分類するバイナリクラシフィケーション 例)Yes/N …

no image

仕事で始める機械学習 – 2.機械学習で何ができるか – 分類 – ロジスティック回帰

ロジスティック回帰 確率を得るために パーセプトロンの判別式により確率をとることはできない。パーセプトロンのヒンジ損失は正負のみを判断し、間違っている場合だけパラメータの更新をする。つまりぎりぎりで正 …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー