機械学習アーキテクチャ
学習方法としては3つのパターンがある
- バッチ処理で一括学習
- バッチ処理で逐次学習
- リアルタイムで逐次学習
学習と予測パターンの提供方法としては4つのパターンがある
- バッチ学習-予測をwebアプリで提供(リアルタイムで予測)
- バッチ学習-予測をAPIで利用(リアルタイムで予測)
- バッチ学習-予測をDBで利用(予測はバッチ)
- リアルタイムで学習
3つのシステムの関係性がアーキテクチャである
- Webアプリケーションサーバー
- 予測サーバー
- 学習サーバー
ログ設計
教師データを生成するためにはログが必要である。ログの設計はモデルから逆算して必要なログデータを設計する。
モデルについて考えるべきこと
- ユーザー情報
- コンテンツ情報
- 行動情報
ユーザー情報ログ→特徴抽出→ユーザー情報特徴→モデル
- 登録時ユーザー情報
- メール、名前等をキーにした紐づけられるその他ユーザー情報
コンテンツ情報
- コンテンツ登録時情報
- コンテンツ提供会社からの情報
- コンテンツ配信業者からの情報
行動情報
- アクセスログ
- ユーザーイベント情報
ログの保持
ログ情報は巨大になるためにデータベースに保持すること
- 分散RDBMS
- KVS
- オブジェクトデータベース
