科学の箱

科学・IT・登山の話題

機械学習 統計

dataanalysis-002-week6

投稿日:2014年1月10日 更新日:

prediction study

  • motivation
  • 手順
  • データの選択
  • エラーの測定
  • デザイン

データの分割

  • トレーニング
  • テスト
  • 検証

true false positives

  • true positive
  • false positive
  • true negative
  • false negative

Error rate

Prediction Analysis

統計の方法というよりも予測をするための手順であり、モデルを決定するときに回帰分析などを使う。

Cross validation(交差検定)

どのような手法をとって予測をしたとしてもCross validationによってモデルを検証すること。

Prediction with regression

lm/glmは簡単で便利、線形であれば比較的よい結果を出す。ただし非線形であれば使えない。案外世の中は非線形がおおい。

手順

  • モデルが線形フィットするかを確認する
  • トレーニングセットとテストセットをつくる
  • 線形回帰をする
  • テストをしてみる
  • トレーニングセットとテストセットのエラーを取得する
  • カットオフを検証する
  • モデルをcross validationで比較する

Prediction with trees

メタ情報

inarticle



メタ情報

inarticle



-機械学習, 統計
-,

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

カーネル密度関数

ようするにサンプルデータから、サンプルが存在しない領域についても値を計算し、全体の分布を推定する。 ヒストグラムはX軸は不連続な値であり、厳密にはX軸においては中間におけるY値は存在しない。 これを計 …

no image

Core Concept in Data Analysis – Week 5

予測の分析 関連性を分析する モデルを明らかにする。 パラメータを推測する。 テストする。 予測が将来になると難しい→環境が変わってしまうため。 correlation structure (質的尺度 …

no image

仕事で始める機械学習 – 2.機械学習で何ができるか – 分類 – パーセプトロン

パーセプトロン 判別式 それぞれのデータに対して重みづけした値 ヒンジ損失 パーセプトロンの損失関数をヒンジ損失という。パーセプトロン基準とも呼ばれる。 sum(wx) 状態 ラベル label*su …

no image

SVD

主成分分析はSVD(特異値分解)の特別なケースらしい。統計の本を見るといろいろと使い方を説明しているが、それをRでどのように実装するかとなると正直よくわかっていない。svd()を利用するのだが、統計の …

no image

手書き数字データについて次元縮約および教師ありモデルの構築

前回手書き数字データについてイメージで確認した結果、人の目で確認する分には区別ができる。では機械学習ではどのように実施していくのか。 今回は以下の内容について説明する。 多様体学習による次元縮約 ナイ …

2014年1月
« 12月   2月 »
 12345
6789101112
13141516171819
20212223242526
2728293031  

side bar top



アーカイブ

カテゴリー