科学の箱

科学・IT・登山の話題

機械学習

仕事で始める機械学習 – 2.機械学習で何ができるか – 分類 – SVM

投稿日:

SVMの決定境界

SVMの決定境界はSVMで利用するカーネルにより異なる。

  • 線形カーネル→線形
  • RBFカーネル→非線形

損失関数

損失関数としてはヒンジ関数を利用するが、パーセプトロンとは異なり、横軸と交わる点はf(x)=1である。このずれによりただしく判別されていても、ぎりぎりの場合には、ペナルティを少しだけ与える。

マージン最大化

クラスを分類する平面を超平面と呼ぶ。マージンは超平面から最も近い各クラスのデータへの距離である。このマージンを最大化することによりデータへの遊びが生まれ、過学習を防ぐことができる。

カーネル

データを高次空間に移すことで、線形では分離できないデータも分離できるようになる。代表的なカーネルとしては線形カーネルとRBFカーネルがある。

線形カーネル:線形分離、疎なデータ、例えばテキストデータなどに使われる。高速。

RBFカーネル:非線形分離、密なデータ、例えば音楽データなどに用いられる。

 

メタ情報

inarticle



メタ情報

inarticle



-機械学習

執筆者:


comment

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

関連記事

no image

データ分析について評価する

デザイン コントロールグループはあるか モデル 検定の前提は満たしているか(正規分布) 従属変数の尺度は適切か(名義、順序、間隔、比率) 独立変数の数は適切か モデルについて説明できるか(独立変数の数 …

no image

dataanalysis-002-week5

ANOVA – quantitative 分散分析、数学的に分散分析と重回帰分析は同じ 分散分析では3群以上の平均の差異を検定する ただし非線形では異なる http://oshiete.g …

no image

仕事で始める機械学習 – 2.機械学習で何ができるか – 分類 – ロジスティック回帰

ロジスティック回帰 確率を得るために パーセプトロンの判別式により確率をとることはできない。パーセプトロンのヒンジ損失は正負のみを判断し、間違っている場合だけパラメータの更新をする。つまりぎりぎりで正 …

no image

線形回帰とリッジ回帰を比較する

リッジ回帰はL2ノルムの正則項を導入することで、過学習を防ぐ。この場合過学習を防ぐとは、重みを0の方向に動かすという意味である。実際に線形回帰とリッジ回帰を比べてみて、どのようにモデルが変わるかを確認 …

no image

DictVectorizerを使ってカテゴリデータについて特徴抽出をする

都市における温度データを考える。 measure = [ {‘city’: ‘Dubai’, ‘temperature’: 33.}, {‘city’: ‘London’, ‘temperature’ …

2019年11月
« 10月   12月 »
 123
45678910
11121314151617
18192021222324
252627282930  

side bar top



アーカイブ

カテゴリー