仕事で始める機械学習 – 2.機械学習で何ができるか – 分類 – SVM

SVMの決定境界

SVMの決定境界はSVMで利用するカーネルにより異なる。

• 線形カーネル→線形
• RBFカーネル→非線形

損失関数

損失関数としてはヒンジ関数を利用するが、パーセプトロンとは異なり、横軸と交わる点はf(x)＝１である。このずれによりただしく判別されていても、ぎりぎりの場合には、ペナルティを少しだけ与える。

マージン最大化

クラスを分類する平面を超平面と呼ぶ。マージンは超平面から最も近い各クラスのデータへの距離である。このマージンを最大化することによりデータへの遊びが生まれ、過学習を防ぐことができる。

カーネル

データを高次空間に移すことで、線形では分離できないデータも分離できるようになる。代表的なカーネルとしては線形カーネルとRBFカーネルがある。

線形カーネル：線形分離、疎なデータ、例えばテキストデータなどに使われる。高速。

RBFカーネル：非線形分離、密なデータ、例えば音楽データなどに用いられる。