パーセプトロン
判別式
それぞれのデータに対して重みづけした値
ヒンジ損失
パーセプトロンの損失関数をヒンジ損失という。パーセプトロン基準とも呼ばれる。
| sum(wx) | 状態 | ラベル | label*sum(wx) | ヒンジ損失 | 備考 |
| 正 | 正解 | 1 | >0 | 0 | |
| 負 | 正解 | -1 | >0 | 0 | |
| 正 | 不正解 | -1 | <0 | -∞～0 | 重みもしくはxが大きいほど損失関数は大きくなる |
| 負 | 不正解 | 1 | <0 | -∞～0 | 重みもしくはxが大きいほど損失関数は大きくなる |
目的関数
生成されたモデルがどの程度データとあっているかを表す関数を目的関数という。目的関数 = すべてのデータにおける損失関数の和であらわされる。
SGD
- ある重みについてヒンジ損失をすべてのデータに対して求め、合計する＝目的関数の算出
- 各重みにおける目的関数の勾配を求める
- 勾配が負であるときには該当の重みを増やす→増やすことで目的関数が低くなる
- 勾配が正であるときには該当の重みを減らす→減らすことで目的関数が低くなる
ステップ関数
パーセプトロンの活性化関数。入力データと重みから計算された値を出力にする変換する関数。ステップ関数はX軸は入力データと重みの計算値、Y軸は出力値(1もしくは-1)である。
