【ラビットチャレンジ】機械学習：その６ サポートベクターマシーン

ラビットチャレンジ 機械学習：その６

サポートベクターマシン

概要

  • 2クラス分類のための機械学習手法
  • 線形モデルの正負で2値分類

※ 決定境界はいくつも考えられる

SVMの求め方

  • 線形判別関数ともっとも近いデータ点との距離をマージンという

  • マージンが最大となる線形判別関数を求める

  • 主問題の目的関数と制約条件 → 最適化問題をラグランジュ未定乗数法で解くことを考える

サポートベクター

  • 分離超平面を構成する学習データの、サポートベクターだけで残りのデータは不要

ソフトマージンSVM

  • サンプルを線形分離できないとき
  • 誤差を許容し、誤差に対してペナルティを与える
  • マージン内に入るデータや誤分類され たデータに対して誤差を表す変数を導入する

非線形分離

カーネルトリック

  • カーネル関数
  • 高次元ベクトル􏰀内積をスカラー関数で表現
  • 特徴空間が高次元でも計算コストを抑えられる

非線形カーネルを用いた分離