SVMってなに？
- 2. SVM(Support Vector Machine)とはなにか • 2クラスの分類を行うための機械学習の手法 • マージン最大化 → 未学習データに対する高い汎化性能 • カーネルトリック → 非線形の問題にも対応
- 3. 2クラス分類 • 2クラスを分類する識別面 • 識別面は無数に存在 • どの識別面が良いか？ • 良い識別面とは？ • 未知のデータに対する識別 誤差が最小 マージン最大化
- 4. マージン最大化 学習データの中で最も他クラス と近い位置にいるもの（サポー トベクタ）を基準として、その ユークリッド距離が最大になる ように識別面を決める サポートベクタ マージン最大化
- 5. マージン最大化 • クラスAとクラスBを分離する ような線形識別関数を考える ! f(xi) = !0xi + b • サンプルは と の信号に分類 f(xi) = 0 f(xi) = 1 y f(xi) = 1 i = 1 yi = 1 yi = ( 1 (f(xi) ! 0) −1 (f(xi) 0)
- 6. マージン最大化 • サポートベクターから識別面に下 ろした垂線の距離 ! • これを最大化する • この時、以下の制約条件を設ける f(xi) = 0 f(xi) = 1 f(xi) = 1 d = |!0xi + b| k!k = 1 k!k 1 k!k 1 k!k 1 k!k yi(!0xi + b) 1
- 7. マージン最大化 ここまでのまとめ マージン の最大化のために 制約条件： のもとで 目的関数： を最小化する ! ! 1 k!k yi(!0xi + b) 1 1/k!k k!k2 2 制約のもとでの最適化問題→ラグランジュ未定乗数法 ををに変換しているのは計算上の都合 k!k k!k2/2
- 8. マージン最大化 次のようなラグランジュ関数を定義する L(!, b, ) = 1 2k!k2 − Xn iyi((!0xi + b) − 1) ! 上の式を と について偏微分すると以下の結果を得る ! 1 k!k i Xn i iyi = 0 ! = Xn ! i この結果をラグランジュ関数に代入すると以下の式が導かれる iyixi ! L() = Xn i i 1 2 Xn i,j ijyiyjxi0xj
- 9. マージン最大化 を最大化する問題へ ! 制約条件は以下 ! ! ! 1 k!k L() = Xn i i 1 2 Xn i,j ijyiyjxi0xj i 0, Xn i iyi = 0 最適な ! と b を求める問題が、 最適な を求める問題に帰着
- 10. マージン最大化 さっきの最適化問題を解いて、最適な を求めた後に最適なパラメー タを求める。 ! ! ただし、 ! 1 k!k ⇤ !⇤ = Xn i ⇤i yixi b⇤ = !⇤0xs ys xs ys ：任意のサポートベクター ：対応する教師信号 ! ここまでが、クラスが完全に線形分離可能で、マージン最大化を完 全に満たすような場合のみに適用可能なハードマージンSVM
- 11. ソフトマージンSVM サンプルを綺麗に分離出来ない場合がある ? ? ?
- 12. ソフトマージンSVM 制約条件を緩めて対応する • マージンが最大でなくても許容 • 分離に失敗するケースがあっても許容
- 13. ソフトマージンSVM 1 2k!k2 + C Xn 目的関数： ⇠i i 制約条件： yi(!0xi + b) ! 1 − ⇠i, ⇠i ! 0 上の目的関数と２つの制約条件のもと、ハードマージンSVMのときと 同様にラグランジュ未定乗数法で解く。最終的にハードマージンSVM のときと同じ式を導くことができる。 L() = Xn i i 1 2 Xn i,j ijyiyjxi0xj 違いは制約条件 0 i C, Xn i iyi = 0 間違った領域に入っている データに対するペナルティ
- 14. ソフトマージンSVM • スラック変数とペナルティ • 制約条件の緩み具合を、スラック変数 ⇠ として表現 • 制約条件の厳しさを、ペナルティ C で表現 • C が小さい →制約条件を緩めても良い＝ ⇠i の値は大きくなる • C が大きい →制約条件を厳しくする＝ ⇠の値は小さくなる i
- 15. ソフトマージンSVM ソフトマージンSVMでは線形分 離不可能な場合でも柔軟に対応 できるが、必ずしも良い分類器 になるとは限らない → 識別面自体は線形なため
- 16. 非線形SVM 非線形写像で高次空間へ移してから線形判別を行う (x) (x) (x) 1(x) 1(x) 1(x) x x x
- 17. 非線形SVM • 目的関数 • 写像先の空間では線形判別を行うため、マージン最大化の考え 方はハードマージンSVMと同じ • 制約条件も目的関数も、写像先の (x) に変えるだけ • 最終的に L(!) = Xl i !i 1 2 Xl i,j !i!jyiyji(x)j(x) ここだけ変わる
- 18. 非線形SVM • さっきの目的関数からわかるように、式には写像空間での ( )の内積 が含まれるため、計算コストが高い。 • この内積を のみから計算できたら・・・ x (x) x • 内積計算を別の関数（カーネル関数）に置き換えることで高次元ベクト ル演算を避けられる。→ カーネルトリック • このような性質を持つカーネル関数がいくつか存在する。 • 線形カーネル、多項式カーネル、RBFカーネル、シグモイドカーネル
- 19. さまざまなカーネル • 線形カーネル • 多項式カーネル • RBFカーネル • シグモイドカーネル K(xi0xj) = xi0xj K(xi0xj) = (!xi0xj + )d K(xi0xj) = exp(−kxi − xjk2) K(xi0xj) = tanh(!(xi0xj) )
- 20. まとめ • SVMの概要 • マージン最大化の概念 • 線形SVM • ソフトマージンSVM • スラック変数とペナルティ • 非線形SVM • カーネルトリック • さまざまなカーネルの紹介
- 21. おわり