Casual learning machine learning with_excel_no4
- 1. カジュアル勉強会 @仙台 Excelで機械学習入門 第4回 株式会社 エクテック データサイエンティスト
- 4. Excel 2013, 2016 Google Spreadsheets
- 6. 重回帰分析
- 8. 次のデータは、ある企業の社員20名のデータ。 3年後の社員の実⼒を『給与』で測定しています。 社員番号k 筆記試験w ⾯接試験x 3年後給与y 社員番号k 筆記試験w ⾯接試験x 3年後給与y 1 65 83 345 11 94 95 371 2 98 63 351 12 66 70 315 3 68 83 344 13 86 85 348 4 64 96 338 14 69 85 337 5 61 55 299 15 94 60 351 6 92 95 359 16 73 86 344 7 65 69 322 17 94 84 375 8 68 54 328 18 92 92 361 9 68 97 363 19 70 70 326 10 80 51 326 20 98 98 387 このデータから、3年後の社員の実⼒『給与y』を 『筆記試験w』と『⾯接試験x』から予測しよう。 y = aw + bx + c (a, b, cは定数)
- 9. y = aw + bx + c これを、『回帰⽅程式』といいます
- 10. 重回帰分析の回帰⽅程式のイメージ
- 11. y = ax + b 回帰直線: a=2, b=1, のとき
- 12. y = aw + bx + c 回帰平⾯: a=3, b=2, c=1のとき
- 14. 回帰⽅程式の求め⽅
- 17. 先ほどの表、k番⽬の要素に関する誤差... k番⽬の社員に関する誤差 = yk - (awk + bxk + c) 社員番号k 筆記試験w ⾯接試験x 3年後給与y 社員番号k 筆記試験w 1 65 83 345 65a+83b+c 345- (65a+83b+c) 2 98 63 351 98a+63b+c 351- (98a+63b+c) 3 68 83 344 68a+83b+c 344- (68a+83b+c) … … … … … … 20 80 51 326 78a+98b+c 387- (78a+98b+c)
- 18. 『誤差』は正にも負にもなって、 ⾜し合わせると結局ゼロになってしまう ので、次の平⽅誤差ekを考える ek = {yk - (awk + bxk + c)} 2
- 19. 最⼩２乗法なので、平⽅誤差をデータ全体で ⾜し合わせた値 Eを考える E = {345-(65a+83b+c)} + {351-(98a+63b+c)} + … + {387-(78a+98b+c)} 2 2 2
- 22. 単回帰分析のときと同じ δE δa = 0, δE δb = 0, δE δc = 0 を解くと、a=0.97, b=0.87, c=202.4
- 23. 採⽤試験で、例えば 筆記試験wが82点、⾯接試験xが77点の 受験者の3年後の給与は y = 0.97 ✖ 82 + 0.87 ✖ 77 + 202.4 = 349 (万円)
- 24. 余談
- 25. 多くの企業の、⼈事部⾨は
- 27. サポートベクタマシン
- 31. No 名前 好感度 識別 x y 1 A 0 0 男 2 B 0 1 男 3 C 1 1 男 4 D 1 0 ⼥ 5 E 2 0 ⼥ 6 F 2 1 ⼥ 下表は、男性 A, B, Cと⼥性 D, E, Fを対象に、 製品 X, Yの好感度 x, y を調べた結果です。 この表から、SVMを⽤いた、男⼥を区別するx, y の線形の識別関数を求めましょう。
- 37. x y 1 10 ax + by +c = 0 (a, bは同時に0にならない)
- 38. ところで、
- 40. x y 1 10 識別関数(識別直線)と、境界の直線までの幅dを 最⼤化することを “マージンの最⼤化”という ax + by +c = 0 d d
- 43. x y 1 10 ax + by +c = 1, ax + by +c = 1 と置いてみる(直線の式の不定性) ax + by +c = 1 d d ax + by +c = -1
- 44. 先ほどの問題に戻る
- 45. No 名前 好感度 識別 正負 x y 1 A 0 0 男 -1 2 B 0 1 男 -1 3 C 1 1 男 -1 4 D 1 0 ⼥ 1 5 E 2 0 ⼥ 1 6 F 2 1 ⼥ 1 負例 正例 男に”-1”, ⼥に“1”をそれぞれ与えてみる “正例”, “負例”
- 46. x y 1 10 ax + by +c = -1 ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1
- 47. x y 1 10 ax + by +c = -1 d ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1 負例(男) axi + byi +c ≦ -1 正例(⼥) axi + byi +c ≧ 1
- 48. x y 1 10 ax + by +c = -1 d ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1 サポートベクタとなる データ要素を表す点(xi, yi)は...
- 49. x y 1 10 ax + by +c = -1 d ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1 負例(男) axi + byi +c = -1 正例(⼥) axi + byi +c = 1
- 50. x y 1 10 d d
- 52. x y 1 10 d d | axi + byi + c | (a + b ) d = 2 2 1/2
- 53. x y 1 10 ax + by +c = -1 d ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1 axi + byi +c = -1 or axi + byi +c = 1 なので、距離dは
- 54. x y 1 10 ax + by +c = -1 d ax + by +c = 1 ax + by +c ≧ 1 ax + by +c ≦ -1 1 (a + b ) d = 2 2 1/2
- 56. すなわち a + b を最⼩化すること 2 2
- 57. No 名前 好感度 識別 x y 1 A 0 0 男 2 B 0 1 男 3 C 1 1 男 4 D 1 0 ⼥ 5 E 2 0 ⼥ 6 F 2 1 ⼥ 下表は、男性 A, B, Cと⼥性 D, E, Fを対象に、 製品 X, Yの好感度 x, y を調べた結果です。 この表から、SVMを⽤いた、男⼥を区別するx, y の線形の識別関数を求めましょう。
- 58. No 名前 好感度 識別 x y 1 A 0 0 男 2 B 0 1 男 3 C 1 1 男 4 D 1 0 ⼥ 5 E 2 0 ⼥ 6 F 2 1 ⼥ 下表は、男性 A, B, Cと⼥性 D, E, Fを対象に、 製品 X, Yの好感度 x, y を調べた結果です。 この表から、SVMを⽤いた、男⼥を区別するx, y の線形の識別関数を求めましょう。 この問題は
- 59. No 名前 好感度 識別 x y 1 A 0 0 男 2 B 0 1 男 3 C 1 1 男 4 D 1 0 ⼥ 5 E 2 0 ⼥ 6 F 2 1 ⼥ 下表は、男性 A, B, Cと⼥性 D, E, Fを対象に、 製品 X, Yの好感度 x, y を調べた結果です。 この表から、SVMを⽤いた、男⼥を区別するx, y の線形の識別関数を求めましょう。 負例(男) axi + byi +c ≦ -1 正例(⼥) axi + byi +c ≧ 1 の条件下で、次の式の値を 最⼩にするa, b, cを求める a + b 2 2
- 61. 正例に対して、ti = 1 負例に対して、ti = -1 とすると
- 62. 負例(男) axi + byi + c ≦ -1 正例(⼥) axi + byi + c ≧ 1 この条件式は
- 63. 負例(男) axi + byi + c ≦ -1 正例(⼥) axi + byi + c ≧ 1 この条件式は、以下のようにまとまる ti (axi + byi + c) ≧ 1 不等式の、⽚⽅がマイナスで 両辺にマイナスをかけると不等号は逆になりますよね
- 64. ti (axi + byi +c) ≧ 1 の条件下で 次の式の値を最⼩にするa, b, cを求める a + b2 2
- 65. ti (axi + byi +c) ≧ 1 の条件下で 次の式の値を最⼩にするa, b, cを求める a + b2 2 ちなみに、このti を SVMにおいて“正解ラベル”と表現します t: teacher
- 67. 最⼩値2 (x=0, y=2)
- 68. ラグランジュの双対問題
- 69. ti (i=1,2,..,6) に対して L = (a + b ) + μ1{1 - t1(ax1 + by1 + c)} + μ2{1 - t2(ax2 + by2 + c)} + … + μ6{1 - t6(ax6 + by6 + c)} について、a, b, cの最⼩値を求める。 これは、得られるμ1, μ2, … , μ6の式について その最⼤値を求める。 μ1, μ2, … , μ6 >0
- 71. ヒント！ δL δa = 0, δL δb = 0, δL δc = 0① ② a, bの関係式を求める ③ t, μの関係式を求める ④ L についてt, μ, x, yで表現する
- 73. a, bが求まる & μも求まる
- 74. No 名前 好感度 μ x y 1 A 0 0 1.648 2 B 0 1 0.000 3 C 1 1 2.352 4 D 1 0 3.648 5 E 2 0 0.000 6 F 2 1 0.352
- 75. No 名前 好感度 μ x y 1 A 0 0 1.648 2 B 0 1 0.000 3 C 1 1 2.352 4 D 1 0 3.648 5 E 2 0 0.000 6 F 2 1 0.352 μiは、０以上のときに a + b の最⼩値に関与する (すなわち、それ⾃体がサポートベクタ) 2 2
- 76. No 名前 好感度 μ SV (サポートベク タ) c x y 1 A 0 0 1.648 YES -1.000 2 B 0 1 0.000 No 3 C 1 1 2.352 YES -1.000 4 D 1 0 3.648 YES -1.000 5 E 2 0 0.000 No 6 F 2 1 0.352 YES -1.000
- 77. No 名前 好感度 μ SV (サポートベク タ) c x y 1 A 0 0 1.648 YES -1.000 2 B 0 1 0.000 No 3 C 1 1 2.352 YES -1.000 4 D 1 0 3.648 YES -1.000 5 E 2 0 0.000 No 6 F 2 1 0.352 YES -1.000 サポートベクタは No, 1,3,4,6
- 78. x y 1 10 識別関数である、識別直線は 2x - 2y - 1 = 0 2x - 2y - 1 = -1 d d 2x - 2y - 1 = 1
- 79. 2x - 2y - 1 = -1 2x - 2y - 1 = 1 2x - 2y - 1 = 0
- 80. EoF