Scikit learnで学ぶ機械学習入門
166 likes98,326 views
勉強会で話した、Scikit-learnの入門資料です。speakerdecでも共有しましたが、slideshare一本化のためこちらにも上げます
Scikit learnで学ぶ機械学習入門
- 1. Scikit-learnで学ぶ機械学習入門 佐藤貴海 @tkm2261 2014/07/19@機械学習勉強会 機械学習勉強会 1 2014年7月19日
- 2. 今日の目的 •機械学習の雰囲気感じる –『こいつ・・・動くぞ！』くらい –わかりやすさ>>>厳密性 –理論勉強するのも、威力を知ったあとの方が捗る •深入りはしない –紹介量を優先 機械学習勉強会 2 2014年7月19日
- 3. 自己紹介 専門：経営工学/最適化 所属：（株）ブレインパッド入社2年目 業務：データ分析全般（何でも屋さん） 機械学習との出会い： ⇒研究が現在実用性皆無の半正定値計画問題 ⇒精神の逃げ道として機械学習を趣味で始める ⇒研究が詰んで、趣味が本職に 趣味で始めたので言語、画像など幅広く遊んでます この前、多摩川のほとりで1人燻製してきました。 機械学習勉強会 3 2014年7月19日
- 4. Scikit-learnってなに？ •Pythonの機械学習ライブラリ –無料・有料含めて、コレほど充実したライブラリは他にない –ほぼデファクトスタンダード状態（と思っている） 機械学習勉強会 4 2014年7月19日 利点（対R） ・高速 ・省メモリ ・Pythonなので言語基盤がしっかりしている ・検索しやすい 欠点（対R） ・カテゴリカル変数の処理（factor型は無い） ・環境構築が面倒
- 5. 環境構築 •よくわからない人 ⇒Anacondaを入れましょう Python導入、環境変数設定、Scikit-learn導入、IDE導入全部やってくれます 機械学習勉強会 5 2014年7月19日 http://continuum.io/downloads
- 6. 環境構築 機械学習勉強会 6 2014年7月19日 •こだわりたい人 •Windowsユーザ ⇒GohlkeのページでMKLビルドのNumpyを入れましょう 保証はないので、自己責任で
- 7. 環境構築 機械学習勉強会 7 2014年7月19日 •こだわりたい人 •Linuxユーザ 非商用個人ならインテルコンパイラとMKLが無料で使える それ以外は、OpenBLASが高速 インストール方法はGithubにあげました OpenBLASはmultiprocessingとの相性が悪いので要注意 WindowsでOpenBLASは鬼門なのでやめましょう https://software.intel.com/en-us/non-commercial-software-development インストール方法はコチラ https://software.intel.com/en-us/articles/numpyscipy-with-intel-mkl?language=eshttp://gehrcke.de/2014/02/building-numpy-and-scipy-with-intel-compilers-and- intel-mkl-on-a-64-bit-machine/ https://github.com/anaguma2261/setup_python_with_openblas
- 8. 機械学習勉強会 8 2014年7月19日 脱線：BLASとLAPACK 数値計算をやると裏で必ずお世話になるのがこの２つ Basic Linear Algebra Subprograms （BLAS） -線型代数計算を実行するライブラリの標準仕様 Linear Algebra PACKage（LAPACK） -BLAS上に構築された固有値計算などの高位な線形代数計算ライブラリ 現在様々なBLAS実装が公開されている Intel MKL…MATLABはコレ有償すごく速い・高い・安心！ ATLAS…自動チューンのBLASBSD速い GotoBLAS2…後藤和茂氏作成のBLASBSDかなり速い開発停止 OpenBLAS…xianyi氏によるGotoBLAS2の後継BLASBSDすごく速い (MATLAB, R, Octave, numpy…) 計算が遅い時、４つのどれかの導入すると幸せになれるかも？ ・・・
- 9. 脱線：BLASの比較 機械学習勉強会 9 2014年7月19日 引用:R BLAS: GotoBLAS2 vsOpenBLASvsMKL (http://blog.felixriedel.com/2012/11/r-blas-gotoblas2-vs-openblas-vs-mkl/) 実行コード A = matrix(rnorm(n*n),n,n) A %*% A solve(A) svd(A) RのデフォルトBLASから何倍早くなったか検証してるサイトがあったので紹介 最大で１１倍ほど高速化 MKLが基本的に一番高速 OpenBLASも所によってはMKLを上回ることも マルチスレッド環境では導入は必須かも
- 10. 機械学習勉強会 10 2014年7月19日 Scikit-learnの前に機械学習の流れもおさらい 脱線してますが、
- 11. 機械学習の流れ 機械学習勉強会 11 2014年7月19日 分析対象のデータを集める。趣味でやる場合には、結構重要 最も苦痛を伴う作業。機械学習モデルに渡せる方に整形する カテゴリカル変数のダミー変数化、欠損値穴埋め、変数の作成等 問題に合わせて適当な手法を選択する。 リッジ回帰、SVM、RandomForest、決定木、k-meansなど 手法のハイパーパラメータを選択する。 リッジ回帰の正則化項、決定木の木の深さなど 尤度最大化などで学習。Scikit-learnがやってくれるので割愛 問題に合わせて適当な評価尺度を選択する。 精度、F値、平均二乗誤差、AUCなど ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える
- 12. データを集めて・前処理する 機械学習勉強会 12 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 趣味でやると、手法は知ってても、 データが無いことが多数 いくつか、データのある場所を紹介 ◆練習用データ ・Kagglehttps://www.kaggle.com/ ・UCI Machine Learning Repository http://archive.ics.uci.edu/ml/ ◆テキストデータ（日本語） ・２ｃｈ ・TwitterStreamingAPI ・Wikipediaダンプデータ ・青空文庫 前処理はひたすら頑張って下さい。 ここでどんな変数を作るかで、かなり（一番？）利きます Scikit-learnやpandasに便利関数アリ
- 13. パラメータの探索 機械学習勉強会 13 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ④モデル評価 精度 は十分か ④モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える この一連の流れ （良いパラメータの発見）を効率良く行う方法が 交差検定（Cross-validation ） グリッドサーチ どちらもscikit-learnにあります
- 14. 交差検定(k-fold cross validation ) 機械学習勉強会 14 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 学習と評価には、学習データと検証データが必要 ただし、別々に用意すると・・・ ・検証データを学習に全く使えない ・検証データが偶然良い（悪い）可能性 交差検定をしよう！
- 15. 交差検定(k-fold cross validation ) 機械学習勉強会 15 2014年7月19日 5-fold cross validation のイメージ（レコードは最初にランダムに並べ替え済みとする） テスト用のレコードセット 学習用のレコードセット 学習と精度評価をｋ回繰り返し、平均値を精度の推定値とする手法 ・検証データを学習に全く使えない ｋ－１回は学習に使用 ・検証データが偶然良い（悪い）可能性 ｋ回評価で偶然性を極力排除
- 16. グリッドサーチ（気合） 機械学習勉強会 16 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 良いパラメータって どうやって見つけるの？ グリッドサーチ（気合）です。
- 17. グリッドサーチ 機械学習勉強会17 2014年7月19日 探索するパラメータの範囲を決めて、適当な間隔で切る。（指数の肩で切ることが多い） あとは切ったパラメータを総当りで検証して、最も良いパラメータを見つける パラメータ２つの例、この場合は81回学習と検証をする必要 さらに細かく学習したいときは、指数の底を小さい値にする 引用： http://xargs.hateblo.jp/entry/2014/02/09/005058
- 18. パラメータの探索 機械学習勉強会 18 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える グリッドサーチ 交差検定 学習と評価 まとめると、こんな感じ
- 19. パラメータの探索 機械学習勉強会 19 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要
- 20. パラメータの探索 機械学習勉強会 20 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：解けるの？
- 21. パラメータの探索 機械学習勉強会 21 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：解けるの？ A：気合です
- 22. パラメータの探索 機械学習勉強会 22 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：本当に解けるの？
- 23. パラメータの探索 機械学習勉強会 23 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：本当に解けるの？ A：完全並列出来る計算なので 810台サーバがあれば 最近のGoogleは真顔でこのぐらい言ってきます
- 24. パラメータの探索 機械学習勉強会 24 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない
- 25. パラメータの探索 機械学習勉強会 25 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない A：弊社のを買って下さい
- 26. パラメータの探索 機械学習勉強会 26 2014年7月19日 先ほどのパラメータ（81種）を10-fold 交差検定すると 810回学習と検証が必要 Q：クラスタ組めない A：弊社のを買って下さい 最近はクラウド上の機械学習も有ります。 http://jp.techcrunch.com/2014/06/17/20140616microsoft-announces-azure-ml- cloud-based-machine-learning-platform-that-can-predict-future-events/
- 27. 機械学習勉強会 27 2014年7月19日 これで、今日からデータサイエンティスト
- 28. ・・・とは行かない 機械学習勉強会 28 2014年7月19日 ①データの入手 ②データの前処理 ③手法選択 ④ハイパー パラメータ選択 ⑥モデル評価 精度 は十分か ⑤モデル学習 NO YES 成功！ 手法を 変える パラメタを 変える 適切な手法の選択が 機械学習で最も重要かつ難しい問題
- 29. 適切な手法の選択 機械学習勉強会 29 2014年7月19日 Q：常に最適な手法ってあるの？ A：ありません Q：どうやったら最適な手法を選べるの？ A：機械学習を体系的に学び、 経験を積んで、更に運が必要 Q：詰んでない？ A：なんとかするのが、今日の議題
- 30. 現状ベストアンサー：scikit-learnに任せる 機械学習勉強会 30 2014年7月19日 『Scikit-learnにできる事』≒『自分にできること』 これで最近は問題が無いことが多い http://scikit-learn.org/stable/tutorial/machine_learning_map/index.html
- 31. 実装の雰囲気 機械学習勉強会 31 2014年7月19日 importnumpy fromsklearn.cross_validationimportcross_val_score #使いたい手法をインポート fromsklearn.hogehogeimportsome_machine_learning_method for パラメータin (グリッドサーチの探索範囲)： #手法のインスタンスを生成 model =some_machine_learning_method(パラメータ) #お手軽交差検定 cv_scores=cross_val_score(model, 説明変数, 目的変数） #交差検定の各学習のスコア平均値を計算 score =numpy.mean(cv_scores) これでScikit-learnの大体の手法は、これで使えるはず リッジ回帰の例をGithubにあげました https://github.com/anaguma2261/scikit-learn-sample/blob/master/ridge_regression.py
- 32. 手法の種類 •Classification（分類） –ラベルをデータで学習して、ラベルを予測 •Regression（回帰） –実数値をデータで学習して、実数値を予測 •Clustering（クラスタリング） –データを似ているもの同士を集めて、データの構造を発見 •DimensionalReduction（次元削減） –データの次元を削減して、よりメタな要因を発見 （主成分分析は次元削減のひとつ） –削減した次元をデータにして他の手法を行う （次元の呪い回避） 機械学習勉強会 32 2014年7月19日
- 33. Classification（分類） •SVM （SVC, LinearSVC） –利点 •汎化性能が高く、少量のデータでもうまく学習出来る事がある •カーネルの組み合わせで様々データに対応できる –欠点 •カーネル入れると遅い •関数によっては、予測確率で出力できない •K-近傍法（NearestNeighbors） –利点 •単純な割に精度が高い –欠点 •予測時にもメモリに学習データを格納する必要がある •ランダムフォレスト（RandomForestClassifier） –利点 •精度が高いことが多い •並列計算しやすい •過学習や、変数のスケールを考えずに、全て変数を入れて学習できる –欠点 •ランダムフォレスト信者になりやすい 機械学習勉強会 33 2014年7月19日
- 34. Classification（分類） •確率的勾配法による学習（SGDClassifier） –これは手法でなく学習方法 –データが大きい時に、データを一部づつを見て 学習の計算をサボって高速化 –オプションで、SVMやロジスティック回帰が選択可能 機械学習勉強会 34 2014年7月19日
- 35. Regression（回帰） 機械学習勉強会 35 2014年7月19日 •重回帰（LinearRegression） –利点・・・速い（パラメータ無し） –欠点・・・Scikit-learnにstepwise法が無いので、使いにくい •リッジ回帰（Ridge） –利点・・・ラッソより速い、多重線形性の影響を受けにくい –欠点・・・ラッソに比べて、変数選択力が弱い •ラッソ回帰（Lasso） –利点・・・少ない変数でモデルを作ってくれる –欠点・・・リッジよりは遅い、使わない変数があることを仮定している •SVR（SVR） –利点・・・カーネルで非線形性を取り込める –欠点・・・カーネルを入れると遅い •ランダムフォレスト（RandomForestRegressor） –Classificationを参照回帰では予測値が離散になる欠点がある
- 36. Clustering（クラスタリング） •K-means法（KMeans） –利点・・・速いMiniBatchKMeansは計算をサボってるので更に速い –欠点・・・クラスタ数を最初に与えないといけない •階層的クラスタリング（AgglomerativeClustering） 最近実装されたので表には無い –利点・・・クラスタ数を後から色々変えられる –欠点・・・遅い、大きいデータは階層が表示出来ないことも •混合ガウス分布（GMM） –利点・・・各クラスタの所属確率が出る。 –欠点・・・正規分布を仮定する •MeanShift（MeanShift） –使用経験がないのでノーコメント誰か教えて下さい 機械学習勉強会 36 2014年7月19日
- 37. DimensionalReduction（次元削減） 機械学習勉強会 37 2014年7月19日 Scikit-learnのフローチャートに語れる手法があまりなかったので、私がよく使う手法を紹介 •主成分分析（PCA） –利点・・・速い疎行列も扱える –欠点・・・裏で正規分布を仮定 •非負値行列因子分解（NMF） –利点・・・要因の引き算を許さないことでより特徴を抽出できる事もある –欠点・・・非負行列限定 その他、LDAやDeep Learningなどなども