![Python機械学習プログラミング
読み会
第6章
モデルの評価とハイパーパラメータのチューニングの
ベストプラクティス
1
[第2版]
基盤 江口春紀](https://image.slidesharecdn.com/20180913-180925002302/85/2-Python-6-1-320.jpg)
[第2版]Python機械学習プログラミング 第6章
- 2. 目次 ● パイプラインによるワークフローの効率化 ● k分割交差検証法を使ったモデルの性能の評価 ● 学習曲線と検証曲線によるアルゴリズムの診断 ● グリッドサーチによる機械学習モデルのチューニング ● さまざまな性能評価指標 ● クラスの不均衡に対処する 2
- 4. パイプラインによるワークフローの効率化 ● Pipelineクラス ● 標準化や次元圧縮、モデルのトレーニング等の一連のフローを結合して 処理することができる 4 StanderdScaler PCA LogisticRegression pipeline.make_pipeline
- 7. k分割交差検証法を使ったモデルの性能の評価 ● 汎化性能の評価 ● 未知のデータに対するモデルの性能を評価することで、モデルが学習不足や 過学習に陥っていないかを推定できる ● モデルの汎化性能を評価する手法 ● ホールドアウト法 ● k分割交差検証法 7
- 8. ホールドアウト法 ● データセット全体をトレーニングデータとテストデータに分割する ● トレーニングデータはモデルのトレーニングに使われ テストデータはモデルの汎化性能を評価するために使用される ● デメリット ● ハイパーパラメータの最適な値を選択をする際、テストデータを なんども使用するので，テストデータもトレーニングデータの一部となってしまう 8
- 9. ホールドアウト法 ● 効果的な分割方法 ● トレーニングデータ、検証データ、 テストデータの3つに分割する。 ● 検証データがモデルの選択に使用 されて、ハイパーパラメータの チューニング結果が良ければ テストデータで汎化性能を評価する 9
- 10. k分割交差検証 ● ホールドアウト法の問題点 ● データセットをトレーニングデータとテストデータにどのように 分割するかによって性能の評価に影響が及ぶ ● k分割交差検証 ● トレーニングデータを k個に分割して、 それぞれに対してホールドアウト法を k回繰り返す 10
- 12. k分割交差検証 ● 一個抜き(Leave One Out) ● 分割の個数をトレーニングサンプルの数と同じにする手法 ● テストにはトレーニングサンプルのが 1つだけ使用される ● サンプルが少ないデータセット を扱うときは、トレーニングに 使用するデータが増えるので 推奨される 12
- 13. k分割交差検証 ● 層化k分割交差検証(stratified k-fold cross-validation) ● 各サブセットでのクラスの比率が維持されている 13
- 15. 学習曲線を使ったアルゴリズムの診断 ● 学習曲線からわかること ● モデルのバリアンスやバイアスが高いかどうか ● データをさらに集めることがこの問題の解決に役立つかどうか 15 訓練データと 検証データに 対する精度が 共に低い 訓練データに対する 精度がとても高く、 検証データに対する 精度は低い
- 16. 学習曲線を使ったアルゴリズムの診断 ● 実際に学習曲線をプロットする ● 悪性腫瘍細胞と良性腫瘍細胞の 596サンプルが含まれた Breast Cancer Wisconsinデータセットを使用 ● サンプルが250個を越えると、トレーニング データと検証データの精度の差が小さいので よく学習できていると言える 16
- 17. 検証曲線を使って過学習と学習不足を明らかにする ● 検証曲線 ● 過学習や学習不足の問題を特定して、モデルの性能を改善するのに役立つツール ● 学習曲線ではAccuracyとサンプルサイズ についてプロットしたが、サンプル サイズの代わりにモデルのパラメータ値 を変化させてプロットする 17 ロジスティック回帰 の逆正則化パラメータ C を変化させる
- 19. グリッドサーチによる機械学習モデルのチューニング ● 機械学習におけるパラメータ ● トレーニングデータから学習されるパラメータ ● モデルをチューニングするハイパーパラメータ ● グリッドサーチ ● ハイパーパラメータの最適化をする ● 指定されたハイパーパラメータの組み合わせごとにモデルを評価する しらみつぶしの網羅的探索手法 19
- 21. 入れ子式の交差検証によるアルゴリズムの選択 ● 入れ子式の交差検証 ● 推定される汎化誤差と真の汎化誤差に ほとんどバイアスがないとされている ● 外側のループでk分割交差検証で データを分割し、内側の k分割交差検証 でモデルを選択する。その後テスト サブセットを使ってモデルの性能を 評価する。 21
- 22. 22 さまざまな性能評価指標
- 23. 混同行列を解釈する ● 混同行列 ● 学習アルゴリズムの性能を明らかにする行列 ● 4つの予測個数を報告する正方行列 TP：真陽性 TN：真陰性 FP：偽陽性 FN：偽陰性 23
- 24. 混同行列を解釈する ● 混同行列の例 ● 悪性腫瘍細胞と良性腫瘍細胞の 596サンプルが 含まれたBreast Cancer Wisconsinデータセット を使用 ● クラス0が良性、クラス1が悪性 24
- 29. ROC曲線をプロットする ● 受信者操作特性（Receiver Operating Characteristic） ● 性能に基づいて分類モデルを選択するためのツール ● 分類器のしきい値を変えることによって計算される偽陽性率 (FPR)と真陽性率(TPR)が 選択の基準となる 29
- 30. 他クラス分類のための性能指標 ● マイクロ平均 ● 各クラスの真陽性、真陰性、偽陽性、偽陰性から計算される（適合率のマイクロ平均） ● マクロ平均 ● それぞれの問題の性能指標の平均 30
- 31. 31 クラスの不均衡に対処する
- 33. クラスの不均衡に対処する ● Breast Cancer Wisconsinデータセットから不均衡なデータセットを作成する 33 良性腫瘍のサンプル 悪性腫瘍のサンプル 357 40 このようなデータセットで分類器を適合させる場合は 正解率以外の性能指標(適合率、再現率、ROC曲線)を調べるのが合理的
- 34. クラスの不均衡に対処する ● クラスの不均衡な割合に対処する ● 少数派クラスに関する誤った予測のペナルティを増やす ● 人工のトレーニングサンプルを 生成する(SMOTE) ● 少数派のアップサンプリングまたは 多数派のダウンサンプリング 34 元のデータセットから復元抽 出でアップサンプリング
- 35. まとめ ● Pipelineクラス ● 変換器と分類器の処理を連結 ● k分割交差検証 ● モデルの選択と評価 ● 学習曲線と検証曲線 ● 過学習や学習不足を見つけ出す ● さまざまな性能指標 ● 混同行列を使って正解率以外の評価指標を算出する 35