![実験研究者のための深層学習入門 [第2回] Google Colab
環境で自動機械学習と深層画像生成(AutoML, GAN編)
Techniques for experimental biologists to acquire deep learning
skills(2): Automatic Machine Learning and Generative Adversarial
Networks in Google Colab (AutoML, GAN)
神沼英里
東京医科歯科大学 医療データ科学推進室 特任講師
（兼 理化学研究所 環境資源科学研究センター 客員研究員)
（兼 国立遺伝学研究所 生命情報研究センター 外来研究員)
1
CSRS Seminar [2020/12/15 11:00-11:40]
ZOOM ONLINE](https://image.slidesharecdn.com/ekcsrsseminar201215mod-210804060106/85/2020-12-15-2-Google-Colab-AutoML-GAN-1-320.jpg)
![GANの著名アルゴリズム①
pix2pix （arXiv:1611.07004 ）
■ pix2pix ＝ Alexei Efros(UC Beｒkeley)提案のGANの1種。下記では、
ペア画像（地図と航空写真）から任意の地図から航空写真の画像を生成[左]。](https://image.slidesharecdn.com/ekcsrsseminar201215mod-210804060106/85/2020-12-15-2-Google-Colab-AutoML-GAN-24-320.jpg)
[2020-12-15] 実験研究者のための深層学習入門 [第2回] Google Colab 環境で自動機械学習と深層画像生成(AutoML, GAN編)
- 1. 実験研究者のための深層学習入門 [第2回] Google Colab 環境で自動機械学習と深層画像生成(AutoML, GAN編) Techniques for experimental biologists to acquire deep learning skills(2): Automatic Machine Learning and Generative Adversarial Networks in Google Colab (AutoML, GAN) 神沼英里 東京医科歯科大学 医療データ科学推進室 特任講師 （兼 理化学研究所 環境資源科学研究センター 客員研究員) （兼 国立遺伝学研究所 生命情報研究センター 外来研究員) 1 CSRS Seminar [2020/12/15 11:00-11:40] ZOOM ONLINE
- 2. 目次 講習回 実習タスク 言語 第1回 （前回） CNN 畳込みニューラルネット ワーク 画像分類 R 第2回 AutoML 自動機械学習 画像分類 Python,R GAN 敵対的生成ネットワーク 画像生成 R
- 4. 前回復習②
- 6. AutoML(Automatic Machine Learning) ■AutoML＝ 機械学習モデルの開発工程の自動化。 自動機械学習を略してAutoMLと呼ばれる。 画像引用：Microsoft Azure「AutoMLとは」 https://docs.microsoft.com/ja-jp/azure/machine-learning/concept-automated-ml ※一番精度高の条件 を自動で探索する ↓ 計算時間が長い!
- 8. ■AutoMLのモデル開発工程の自動化部分 ■AutoMLの特徴 ＋機械学習モデルの設計知識がなくてもモデル構築が可能になる。 ＋探索対象（モデル構造、ハイパーパラメータ（学習率etc）、最適化手法など）。 ＋各パブリッククラウド会社がAutoMLツールを提供中（Google AutoML, AWS AutoGluon, Microsoft AutomatedML, IBM AutoAI, etc.）。 ＋難点は計算時間が長い、自動化処理の対象箇所が各社で異なること。 AutoMLの自動化部分 データの 前処理 モデル 構造 設計 ハイパー パラメータ 設定 モデルの学習 （重み最適化） と評価 デプ ロイ AutoMLの範囲 繰り返し データ セットの 準備 課題 設定
- 10. 重要なハイパーパラメータの1つ「学習率」は、 「各層の重みを一度にどの程度変更するか 」を表す ■勾配法＝損失関数の値が小さくなるように重みパラメータを探索 ■勾配法のアルゴリズム ＊「勾配降下法」＝最小値を探す ＊「勾配上昇法」＝最大値を探す ■勾配（傾き）と重みの更新方向 勾配＞０ → 重み負の方向へ更新 勾配＜０ → 重み正の方向へ更新 ■学習率 ＊ハイパーパラメータの1つ ＊値が大きいと、学習が加速 損失Eを小さくする方向に重みwを更新する https://axa.biopapyrus.jp/deep-learning/gradient_descent_method.html 勾配降下法より（損失関数はLで表記）
- 11. AutoMLにおけるCASH戦略とは ■ CASH ＝Combined Algorithm Selection and Hyperparameter optimization problem ②ハイパーパラメータ (Hyperparameter)の最適化 ①最適な機械学習モデル (Algorithm)の選択 ■ Grid Searchによるハイパーパラメータの網羅的探索 ※全格子点の計算なので時間がかかる ※他にも遺伝的アルゴリズムやベイズ最適化が使われる ハイパー パラメー タAの 探索範囲 ハイパーパラメータBの探索範囲
- 12. AutoML(自動機械学習)のFrameworks ツール名 提供元 CASH戦略、特徴 利用方法 AutoWEKA 2013.3 British Columbia Univ. *ベイズ最適化 *最初のAutoML オープンソース auto-sklearn 2015.12 Freiburg Univ. *ベイズ最適化+メタ学習 *AutoWEKAの拡張 オープンソース Cloud AutoML 2018.1 Google *Neural Architecture Search(NAS) 課金 AutoKeras 2018.6 Texas A&M University *NAS オープンソース Microsoft AutomatedML 2018.9 Microsoft *? 課金 AWS AutoGluon 2019.12 Amazon *NAS *他にSageMaker AutoPilot 課金 ＊AutoMLは全てPython言語で提供(AutoWEKAはJava,Python) IBM AutoAI＝Watson利用(2019.8)
- 13. AutoMLにおけるCASH戦略とは ■ CASH ＝Combined Algorithm Selection and Hyperparameter optimization problem ②ハイパーパラメータ (Hyperparameter)の最適化 ①最適な機械学習モデル (Algorithm)の選択 ■ Grid Searchによるハイパーパラメータの網羅的探索 ※全格子点の計算なので時間がかかる ※他にも遺伝的アルゴリズムやベイズ最適化が使われる ハイパー パラメー タAの 探索範囲 ハイパーパラメータBの探索範囲
- 14. *NAS =強化学習でモデル精度を報酬として、ニューラルネットワークの モデル構造を最適化する手法 ニューラルネットワークモデル構造の最適化アルゴリズム Neural Architecture Search(NAS) （arXiv:1611.01578） 画像引用 https://www.ibm.com/blogs/ research/2019/09/neural- architecture-search-survey/ 画像引用： https://qiita.com/no rihitoishida/items/9f 73865a0c8f99c203cd
- 15. ハイパーパラメータの最適化アルゴリズム ベイズ最適化(Proc. of IEEE, 104:148-175,2016 ) ■ベイズ最適化＝形状不明（ブラックボックス）関数の最大値、最小値を求める手法。 機械学習のハイパーパラメータ探索に適用される。 獲得関数の期待値最大の箇所を次の探索点とする→探索回数の減少 画像引用：機械学習における ハイパパラメータ最適化手法： 概要と特徴、 電子情報通信学会論文誌 D Vol. J103–D No. 9 pp. 615–631
- 16. ※最適値の探索には、非常に時間がかかる ※一回モデル作成に課金10万円! （2019年7月のGoogleML Summit Tokyo ラーメン次郎AIの作成者談） https://qiita.com/highno_RQ/it ems/71595fc402e5b3a55665 AutoMLの課金額比較（表形式データ） ■ 回帰タスク（FIFA 19 complete player datasetの選手賃金予測）
- 17. *Keras(Python,R)ライブラリの自動機械学習版 - Rのautokerasは提供されているがColabで動かず（将来的にバグ取れるかも） - Pythonでもコードは3行のみ 実習(AutoKeras) ■Cifar10 datasetで3回試行で1時間15分
- 19. GANは深層学習を用いた画像生成技術 *GAN(Generative Adversarial Network): 敵対的生成ネットワーク - 教師なし画像生成アルゴリズムの1つ - 2014年にIan Goodfellowが提案 - 互いに競争する2つの深層学習モデルの構成 - LeCun博士は「機械学習分野でこの10年間で 最も興味深いアイデア」と評価 GAN:敵対的生成ネットワーク 教師なし (Goodfellow et al, arXiv:1406.2661, 2014) https://stats.stackexchange.com/questio ns/277756/some-general-questions-on- generative-adversarial-networks より画像引用 入力：ノイズ G：生成モデル D: 識別モデル https://ja.stateofaigu ides.com/20201012- gans-for-good/
- 21. ■DeepFake =fake(偽物)の 人物画像生成法 GANの有名例：DeepFakeによる動画の顔入れ替え ■ DeepFake検出研究が課題に →Facebookが「Deepfake Detection Challenge」 （DFDC）コンテストを発表(2019年9月) ＊2018年4月にYouTubeにバラクオバマ大統 領の顔入れ替えビデオが投稿され有名に ＊xpression camera（EmbodyMe社）は寝起 きパジャマをスーツ姿に合成(2020年9月) ＊2020年10月に日本でもDeepFakeを使い 不適切映像の作成容疑で逮捕者が出た https://qiita.com/jiny2001/items/1a33c0c43230b6468571 https://ai.facebook.com/datasets/dfdc/
- 24. GANの著名アルゴリズム① pix2pix （arXiv:1611.07004 ） ■ pix2pix ＝ Alexei Efros(UC Beｒkeley)提案のGANの1種。下記では、 ペア画像（地図と航空写真）から任意の地図から航空写真の画像を生成[左]。
- 25. GANの著名アルゴリズム② CycleGAN （arXiv:1703.10593 ） ■ CycleGAN ＝Alexei Efros提案のGANの1種。Pix2pixと異なりペア画像が不要で、 画像変換、彩色変換など多様なアプリケーションに応用。 画像引用：arXiv論文より