Basic explanation of Generative adversarial networks on MNIST
Download as PPTX, PDF0 likes68 views
This is a material I used to show how to write generative adversarial networks to generate MNIST hand-written digit images with KERAS (Ver2) in Shibuya, Tokyo in January, 2019. Source code can be found on Gist (https://gist.github.com/asterisk37n/0875a3d8ec08d81128308b2baaef838a) and it was written as simple as possible without loosing an essence of network.
![実装の注意点
● generatorの学習時は、generator単体ではなく、generator + discriminator (frozen) を学習する
● そのため、discriminatorをcompile後にdiscriminatorをtrainable=Falseとし、generatorにつなぐ
● MNIST データセット全体で1epochにすると、学習がおそらく1-3エポックて終わってしまう。
● 学習データは[-1, 1]に正規化して分類器に入力。
● Generatorのoutputはtanhを使って[-1, 1]とする。
22](https://image.slidesharecdn.com/basicgan-190212175946/85/Basic-explanation-of-Generative-adversarial-networks-on-MNIST-22-320.jpg)
Basic explanation of Generative adversarial networks on MNIST
- 1. 【Supporterz 勉強会】 基本のGAN https://supporterzcolab.com/event/661 WATANABE Naoki January 21, 2019, 19:30 ソースコード: http://qq3q.biz/PtS4 1
- 3. Goal 基本的なGANの概念を理解して、kerasで実装できるようになること。 下記のソースコードが理解できること。 http://qq3q.biz/PtS4 3
- 4. Contents 1. GANの例 2. GANの概念の説明 3. GANの実装 4
- 5. GANの例 5
- 6. 6
- 7. 7
- 8. 8
- 9. 9
- 10. 10
- 11. 11
- 12. 12
- 13. GANの概念 13
- 14. 二つのモデル (ネットワーク)を訓練する Generator: ノイズを入力とし、画像を生成する Discriminator: 画像を入力とし、その画像が本物かGeneratorの生成したものか判別する 14
- 15. 15
- 16. 学習の方向 Generator の学習 ● noise → Generator → Discriminator → 1 Discriminatorの学習 ● noise → Generator → Discriminator → 0 ● データセットの画像 → Discriminator → 1 16
- 17. 17
- 19. 19
- 20. loss 20
- 21. ソースコードの解説 21
- 22. 実装の注意点 ● generatorの学習時は、generator単体ではなく、generator + discriminator (frozen) を学習する ● そのため、discriminatorをcompile後にdiscriminatorをtrainable=Falseとし、generatorにつなぐ ● MNIST データセット全体で1epochにすると、学習がおそらく1-3エポックて終わってしまう。 ● 学習データは[-1, 1]に正規化して分類器に入力。 ● Generatorのoutputはtanhを使って[-1, 1]とする。 22
- 23. 環境 ● Python 3.6.5 ● Tensorflow 1.12 ● keras 2.2.4 23
- 25. 学習結果 (100, 500, 999 epoch) MacBook Pro (Core i7) で17分間学習 25
- 26. 26
- 27. 27
- 28. 28
- 29. 参考および引用 今さら聞けないGAN（1） 基本構造の理解 - Qiita (図を借りました) https://qiita.com/triwave33/items/1890ccc71fab6cbca87e#%E3%81%BE%E3%81%A8%E3%82%81 GAN(Generative Adversarial Networks)を学習させる際の14のテクニック - Qiita https://qiita.com/underfitting/items/a0cbb035568dea33b2d7 Progressive Growing of GANs for Improved Quality, Stability, and Variation https://arxiv.org/abs/1710.10196 29