[Ridge-i 論文よみかい] Wasserstein auto encoder

Wasserstein Auto-Encoders
2018.10.04
Ridge-i 論文よみかい
Masanari Kimura
mkimura@ridge-i.com

2
©2018 Ridge-i All Rights Reserved.
● ICLR2018採択論文 [1]
● 生成モデルの学習手法の提案．
Abstract

3
● Optimal transport costを最小化するように学習するWAEの提案
● GANベースとMMDベースの二つのregularizersを提案
● VAEの安定性と良好な潜在空間を保ったまま，より綺麗な画像の生成が可能
Contributions

4
● 潜在変数zがPz = N( 0, Id )からサンプリングされると仮定して学習
Variational AutoEncoder (VAE)
z
μ
Σ
Reconstruction Loss
Input Reconstructed

5
● VAE: 全てのデータ点が潜在空間上でPzに従うように学習
○ 異なるデータ点のマージンが交差するため，デコード時に問題が起きる
● WAE: 異なるデータ点は潜在空間上で互いに離れるように学習
VAE vs WAE

6
● 多くの確率分布間のダイバージェンスは，最適輸送問題によって導出される [2]
Optimal Transport Problem
最小の労力で
変形したい

7
● 多くの確率分布間のダイバージェンスは，最適輸送問題によって導出される [2]
最小の労力で
変形したい
Orangeと間違えたものは，
Dogに運ぶよりAppleに運ぶほうが楽

8
● 以下の問題を考える
○ は任意のコスト関数
○ はrealとgeneratedの結合分布から得られるの集合

9
● 特にの時，のp乗根をp-Wasserstein distanceという

10
● ここで，，つまりp=1の時，次の双対問題が成り立つ：
○ Kantorovich-Rubinstein duality
Dual Formulations
1-Lipschitz関数

11
● 潜在表現zがある分布からサンプリングされているとする
● zに何らかの変形を施すことで画像空間にマッピングする時，生成モデルの確率密度は
● Auto-Encodersの枠組みでは，zはエンコーダの出力
Latent Variable Model

12
● 以下の結合分布について考える
● xについて積分し，周辺化する
● 上式の，xに絡む項のみに注目すると，
● 間の最適輸送問題を考える．前スライドの期待値の部分を積分に変形して，
● ここで，デコーダが決定的であると仮定すると，，から
(制約として）
WAE objective

13
● GAN-based
or
MMD-based
Penalized objective

14
● MNISTデータセット
Experimental Results

15
● CelebAデータセット
Experimental Results

16
● Optimal transport costを用いた新しい生成モデルの学習手法を提案
● 既存のVAEと比べて，より綺麗な画像の生成が可能になった
Conclusions

17
● [1] Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf. "Wasserstein Auto-Encoders", International Conference on Learning
Representations (ICLR). 2018.
● [2] C. Villani. Topics in Optimal Transportation. AMS Graduate Studies in Mathematics, 2003.
References

[Ridge-i 論文よみかい] Wasserstein auto encoder

More Related Content

What's hot (20)

More from Masanari Kimura (6)

[Ridge-i 論文よみかい] Wasserstein auto encoder