[DL輪読会]相互情報量最大化による表現学習
Download as PPTX, PDF14 likes9,173 views
![DEEP LEARNING JP
[DL Papers]
相互情報量最大化による表現学習
Yusuke Iwasawa, Matsuo Lab
http://deeplearning.jp/](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-1-320.jpg)
![（深層）生成モデルによる教師なし表現学習 2013 ~
• 右のような生成過程を考える
• log 𝑝 𝑥 = 𝑝 𝑥 𝑧 𝑑𝑧
• 良い生成を与えるような表現を学習する
• VAE系やGAN系など多数
– [Kingma+ 14] VAE
– [Donahue+ 17] bidirectional GAN
– [Dumoulin+ 17] adversarial learned inference
7
𝑥
𝑧](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-7-320.jpg)
![相互情報量最大化と再構築誤差
𝐼 𝑋, 𝑍 = 𝔼 𝑝 𝑥,𝑧 log
𝑝 𝑥|𝑧 𝑝(𝑧)
𝑝 𝑥 𝑝 𝑧
= 𝔼 𝑝 𝑥,𝑧 log
𝑝 𝑥 𝑧 𝑞(𝑥|𝑧)
𝑝 𝑥 𝑞 𝑥|𝑧
= 𝔼 𝑝 𝑥,𝑧 log
𝑞(𝑥|𝑧)
𝑝 𝑥
+ 𝐾𝐿(𝑝(𝑥|𝑧)||𝑞 𝑥 𝑧 )
≥ 𝔼 𝑝 𝑥,𝑧 log 𝑞 𝑥 𝑧 + ℎ(𝑋)
10
負の再構築誤差 (Distortion)
• 詳しくは[Poole+18] “On Variational Bounds of MI”, [Alemi+17] “Fixing Broken
Elbo”
• q(x|z)がtractableなら良い（が高次限の出力に難？
• 例：動画の生成](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-10-320.jpg)
![MIの下界を抑える研究郡
12
• [Poole+18] “On Variational Bounds of MI”より抜粋
• いろいろな推定方法とその問題点がまとまっている
（どの下界が良いのかは今回は話しません）](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-12-320.jpg)
![具体例：Contrastive Predictive Coding [Oord+18]
15
手法：時刻Tまでの系列の埋め込みcから、未来の
潜在表現zを予測（zとcの相互情報量を最大化）
系列は一貫した情報を表しているはずというpriorを
使っている
テキスト
音声](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-15-320.jpg)
![具体例：Contrastive Predictive Coding [Oord+18]
画像データの場合
16
手法：重なりありでパッチに切って系列っぽく扱う](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-16-320.jpg)
![具体例：DeepInfoMax [Hjelm+19]
17
手法：画像全体の特徴量yとロー
カルな特徴量を対照推定
（画像のローカルな特徴はグ
ローバルな特徴と一致してほし
いと言うpriorを使ってる）](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-17-320.jpg)
![ここまでまとめ
• 教師なし表現学習は未解決問題
• デコーダを使わない手法として、対照推定に基づく手法が
近年登場 => 精度大幅な改善
• 具体例：対照推定のときに使っているpriorが異なる
– CPC [Oord+18]
– Deep InfoMax [Hjelm+19]
– など
19](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-19-320.jpg)
![実験１：可逆なエンコーダを利用したMI最大化
• Flow Basedな手法（例えばRealNVP[Dinh+16]）はInvertible（可逆）
• 可逆変換fをかませたz = f(x)を考えると、MI(X;Z)は常に最大
• 可逆変換なfをMI最大化で学習させるとどうなるか？
（MI最大化系の研究が本当に単にMIの最大化なら、精度は変わら
ないはず
38](https://image.slidesharecdn.com/20190913iwasawa-190913002312/85/DL-38-320.jpg)
[DL輪読会]相互情報量最大化による表現学習
- 1. DEEP LEARNING JP [DL Papers] 相互情報量最大化による表現学習 Yusuke Iwasawa, Matsuo Lab http://deeplearning.jp/
- 2. 相互情報量関連論文（前々回の輪読で話したやつ） • “Learning deep representations by mutual information estimation and maximization” (ICLR2019) • “Mutual Information Neural Estimates” (ICML2018) • “Representation Learning with Contrastive Predictive Coding” (NIPS2018) • “On variational lower bounds of mutual information” (NIPS2018, workshop) • “Emergence of Invariance and Disentanglement in Deep Representations ” (JMLR) • “Deep Variational Information Bottleneck” (ICLR2017) • ” Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow” (ICLR2019, poster) • “Fixing a Broken ELBO” (ICML2018) • “MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders” (ICLR2019, poster) • “EnGAN: Latent Space MCMC and Maximum Entropy Generators for Energy-based Models” (ICLR2019, reject) • “Deep Graph Info Max” (ICLR2019, poster) • “Formal Limitations on the Measurement of Mutual Information” (ICLR2019 Reject) 2 メインで話す 少しだけ触れる
- 3. 相互情報量最大化による表現学習系の最近の文献 • “Learning Representations by Maximizing Mutual Information”, NIPS2019 • “On Variational Bounds of Mutual Infromation”, ICML2019 • “Greedy InforMax for Biologically Plausible Self-Supervised Representation Learning”, NIPS2019 • “On Mutual Information Maximization for Representation Learning” • “Region Mutual Information Loss for Semantic Segmentation”, NIPS2019 • （あとで追加） 3
- 4. Outline • 背景：表現学習、相互情報量、対照推定 • 論文１：“Learning Representations by Maximizing Mutual Information”, NIPS2019 • 論文２：“Greedy InfoMax for Biologically Plausible Self- Supervised Representation Learning” (NIPS2019) • 論文３：“On Mutual Information Maximization for Representation Learning” 4
- 6. 教師なし表現学習 • 教師あり表現学習 – 興味のあるタスクラベルが事前にわかっている – 例：Image Netでは – こういう問題設定では、すでに人間を超える精度 • 教師なし表現学習 – 興味のあるタスクラベルは事前にわかっていない – 再利用可能な表現を観測からどう見つけるか 6
- 7. （深層）生成モデルによる教師なし表現学習 2013 ~ • 右のような生成過程を考える • log 𝑝 𝑥 = 𝑝 𝑥 𝑧 𝑑𝑧 • 良い生成を与えるような表現を学習する • VAE系やGAN系など多数 – [Kingma+ 14] VAE – [Donahue+ 17] bidirectional GAN – [Dumoulin+ 17] adversarial learned inference 7 𝑥 𝑧
- 8. Large Scale Adversarial Representation Learning, NIPS2019 8 Jeff Donahue, Karen Simonyan, DeepMind • 左上：提案手法 • 左下：Image Net、教師なしで SoTA • 右上：生成画像もきれい （Unconditional）
- 9. 相互情報量最大化による表現学習 • 相互情報量の定義 𝐼 𝑋, 𝑍 = 𝑥,𝑧∈𝒳,𝒵 𝑝 𝑥, 𝑧 log 𝑝(𝑥, 𝑧) 𝑝 𝑥 𝑝(𝑧) 𝑑𝑥 𝑑𝑧 • 解釈：確率変数XがYについての情報をどれくらい持つか • 性質 – (1) 𝐼 𝑋, 𝑍 ≥ 0 – (2) 𝐼 𝑋, 𝑍 = 𝐻 𝑍 − 𝐻 𝑍 𝑋 = 𝐻 𝑋 − 𝐻 𝑋 𝑍 = 𝐼(𝑍, 𝑋) – (3) 𝐼 𝑋, 𝑍 = 0 𝑖𝑓𝑓. 𝑋 𝑖𝑛𝑑𝑒𝑝𝑒𝑛𝑑𝑒𝑛𝑡 𝑡𝑜 𝑍 • 問題：どうやって計算するのか（Xは観測、Zは特徴量で高次限） 9
- 10. 相互情報量最大化と再構築誤差 𝐼 𝑋, 𝑍 = 𝔼 𝑝 𝑥,𝑧 log 𝑝 𝑥|𝑧 𝑝(𝑧) 𝑝 𝑥 𝑝 𝑧 = 𝔼 𝑝 𝑥,𝑧 log 𝑝 𝑥 𝑧 𝑞(𝑥|𝑧) 𝑝 𝑥 𝑞 𝑥|𝑧 = 𝔼 𝑝 𝑥,𝑧 log 𝑞(𝑥|𝑧) 𝑝 𝑥 + 𝐾𝐿(𝑝(𝑥|𝑧)||𝑞 𝑥 𝑧 ) ≥ 𝔼 𝑝 𝑥,𝑧 log 𝑞 𝑥 𝑧 + ℎ(𝑋) 10 負の再構築誤差 (Distortion) • 詳しくは[Poole+18] “On Variational Bounds of MI”, [Alemi+17] “Fixing Broken Elbo” • q(x|z)がtractableなら良い（が高次限の出力に難？ • 例：動画の生成
- 11. q(x|z)によらない近似：p(z)を近似分布r(z)に置き換える 𝐼 𝑋, 𝑍 = 𝑥,𝑧∈𝒳,𝒵 𝑝 𝑥, 𝑧 log 𝑝(𝑥, 𝑧) 𝑝 𝑥 𝑝(𝑧) 𝑑𝑥 𝑑𝑧 = 𝑥,𝑧∈𝒳,𝒵 𝑝 𝑧|𝑥 𝑝(𝑥) log 𝑝 𝑧 𝑥 𝑝(𝑥) 𝑝 𝑥 𝑝(𝑧) 𝑑𝑥 𝑑𝑧 ≤ 𝑥,𝑧∈𝒳,𝒵 𝑝 𝑧|𝑥 𝑝(𝑥) log 𝑝 𝑧 𝑥 𝑟(𝑧) 𝑑𝑥 𝑑𝑧 • 利用例：Variational Information Bottoleneck（I(X,Z)を制限） • 問題：上界なので最大化しても意味がない（下界がほしい） 11
- 12. MIの下界を抑える研究郡 12 • [Poole+18] “On Variational Bounds of MI”より抜粋 • いろいろな推定方法とその問題点がまとまっている （どの下界が良いのかは今回は話しません）
- 13. MIを最大化する手法の基本的な考え方：対照推定 • 求めたいのは𝐼 𝑋, 𝑍 = 𝔼 𝑝 𝑥,𝑧 log 𝑝 𝑥|𝑧 𝑝(𝑧) 𝑝 𝑥 𝑝 𝑧 – 同時分布𝑝 𝑥, 𝑧 と、周辺分布の積𝑝 𝑥 𝑝 𝑧 が区別できれば良い • 同時分布から得られたペア{x,z}と適当なp(z)からサンプルしたz’と xのペア{x,z’}が区別できれば良い – p(x)p(z)とp(x,z)を対照推定 • 適当な𝑓𝜃(𝑥, 𝑧)を用意して、{x,z}と{x, z’}の差が大きくなるように 𝑓𝜃(𝑥, 𝑧)自身とエンコーダ: X->Zを学習 13
- 14. 具体例 (“On Variational Bounds of MI”より抜粋） 14 • ZではなくYで表されているが基本的には同じ • f(x, y)の置き方によっていろいろな亜種が導ける
- 15. 具体例：Contrastive Predictive Coding [Oord+18] 15 手法：時刻Tまでの系列の埋め込みcから、未来の 潜在表現zを予測（zとcの相互情報量を最大化） 系列は一貫した情報を表しているはずというpriorを 使っている テキスト 音声
- 16. 具体例：Contrastive Predictive Coding [Oord+18] 画像データの場合 16 手法：重なりありでパッチに切って系列っぽく扱う
- 19. ここまでまとめ • 教師なし表現学習は未解決問題 • デコーダを使わない手法として、対照推定に基づく手法が 近年登場 => 精度大幅な改善 • 具体例：対照推定のときに使っているpriorが異なる – CPC [Oord+18] – Deep InfoMax [Hjelm+19] – など 19
- 20. Outline • 背景：表現学習、相互情報量、対照推定 • 論文１：“Learning Representations by Maximizing Mutual Information”, NIPS2019 • 論文２：“Greedy InfoMax for Biologically Plausible Self- Supervised Representation Learning” (NIPS2019) • 論文３：“On Mutual Information Maximization for Representation Learning” 20
- 21. 書誌情報 21 • 基本的には巨大なDeep InfoMax + 細かい工夫 • Image Netで教師なし学習＋線形分類で68.1% – Top1正解率のベースラインを7%改善 • 実装が公開されている（ https://github.com/Philip-Bachman/amdim-public）
- 22. 工夫１：巨大なエンコーダ 22
- 23. 余談：Tesla V100×8は人権 “We train our models using 4-8 standard Tesla V100 GPUs per model. Other recent, strong self-supervised models are nonreproducible on standard hardware.” 23
- 24. 工夫２：DIM across Views 24 1. 異なるデータ拡張で画像Xから X1とX2を得る 2. X1からはSummary Vector cを得る 3. X2からはLocal Vector z_i,jを得る 4. 異なる画像X’と適当なデータ拡張で 得たz’_i,jと対照推定
- 25. 工夫３：Multiscale Mutual Information 25 固定化した層を使って予測するので はなく、複数の層間で予測 実験では {1, 5}{1, 7}{5, 5}間で予測 （数字は受容野の大きさ）
- 26. 工夫４：Mixture-Based Representations • 各層の特徴量𝑓𝑖を適当な関数𝑚 𝑘に通して混合特徴ベクトル 𝑓𝑖 1 , 𝑓𝑖 2 , … 𝑓𝑖 𝑘 = 𝑚 𝑘(𝑓𝑖)を得る • これを各層でやって、NCE誤差（MIの下界）を重み付けする （重みが下の式） • 気持ちとしては、NCEが大きい特徴を選択するようになる • （ただそれだとGreedyになるからとH(q)を足してたりよくわからない 26
- 28. 実験：CIFAR 28
- 29. まとめ • Local DIMを拡張 – 巨大なエンコーダ – Data Augmentation Prior – Multiscale Predictions – Mixture-based representations • Image Netで教師なしSoTA • （結局どれが効いているのかはよくわからない） 29
- 30. Outline • 背景：表現学習、相互情報量、対照推定 • 論文１：“Learning Representations by Maximizing Mutual Information”, NIPS2019 • 論文２：“Greedy InfoMax for Biologically Plausible Self- Supervised Representation Learning” (NIPS2019) • 論文３：“On Mutual Information Maximization for Representation Learning” 30
- 32. 提案手法：Greedy InfoMax 32 • 基本は各モジュールごとに勾配を止めるだけ • 各モジュールは接続された下位モジュールの出力でCPC
- 35. まとめ • 層ごとの学習にMIの最大化を利用するGreedy InfoMaxを提案 – CPCベース • 音声や画像タスクでCPCや全教師ありとComparable • 特にNCE系の損失はメモリ効率が悪いことが多いので、実用的に も使える場面はあるかもしれない （学習遅くなる気がするが） 35
- 36. Outline • 背景：表現学習、相互情報量、対照推定 • 論文１：“Learning Representations by Maximizing Mutual Information”, NIPS2019 • 論文２：“Greedy InfoMax for Biologically Plausible Self- Supervised Representation Learning” (NIPS2019) • 論文３：“On Mutual Information Maximization for Representation Learning” 36
- 38. 実験１：可逆なエンコーダを利用したMI最大化 • Flow Basedな手法（例えばRealNVP[Dinh+16]）はInvertible（可逆） • 可逆変換fをかませたz = f(x)を考えると、MI(X;Z)は常に最大 • 可逆変換なfをMI最大化で学習させるとどうなるか？ （MI最大化系の研究が本当に単にMIの最大化なら、精度は変わら ないはず 38
- 42. まとめ • 最近の精度向上が本当にMIの最大化と言う観点から説明できる のか？についての実験的な検証 • ネットワーク構造が支配的に重要というのは自分が実験したとき もそうだったので多分そう • MIを本当に最大化しているのかというより、MI最大化の上で良い Priorをどう入れるかが重要？ 42
- 43. 全体まとめ • 相互情報量最大化による教師なし表現学習の最近の話題につい てまとめた – 2018年：MI(X,Z)の下界について – 2019年：どういうネットワーク構造を使うか、どう言うpriorを入れるか • ImageNet・教師なしで大きな進展 • 感想：MI最大化自体はきれいだが、それ自体というよりは 構造的なpriorをどう入れ込むかが重要 – Global特徴の選び方、対照方法など 43