[DL輪読会]TREE-STRUCTURED VARIATIONAL AUTOENCODER
Download as PPTX, PDF0 likes1,024 views
[DL輪読会]TREE-STRUCTURED VARIATIONAL AUTOENCODER
- 1. Tree-Structured Variational Autoencoder 16/12/16 野中 尚輝 Richard Shin, Alexander A. Alemi, Geoffrey Irving, Oriol Vinyals
- 2. 目次 • 書誌情報 • イントロダクション • モデル • 実験 • 過去のモデルとの比較 • 結論・まとめ 2016/12/16 1
- 3. 書誌情報 • ICLR 2017 (Submitted) – UC Berkeley – Google Research, Google Brain, Google DeepMind 2016/12/16 2
- 4. 背景 • 深層生成モデルが大きな成果を出している – VAEやGANなど – 解析的に求めることのできない複雑な同時分布 をニューラルネットワークにより近似 – 画像、文章、音声などの生成において成果を 出している ↓ • 木構造のデータに適用したい – Computer grammarや自然言語は木構造で 表現できる 2016/12/16 3
- 5. 背景 • 木構造データは系列データとして扱い、 系列モデルを用いることも可能 • 木構造を考慮したモデルの方が、長い 依存関係を捉えることができる可能性が ある – 系列データでは距離があっても木構造では 近い場合もある 2016/12/16 4
- 6. 背景 • 木構造に含まれる各ノードのidentityを 決定する分散表現を親ノードに対する 相対位置と分散表現の関数として計算 ↓ • 木構造の様々な特徴を潜在空間で学習し、 top-down Recursive NNに入力として 与え、生成を行う 2016/12/16 5
- 7. 関連研究 • 木構造のニューラルネットワーク – Bottom upとTop downの二種類が存在 • Variational Autoencoder 2016/12/16 6
- 8. Recursive Neural Network 2016/12/16 7 http://www.iro.umontreal.ca/~bengioy/talks/gss2012-YB6-NLP-recursive.pdf
- 10. Context free grammar • 文脈自由文法 2016/12/16 9
- 12. Context free grammar 2016/12/16 11 P9~11 (https://www.jaist.ac.jp/~uehara/course/2009/ti118/11cfg-n.pdf)
- 13. 提案モデル（木の構造） • 各ノードにはタイプと、子ノードまたは terminal valueが存在 – terminal: 何らかの値を持つ – non-terminal: 0以上の子ノードを持つ NT: タイプTのノード 2016/12/16 12 Type: terminal Terminal value Type: non-terminal ...child child
- 14. 提案モデル（木の構造） • T = terminal – 取りうる値のリストを持ち、その中から値を 返す • T = non-terminal – NTは子ノードを持つことが可能 • Singular child – SINGULARCHILD(T, i)に含まれるタイプの子ノード – SINGULARCHILDCOUNT(T)個の子ノード – （タイプTごとに取りうる子ノードの数が固定） • Repeated children – 任意の数のREPEATEDCHILDRENに属するタイプの 子ノードを持つ 2016/12/16 13
- 15. 提案モデル（Decoder） • GENERATENODE(T, h) – 入力としてノードのタイプTおよび 隠れ状態hを与える – T = terminal • WHICHTERMINALVALUET(h) • 取りうる値に対する確率分布からサンプリング された値を返す – T = non-terminal • タイプTにしたがってノードとそのノードにおける 隠れ状態h’を出力 2016/12/16 14
- 16. 提案モデル（Encode） • ENCODE(n) – ノードnが与えられたとき、それ以下の 木構造を表現するベクトルを返す – T = terminal • 入力として与えられた値vについてのk次元 ベクトル表現を返す – T = non-terminal • Tの子ノードについてENCODE(ni)を出力 • 子ノードについて得られたENCODE(ni)を統合 ENCODE(nroot) = hrootは木構造全体の情報を表 すk次元のベクトルを返す 2016/12/16 15
- 17. 提案モデル • ニューラルネットワークにより、 ENCODE(n)およびGENERATENODE(T, h) におけるベクトルを変換 – SPLIT, MERGE, WHICHの3つの関数が存在 – SPLIT, MERGEを合わせたCOMBINEを置く • SPLIT: • MERGE: • COMBINE: – WHICH • K次元の入力からd次元の出力を得る 2016/12/16 16
- 18. 提案モデル（用いる関数） • 用いる関数 – SPLIT • SPLITとSPLITREPEATEDを統合 – MERGE • MERGEとMERGEREPEATEDを統合 – WHICH • WHICHTERMINALVALUET(h) • WHICHCHILDTYPET,i(gi) • WHICHCHILDTYPET,repeated(gcur) • その他 – GatingとLayer Normalizationを使用 2016/12/16 17
- 19. 実験 • Type-aware sequential model • Synthetic arithmetic data • First-order logic proof of clause 2016/12/16 18
- 20. Synthetic Arithmetic Data • Grammar – 2種のnon-terminal type • PLUSとMINUSが存在 • それぞれ2つの子ノードが存在 • 子ノードはPLUS, MINUS, NUMBERのいずれか – 1種のterminal type • NUMBERが存在 • 0から9までの値を取る 2016/12/16 19
- 21. Synthetic Arithmetic Data • Data generation – Rootノードからterminalノードまでの最大の 距離により深さを定義 – 和を定めた上で学習 – 深くなるとTreeVAEの尤度がSequential modelを上回る 2016/12/16 20
- 22. First-order Logic Proof • Grammar – 各literalには、下記のいずれかが含まれる • 一つのpredicate – 決められた数のargumentを決定するname • 二つのexpressionsが等しいことを示すassert – Expressionは、function, number, variableのいずれか 2016/12/16 21
- 23. First-order Logic Proof • 結果 – Sequential modelにおける対数尤度が 提案手法をわずかに上回った – Tree no VAEと比較して精度が向上した 2016/12/16 22
- 24. 結論・まとめ • 木構造のデータに対するVAEを提案 • 精度は系列データとして扱った場合の LSTMと同程度 • 今後の課題 – 規模の大きなデータに適用するためには改善 が必要 – 対数尤度の値を改善する必要がある 2016/12/16 23