![おなじみSequence-to-Sequence
[Sustskever+, 2014]
[Thang+, 2015]
[Nallapati+, 2016]](https://image.slidesharecdn.com/deconvolutionalparagraphrepresentationlearning-180217084353/85/Deconvolutional-paragraph-representation-learning-3-320.jpg)
![Exposure biasの対策
Scheduled Sampling [Bengio+, 2015]
ground truth labelを使うかprevious tokenを
使うかを確率的に決める
少しずつprevious tokenが選ばれるようにしていくことで
学習時と推論時のギャップを埋める](https://image.slidesharecdn.com/deconvolutionalparagraphrepresentationlearning-180217084353/85/Deconvolutional-paragraph-representation-learning-13-320.jpg)
![TextにおけるCNN
[Kim, 2014]Convolutional Neural Network for Sentence Classification
A Convolutional Neural Network for Modeling Sentences[Kalchbrenner, 2014]
• 単語数 * 分散表現の次元の行列
• チャネルは学習可能な分散表現のベクトルと
重みが固定された分散表現の2チャンネル
(提案手法では1チャネル)
• 最初の層は単語数 * 埋め込み次元
• Wide convolution + dynamic k-pooling](https://image.slidesharecdn.com/deconvolutionalparagraphrepresentationlearning-180217084353/85/Deconvolutional-paragraph-representation-learning-19-320.jpg)
![Loss function
Reconstruction lossとsupervised lossのsemi-supervised
Lossの割合をαで制御
αはscheduled annealingで減衰させる
Sigmoid annealing [Bowman+, 2015]
Linear annealing [Yang+, 2017]
学習後半になるにつれ再構成誤差の割合が小さくなる](https://image.slidesharecdn.com/deconvolutionalparagraphrepresentationlearning-180217084353/85/Deconvolutional-paragraph-representation-learning-22-320.jpg)
Deconvolutional paragraph representation learning
- 1. Deconvolutional Paragraph Representation Learning Yizhe Zhang, Dinghan Shen, Guoyin Wang, Zhe Gan, Ricardo Henao, Lawrence Carin
- 2. 自己紹介 Twitter/Github: ymym3412 都内のIT企業で自然言語処理の研究開発 社内NLP万事屋として生きる日々
- 4. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は
- 5. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が
- 6. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです
- 7. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <EOS> I
- 8. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <EOS> I I like
- 9. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <EOS> I I like like dogs
- 10. 機械翻訳タスクを例に 入力文: 私は 犬が 好きです 出力文: I like dogs 私は 犬が 好きです <EOS> I I like like dogs dogs <EOS>
- 11. Exposure bias 私は 犬が 好きです <EOS> I I train like planes dogs <EOS> • 学習時: Teacher forcing • Decoderへの入力はground truth label Cross-Entropyを計算
- 12. Exposure bias • 推論時: previous token • Decoderへの入力はt-1のDecoderの出力 私は 犬が 好きです <EOS> I I like like dogs dogs <EOS> 学習時と推論時の差がExposure biasを引き起こす！
- 13. Exposure biasの対策 Scheduled Sampling [Bengio+, 2015] ground truth labelを使うかprevious tokenを 使うかを確率的に決める 少しずつprevious tokenが選ばれるようにしていくことで 学習時と推論時のギャップを埋める
- 14. 提案手法での対策
- 19. TextにおけるCNN [Kim, 2014]Convolutional Neural Network for Sentence Classification A Convolutional Neural Network for Modeling Sentences[Kalchbrenner, 2014] • 単語数 * 分散表現の次元の行列 • チャネルは学習可能な分散表現のベクトルと 重みが固定された分散表現の2チャンネル (提案手法では1チャネル) • 最初の層は単語数 * 埋め込み次元 • Wide convolution + dynamic k-pooling
- 21. Supervised loss or classification summarization Encodeされた潜在表現をもとに クラス分類 or テキスト要約で対数尤度最大化で学習
- 22. Loss function Reconstruction lossとsupervised lossのsemi-supervised Lossの割合をαで制御 αはscheduled annealingで減衰させる Sigmoid annealing [Bowman+, 2015] Linear annealing [Yang+, 2017] 学習後半になるにつれ再構成誤差の割合が小さくなる
- 23. 実験 以下4タスクでLSTMベースのモデルなどと比較 Paragraph reconstruction Char-level and word-level correction Semi-supervised sentence classification Semi-supervised sentence summarization 検証モデル CNN-DCNN(提案手法) CNN-LSTM LSTM-LSTM など
- 24. Paragraph reconstruction 原文 復元文 • 文章を再構成できるだけの潜在表現を獲得できている • 高いBLEUとROUGEスコア = 原文を高いPrecision/Recallで復元 • 右の例文を見ても、かなり忠実に元の文章を再現できている
- 25. Char-level and word-level correction • 文字、単語レベルの誤りを訂正できるということは文の時制、三人称、単数形、 構文(要議論)といった情報を学習によって獲得できている
- 26. Semi-supervised sentence classification Semi-supervised sentence summarization • Dbpedia,Yelp P., Yahoo dataで◎ • 半教師あり学習のおかげでラベルデータが少ない時も精度が下がりにくい • 要約タスクではRNNにROUGE-Lで負けている • DCNNは遠いフレーズの関係性を捉えるのは得意だが局所で(文法的に)正しい文章を生成するのは苦手
- 28. Impression 原文を高いBLEU/ROUGEで復元できるだけの潜在表現を獲得できて いるのはとても面白い MLPやLSTMと組み合わせることで様々なタスクへ応用可能な汎用性 獲得した潜在表現は分析の余地がありそう 実装的な観点から言うとやはりCNN系は学習が早くていい
- 29. 参考文献 Deconvolutional Paragraph Representation Learning, https://arxiv.org/abs/1708.04729 Sequence to Sequence Learning with Neural Networks, https://arxiv.org/abs/1409.3215 Effective Approaches to Attention-based Neural Machine Translation, https://arxiv.org/abs/1508.04025 Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, https://arxiv.org/abs/1602.06023 Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks, https://arxiv.org/abs/1506.03099 Convolutional Neural Networks for Sentence Classification, https://arxiv.org/abs/1408.5882 A Convolutional Neural Network for Modelling Sentences, https://arxiv.org/abs/1404.2188 Generating Sentences from a Continuous Space, https://arxiv.org/abs/1511.06349 Improved Variational Autoencoders for Text Modeling using Dilated Convolutions, https://arxiv.org/abs/1702.08139