Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval
- 1. Komachi Lab M1 宮崎亮輔 2015/06/24 Representation Learning Using Multi-Task Deep Neural Networks for Semantic Classification and Information Retrieval ! Xiaodong Liu, Jianfeng Gao, Xiaodong He, Li Deng, Kevin Duh, Ye-Yi Wang NAACL読み会2015 ※このスライド中の図はこの論文中のものです
- 2. Komachi Lab Abstract ✤ 最近のDNNって目的のタスクに対して直接最適化してなかったり! ✤ 任意のタスクへの教師ありもトレーニングデータの不足とかあるし! ✤ ということでMulti-Task DNN for Representation を提案! - C&Wとの違い？→今回は処理の違うタスク同士! - query classification(今回は4ドメイン)とranking for web search! ✤ データ量が増えるだけでなく、 正則化の効果も（ドメインアダプテーション） 2
- 4. Komachi Lab Input ✤ 入力はクエリ or ドキュメント （Bag-of-Words 500k次元）! - つまり語彙数500kのOne hot vector 4
- 5. Komachi Lab Word Hash Layer ✤ 次の層で文字trigramの空間にmapする（50k次元）! - 未知語の問題が解消! - 同単語の複数のspelingが近くにmapされる 5 ※単語境界は”#”で表現
- 6. Komachi Lab Semantic Representation Layer ✤ 意味表現（300次元）! - l2 = f(W1・l1), f() = tanh 6
- 7. Komachi Lab Task-Specific Layer 7 ✤ タスク固有中間表現（128次元）! - l3 = f(Wt 2・l2) , t = task! - 入力がクエリ: l3 = Q, ドキュメント: l3 = D クエリ分類タスク：
- 8. Komachi Lab Task-Specific Layer 8 ,クエリ分類クエリ分類 ✤ タスク固有中間表現（128次元）! - l3 = f(Wt 2・l2) , t = task! - 入力がクエリ: l3 = Q, ドキュメント: l3 = D タスク：
- 9. Komachi Lab Task-Specific Layer 9 ,web searchクエリ分類 ,クエリ分類 ✤ タスク固有中間表現（128次元）! - l3 = f(Wt 2・l2) , t = task! - 入力がクエリ: l3 = Q, ドキュメント: l3 = D タスク：
- 10. Komachi Lab Task-Specific Layer 10 ,web search,web searchクエリ分類 ,クエリ分類 ✤ タスク固有中間表現（128次元）! - l3 = f(Wt 2・l2) , t = task! - 入力がクエリ: l3 = Q, ドキュメント: l3 = D タスク：
- 11. Komachi Lab Task-Specific Layer 11 ,web search,web searchクエリ分類 ,クエリ分類 ,web search ✤ タスク固有中間表現（128次元）! - l3 = f(Wt 2・l2) , t = task! - 入力がクエリ: l3 = Q, ドキュメント: l3 = D タスク：
- 12. Komachi Lab Task-Specific Layer 12 ✤ クエリ分類（ロジスティック回帰）! - 二値分類（対応するドメインに属すか否か）! - 一つのクエリは複数のドメインに属すことができる! - ドメインの数だけ分類器，拡張性がある g()はシグモイド関数
- 13. Komachi Lab Task-Specific Layer 13 ✤ クエリ分類（ロジスティック回帰）! - 二値分類（対応するドメインに属すか否か）! - 一つのクエリは複数のドメインに属すことができる! - ドメインの数だけ分類器，拡張性がある
- 14. Komachi Lab Task-Specific Layer 14 ✤ Web検索! - クエリとのコサイン類似度→softmax! - P(D|Q)の降順でランキング γはハイパーパラメーター
- 16. Komachi Lab Training ✤ ミニバッチSGD! ✤ クエリ分類: 式(5)! - クロスエントロピーロス最小化! ❖ Web検索: 式(6)! - 負の対数尤度最小化! ❖ 初期化には以下の範囲から一様分布 16 ※800k iterations, 13hours
- 17. Komachi Lab Experimental Data Sets ✤ クエリ分類には商用検索エンジンのログ１年分 （人手のラベル付き）! ✤ Web検索は12,071のクエリを含み クエリとドキュメントの組み合わせに５段階の関連度 17
- 18. Komachi Lab Query Classification ✤ クエリ分類のベースライン! - SVM-word unigram, bigram, trigram, surface! - SVM-letter 文字trigram! - DNN マルチタスクではないDNN 18
- 19. Komachi Lab Query Classification Results ✤ SVM < DNN ：意味表現が重要! ✤ DNN < MT-DNN ：マルチタスクは有用 19 ※評価はAUC
- 20. Komachi Lab Web Search ✤ Web検索のベースライン! - 一般的なベースライン TF-IDF, LDA, etc.! - DSSM マルチタスクではないDNN 20
- 21. Komachi Lab Web Search Results ✤ State-of-the-art（DSSM）を超えた やはりマルチタスクは有用 21 ※NDCGはrankingを評価する指標
- 22. Komachi Lab Domain Adaptation ✤ クエリ分類のひとつのドメインを除いてMT-DNNで学習! - 学習したSemantic Representationを素性にSVMで分類! - ベースラインはSVM-Word, SVM-letter 22 ✤ 一般的なFeed Forward DNNでも比較! - Semantic RepresentationをW1にしてW2, Wt 3を学習! - W1をランダムに初期化, W1, W2, Wt 3を学習! - SVM-Word
- 23. Komachi Lab 23
- 24. Komachi Lab Domain Adaptation ✤ クエリ分類のひとつのドメインを除いてMT-DNNで学習! - 学習したSemantic Representationを素性にSVMで分類! - ベースラインはSVM-Word, SVM-letter 24 ✤ 一般的なFeed Forward DNNでも比較! - Semantic RepresentationをW1にしてW2, Wt 3を学習! - W1をランダムに初期化, W1, W2, Wt 3を学習! - SVM-Word
- 25. Komachi Lab 25
- 26. Komachi Lab Conclusion ✤ 分類とランキングという異なるタスクを合わせて DNNでのマルチタスク学習を提案! ✤ ベースラインを上回り、Web検索ではState-of-the-art! ✤ マルチタスク学習により ドメインアダプテーションされた表現を学習できた 26