WSDM2018 presentation
Download as PPTX, PDF1 like396 views
Presentation
![[参考] Alibaba Group 7
• 中国のE-commerce系の会社
– 複数のECサイトを運営、主に中国企業向け](https://image.slidesharecdn.com/wsdm2018yoshinaga-180413120146/85/WSDM2018-presentation-7-320.jpg)
![[参考] AlibabaのQAシステム（Chatbot） 8
https://gcx.aliexpress.com/ae/evaenglish/portal.htm?pageId=195440](https://image.slidesharecdn.com/wsdm2018yoshinaga-180413120146/85/WSDM2018-presentation-8-320.jpg)
WSDM2018 presentation
- 1. Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce WSDM2018 論文読み会 31 Slides arXiv:1711.08726
- 2. 論文概要 2 • Alibaba GroupのQAシステム改善の報告 • ChatbotのQAシステムのParaphrase評価に対 し、以下の工夫をおこなった – CNN-baseのhybrid model – ドメイン間の相関も踏まえた転移学習 • CNN-baseの既存手法よりと比較し、計算コス トを損なわずに精度向上 – AlibabaのChatbotにlaunch
- 3. 自己紹介 3 • 名前 – 吉永 尊洸（@tekenuko） • 職業 – Web系の事業会社のData Scientist • 素粒子論→データ分析の専門会社→事業会社 • ブログ – http://tekenuko.hatenablog.com • 趣味 – リアル脱出ゲーム
- 4. Contents 4 • Introduction – Question answering (QA) : 論文のトピック – QAのモデル, 実応用（Chatbot）での問題 • Model – hCNN : CNN-based – 転移学習 : + domain relationship learning • Experiment • Summary
- 5. Contents 5 • Introduction – Question answering (QA) : 論文のトピック – QAのモデル, 実応用（Chatbot）での問題 • Model – hCNN : CNN-based – 転移学習 : + domain relationship learning • Experiment • Summary
- 6. 本論文のトピック 6 • Question answering (QA) : 質問応答システム – 自然言語の質問に対して自然言語の解答を返す • Q : Xの発売日はいつですか? A : Y日です
- 7. [参考] Alibaba Group 7 • 中国のE-commerce系の会社 – 複数のECサイトを運営、主に中国企業向け
- 9. QAのモデル 9 • 大分類として、以下の2通り – Information Retrieval (IR)-based • 質問から、ふさわしい質問-解答ペアを検索 • 本論文はこっち – Generation-based • 質問から解答を生成するモデルを構築 • seq2seq系 A Neural Conversational Model lation and achieves im- nch and English-German ’14 dataset (Luong et al., has also been used for Vinyals et al., 2014a) and ., 2014b). Since it is Ns suffer from vanish- s use variants of Long ) recurrent neural net- Figure 1. Using the seq2seq framework for modeling conversa-
- 10. 情報検索（Information Retrieval）ベース 10 • Workflow – 入力された質問ともっとも近い質問をもつ質問-解 答ペアをみつけ、その解答をかえす
- 11. Key component : Question Rerank 11 • 質問とよく一致するQAペアを再分類 – NLPのタスクとしては以下の2種類 • Paraphrase identification, PI : 言い換えの識別 • Natural languege inference, NLI : 自然言語推論
- 12. Key component : Question Rerank 12 • 質問とよく一致するQAペアを再分類 – NLPのタスクとしては以下の2種類 • Paraphrase identification, PI : 言い換えの識別 – 入力 : 2つのセンテンス – 出力 : paraphrase, not parapharare (2値分類) – 本論文のChatbotへの応用はこっち • Natural languege inference, NLI : 自然言語推論 – 入力 : 2つのセンテンス – 出力 : neural, entailment, contradiction » entailment : 同じ, contradiction : 違う » neural : どちらともいえない – 論文ではNLIの実験もおこなっているが、今回の発 表では省略します
- 13. 実応用上の問題 13 1. 高いQPS（Query per second）が必要 – 実応用上、real time性が重要 • 既存手法は、高精度だが効率性（計算時間など）があま り重要視されていない 2. 学習データが不足しがち – 各ドメイン（製品カテゴリ）ごとにラベリングさ れたデータを用意するのはコストがかかる • 異なるドメインだと異なる学習データが必要になること が多い • ドメインによって用意できるデータに差がある
- 14. 本論文での工夫 14 1. hCNN : CNN-baseのモデル – sentence encoding (SE)-baseとsentence interaction (SI)-baseの方法のhybrid • RNNベースより高速だが性能が近しかったため、hCNNを base modelとして採用 2. 転移学習の活用 – リソースが不足しているドメインに対し、リソース がリッチなドメインの知見を活用 • 両ドメインの共通部分だけでなく、ドメイン間の関係的な ものもモデルに組み込んでいる
- 15. Contents 15 • Introduction – Question answering (QA) : 論文のトピック – QAのモデル, 実応用（Chatbot）での問題 • Model – hCNN : CNN-based – 転移学習 : + domain relationship learning • Experiment • Summary
- 16. QAシステムの全体像 16 Apach Lucene • indexing • Top K candidate • TF-IDF based PI model • CNN-based • Transfer Learning GBDT • Reranking • Word distance • similarity • PI prediction main topic
- 17. PI model 17 入力 2つのセンテンス 出力 paragraph or not
- 18. PI model 18 base model hCNN 転移学習で 工夫してるところ
- 19. Base model : hCNN 19 • BCNN+Pyramid – BCNN（SE-base） • センテンスに対してベクトルを出力するNetworkを2つ 作り、最後に出力をconcatする • Layer : 1-D convolutional + 1-D max-pooling – Pyramid（SI-base） • 2つのセンテンスのワード（のベクトル）間で内積に基 づく類似度計算、類似度が成分にある行列を入力として ベクトルを出力するネットワークをつくる • Layer : 2-D convolutional + 2-D max-pooling – BCNNとPyramidの出力をconcat
- 20. Base modelのNetwork構造（一部） 20 BCNN Pyramid 300 dim and 300 dim (used GloVe) 1-D convolutionnal window size 4 50 dim and 50 dim 8 dim Kernel 6×6 stride 1 Pooling size 4×4 stride 4 ReLU 1-D maxpooling
- 21. 転移学習（よくある例） 21 • 関連したドメイン（Source domain）の知識を利 用して、解きたいドメイン（Target domain）の 問題をより高精度で解く 完全にナレッジ をシェア 共通部分はシェア ＋ドメイン固有が ある
- 22. 転移学習（本論文でのProposal） 22 • ドメインどうしの関係も考慮 – ドメイン間で共分散行列を導入し、成分を学習 例 : 重みに4つのindexをつける • target固有 • targetのナレッジ共有部分 • source固有 • sourceのナレッジ共有部分 同じ構造のNN
- 23. Loss Function 23 • 重み更新 – 最適化 : AdaGrad, initial learning rate 0.08 • 共分散行列の更新
- 24. Contents 24 • Introduction – Question answering (QA) : 論文のトピック – QAのモデル, 実応用（Chatbot）での問題 • Model – hCNN : CNN-based – 転移学習 : + domain relationship learning • Experiment • Summary
- 25. 学習データ 25 Table 1: Statistics of Paraphrase Identi cation Data Train Dev Test Q-Q Pairs 29,884/8,624 7,622/1,968 7,569/2,133 AliExpress #Query-Q 3202/2414 781/578 777/584 #Candi-Q 9.33 9.76 9.74 #words/Query-Q 11.71 11.73 12.04 #words/Candi-Q 8.37 8.37 8.54 Quora Q-Q Pairs 404,290/149,265 N.A. N.A. Table 2: SNLI Train 550,125 Dev 10,000 Test 10,000 Table 3: A Comparison Between Di erent Base Models • Source domain : Quara – インターネット上のQAフォーラム • Target domain : E-commers (AliExpress) – 1週間分QAログを収集, Analystがannotation total / paraphrase
- 26. 実験結果1 Base model 26 • hCNNが計算時間そこそこに性能もよい – CNN系では比較手法の中で最も性能がよい – RNN系は性能がよい代わりに計算時間がかかる AUCとACCの規模感が謎…
- 27. 実験結果2 PI model 27 • ドメイン間の関係を取り入れた手法(DRSS, DRSS-Adv)が比較的性能が良い praphraseの確率分布をスコアとして、あらかじめ決めた類似度と比較（バイアスが怖い）
- 28. 実験結果2 PI model 28 • ドメイン間の相関は、Source- sharedと Target-sharedが比較的高い – NLIの結果も鑑みると、結構タスク依存性ありそう
- 29. 実験結果3 Reranking 29 • GBDTのfeatureにPI modelのpreditionを導入 してperformanceを評価 – offline, onlineともに既存より精度向上 – 計算時間も許容範囲内らしい
- 30. Contents 30 • Introduction – Question answering (QA) : 論文のトピック – QAのモデル, 実応用（Chatbot）での問題 • Model – hCNN : CNN-based – 転移学習 : +domain relationship learning • Experiment • Summary
- 31. Summary 31 • Alibaba GroupのQAシステム改善の報告 • ChatbotのQAシステムのParaphrase評価に対 し、以下の工夫をおこなった – CNN-baseのhybrid model – ドメイン間の相関も踏まえた転移学習 • CNN-baseの既存手法よりと比較し、計算コス トを損なわずに精度向上 – AlibabaのChatbotにlaunch
Editor's Notes
- #3: よくある転移学習の話
- #7: 検索との違い : 自然言語の答えを返すところ（自然言語のほうが人間にとっていいじゃん） AppleのSiri, GoogleのGoogle homeや、日本だとLINEのclovaなどが例
- #8: もともとは中国のE-commerce系の会社 中国のAmazonとも言われる そのなかのAliExpressというサービスの話
- #9: Evaがベース 最初に質問が出る、選択肢を選ぶと答えが返ってくる 会員になるともっと柔軟な応答をできるらしい
- #10: 検索との違い : 自然言語の答えを返すところ（自然言語のほうが人間にとっていいじゃん）
- #11: 検索との違い : 自然言語の答えを返すところ（自然言語のほうが人間にとっていいじゃん）
- #14: PIとNLIは近年よく研究されているが、chatbot適用には以下のような困難がある Uservilityの話と学習データ収集の話
- #20: sentence encoding base : エンコードする sentence interaction base : 単語どうしの関係に着目
- #21: 2-Dの2層目 C : 4×4 3, P : 2×2 2 Glove : 出現単語の頻度に基づいた共起性行列の特異値分解による方法と、Word2Vecをうまく合わせたような手法
- #22: よくある転移学習の話
- #29: 正の相関がある部分もある matplotlibのoutputに見えるので、それを信じると、成分はみんな正だし、論文の別テーブルの値をみてもそう
- #30: もともと既存手法としてGBDTでrerankingしてたのをどれだけ改善できるか、という観点で行っている