SlideShare a Scribd company logo
I Know What You Asked:
Graph Path Learning using
AMR for Commonsense
Reasoning
Jungwoo Lim∗, Dongsuk Oh∗, Yoonna Jang, Kisu Yang, Heuiseok Lim
COLING 2020 , @論文読み会, 紹介者: Yoshiaki Kitagawa
Summary
 Task
 CommonsenseQA
 事前定義された知識を使用した常識的な
推論によって正解を予測するタスク
 先行研究と比べてどこがすごいか?
 常識的な推論のプロセスをモデルにうま
く組み込んでいるところ
 技術や手法のキモ
 Graph Integrating and Pruning
 AMR と CN グラフの統合と枝刈り
 Language Encoder and Graph Path
Learning Module
 QA sentence のエンコーダと path 学習の
枠組み
 どうやって有効だと検証したか?
 選択式のQAデータセットでの Accuracy を比較
 議論はあるか?
 難しい選択肢: 正解と同じ relation を持っているもの
は間違えてしまう
 次に読むべき論文
 Abstract Meaning Representation (AMR) (Banarescu et
al., 2013)
Introduction
 単一のAMRグラフから、正しい答えを予測するための十分な情報が不足している
 フグは魚で海に住んでいるというような知識が必要
Overview
 入力は Question のグラフと Question + Answer の sentence
 出力は Softmax (各選択肢の確率)
Graph Integrating and Pruning (1/2)
 AMR を拡張して、ConceptNet のサブグラフを付与
 ARG0, ARG1と繋がっていない node を削除 (a) -> (b)
Graph Integrating and Pruning (2/2)
 AMR の出力する relation ARG の存在比率を確認し、ARG0, ARG1 のトップ2個だけを利用
Language Encoder and Graph Path Learning
Module
indicates the shortest path of the relation between two nodes.
between concepts i and j is the concatenation of the final hidden states from the forward and backward GRU networks
attention score considering the concepts and their relations
Experiments Result (1/4)
 グラフ構造の違いによる比較
Experiments Result (2/4)
 BERT モデルの比較
 OMCS (Open Mind Commonsense)
Experiments Result (3/4)
 言語モデルの比較
Experiments Result (4/4)
 official test set で先行研究と比較
Summary
 Task
 CommonsenseQA
 事前定義された知識を使用した常識的な
推論によって正解を予測するタスク
 先行研究と比べてどこがすごいか?
 常識的な推論のプロセスをモデルにうま
く組み込んでいるところ
 技術や手法のキモ
 Graph Integrating and Pruning
 AMR と CN グラフの統合と枝刈り
 Language Encoder and Graph Path
Learning Module
 QA sentence のエンコーダと path 学習の
枠組み
 どうやって有効だと検証したか?
 選択式のQAデータセットでの Accuracy を比較
 議論はあるか?
 難しい選択肢: 正解と同じ relation を持っているもの
は間違えてしまう
 次に読むべき論文
 Abstract Meaning Representation (AMR) (Banarescu et
al., 2013)

More Related Content

PDF
【論文紹介】Approximate Bayesian Image Interpretation Using Generative Probabilisti...
PDF
[DL輪読会]Relational inductive biases, deep learning, and graph networks
PDF
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
PDF
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
PDF
グラフデータ分析 入門編
PPTX
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
PDF
【文献紹介】Multi-modal Summarization for Asynchronous Collection of Text, Image, A...
PPTX
【論文紹介】How Powerful are Graph Neural Networks?
【論文紹介】Approximate Bayesian Image Interpretation Using Generative Probabilisti...
[DL輪読会]Relational inductive biases, deep learning, and graph networks
[DL輪読会]Learning to Simulate Complex Physics with Graph Networks
日本ソフトウェア科学会第36回大会発表資料「帰納的プログラミングの初等教育の試み」西澤勇輝
グラフデータ分析 入門編
[DL輪読会]Learning to Generalize: Meta-Learning for Domain Generalization
【文献紹介】Multi-modal Summarization for Asynchronous Collection of Text, Image, A...
【論文紹介】How Powerful are Graph Neural Networks?

What's hot (20)

PDF
Graph Attention Network
PDF
Neural networks for Graph Data NeurIPS2018読み会@PFN
PPTX
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
PDF
[DL輪読会]Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs (CV...
PPTX
Ocha 20191204
PPTX
[DL輪読会]Graph R-CNN for Scene Graph Generation
PPTX
[DL輪読会]相互情報量最大化による表現学習
PDF
Point net
PDF
グラフニューラルネットワークとグラフ組合せ問題
PDF
[DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network
PDF
A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
PPTX
【輪読会】Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineeri...
PPTX
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
PDF
Semantic segmentation
PDF
全力解説!Transformer
PDF
2020 0906 acl_2020_reading_shared
PPTX
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
PPTX
20190509 gnn public
PDF
Incorporating syntactic and semantic information in word embeddings using gra...
PDF
ACL2020
Graph Attention Network
Neural networks for Graph Data NeurIPS2018読み会@PFN
【DL輪読会】Data-Efficient Reinforcement Learning with Self-Predictive Representat...
[DL輪読会]Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs (CV...
Ocha 20191204
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]相互情報量最大化による表現学習
Point net
グラフニューラルネットワークとグラフ組合せ問題
[DL Hacks]Model-Agnostic Meta-Learning for Fast Adaptation of Deep Network
A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
【輪読会】Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineeri...
[DL輪読会]Dream to Control: Learning Behaviors by Latent Imagination
Semantic segmentation
全力解説!Transformer
2020 0906 acl_2020_reading_shared
[DL輪読会]Life-Long Disentangled Representation Learning with Cross-Domain Laten...
20190509 gnn public
Incorporating syntactic and semantic information in word embeddings using gra...
ACL2020
Ad

More from Ace12358 (18)

PPTX
Can language models be biomedical knowledge bases
PPTX
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
PPTX
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
PPTX
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
PPTX
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
PPTX
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
PPTX
Knowledge_graph_alignment_with_entity-pair_embedding
PPTX
Low-dimensional hyperbolic knowledge graph embeddings
PPTX
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
PDF
Emnl preading2016
PDF
Chainer meetup lt
PDF
Emnlp2015 reading festival_lstm_cws
PDF
Acl reading 2nd
PDF
Naacl2015unsupervised morph
PDF
DeepLearning論文紹介@Ace12358
PDF
DeepLearning3@Ace12358
PDF
EMNLPreading@Ace12358
PPT
ACLreading2014@Ace12358
Can language models be biomedical knowledge bases
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
Knowledge_graph_alignment_with_entity-pair_embedding
Low-dimensional hyperbolic knowledge graph embeddings
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Emnl preading2016
Chainer meetup lt
Emnlp2015 reading festival_lstm_cws
Acl reading 2nd
Naacl2015unsupervised morph
DeepLearning論文紹介@Ace12358
DeepLearning3@Ace12358
EMNLPreading@Ace12358
ACLreading2014@Ace12358
Ad

I know what you asked graph path learning using amr for commonsense reasoning

  • 1. I Know What You Asked: Graph Path Learning using AMR for Commonsense Reasoning Jungwoo Lim∗, Dongsuk Oh∗, Yoonna Jang, Kisu Yang, Heuiseok Lim COLING 2020 , @論文読み会, 紹介者: Yoshiaki Kitagawa
  • 2. Summary  Task  CommonsenseQA  事前定義された知識を使用した常識的な 推論によって正解を予測するタスク  先行研究と比べてどこがすごいか?  常識的な推論のプロセスをモデルにうま く組み込んでいるところ  技術や手法のキモ  Graph Integrating and Pruning  AMR と CN グラフの統合と枝刈り  Language Encoder and Graph Path Learning Module  QA sentence のエンコーダと path 学習の 枠組み  どうやって有効だと検証したか?  選択式のQAデータセットでの Accuracy を比較  議論はあるか?  難しい選択肢: 正解と同じ relation を持っているもの は間違えてしまう  次に読むべき論文  Abstract Meaning Representation (AMR) (Banarescu et al., 2013)
  • 4. Overview  入力は Question のグラフと Question + Answer の sentence  出力は Softmax (各選択肢の確率)
  • 5. Graph Integrating and Pruning (1/2)  AMR を拡張して、ConceptNet のサブグラフを付与  ARG0, ARG1と繋がっていない node を削除 (a) -> (b)
  • 6. Graph Integrating and Pruning (2/2)  AMR の出力する relation ARG の存在比率を確認し、ARG0, ARG1 のトップ2個だけを利用
  • 7. Language Encoder and Graph Path Learning Module indicates the shortest path of the relation between two nodes. between concepts i and j is the concatenation of the final hidden states from the forward and backward GRU networks attention score considering the concepts and their relations
  • 8. Experiments Result (1/4)  グラフ構造の違いによる比較
  • 9. Experiments Result (2/4)  BERT モデルの比較  OMCS (Open Mind Commonsense)
  • 10. Experiments Result (3/4)  言語モデルの比較
  • 11. Experiments Result (4/4)  official test set で先行研究と比較
  • 12. Summary  Task  CommonsenseQA  事前定義された知識を使用した常識的な 推論によって正解を予測するタスク  先行研究と比べてどこがすごいか?  常識的な推論のプロセスをモデルにうま く組み込んでいるところ  技術や手法のキモ  Graph Integrating and Pruning  AMR と CN グラフの統合と枝刈り  Language Encoder and Graph Path Learning Module  QA sentence のエンコーダと path 学習の 枠組み  どうやって有効だと検証したか?  選択式のQAデータセットでの Accuracy を比較  議論はあるか?  難しい選択肢: 正解と同じ relation を持っているもの は間違えてしまう  次に読むべき論文  Abstract Meaning Representation (AMR) (Banarescu et al., 2013)