Combining long short term memory and convolutional neural network for cross sentence n-ary relation extraction
Download as PPTX, PDF0 likes48 views
https://openreview.net/pdf/c817c475891868c7c1a3d36e53623f42300a5785.pdf の和訳。解説。備忘録
![Combining Long Short Term Memory
and Convolutional Neural Network for
Cross-Sentence n-ary Relation
Extraction
AngroshMandya,DanushkaBollegala,FransCoenen,KatieAtkinson
AKBC 2019 Conference
まとめ・貢献
1. 複数Entityにまたがる関係抽出
2. LSTMとCNNの組み合わせモデル
3. 文間・文内のｎ項関係抽出タスクで
SOTA
既存研究との違い
• Gloveの単語ベクトル(WF)とポジション
Embedding(PF)を使い,構造木等は使わない
• ｎ項関係抽出というタスク設定では
LSTM_CNNの組み合わせは初めて
提案の利点 (ウリ)・問題点
利点
1. 入力の素性として依存構造木等の構文情報は
使わない
2. [e1, …, en]のEntityにおけるポジション
Embeddingの設定
問題点
1. ｎ項にまたがる関係がそもそもあるかどうか
2. 提案モデル内でのチューニングの頑張りの違い説
実験仮説と検証結果
1. 文のシーケンス情報はLSTMが確保し，ま
とめる役割としてCNNが効いてくるはず
2. LSTM_CNNモデルとCNN_LSTMモデル
で比較して先にLSTM使った方が良いこと
が分かった
評価方法と結果の利点と問題点
1. Entityの出現位置を平均と分散で分類し，
Entity間距離を元にした結果
2. WFとPFのアブレーション
3. CNNのフィルタ数10～128で事前実験
4. 3つのデータセットで比較
読むべき関連研究
1. Nguyen and Verspoor. (2018)
2. Peng et al. (2017)
主要な絵](https://image.slidesharecdn.com/combininglongshorttermmemoryandconvolutionalneuralnetworkforcross-sentencen-aryrelationextraction-220315031725/95/Combining-long-short-term-memory-and-convolutional-neural-network-for-cross-sentence-n-ary-relation-extraction-2-638.jpg)
Combining long short term memory and convolutional neural network for cross sentence n-ary relation extraction
- 1. Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction c817c475891868c7c1a3d36e53623f42300a 5785.pdf (openreview.net)
- 2. Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction AngroshMandya,DanushkaBollegala,FransCoenen,KatieAtkinson AKBC 2019 Conference まとめ・貢献 1. 複数Entityにまたがる関係抽出 2. LSTMとCNNの組み合わせモデル 3. 文間・文内のｎ項関係抽出タスクで SOTA 既存研究との違い • Gloveの単語ベクトル(WF)とポジション Embedding(PF)を使い,構造木等は使わない • ｎ項関係抽出というタスク設定では LSTM_CNNの組み合わせは初めて 提案の利点 (ウリ)・問題点 利点 1. 入力の素性として依存構造木等の構文情報は 使わない 2. [e1, …, en]のEntityにおけるポジション Embeddingの設定 問題点 1. ｎ項にまたがる関係がそもそもあるかどうか 2. 提案モデル内でのチューニングの頑張りの違い説 実験仮説と検証結果 1. 文のシーケンス情報はLSTMが確保し，ま とめる役割としてCNNが効いてくるはず 2. LSTM_CNNモデルとCNN_LSTMモデル で比較して先にLSTM使った方が良いこと が分かった 評価方法と結果の利点と問題点 1. Entityの出現位置を平均と分散で分類し， Entity間距離を元にした結果 2. WFとPFのアブレーション 3. CNNのフィルタ数10～128で事前実験 4. 3つのデータセットで比較 読むべき関連研究 1. Nguyen and Verspoor. (2018) 2. Peng et al. (2017) 主要な絵
- 3. Introduction The deletion mutation on exon-19 of EGFR gene was present in 16 patients, while the L858E point mutation on exon-21 was noted in 10. All patients were treated with gefitnib and showed a partial response. 項が２つ以上ある関係 項が２つの関係 The cancer led to her father’s death. 因果関係 癌が彼女の父親の死をもたらした． EGFR遺伝子のエクソン19の欠失変異は16人の患者に存在したが、 エクソン21のL858E点変異は10人に認められた。 全ての患者はゲフィチニブで治療され、部分的な反応を示した。 関係を定義する際の項の数について
- 4. Introduction ①The deletion mutation on exon-19 of EGFR gene was present in 16 patients, while the L858E point mutation on exon-21 was noted in 10. ⓶All patients were treated with gefitnib and showed a partial response. 項が２つ以上ある関係 • ２文にまたがる関係抽出 • ３つのEntityをまたぐ関係 遺伝子 L858E 突然変異 EGFR 薬物 geftinib RESPONSE＝３項関係 • 長距離シーケンスの扱い • Entityの文脈モデリング • 可変長テキストの表現 問題点
- 5. task Cross-Sentence n-ary Relation Extraction 𝑥6 𝑒1 𝑥7 𝑥16 𝑒2 𝑥17 𝑥31 𝑥1 𝑥32 𝑒3 𝑥𝑚 … … … … 単語トークン 𝑥𝑚 エンティティ 𝑒𝑛 テキストスパン 𝑆𝑡 𝑆1 𝑆2 𝑥 = {𝑥1, … … , 𝑥𝑚} 𝑒 = {𝑒1, … … , 𝑒𝑛} 組み合わせからn項関係を抽出するタスク RESPONSE
- 7. Model 単語トークン 𝑥𝑚 エンティティ 𝑒𝑛 テキストスパン 𝑆𝑡 入力 入力 単語ベクトル300次元 ポジションEmbedding 100次元 ポジションEmbedding ｎ個のEntityの内 最初と最後を基に決定 The of EGFR gene the L858E point with gefitnib and EGFR gefitnib を基準
- 10. Model 一般的なCNN
- 11. Model 一般的なCNN
- 13. Datasets Quirk and Poon (QP) Dataset • クロスセンテンスn項関係抽出用にPengらが拡張したデータ • テキストスパンを３までに制限 • 59の「薬物-遺伝子-突然変異」の組み合わせで作成 • 関係ラベル • RESISTANCE • RESISTANCE or NON-RESPONSE • RESPONSE • SENSITIVITY 正例 負例 三項 3,462 ←同数 二項 3,192 ←同数 Chemical Induced Disease (CID) Dataset • 化学物質と関連疾患の二項関係のインスタンス • 文内と文間で • 「CDR（化学物質疾病関係）」 • 「分子メカニズム関係」 • 「バイオマーカー関係」 SemEval-2010 Task 8 (SE) Dataset • 8000の学習データと2717のテスト文 分子 バイオ CDR 文内 1,206 1,999 1,330 文間 702 788 786
- 16. Results 三項関係 二項関係 ←文間→ ←文内→ LSTM_CNN vs CNN_LSTM 先にLSTMを入れた方が高いaccuracyを記録 シーケンス情報を先に獲得するため n項関係抽出タスクではLSTM_CNNが有効 良 良 良 Results Ablation
- 20. Conclusion 文間のn項関係抽出 LSTMとCNNを組み合わせた複合モデル 先にLSTMでシーケンス情報を獲得するのが適切 Entityは間のe1とenのみにポジションEmbedding 提案モデルはEntity間の距離が長いと有効