Aligning sentences from standard wikipedia to simple wikipedia
0 likes448 views
Aligning Sentences from Standard Wikipedia to Simple Wikipedia NAACL読み会 William Hwang; Hannaneh Hajishirzi; Mari Ostendorf; Wei Wu University of Washington Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies
Aligning sentences from standard wikipedia to simple wikipedia
- 1. Aligning Sentences from Standard Wikipedia to Simple Wikipedia William Hwang; Hannaneh Hajishirzi; Mari Ostendorf; Wei Wu University of Washington Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies 1 プレゼンテーション：小平 知範
- 2. Introduction • 課題： 英語の利用できるパラレルコーパスが小さかったり、 ノイズ混じりのものが多い • 手法： simpleとstandardのWikipediaを貪欲法で対の文を整列 相対的に並んでいると仮定しない Wikitionaryベースの類似度計測を用いる • 結果： 先行研究の手法よりかなりよくなった 2
- 3. BackGround • Sentence-LevelScoring 1.Wikipedia alignment(Kauchak, 2013)の、各文の単語の tf.idfスコアの代表ベクトル間のcos距離として類似度を計算 2.単語レベルの意味類似度のスコアに依存する手法 • Sequence-Level Search 1.(Zhu et al., 2010)simpleとstandardの記事間のアライメントは 制約なしに計算され、スコアが閾値を超えていれば文は並べられる。 2.連続てきな制約をつかって文アライメントを計算する (Coster and Kauchak, 2011: Bazilay and Elhadad) 3
- 4. Simplification Datasets Manually Annotated • standard Wikipediaの記事中のすべての文にたいして 対応するsimpleの記事の文をアノテーション 4 • アノテータはネイティブの大学生（時給制） Wikipediaからランダムに46記事のペアを選択 total67,853文（277 good, 281 good partial, 117 partial and 67178 bad） kappa係数0.68（13% dual annotated)
- 5. Sentence Alignment Method Word-Level Similarity • WikNet Similarity WordNetのように表記し、グラフで表し、単語の定義文で共起 したもののノードを追加。また、その時ストップワードなどは 除去している。ノード数：177k、エッジ：1.15M アノテーションデータセットに対してカバー率７１.８％ • Structural Semantic Similarity 単語レベルの類似度metricに文中の単語の係り受けと単語間 の意味類似度を考慮に入れたもの Stanfordの解析をつかって,tw = (w, h, r)を作成し、この類似 度を用いた。h: governor r : dependency relationship 5
- 6. Sentence Alignment Method Greedy Sequence-level Alignment • 貪欲法をつかって、simpleとstandardの文を 一対一でマッチさせる必要が有る ・simple記事のすべての文Sjとstandard記事の すべての文Aiの文レベル類似度のスコアを計算 ・最も類似しているペアarg max s(Sj, Ai)を選択 • 多くのsimple文がstandard文のfragmentにマッチ ・Stanfordの構文解析木からfragmentを抽出 ・それから、SjとAiとを計算し、同様にAikも計算 ・同じアルゴリズムを用いてsimple文と standard文かfragmentsを並べた。 6
- 7. Experiments: Results • 人手でアノテーションしたデータの各記事に対し standardとsimpleの文すべてのペアに対し提案手法、 先行研究の手法（ベースライン）を行った。 ＊前処理としてタイトル等を除去、stanfordCoreNLPで解析 • ベースライン Unconstrained WordNet(Mohler and Mihalcea, 2009) Unconstrained Vector Space(Zhu et al., 2010) Ordered Vector Space (Coster and Kauchak, 2010) 7
- 9. Experiment: Automatically Aligned Data • 類似度スコアで、simple,standardの文のペアを 並べたパラレルコーパスを作成 • 22kのsimple,standardの記事から文を並べた。 • 閾値を0.45に設定した文のペアを公開 ＊F1(precision,recall）を元に、 閾値0.67で、good match (150k) 閾値0.53で、good partial match(130k) 閾値0.45で、uncategorized match(110k) これ以下の51.5million potential matches はカット 9
- 10. Conclusion and Future Work • 新しい単語レベルの類似度（using Wikitionary and dependency structure)と貪欲法を使った、テキスト平易化の ための文アラインメントの方法を紹介 • 実験では、先行研究のベースラインを上回った • 人手で並べたものと、自動で並べたデータを公開 • Future Work 作ったデータセットを使って、テキスト平易化の開発 アライメント技術の改善 フレーズアラインメント技術の改善 10