Reducing the Impact of Data Sparsity in Statistical Machine Translation
1 like372 views
Reducing the Impact of Data Sparsity in Statistical Machine Translation
- 1. Reducing the Impact of Data Sparsity in Statistical Machine Translation 長岡技術科学大学 自然言語処理研究室 高橋寛治 Karan Singla, Kunal Sachdeva, Diksha Yadav, Srinivas Bangalore, Dipti Misra Sharma, Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, pages 51–56, October 25, 2014, Doha, Qatar. 文献紹介 ２０１６年６月３日
- 4. 関連研究 • MTにおける再ランキングは翻訳のn-bestの再スコア 付け ØDungarwalら2014は再ランキング ØMikolovら2010, Liuら2014 RNNLMにより音声認識の 精度を向上 • MTへの統合 ØRazmaraら2013, Cohnら2007はフレーズのカバレッジ を知識の結合により強化 Reducing the Impact of Data Sparsity in Statistical Machine Translation
- 5. ベースライン • ICLIコーパス（英語-ヒンディー語） Øトレーニング:48970文 Øテスト:500文、デベロップメント：500文 • 言語モデル作成のためのコーパスはWMT14 • フレーズベースの統計的機械翻訳 ØMoses ØGIZA++ ØSRILM Reducing the Impact of Data Sparsity in Statistical Machine Translation
- 6. 英語の語順並び替え •スタンフォードパーサーを用いて規則に基づいて 並び替え ØInput: the girl in blue shirt is my sister. ØOutput: in blue shirt the girl is my sister. ØHindi: neele shirt waali ladki meri bahen hai(blue)(shirt)(Mod)(girl)(my)(sister)(Vaux) •BLEU: 20.04->21.84 Reducing the Impact of Data Sparsity in Statistical Machine Translation
- 13. OOVについて • NE:固有表現 • VB:動詞 • NN:名詞・代名詞 • ADJ:形容詞 • AD:副詞 • OTH:英語で意味を持 たない語 • SM:スペルミス Reducing the Impact of Data Sparsity in Statistical Machine Translation