![なぜ教師なし学習か
作業コストが低い
辞書の作成、単語分割済みコーパスが不要
形態素や人間の基準がよいとは限らない
区切りの与え方はドメイン次第
[よろしく][お][願い][し][ます] ？
[よ][ろ][し][く][お][願][い][し][ま][す] ？
[よろしくお願いします] ？
5](https://image.slidesharecdn.com/nlp2007-matsubara-mdlp-110404040204-phpapp02/85/Segmenting-Sponteneous-Japanese-using-MDL-principle-5-320.jpg)
Segmenting Sponteneous Japanese using MDL principle
- 1. 最小記述長原理に基づいた 日本語話し言葉の単語分割 東京大学大学院 松原勇介 豊橋技術科学大学 秋葉友良 東京大学/Univ. of Manchester/NaCTeM 辻井潤一 NLP2007 (2007-03-20)
- 2. 本発表の概要 N-gram言語モデル向けの 教師なし単語分割法を提案 本研究が対象としている単語分割の説明 提案手法の概要 結果：形態素解析による分割を改善すること に成功 2
- 3. 背景 目的： 言語モデル性能の向上 音声認識候補の 順位付け 生 単語ベース 単語分割された コーパ N-gram 文書とクエリの コーパス ス 言語モデル 類似度評価 うまい単語分割ができると、 言語モデルやその応用システムの性能が向上する 3
- 4. ドメインへの特化 N-gram言語モデルの性能はドメインに敏感 ドメインに特化した単語分割をする既存手法 ドメイン向けに辞書を補充 そのドメインの単語分割済みコーパスで教師あり学習 そのドメインの生コーパスで言語モデルの性能指標を 最適化する教師なし学習 4
- 5. なぜ教師なし学習か 作業コストが低い 辞書の作成、単語分割済みコーパスが不要 形態素や人間の基準がよいとは限らない 区切りの与え方はドメイン次第 [よろしく][お][願い][し][ます] ？ [よ][ろ][し][く][お][願][い][し][ま][す] ？ [よろしくお願いします] ？ 5
- 6. 提案手法（学習） 仮の単語分割済み コーパス (最初は文字分割など) 1. 隣接して現れる2単語の対のうち、 ある指標（コーパスの記述長）の減少幅が最大の 組を連結する 改良された 2. 連結されたものを1単語とみなして、 単語分割済み 同じ手続きを繰り返す コーパス 3. 1.で減少する候補がなくなったら終了 4. 連結した単語対を連結した順に出力する 6
- 7. 何を最適化するか N-gram パープレキシティ N-gram 符号化による記述長 (提案) 言語モデルの性能指 パープレキシティ＋辞 標そのもの 書の符号長 N=1の場合のみしか N=2の場合の実用的な 実現されていない 計算が可能になった この基準のみでは、 過学習に陥る 指標自身が過学習を防 いでいる 7
- 8. 記述長の定義 記述長は コーパスの符号長 と 辞書の符号長 の和 コーパスの符号長 #w 1 w 2 − ∑ ∑ #w 1 w 2 log #w 1 w1 ∈辞書 w 2 ∈辞書 辞書の符号長 #辞書中の c − ∑ ∑ log 語彙数 w ∈辞書 c∈w 8
- 9. 1ステップあたりの計算量 素朴な方法 全単語対に対して、連結後の記述長を再計算する → O(延べ単語数ｘ語彙数2) 我々の方法 全単語対に対して、記述長の差分を計算する 1つの単語対についての差分の計算は O(語彙数) で済む → O(延べ単語数+語彙数ｘ語彙数2) 9
- 10. 提案手法（適用） 基本的には 学習で出力された連結手順をそのまま再現する 予備実験の結果 連結手順すべてを適用すると、 連結が起こりすぎて言語モデルの性能が悪化 ヘルドアウトデータを用いて 最適な連結数を決定する 10
- 11. 動作例（初期分割：文字） 11
- 12. 動作例（10ステップ後） 12
- 13. 動作例（100ステップ後） 13
- 14. 動作例（1000ステップ後） 14
- 15. 実験 対話音声書き起こし文（約25万字）を使用 言語モデルの訓練 ヘルドアウト 評価 19 ： 1 ： 1 次を比較 形態素解析(MeCab)による分割 文字を初期分割にした提案手法 MeCabを初期分割にした提案手法 2-gram言語モデルの文字あたりパープレキシ ティで性能を評価 15
- 16. 結果 文字当たりパープレキシティ 提案手法 （文字） 提案手法 （形態素） 形態素解析 連結数 16
- 17. 結果 文字当たりパープレキシティ 提案手法 （文字） 提案手法(形態素)は形態素解析の分割を改善した ヘルドアウトにより最適値をほぼ予測できた 提案手法 （形態素） 形態素解析 連結数 17
- 18. まとめ 2-gramパープレキシティを近似的に最適化す る教師なし単語分割の手法を提案した 文字当たりパープレキシティの観点で形態素解 析による分割を改善した 今後の課題 言語モデルの応用システムの性能の点でも本手 法が有効かどうかを調べる 3-gram、およびそれ以上への手法の拡張 18