![単語の特徴化 - One-hot表現
15
One-hot Representation
「This is a pen.」
This This
That
The
Thou
.
.
.
.
.
.
[]
0
0
0
1
.
.
.
.
.
.
[]
辞書
辞書と
同サイズ
の
ベクトル](https://image.slidesharecdn.com/slidev1rendered-160312152126/85/TensorFlow-96-8-15-320.jpg)
![文の特徴化 - Bag of Words
16
「This is a pen.」
This
is
pen
Thou
.
.
.
.
.
.
[]
a 1
1
1
1
.
.
.
.
.
.[]
0
辞書と
同サイズ
の
ベクトル
スパース(疎, スカスカ)
順序が失われる
頻度が失われる
未知語が扱えない](https://image.slidesharecdn.com/slidev1rendered-160312152126/85/TensorFlow-96-8-16-320.jpg)
TensorFlowを使ってテキストをクラス分類してみたら精度96.8%の分類器を簡単に得ることができた話
- 1. TensorFlowを使って テキストをクラス分類してみたら 精度96.8%の分類器を 簡単に得ることができた話 2016年3月13日 第2回 尼崎Pythonの会（第3回 データ分析勉強会） 那由多屋 加藤 勇也 1
- 2. https://goo.gl/YOvdKE https://gdgkobe.doorkeeper.jp/events/39169 2
- 5. 発表内容 • 自己紹介 • 取り組んだ問題 • 実装 • 評価 5 Agenda
- 7. 加藤 勇也 7 かとう ゆうや / Yuya Kato 株式会社 那由多屋 代表取締役 (2007年∼) な ゆ た や twitter: nayutaya GitHub: nayutaya Facebook: yuyakato1984 ソフトウェア開発 (2000年∼) 大分出身・神戸在住 (2006年∼) 趣味: ・ものづくり全般 (DIY、電子工作) ・3Dプリンタ (2013年∼) ・ボルダリング (2011年∼)
- 12. MNIST For ML Beginners https://www.tensorflow.org/versions/r0.7/tutorials/mnist/beginners/index.html 12 エムニスト
- 13. どうやってテキストを入力する？ 13 「This is a pen.」 テキストは可変長 入力ノード数は学習時に決定入力は実数 (画像は https://www.tensorflow.org/versions/r0.7/tutorials/mnist/beginners/index.html より引用)
- 14. 自然言語処理 • 単語の特徴化 / 文の特徴化 • 単語化 • 形態素解析 • N-gram言語モデル 14 NLP: Natural Language Processing
- 15. 単語の特徴化 - One-hot表現 15 One-hot Representation 「This is a pen.」 This This That The Thou . . . . . . [] 0 0 0 1 . . . . . . [] 辞書 辞書と 同サイズ の ベクトル
- 16. 文の特徴化 - Bag of Words 16 「This is a pen.」 This is pen Thou . . . . . . [] a 1 1 1 1 . . . . . .[] 0 辞書と 同サイズ の ベクトル スパース(疎, スカスカ) 順序が失われる 頻度が失われる 未知語が扱えない
- 17. 単語化 17 トークン化, Tokenize 「This is a pen.」 「本日は晴天なり。」 英語は分かち書き されている 日本語は分かち書き されていない
- 18. 形態素解析 18 名詞 助詞 名詞 助動詞 補助記号 Morphological Analysis 「本日は晴天なり。」 今回は形態素解析ライブラリ「janome」を使用
- 19. 形態素解析 + N-gram言語モデル 19 「本日は晴天なり。」 「本日は晴天なり。」 形態素単位 文字単位 1-gram (Unigram) 2-gram (Bigram) 3-gram (Trigram) Morphological Analysis + N-gram language model 1-gram (Unigram) 2-gram (Bigram) 3-gram (Trigram)
- 20. 評価 20
- 21. 学習データ / 評価環境 • 記事タイトル約14万件 • 鉄道: 6,321件 / その他: 131,069件 • それぞれ1,000件 (計2,000件) をテストデータとして使用 • 残りを教師データとして使用 • 学習ステップ数: 500 / ミニバッチサイズ: 100 • Amazon EC2 r3.xlarge (仮想CPU: 4, メモリ: 30.5GiB) 21
- 22. 評価結果 (1) 22 手法 前処理 時間 学習 時間 単語数 辞書 サイズ モデル サイズ 精度 文字 1-gram 0.2 min 2.0 min 2,553 9.8 KiB 20 KiB 96.8% 文字 2-gram 0.3 min 9.7 min 60,728 398 KiB 475 KiB 95.7% 文字 3-gram 0.4 min 15.0 min 95,537 868 KiB 747 KiB 90.3% 形態素 1-gram 9.3 min 5.2 min 16,846 135 KiB 132 KiB 95.9% 形態素 2-gram 11.6 min 10.8 min 56,686 575 KiB 443 KiB 87.1% 形態素 3-gram 10.9 min 5.8 min 33,030 430 KiB 258 KiB 72.9% 処理時間はCPU時間
- 23. 多層パーセプトロン 23 MLP: Multi-Layer Perceptron (画像は http://sinhrks.hatenablog.com/entry/2014/11/30/192940 より引用)
- 24. 評価結果 (2) 24 手法 前処理 時間 学習 時間 単語数 辞書 サイズ モデル サイズ 精度 Softmax 回帰 (再掲) 0.3 min 9.7 min 60,728 398 KiB 475 KiB 95.7% MLP 最急降下法 0.3 min 20.6 min 60,728 398 KiB 23 MiB 95.3% MLP Adam 0.5 min 21.9 min 60,728 398 KiB 70 MiB 95.9% 処理時間はCPU時間
- 26. 今後トライしてみたいこと • 多値クラス分類 • 単語の分散表現 → word2vec • 単語の選択、次元削減 → TF-IDF • 特徴化せずに処理 → RNN, LSTM, HTM • 高速化 → GPUインスタンス 26
- 27. まとめ • 単純な問題であれば、単純なアルゴリズムでOK • 自然言語処理の初歩的な手法 • TensorFlowは素敵な道具 27
- 28. 発表は以上です 28
- 29. 29
- 30. 以降、参考データ 30
- 37. 文字単位2-gram + 多層パーセプトロン + 最急降下法 37
- 38. 文字単位2-gram + 多層パーセプトロン + Adam法 38