MongoDBで自然言語処理
8 likes3,230 views
MongoDBで自然言語処理をすべく Mongoシェル上にMapReduce環境を作ってしまった！！ 解析結果のサンプル： http://crumb.jp/monmo/default/result
![NLP with Monmoちゃん
■tokenize（形態素解析）戦略
●
IPA辞書を元に独自の辞書をコンパイルしてMongoDBに保持
–
MongoDBの高度な配列インデックスが利用できる
–
活用形や先頭Ｎ文字を配列インデックスし、速度・精度を上げる
{
w :["行く","行ける","行け","行こ","行か","行き","行い"],
t :["動詞","非自立","自立"],
h :["行く","行け","行こ","行か","行き","行い"]
：
}
–
その他、活用形毎の接続分類用のカラムもあったり。。
品詞周りをカナリ頑張ってるので精度は高いよ！！
－19 －](https://image.slidesharecdn.com/mongodb-nlp-130920015618-phpapp01/85/MongoDB-19-320.jpg)
MongoDBで自然言語処理
- 1. NLP with MongoDB －1 －
- 8. MapReduce in MongoDB ■MongoDBのMapReduceの癖 primary mongodで処理が走る そもそも『ＤＢでロジック走らせる』ってどうなのよ？ PL/S○Lとかも色々アレじゃん？ 並列化がshard毎 膨大なshardを管理するの大変だし、データ配置的に非効率なことも多い emit問題 一時的に使うemitコレクションがレプリケーションされる。。超無駄！！ NaN等で下手打つとDBが死ぬ（aggrigation FWも同じ） やっぱりnoscriptじゃないと危険。。 －8 －
- 10. じゃあ、どうするよ？ ■代替案の候補 mongo-hadoop + Mahout 最有力候補、MRはhadoopに流しとけば鉄板 でもJavaが面倒・・・もう昔に戻れない（ＴＴ； nodeで書けば？ JSなら簡単なMR位、さらっと書ける！ ・・・非同期地獄・・・コールスタック足りないよ・・・ そう言えばmongo shellってV8！ 敢えて、、ね。→ 他の人と違う事やりたいし。。 ベンチ取ったら、nodeより早かった（多分V8バージョンの違い） 十分使えそう！！ －10 －
- 11. Monmoちゃん －11 －
- 13. Monmoちゃん ■必要なもの –MongoDB –Monmoソース（git clone） –Linux（bash） こんだけ！ ■セットアップ git clone – mongo.env を適当に編集（MongoのパスやＤＢの場所） – – 適当にworkerを起動（ex> ./bin/worker.sh -j 4） 超簡単！ もうサンプルJOB投入～♪ ./bin/jobctl.sh -f ./sample/jobs/samplejob.js -s test.T -o test.R – ■GIT ● https://github.com/monmo －13 －
- 14. Monmoちゃん ■特徴（ウリ） セットアップが超簡単！＝＞他に何も要らない 構成変更も楽！＝＞workerを増減するだけ MongoDBに優しい設計 JS（mongo shell）で開発できる まさに language impedance が ０！ 一通りの自然言語処理関連のアルゴリズム実装 – 形態素解析 熟語解析（C-VALUE） – TF-IDF – Canopy , K-means – 徹底的に並列化 なるべくV8のJITに掛かるように工夫 －14 －
- 15. Monmoちゃん ■問題（困った点） ● 開発力が１馬力・・・ white space tokenizerが無かったり、英数の正規化を全角に寄せてたり、、 色々やる事いっぱい。。思いつきで始めたからね・・・ ● まだSharding関連の実装がない（効率的に使えない） ● Workerのバージョンチェック作らなきゃ・・・ ● 本当の大規模環境がテストできない・・・ 個人のツラさ・・・マシンパワー欲しい。。マジで。。 ● Mongo shellが色々対応してないので、細やかな制御がムズい signal とか log とか ■色々連絡貰えると助かります！ hiroaki.kubota@mail.crumb.jp －15 －
- 17. NLP with Monmoちゃん ■手順 以下をgit cloneする monmo（本体） – monmo-NLProcessing – ■monmoセットアップ README.jpのクイックスタートを流す ■monmo-NLProcessing 順にクイックスタートを流す tokenize/README vectorize/README clusterize/README －17 －
- 19. NLP with Monmoちゃん ■tokenize（形態素解析）戦略 ● IPA辞書を元に独自の辞書をコンパイルしてMongoDBに保持 – MongoDBの高度な配列インデックスが利用できる – 活用形や先頭Ｎ文字を配列インデックスし、速度・精度を上げる { w :["行く","行ける","行け","行こ","行か","行き","行い"], t :["動詞","非自立","自立"], h :["行く","行け","行こ","行か","行き","行い"] ： } – その他、活用形毎の接続分類用のカラムもあったり。。 品詞周りをカナリ頑張ってるので精度は高いよ！！ －19 －
- 20. NLP with Monmoちゃん ■vectorize（TF-IDF）戦略 ● 特別なことはあまりない。。 ● 効率の面から TF → DF → IDF → TF-IDF の順で処理する ● 語句の重みはIDFの段階で決まる（チューニングはIDFでやる） ● 正規化 ● 熟語はをどう取り扱えば良いんだろうか・・・？ ● READMEで差分戦略までは練った。実装はまだ・・・ －20 －
- 21. NLP with Monmoちゃん ■clusterize（Canopy）戦略 ● ユークリッド距離とcos距離に対応 ● T2サンプリングを並列化し、高速化！！ ● T1サンプリング後に追加処理 – 小さなクラスタを削除 – 近すぎる（T2内）クラスタを削除 – ココだけ並列化出来ない・・・ ■clusterize（K-means）戦略 ● ユークリッド距離とcos距離に対応 ● 極々普通の実装 ● 並列処理と待ち合わせの繰り返し – クラスタ分類→（待ち合わせ）→ 重心算出 → （待ち合わせ）→ ・・・ －21 －
- 23. さーやってみよー －23 －
- 24. サーバーほしーよー －24 －