[data analytics showcase] B14: 文字情報の分析基盤 Mroonga by 株式会社インサイトテクノロジー 小幡 一郎
0 likes854 views
今後取り扱いがますます重要となっている非構造データ。非構造データの代表的なデータの一つに、メールや報告書、プレゼンなどの人間が生み出すデータ、文章があります。文章データを有効活用するには全文検索が可能なデータ分析基盤が欠かせませんが、高速な日本語全文検索エンジンとして、カラムナーDBであるMroongaが注目されています。モチベーション診断、トレンド分析など様々な用途が期待できる基盤としてのMroongaを、独自に行った性能評価やデモを通して展望します。
[data analytics showcase] B14: 文字情報の分析基盤 Mroonga by 株式会社インサイトテクノロジー 小幡 一郎
- 10. 実際のインデックスサイズ 10
- 11. 検索性能 11
- 12. 検索性能 12
- 14. 形態素解析 Mecabの検索漏れの比較 14 Mroonga mecab：’tcpAttemptFails’でも’tcpAttemptFail’でもヒットInnoDB mecab：’tcpAttemptFails’ではヒット InnoDB mecab：’tcpAttemptFail’ではヒットしない
- 17. Mroonga（Groonga）が解決したこと • リアルタイム性の壁 カラム型データストアを採用しリアルタイムに検索結果を反映 データを追加しながらでも検索の性能が落ちない • 性能問題 N-gramでも形態素解析（Mecab）でも安定して速い • 検索ノイズや検索漏れの問題（再現率／適合率の問題） N-gramでもMecabでも安定した検索結果 • 辞書を必要とする形態素解析 デフォルトのN-Gram（TokenBigram）でも安定した速さ 17
- 21. ネガポジ判定の仕組み 21 MeCabによる形態素解析 p = positive(+1) e = even(±0) n = negative(-1) o = 該当なし 0+1+1 (助詞を省いた分かち書きの例) 極性辞書を用いてネガポジ判定 = 0.666667辞書に登録されている単語の平均を計算 ： 3
- 23. Demo 23