第一回Web技術勉強会 efkスタック編
- 2. EFK• スタック ElasticSearch• RDB• のIndex 全文検索• エンジンのIndex（転置Index） 形態素解析• Fluentd• Kibana• デモ• アジェンダ
- 3. EFKスタック • ElasticSearch, Fluentd, Kibanaによる分析基盤のこと →手軽に良い感じに導入できるのが人気 • ElasticSearch →全文検索エンジン • Fluentd →ログ収集、集約のOSS • Kibana →Webベースのビジュアライゼーションツール（BIツール的な） • Fluentdを使って任意のデータソースからElasticSearchにデータを集めて、Kibanaでビジュアライズ する、というアーキテクチャ
- 4. ElasticSearch • 全文検索エンジンのOSS。Javaで作られている。 →Apache Lucene(全文検索ライブラリ)をベースに作られている • 全文検索？ →複数の文書（ファイル）から特定の文字列を検索。Webの検索やSFDCのグローバル検索 にも使われている。 • スキーマフリー →JSONを入力値としてデータ型を推測して型定義を自動的に行なってくれる。事前定義も可能。 • HTTP APIベースで操作可能 • 転置Indexによる高速な全文検索 • HerokuのAddonとしては SearchBox/Bonsaiなどがある。 ElasticSearch RDB ドキュメント レコード（タプル） フィールド カラム インデックス データベース
- 5. RDBのIndex Index• の種類は色々あるが大抵B-tree Index • B-tree Indexは完全一致検索、前方一致検索で効果を発揮するが、あいまい検索は苦手。 ディレクトリで• 例えると、アルファベット順にドキュメントを並べて管理しているようなイメージ 出展：http://ja.wikipedia.org/wiki/B%2B%E6%9C%A8
- 6. 転置Index • 対象のキーワードがどのドキュメント（レコード）に入っているかどうかを検索するためのIndex • イメージ的には本の索引 1. カツオはサザエの弟 → カツオ、は、サザエ、の、弟 2. サザエはワカメの姉 → サザエ、は、ワカメ、の、姉 3. ワカメはカツオの妹 → ワカメ、は、カツオ、の、妹 1. 「カツオ＆弟」で検索 2. 「カツオ」は”1”, “3”にある 3. 「弟」は”1”にある 4. 共通する要素の”1”を返す カツオ→1, 3 サザエ→1, 2 ワカメ→2, 3 姉→2 妹→3 弟→1
- 7. 形態素解析 そもそも• 、この単語（＝term）分割（analysis）ってどうやる？ • N-gram →単語単位ではなく文字単位での区切り カツオはサザエの弟 → カツオ、ツオは、オはサ、はサザ、サザエ、ザエの、エの弟 形態素解析• →解析用の辞書を使って品詞分解を行う →英語はスペース区切り＋αで大体うまくいくが、日本語は難しい
- 8. Fluentd • ストリーム（リアルタイム）なログコレクタ（転送・集約）※ログ用のETL • C+RubyなOSS • Pluggable • シンプルな設定ファイル（Apacheに似ている） • Bufferingによる信頼性、Retry処理 • 柔軟なシステム構成 • TreasureDataが担っているOSS 出展：http://www.fluentd.org/architecture 出展：http://www.fluentd.org/architecture
- 9. Kibana • ElasticSearch社が開発するOSSの分析、ビジュアライゼーションツール（Webアプリ） • 中身はHTML/JS/CSSなので簡単に設置可能 • ElasticSearchがバックエンド （Luceneクエリが使える） →JavaScriptでESのAPIを叩いている • 基本的にはログの解析に利用される • Tableauや他のBIツールと比べて 無料で手軽に導入出来る点が魅力 出展：https://www.elastic.co/blog/kibana-4-beta-3-now-more-filtery
- 10. デモ Fluentd• の設定ファイル ElasticSearch• の設定 Kibana• の良い感じなビジュアライゼーション
- 11. • EFKスタックは手軽に導入できる便利な分析基盤 →Fluentdを使って任意のデータソースからElasticSearchにデータを集めて、 Kibanaでビジュアライズする、というアーキテクチャ • ElasticSearchは全文検索エンジン • Fluentdはログ収集、集約のOSS • Kibanaを使ってElasticSearchに溜めたデータを手軽にビジュアライズできる まとめ
- 12. • ElasticSearch https://www.elastic.co/jp/products/elasticsearch http://www.slideshare.net/JunOhtani/elasticsearch-pyfes-201207 http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-webinar-2016- amazon-cloudsearch-amazon-elasticsearch-service • Fluentd http://www.fluentd.org/ • Kibana https://www.elastic.co/jp/products/kibana • B-tree Index http://qiita.com/kiyodori/items/f66a545a47dc59dd8839 • EFK関連 http://www.slideshare.net/keisuke69/aws-night • 設定参考資料程度に http://freedom-man.com/blog/fluentd-elasticsearch-kibana-idle/ 参考URL