俺と Amazon Elasticsearch Service とスポットインスタンス
Download as PPTX, PDF0 likes746 views
俺と Amazon Elasticsearch Service とスポットインスタンス、使ってみた！ ガッツリ keynote で見たい方はこちら http://bit.ly/key_es_spot
俺と Amazon Elasticsearch Service とスポットインスタンス
- 1. 俺 と Amazon Elasticsearch Service と スポットインスタンス 2016-09-11 JAWS-UG金沢 x Kanazawa.rb Elastic勉強会 ふぁらお加藤
- 2. Profile Name ふぁらお加藤 / @PharaohKJ BelongTo JAWS-UG 金沢 Kanazawa.rb Job & Works PhalanXware (Freelancer) OCR system com / .NET ISDB-T MFC / Linux C++ Social Game PHP / Java Information App AngularJS / CakePHP Factory Automation .NET
- 14. 実演します
- 16. やること • 名前と Elasticsearchのバージョンを決める • クラスタを構成する台数、マシンスペックを決める • 遠いZONEに分散するか、などきめる • ディスク容量を決める • 接続制限を設定する(例えば、接続IPを指定)
- 17. 以上を入力すればOK
- 22. んなもん Google Analytics でやるでしょ？
- 23. でも REST API のログとか解析したいやろ？ そういう気持ちでみてね
- 24. 例えば ソシャゲ > ガチャ回ったタイミング集計 EC > 商品売れたタイミング集計 REST でリソースが操作されるタイミング集計 こういうのは運営イベントカレンダーと JOINして表示すると、企画さんにも便利だよね
- 26. S3 (Storage) CloudFront (CDN) 配信 Elasticsearch ( ES & Kibana ) お客さん EC2 (VM) logstash ログ自動出力 取得 転送終わったら削除 集計 オペレータ
- 33. それが スポットインスタンス
- 34. 普通との比較 • 超安い！(10分の1ぐらいのときもある) • リクエスト方式なので指し値によってはできないこと もある。通った場合も、+3分〜5分かかる。 • AWSさんが「需要あるし、値上げするわ」という金額 が、こっちの指し値を上回ったら、削除される。 • 1時間-6時間削除しないでね、ってのもある。
- 37. input 入力 from S3 参考 : http://dev.classmethod.jp/server-side/elasticsearch/cloudfront-log-to-kibana/
- 38. filter 加工 参考 : http://dev.classmethod.jp/server-side/elasticsearch/cloudfront-log-to-kibana/
- 39. 出力 to Elasticsearch 参考 : http://dev.classmethod.jp/server-side/elasticsearch/cloudfront-log-to-kibana/
- 40. 全コマンド • wget https://download.elastic.co/logstash/logstash/pack ages/centos/logstash-2.2.2-1.noarch.rpm • sudo rpm -ivh logstash-2.2.2-1.noarch.rpm • sudo /opt/logstash/bin/plugin install logstash- output-amazon_es • vi cloudfront.conf • /opt/logstash/bin/logstash -f cloudfront.conf
- 43. ハマったところ • logstash から ES へのアクセス許可書き忘れてた • prefix が 全部、つまりレコード数が多いと確認するの にめちゃくちゃ時間がかかるので、まずは数ファイル で動作確認オススメ • Kibana 側でレコードでてこない！と思ったら検索範囲 が間違っていた
- 45. this month Daily で useragent.device
- 46. this month Daily で useragent.name
- 49. まとめ • Elasticsearch + Kibana インスタンス簡単にスケールす るものがAWSで得られる • 一時作業にはスポットインスタンスを使うと安い！(み んなにはナイショだよ) • 上司、企画が次のコンテンツ作りに活かせそうなのを Kibanaで簡単に可視化できた