Fluentとmongoで作るサービス

FluentdとMongoで作る
サービス
PHPStudy 73rd
@kogarasi_cross

自己紹介
名前: こがらし
Twitter: @kogarasi_cross
仕事: Unityを使って飛び跳ねます（物
理）

こんな感じ
…なんか違う

まずは登場人物を紹介

Fluentdとは
ログ収拾のためのツール
とってもPluggableなツール
いろんなものを投げれる
いろんなものをはける

Fluentdとは Part.2
何を投げれるのか？
ログファイル（Tail
PHPとかからプッシュ（Socket
TwitterのStream←重要

何に投げれるのか
標準出力・ファイル・S3
MySQL/MongoDB…各種DB
WebSocket

つまるところ何でもいける！
内部でJSONだったりMsgPackを使って
いる。
そういうのをプラグイン上で処理出来れ
ばOK

etc
めっちゃいろんなプラグインがあります
zabbixとか（zabbixってなに
twilioとか
http://ﬂuentd.org/plugin/

MongoDBとは
JSONぽいのを扱えるNoSQL DB
Capped Collectionとかいうものがある
（これを使う）
JSを使って内部で集計処理とかやらせら
れる

Capped Collection
保持できるデータ量に制限（Capped）が
ついたもの
指定したデータ数・データサイズになる
と、自動的に古いものから削除してくれる
※ただし、ユーザー操作でデータの削除や
途中挿入・並び替えは出来ない

あれ、Fluentdって
ログ収拾ツールだよね？

そうです！
そんなFluentdが今回は主役です！

簡単な物から
まずはFluentd単体で！
Twitterから“なう"を集める
http://nowtter.kogarasi.com

中身
TwitterプラグインでPublic Streamを取得
Rewriteプラグインで”なう”が含まれるツ
イートを抽出（日本語なのでTwitter APIで
のフィルタリングが出来ない）
WebSocketプラグインでクライアントへ転
送（簡単にWSサーバーになってくれる）

チェックポイント

サーバーサイドのコーディングしてない

ゲームに転用←
「Stream Fighter」
至って普通のシューティング
…ただし、敵が 
”つぶやきによって出現すること以外は”

つぶやきの量=時間帯に
よってスクリームの沸く
量が変わる
ピーク時にやるとかなり
つらい


ユーザーに伝わらない←

+MongoDBで

Twitterで雨っぽいことを抽出して、各地
のお天気を表示
http://kogarasi.com/weather

簡単な流れ
Twitterプラグインでつぶやきを取得
集めたつぶやきから単語で抽出
抽出したつぶやきをMongoDBに片っ端から投げ込
む！
Jenkinsで定期的にデータを集計しておく
集計データから現在の状況を表示する

Capped Collectionを利用しているので、
古いデータが自動的に破棄されていく
↑難しいデータ管理とか必要無い
雨には反応するけど、晴れには反応し
ない＼(^_^)／

まとめ
基本的な部分は動くように”設定”するだ
け（Fluentd/MongoDB/Jenkins）
コーディングしてるのはフロントエンド
に近い部分のみ
と思ったけど、集計処理とかは書いてた
…

ご清聴
ありがとうございました

More Related Content