More Related Content
Frontend optimization dena_creativeseminar 2013/08/01 JAWS-UG福岡 x e-Zuka-Tech Night 「今一度、EC2を」 【Hpcstudy】みんな、ベンチマークどうやってるの？ SITW24 fluentdとダッシュボードを使った ビジュアルなシステム管理 Jaws ug横浜aws設計・移行ワークショップ 提案書（チーム３） HDFS (fsimage and edits) in CDH3,CDH4 Similar to Robust log process (20)
AZAREA-Clusterセミナー（クラウドEXPO2013春） PostgreSQLの運用・監視にまつわるエトセトラ NAND Flash から InnoDB にかけての話（仮） MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜 20121205 nosql(okuyama fs)セミナー資料 20110519 okuyama tokyo_linuxstudy GoldenGateテクニカルセミナー2「Oracle GoldenGate 新機能情報」(2016/5/11) 今こそ知りたいSpring Batch（Spring Fest 2020講演資料） 企業におけるSpring@日本springユーザー会20090624 More from Daisuke Yamazaki (7)
Ruby World Conference 2019 rubyによる超大量データ配信 Robust log process
- 2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に！」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスを食うことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。
- 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在：株式会社スケールアウト 代表 1 日数億～を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます
- 12. ログトランスファーその 2 よりよいかもしれない方法 ログをそのままネットワークを介してデータストレージに書き込む (Facebook Scribe など ) 利点： 帯域利用の平滑化が達成される ( ログの二重書き込みの可能性を排除できなかった ため、弊社では不採用 ) ( 注 ) 広告集計上まずいこと ログの二重カウント >> ( 越えられない壁 ) >> ログのロスト > 集計が間に合わない > その他
- 13. 本集計 集計の冪等性を強く意識する 冪等性（べきとうせい : idempotence ） ある操作を 1 回行っても複数回行っても結果が同じであることをいう概念 -> 冪等性があって分割処理をしやすい集計はスケールしやすい 冪等性のあるなし / 分割処理のしやすさによって処理を分ける
- 14. 本集計 冪等性あり / 分割処理しやすい ( 例 : PageView カウント ) -> フロントサーバで中間集計し、本集計でマージ処理 ( 中間集計で大部分の処理が完了しているので、 処理は 5 分程度 ) 冪等性ちょっとあり / 分割処理しにくい ( 例 : UniqueUser カウント ) Hadoop クラスタにデータを載せて集計 冪等性なし / 分割処理しにくい ( 例 : 積算 UU カウント ) Hadoop クラスタにデータを載せて集計
- 18. 集計系に過度な負荷をかけない NOSQL ベースだと JOIN 演算がきつくなるので、ログ作成及び ETL 側で工夫する ログ作成側 (Web サーバ ) で JOIN 演算相当を行ってログ 1 行に極力 すべてのデータがあるようにする ( これは Join 演算をアクセス側 に寄せているのと同じ ) 過度な最適化はあきらめる 最近のハードウェアは速く、単純な仕組みでも十分速い。 なので複雑な仕組みを導入しないと速度が上がらないようなら アーキテクチャやハードウェアの選定が間違っている可能性も 考えましょう
Editor's Notes
- #3: が、いろんな都合上、 答えられたり答えられなかったりしますので、そのあたり 大人ですので、ご理解ください。 今回同業の方もいらっしゃるので、びびってます＞＜；
![まとめ ログ集計に際して弊社で考慮していることを 簡単に説明しました。 メンバー募集中です！大量配信・大規模集計やりたい方はぜひ。 バイト・インターンも可です ( [email_address] まで )](https://image.slidesharecdn.com/robustlogprocess-110116030637-phpapp02/85/Robust-log-process-19-320.jpg)