HBaseを用いたグラフDB「Hornet」
23 likes3,912 views
Hadoop Conference Japan 2013 WinterのLTで発表した資料です。
HBaseを用いたグラフDB「Hornet」
- 1. HBaseを用いたグラフDB「Hornet」 株式会社サイバーエージェント アメーバ事業本部 Ameba Technology Laboratory 鈴木 俊裕
- 2. 自己紹介 • 鈴木 俊裕 • 株式会社サイバーエージェント – アメーバ事業本部 – Ameba Technology Laboratory • Hadoop/Hiveを用いたデータ解析基盤の運用、 HBaseを用いたグラフDB「Hornet」の運用 • Twi<er @brfrn169
- 3. 話すこと • HBaseを用いたグラフDB「Hornet」について – 設計について – 運用について • HBaseを知っている人向けです
- 4. Hornetについて
- 5. 背景 • 昨年、「Ameba」のスマートフォン向けプラット フォームをリリース
- 6. 背景 • デカグラフ構想 – 各サービスのユーザー層を「ミニグラフ」と位置づ け、1つの巨大なスマートフォン向けサービス（デ カグラフ）を構築するという構想 デカグラフ ミニグラフ ミニグラフ ミニグラフ ミニグラフ ミニグラフ ミニグラフ
- 7. 背景 • そこで、ユーザのグラフ構造を保持するデー タベースが必要 – データが大量になるのでスケールするデータベー ス HBase
- 8. なぜHBaseか • スケールする • 書き込みが速い、そこそこの読み込み速度 • レンジスキャン • CAS操作、インクリメント操作 • 解析基盤にHadoopを用いていたため、ノウハ ウがあった
- 9. 設計について
- 10. Hornetのデータモデル リレーションシップ ノード • プロパティグラフ リレーションシップのtype ノードID 2 follow 1 date 2013-‐01-‐01 Name Ichiro favorite true Age 29 Name Toshihiro follow age 29 date 2013-‐01-‐10 ノードの favorite false 3 プロパティ リレーションシップの Name Masahiro プロパティ Age 27
- 11. Hornetのアーキテクチャ • HBase + Gateway(Java) Client RPC Gateway Gateway Gateway HBase HDFS
- 12. Hornetのスキーマ(リレーションシップ) • RowKey: – hash(startNodeId) + startNodeId + type + direcUon + (Long.MAX_VALUE -‐ Umestamp) + endNodeId • ColumnFamily: – “h” • Column: – “” (空のバイト配列) • Value: – シリアライズしたプロパティ
- 13. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が2をフォローする) 2 follow 1 date 2013-‐01-‐01 Name Ichiro favorite true Age 29 Name Toshihiro age 29 3 Name Masahiro Age 27
- 14. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が2をフォローする) RowKey Column value Key
- 15. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が2をフォローする) RowKey Column value Key hash(1) + 1 + follow + OUTGOING + 200 + 2 h: date=2013-‐01-‐01, favorite=true hash(2) + 2 + follow + INCOMING + 200 + 1 h: date=2013-‐01-‐01, favorite=true 方向 ノードID ノードID プロパティの値 タイプ Long.MAX_VALUE -‐ ノードIDのハッシュ値 Umstamp
- 16. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が3をフォローする) 2 follow 1 date 2013-‐01-‐01 Name Ichiro favorite true Age 29 Name Toshihiro follow age 29 date 2013-‐01-‐10 favorite false 3 Name Masahiro Age 27
- 17. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が3をフォローする) RowKey Column value Key hash(1) + 1 + follow + OUTGOING + 200 + 2 h: date=2013-‐01-‐01, favorite=true hash(2) + 2 + follow + INCOMING + 200 + 1 h: date=2013-‐01-‐01, favorite=true
- 18. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの追加(1が3をフォローする) RowKey Column value Key hash(1) + 1 + follow + OUTGOING + 100 + 3 h: date=2013-‐01-‐10, favorite=false hash(1) + 1 + follow + OUTGOING + 200 + 2 h: date=2013-‐01-‐01, favorite=true hash(3) + 3 + follow + INCOMING + 100 + 1 h: date=2013-‐01-‐10, favorite=false hash(2) + 2 + follow + INCOMING + 200 + 1 h: date=2013-‐01-‐01, favorite=true
- 19. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの取得(1がフォローしてる人を取得) 2 follow 1 date 2013-‐01-‐01 Name Ichiro favorite true Age 29 Name Toshihiro follow age 29 date 2013-‐01-‐10 favorite false 3 Name Masahiro Age 27
- 20. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの取得(1がフォローしてる人を取得) hash(1) + 1 + follow + OUTGOING でプレフィックススキャン RowKey Column value Key hash(1) + 1 + follow + OUTGOING + 100 + 3 h: date=2013-‐01-‐10, favorite=false hash(1) + 1 + follow + OUTGOING + 200 + 2 h: date=2013-‐01-‐01, favorite=true hash(3) + 3 + follow + INCOMING + 100 + 1 h: date=2013-‐01-‐10, favorite=false hash(2) + 2 + follow + INCOMING + 200 + 1 h: date=2013-‐01-‐01, favorite=true
- 21. Hornetのスキーマ(リレーションシップ) • 例:リレーションシップの取得(1がフォローしてる人を取得) hash(1) + 1 + follow + OUTGOING でプレフィックススキャン RowKey Column value Key hash(1) + 1 + follow + OUTGOING + 100 + 3 h: date=2013-‐01-‐10, favorite=false hash(1) + 1 + follow + OUTGOING + 200 + 2 h: date=2013-‐01-‐01, favorite=true hash(3) + 3 + follow + INCOMING + 100 + 1 h: date=2013-‐01-‐10, favorite=false hash(2) + 2 + follow + INCOMING + 200 + 1 h: date=2013-‐01-‐01, favorite=true
- 22. Hornetのスキーマ • 設計のポイント – tall-‐narrow table • データの偏りが起こらないように – ノードIDのhash値をプレフィックス • 書き込み・読み込みの負荷分散 – 複数のプロパティの値をシリアライズして一行に • 使用メモリの節約
- 23. 運用について
- 24. トピックス(1) • 0.92.0系のHBaseと0.20.2系のHadoopを使っている(CDH) • NNはFTサーバを使ってハードウェア冗長をしている – 当時はHAがなかった • メジャーコンパクションは深夜に – メジャーコンパクション中はレスポンスタイムが上がる • オートスプリットをONにしている – 一瞬レスポンスタイムが上がるが、現在のところ問題なし
- 25. トピックス(2) • Zookeeperのセッションタイムアウトは短くしてい る(20秒) – ダウンタイムとのトレードオフ – 重いGCが起きたらRSが落ちてしまうかも(今のところ 落ちてない) • バックアップ – HBase-‐0.92.0ではレプリケーションがバグってて使え なかった – スクリプトでWALをバックアップ用クラスタに転送して 適用している
- 26. 障害事例(1) • ハードウェア障害でRSがダウン – うまくフェイルオーバされた • 該当Regionのダウンタイムは1分くらい • 本番クラスタでMapReduceを行ったらRSが同 時に7台死亡 – FullGCが発生 – 本番クラスタではMapReduce禁止
- 27. 障害事例(2) • アプリケーション側のバグで特定Rowに対す る書き込み・読み込みが集中し、RSのCPUが 100%に張り付いて重くなった – 該当Regionにメジャーコンパクションをかけたら CPU使用率が落ちた。KeyValueが増えすぎてScan のCPU負荷が上がった – アプリケーション側のバグフィックス
- 28. ご清聴ありがとうございました