20分でわかるHBase
40 likes5,242 views
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
![HBase
トレーニング始めました
7月30日(来週の月曜)から、日本語でもHBase
トレーニングを始めます
馬本だけじゃ無理という人は是非参加してくだ
さい
h]p://www.cloudera.co.jp/university/
hbase.html](https://image.slidesharecdn.com/hbaseslideshare-120728030629-phpapp01/85/20-HBase-47-320.jpg)
20分でわかるHBase
- 1. 20分でわかるHBase Python Developers Festa 2012.07 #pyfes 2012/07/28 @shiumachi
- 2. アジェンダ • HBaseとは • HBaseのデータ構造 • HBaseのテーブル構造とアーキテクチャ • リージョン分割〜HBaseにおけるシャーディン グ〜 • アーキテクチャから見るHBaseの使い方 • ？？？
- 3. お前誰よ？ • Sho Shimauchi ( @shiumachi ) • Cloudera の問い合わせ担当 • ここ最近で一番衝撃的だった問い合わせは、 私の個人ブログの内容について説明してほし いというもの(しかも4年前の記事)
- 4. HBase 本日本語訳出ました • Cloudera の Lars George が書いた HBase のバイ ブル • 訳は安心の玉川さん • レビュー手伝ってました • 今日話すことは全部こ の「馬本」に書いてます
- 5. HBaseとは
- 6. HBase とは • 分散DB • 列ファミリ指向DB • ソートマップDB • キーバリューストア
- 8. なぜHBaseを使うのか 頑張ってシャーディングした 書き込みがスケールしない ＼(^o^)／ｵﾜﾀ
- 9. なぜHBaseを使うのか • シャーディングをサポートしてる – 自動シャーディング – コマンド一発で手動シャーディング • 書き込みがスケールする • データの耐障害性も確保されてる – これはHadoopのファイルシステムHDFSの機能
- 10. HBaseのデータ構造
- 11. HBaseのデータ構造 シンプルなキーバリュー型 キー 値
- 12. HBaseのデータ構造 キーが「行」「列ファミリ」「列」「タイムスタンプ」 に分かれている タイム 行キー 列ファミリ 列 値 スタンプ
- 13. HBaseのデータ構造 キーバリューがソートされてならんでいる タイム 行キー 列ファミリ 列 値 スタンプ r1 cf1 c1 1000 ‘python’ r1 cf1 c2 1000 ‘php’ r1 cf2 c1 1000 ‘ruby’ r2 cf1 c2 1000 ‘java’
- 14. CM データ構造の話は馬本の 9章冒頭に詳しく書かれて います 是非買って読んでください
- 16. HBaseのテーブル構造 • テーブルはリージョン/列ファミリごとに別ファ イルに保存される • リージョンは、指定された行キーの範囲で分 割される
- 17. HBaseのテーブル構造 • 1リージョンには列ファミリの数だけストアファイルが存在 • 実際はもう少し複雑だがここでは簡略化して説明 列ファミリ1 列ファミリ1 リージョン ストアファイル a -‐ c リージョン d -‐ f リージョン d -‐ f
- 18. HBaseのアーキテクチャ • RegionServer – リージョンを管理する • Zookeeper – リージョンサーバの配置や管理テーブルの配置 など、HBaseの中核情報を管理する • HMaster – データそのものは扱わず、管理情報を収集し管 理インタフェースを提供する
- 19. リージョンサーバ クライアントはリージョン クライアント サーバのリージョンに 直接アクセスする リージョンサーバ リージョンサーバ リージョン リージョン
- 20. リージョンの位置を知るには？ • .META. テーブル – リージョンサーバとリージョンのマップ情報 – クライアントは .META. テーブルに問い合せて場所を 確認 • ROOT テーブル – .META. の場所をポイントするだけのテーブル – クライアントはROOTテーブルを見て.META.テーブル を探す – ROOTテーブルの場所はZooKeeperに保存されている
- 21. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 22. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンAに書き込みたい リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 23. リージョンAにアクセスする場合 クライアント ZooKeeper ROOTテーブルどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 24. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ1にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 25. リージョンAにアクセスする場合 クライアント ZooKeeper .META.テーブルどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 26. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ2にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 27. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンAはどこよ？ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 28. リージョンAにアクセスする場合 クライアント ZooKeeper リージョンサーバ2にあるよ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 29. リージョンAにアクセスする場合 クライアント ZooKeeper ようやくアクセスできた！ 場所はキャッシュしたので、 もうZooKeeperや管理テー ブルを見る必要はない！ リージョンサーバ1 リージョンサーバ2 ROOT .META. リージョンA
- 30. CM データの流れの話は馬本 の8章に詳しく書かれてい ます 是非買って読んでください
- 32. リージョン分割 • リージョンが大きくなりすぎるとHBaseはリー ジョンを自動で分割する • 分割はコストがかかる上管理が大変になるの で、手動による分割を推奨 • 特にデータ投入前の事前分割は強く推奨
- 33. リージョン分割 このリージョンは大きくなり すぎたので分割しよう リージョンサーバ リージョンサーバ リージョン
- 34. リージョン分割 リージョンサーバ リージョンサーバ リージョン リージョン
- 35. リージョン分割 分割したうちの片方は他の リージョンサーバに渡そう リージョンサーバ リージョンサーバ リージョン リージョン
- 36. リージョン分割 ZooKeeperは分割を常に監 ZooKeeper 視している 分割完了後、.META.も更新 される リージョンサーバ リージョンサーバ ROOT .META. リージョン リージョン
- 38. スキーマ設計 • 列ファミリだけはテーブル作成時に定義しな ければいけない – 列は任意の数だけ追加可能(所詮はただのキー) • 列ファミリの数だけファイル数が増える – 通常1つ、多くとも3つにとどめる
- 39. 行キー設計 • ランダムかシーケンシャルか • ランダムアクセス重視 – 書き込みをリージョンで散らす – 行キーをハッシュにしてしまうなど • シーケンシャル重視 – スキャン(一括取得)したい場合など – 行キーを並べておく
- 40. CM データの流れの話は馬本 の8章に詳しく書かれてい ます スキーマ設計の話は9章 に書いてます 是非買って読んでください
- 41. まとめ
- 42. 今日話したこと • HBaseのデータ構造(キーバリュー) • HBaseのアーキテクチャ • リージョンの考え方 • スキーマ・行キー設計
- 43. 今日話していないこと(一部) • 先行書き込みログ – HBaseが壊れてもデータが残っていることを保証 • メムストア – メモリキャッシュのようなもの • フラッシュとコンパクション • HBase API – Java – Thri (python もあるよ) – REST – hbase shell (jruby ベースのインタラクティブシェル) • フィルタ • コプロセッサ • HBCK • MapReduce • データのインポート・エクスポートツール
- 44. CM もちろん馬本には全部書 いてあります 是非買って読んでください
- 45. まとめ • HBase を使うことはそんなに難しくありません – 少なくとも自力でシャーディングするよりマシ • 性能を引き出そうとすればそれなりの知識が 必要です – 他の技術も同じ • 正しく活用して、高速かつスケーラブルな HBaseをエンジョイしましょう！
- 46. CM HBaseを使いこなすにはド キュメントは必須です 現在手に入る唯一にして 最高のHBase本、それが 馬本です 是非買って読んでください
- 47. HBase トレーニング始めました 7月30日(来週の月曜)から、日本語でもHBase トレーニングを始めます 馬本だけじゃ無理という人は是非参加してくだ さい h]p://www.cloudera.co.jp/university/ hbase.html
- 48. おしまい