GlusterFS 技術と動向 1of2
18 likes4,252 views
2011/12/8 第4回クラウドストレージ研究会 発表資料 1/2
GlusterFS 技術と動向 1of2
- 1. 第4回クラウドストレージ研究会 GlusterFS 技術と動向 1of2 2011/12/8 (株)NTTPCコミュニケーションズ Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 1
- 2. 発表者の紹介 高橋 敬祐 (TAKAHASHI Keisuke) (個人用)Twitter ID : @keithseahus • NTTPCコミュニケーションズ在籍 (2006年〜) – Webマイニング系開発 – 分散FS特にGlusterFSの調査，研究，それを利用した開発及びOSS活動 – 宇宙航空関連実証実験及び開発 – その他先端技術調査 • 出入りしている勉強会 – VIOPS • この界隈で特に関係の深い人 – クラウドネットワーク研究会 – 伊藤氏 ( @thatsdone ) – クラウドストレージ研究会 – STEC 伊藤氏 ( @HarrisonIto ) – Tokyo Erlang Workshop – NTTPC 中冨 ( @nakacya ) – その他 – NTTPC 高田 ( @mikiT_T ) Google Groups: http://groups.google.com/group/gluster-ja Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 2
- 3. GlusterFS 技術と動向 1of2 1. GlusterFSの概要と動向 2. GlusterFSの技術 1. ストレージの階層構造 2. 分散アルゴリズム 1. 分散アルゴリズム 2. Elasticなレイアウト変更 3. 特殊なケース 3. メタデータ構造 4. レプリケーション 1. レプリケーション 2. レプリケーションのデータフロー 3. レプリカ障害とその対応 5. 運用面での注意点 3. FAQ 4. まとめ Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 3
- 4. GlusterFSの概要と動向 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 4
- 5. GlusterFSの概要と動向 さんの もオススメ！ @doryokujin Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 5
- 6. ストレージの階層構造 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 6
- 7. ストレージの階層構造 block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 7
- 8. ストレージの階層構造 GlusterFSはblock deviceを直接管理することはできません。 （カーネル空間のファイルシステムではありません。） file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 8
- 9. ストレージの階層構造 VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 9
- 10. ストレージの階層構造 GlusterFSはカーネル空間ファイルシステムの上で動作します。 下位のファイルシステムへの操作はglusterfsdが行います。 glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 10
- 11. ストレージの階層構造 glusterfsがglusterfsdへの命令を実行します。 glusterfs-glusterfsd間はデフォルトではTCP/IPで接続されます。 glusterfs glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 11
- 12. ストレージの階層構造 glusterfsにはFUSEとのI/Fがあります。 FUSE glusterfs glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 12
- 13. ストレージの階層構造 そのため、POSIX準拠のファイルシステムとして マウントすることができます。 VFS FUSE glusterfs glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 13
- 14. ストレージの階層構造 VFS FUSE glusterfs glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 14
- 15. 分散アルゴリズム Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 15
- 16. 分散アルゴリズム Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 16
- 17. 分散アルゴリズム ③800〜1199 ①0〜399 ②400〜799 注）ハッシュ値及びbrick名は説明のために簡略化してあります。以下同じ。 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 17
- 18. 分散アルゴリズム A /path/to/fileA ③800〜1199 768 ①0〜399 ②400〜799 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 18
- 19. 分散アルゴリズム /path/to/fileA ③800〜1199 768 ①0〜399 A ②400〜799 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 19
- 20. Elasticなレイアウト変更 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 20
- 21. Elasticなレイアウト変更 brick追加直後の状態（gluster volume add-brick ④） 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) ③800〜1199 ④900〜1199 ③600〜899 ①0〜299 ①0〜399 A ②400〜799 ②300〜599 既存データの読み書きは 古いハッシュテーブルに基づき 実行される。 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 21
- 22. Elasticなレイアウト変更 新規ファイルの作成には新しいハッシュテーブルを使う 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) ③800〜1199 ④900〜1199 ③600〜899 ①0〜299 ①0〜399 A ②400〜799 ②300〜599 B /path/to/fileB 1024 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 22
- 23. Elasticなレイアウト変更 新規ファイルの作成には新しいハッシュテーブルを使う 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) リンク先brickの書かれた B スパースファイル B ③800〜1199 ④900〜1199 ③600〜899 ①0〜299 ①0〜399 A ②400〜799 ②300〜599 /path/to/fileB 1024 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 23
- 24. Elasticなレイアウト変更 rebalanceを実行（gluster volume rebalance <volume> start） 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 ③600〜899 ①0〜299 ①0〜399 A ②400〜799 ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 24
- 25. Elasticなレイアウト変更 rebalanceを実行（gluster volume rebalance <volume> start） 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A ③600〜899 ①0〜299 ①0〜399 A リンク先brickの書かれた ②400〜799 スパースファイル ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 25
- 26. Elasticなレイアウト変更 rebalanceを実行中... 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A ③600〜899 ①0〜299 ①0〜399 A リンク先brickの書かれた ②400〜799 スパースファイル ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 26
- 27. Elasticなレイアウト変更 rebalanceを実行中... 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A ③600〜899 ①0〜299 ①0〜399 ②400〜799 ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 27
- 28. Elasticなレイアウト変更 rebalanceを実行中... 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A ③600〜899 ①0〜299 ①0〜399 ②400〜799 ②300〜599 C /path/to/fileC 384 rebalance中のファイル生成処理は... Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 28
- 29. Elasticなレイアウト変更 rebalanceを実行中... 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A ①0〜299 C ③600〜899 ①0〜399 ②400〜799 C ②300〜599 /path/to/fileC 384 rebalance実行前と同様 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 29
- 30. Elasticなレイアウト変更 rebalance完了 古いハッシュテーブル 新しいハッシュテーブル (3 bricks) (4 bricks) B B ③800〜1199 ④900〜1199 A 古いハッシュテーブルを破棄 ①0〜299 C ③600〜899 ①0〜399 ②400〜799 C ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 30
- 31. Elasticなレイアウト変更 B ④900〜1199 A B C ③600〜899 ①0〜299 C ②300〜599 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 31
- 32. 特殊なケース Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 32
- 33. 特殊なケース ③800〜1199 一部brickがdisk full!! ①0〜399 ②400〜799 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 33
- 34. 特殊なケース そこへ新規ファイル作成 A /path/to/fileA ③800〜1199 768 ①0〜399 ②400〜799 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 34
- 35. 特殊なケース 実体は書き込み可能な brickへ A /path/to/fileA ③800〜1199 768 ①0〜399 A ②400〜799 リンク付きスパースファイル Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 35
- 36. メタデータ構造 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 36
- 37. メタデータ構造 Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 37
- 38. メタデータ構造 メタデータ (xattr) (実)データ Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 38
- 39. メタデータ構造 A VFS FUSE glusterfs glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 39
- 40. メタデータ構造 VFS glusterfsがxattrを記述 (するようにglusterfsdに命令) FUSE glusterfs A glusterfsd VFS file system block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 40
- 41. メタデータ構造 VFS FUSE glusterfs glusterfsd glusterfsdがfile system上に VFS xattrを記述 file system A block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 41
- 42. メタデータ構造 VFS glusterfsを FUSE 経由しないと xattrが付与 glusterfs されない！ glusterfsd VFS file system A B block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 42
- 43. メタデータ構造 VFS FUSE 原則、GlusterFS経由では アクセスできない。 glusterfs 但し、ディレクトリエントリとして glusterfsd 見えてしまう場合もある。 VFS file system A B block device Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 43
- 44. メタデータ構造 ディレクトリに付与されるxattr trusted.gfid trusted.glusterfs.dht trusted.glusterfs.test ファイルに付与されるxattr trusted.gfid trusted.afr.<volume>-client-<number> trusted.afr.<volume>-client-<number++> trusted.<volume>-stripe-<number>.stripe-count trusted.<volume>-stripe-<number>.stripe-index Copyright （C） 2011, NTTPC Communications, Inc. All Rights Reserved. 44