GlusterFSとInfiniBandの小話

!  自己紹介
! GlusterFSについて
! GlusterFSとInfiniBand
!  検証してみた（ことがある）
!  まとめ


!  自己紹介
!  まとめ


自己紹介

!  高橋敬祐 ( @keithseahus )
!  ソフトウェア開発@NTTPC
!  分散ストレージ技術屋
!  自宅InfiniBander (DDR)


!  自己紹介
!  まとめ


GlusterFSについて

!  分散ファイルシステム
 v3.3からは”Unified File and Object
Storage”
!  オープンソース
 https://github.com/gluster/glusterfs
! RedHatが買収
 開発はコミュニティベースで継続



世界2位の性能を達成したスパコンの開発者たちと、インド人の開発コミュニティ。



システム全体でのシーケンス
各機能がモジュールで実装されている
のがポイント。

OS上でのシーケンス

※古い図なので、現行バージョンとは実装が若干異なります。 8　
Copyright （C） 2012, NTTPC Communications, Inc. All Rights Reserved.

!  自己紹介
!  まとめ


GlusterFSとInfiniBand

!  オープンソース当初のリリース
(v1.3.0)から対応
!  IB-VERBs APIでRDMAでのデー
タトランスポートを実現
!  クライアントとサーバのトランス
ポート用モジュール内でTCPから
RDMAに切り替えるだけ


protocol/clientモジュール定義と…
protocol/serverモジュール定義を…
下記のように変更するだけ
volume volume01-client-0
volume protocol/client
type volume01-server
option remote-host server01
type protocol/server
option remote-subvolume /mnt/gluster
option transport-type rdma
option auth.addr./mnt/gluster.allow *
end-volume
subvolumes /mnt/gluster
end-volume


protocol/clientモジュール定義と…
protocol/serverモジュール定義を…
下記のように変更するだけ
! CAUTION!
volume volume01-client-0
3.1以降のバージョンでは
type protocol/client
volume volume01-server
option設定ファイルをエディタ等で
type remote-host server01
protocol/server
勝手に書き換えないで下さい
option remote-subvolume /mnt/gluster
option auth.addr./mnt/gluster.allow *
end-volume
subvolumes /mnt/gluster
end-volume


volumeを作る際にコマンド引数で定義しましょう

# gluster volume create volume01
replica 2
transport rdma
server01:/mnt/gluster
server02:/mnt/gluster


!  自己紹介
!  まとめ


検証環境1(Gigabit Ethernet) ※2010年当時の情報です。

サーバ
CPU: Intel(R) Xeon(R)
E5405 @ 2.00GHz
L2: 12MB
RAM: 1GB
client01
GbE L2スイッチ
GbE
Segment A
GbE
Segment B
GbE
Segment C
Throughput: 1Gbps /
port
switch01 switch02 switch03
サーバ
GbE
Segment A
GbE
Segment B
GbE
Segment C
E5405 @ 2.00GHz
L2: 12MB
RAM: 1GB
storage01 storage02 storage03
HDD: SATA 6.7TB
RAID5


検証環境2(IB, Coreアーキテクチャ) ※2010年当時の情報です。

サーバ
CPU1: Intel Xeon E5504
@ 2.00GHz ×2
RAM: 72GB
HCA: 40Gbps ×2
client02
IB L2スイッチ
IB IB
QDR 4x QDR 4x Throughput: 40Gbps /
port
switch04
IB IB
QDR 4x サーバ QDR 4x サーバ
CPU: Intel(R) Xeon(R) CPU: Intel(R) Xeon(R)
E5405 @ 2.00GHz E5405 @ 2.00GHz
storage04 L2: 12MB storage05 L2: 12MB
RAM: 10GB RAM: 8GB
HDD: 2.1TB RAID5 HDD: SATA 2.1TB
HCA: 40Gbps RAID5
HCA: 40Gbps


検証環境3(IB, Nehalemアーキテクチャ) ※2010年当時の情報です。

サーバ
CPU1: Intel Xeon E5504
@ 2.00GHz ×2
RAM: 72GB
client02 HCA: 40Gbps ×2

IB
QDR 4x
IB L2スイッチ
Throughput: 40Gbps /
switch04 port
IB
QDR 4x
サーバ
storage06 E5620 @ 2.40GHz ×2
L2: 12MB
RAM: 6GB
HCA: 40Gbps
HDD: SATA 0.9 TB RAID5

17

検証環境4(その他) ※2010年当時の情報です。

本検証のデータと比較するため、一部検証において、以下のマシンに関するデータを取得した。

berga-dalas (自作IAサーバ)
CPU: Intel Core i7 920 2.66 GHz
メモリ: DDR3 1333MHz, 12 GB (2GB×6)
ストレージ: 3.5インチ SATA HDD 500 GB ×2基
ネットワーク: Gigabit Ethernet ×5ポート
(オンボード×1, IntelデュアルポートNIC×2)

zwei (ベアボーンPC)
CPU: Intel Atom 330 2.00 GHz
メモリ: DDR2 533MHz, 2GB (2GB×1)
ストレージ: 2.5インチ SATA SSD 32 GB
ネットワーク: Gigabit Ethernet ×1ポート
(オンボード)


参考: CoreとNehalem ※2010年当時の情報です。

FSB (Front Side Bus) QPI (QuickPath Interconnect)
メモリ制御チップセットメモリコントローラ内蔵CPU
伝送方式パラレルシリアル
共有バスデファレンシャル信号による
片方向ポイントツーポイント
インターコネクト 5.3 GBytes/sec (667MHzの場合) 19.2 GBytes/sec ※1
速度 (最大10.6 GB/sec) (最大25.6 GBytes/sec) ※2

Intel Coreマイクロアーキテクチャ ※1 計算式は以下の通り。 Intel Nehalemマイクロアーキテクチャ
2.4 Giga-Transfers/sec
×2 bits/Hz (double data rate)
×20 (QPI link width)
× (64/80) (data bits/flit bits)
×2 (two links to achieve bidirectionality)
/ 8 (bits/byte)

※2 ハイエンドCPUでは
QPI Link Speedが
5.3 GBytes/
sec
最大で3.2 ×2 = 6.4 Giga-Transfers/sec
となる。
19.2 GBytes/
sec

32 Gbps
(= 4 GBytes/sec) InfiniBand HCA

40 Gbps
1.5 GBytes/sec (= 5 GBytes/sec)
(150 MBytes/sec×10)
32 Gbps
(= 4 GBytes/sec)

3.0 GBytes/sec (300 MBytes/
sec×10)

出典: Intel 5100 Chipset ( http://ark.intel.com/chipset.aspx?familyID=32717 ), Intel 5520 Chipset ( http://ark.intel.com/chipset.aspx?familyID=32423 )


!  自己紹介
!  まとめ 1. メモリ・バス性能測定
2. InfiniBand RDMA性能測定
3. GlusterFS RDMA性能測定


メモリ・バス性能測定 ※2010年当時の情報です。

“stream”を使用した、メモリ内単純データコピー速度の測定。

全体の帯域幅本検証における
Nehalem CPU数×CPUコ
アーキテクア数×HTスレッド
チャ数の範囲

Core(又はそ
れ以前の)アー
キテクチャ


メモリ・バス性能測定 ※2010年当時の情報です。

Nehalemでは、マルチコアがマルチスレッドでの並列I/O処理性能に貢献していることがわかる。

シングルスレッド時の速度に対するスレッドあたり速度比の推移


!  自己紹介


InfiniBand RDMA性能測定 ※2010年当時の情報です。

“qperf”を使用した、RC_RDMAでの書き込み速度の測定。

client02
2.78 GB/sec
IB IB
QDR 4x QDR 4x

switch04
1.55 GB/sec 1.67 GB/sec
IB IB
QDR 4x 1.67 GB/sec QDR 4x

storage04 1.55 GB/sec storage05
1.50 GB/sec 1.55 MB/sec 1.50 GB/sec


InfiniBand RDMA性能測定 ※2010年当時の情報です。

“qperf”を使用した、RC_RDMAでの書き込み速度の測定。
NehalemはCoreアーキテクチャの2倍以上の性能となっている。

client02
IB
QDR 4x

switch04
IB
QDR 4x 3.38 GB/sec
storage06


!  自己紹介


GlusterFS RDMA性能測定 ※2010年当時の情報です。

Coreアーキテクチャ (Gigabit Ethernet) Nehalemアーキテクチャ (Gigabit Ethernet)

Seq. Write Seq. Write
Med. 115.294 MB/sec Med. 116.168 MB/sec

Seq. Read Seq. Read



Coreアーキテクチャ (IB RDMA) Nehalemアーキテクチャ (IB RDMA)


Seq. Read Seq. Read



Nehalemアーキテクチャ (IB RDMA) Nehalemアーキテクチャ (IPoIB)


Seq. Read Seq. Read


GlusterFSの性能に関する補足（フォロー）

当然、ストレージサーバを追加すればトータルのスループットが向上します。

処理A
処理B


!  自己紹介
!  まとめ


まとめ

! GlusterFSはInfiniBand RDMAをサポートし
ています。
!  Nehalem以降のアーキテクチャでは、RDMA
での読み書き速度が大幅アップしています。
! GlusterFSでもRDMAの恩恵は大きいですが、
実際のところゼロコピーではなく、オーバー
ヘッドも大きいので、ネイティブなRDMAほど
の速度は出ません。
!  でも、「ネットワーク負荷ガー」と嘆くぐらいな
ら、InfiniBandの導入をおすすめします。


PR

!  分散ストレージに関するご用命は、こちらの
メールアドレスまで！
 storage-contact＠nttpc.co.jp
! LinuxCon Japan 2011 Gluster Workshop
で講演します！
 https://events.linuxfoundation.org/
events/linuxcon-japan/ovirt-gluster-
workshops
!  過去のプレゼン資料はこちら。
 http://www.slideshare.net/keithseahus

GlusterFSとInfiniBandの小話

More Related Content

What's hot (19)

Viewers also liked (7)

Similar to GlusterFSとInfiniBandの小話 (20)

More from Keisuke Takahashi (11)

GlusterFSとInfiniBandの小話