RDMA for Windows Server 2012
6 likes2,401 views
RDMA for Windows Server 2012 メラノックステクノロジーズジャパン株式会社 Infiniband DAY [06] Business Conference for Enterprise/Web Service
RDMA for Windows Server 2012
- 1. RDMA for Windows Server 2012 メラノックステクノロジーズジャパン株式会社 IB-Day 6 : February 1st, 2013
- 2. 最先端のE2Eソリューションを実現するラインナップ Storage Server / Compute Switch / Gateway Front / Back-End Virtual Protocol Interconnect Virtual Protocol Interconnect 56G IB & FCoIB 56G InfiniBand 10/40/56GbE & FCoE 10/40/56GbE Fibre Channel Comprehensive End-to-End InfiniBand and Ethernet Portfolio ICs Adapter Cards Switches/Gateways Host/Fabric Software Cables © 2013 Mellanox Technologies 2
- 3. Solid State Deviceの特性を活かすストレージサーバ フラッシュメモリのコモディティ化はSSDストレージの利用を促進 • SSDは共有ストレージへのアクセス競合を緩和し、ランダムI/O性能を劇的に向上 SSDは最小のレイテンシーと低消費電力のストレージを実現 • 最高性能だがまだ高価なSSDを低価格で利用するには、SSDのアプリケーションへの 応答性能を妨げない、低レイテンシーなインターコネクト技術による外部共有が必須 Component Latency (usec) InfiniBand 0.7 Ethernet RDMA (RoCE) 1.3 Ethernet TCP 6 Fibre Channel 20 SSD Read 25 Disk Read 6000 Total: 45usec Total: 25.7usec Fibre Channelでは、 SSDのアドバンテージを阻害してしまう InfiniBandとRDMAベースのEthernetがSSDの共有には最適! © 2013 Mellanox Technologies 3
- 4. Storage Acceleration Serverによるストレージ高速化 １、既存の外付けストレージ共有システム ２、ストレージサーバ経由接続型システム アプリケーション/DB サーバ アプリケーション/ DB サーバ SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD SSD 40/56Gbps 4Gbps FC Switch InfiniBand Switch ストレージ SSD SSD アクセラレーション サーバ IB＋DRBDでミラーリング FC RAID ストレージの統合に際しては、処理が特定のI/Oに集中しがちになるので、 SSDのような高速ドライブの必要性が高まる。 FC RAID ＦＣ ＲＡＩＤ搭載のキャッシュメモリは数ＧＢと小容量 SSDを利用することでキャッシュヒット率を大幅に改善可能 ＤＢのマスターテーブルなどへのアクセスが遅い ＤＢのマスターテーブルもSSDキャッシュから読込み可能 最新の高価な8Gbps FCでもIOボトルネックが発生 8Gbps FCの7倍のスループット、50万IOPS/SSDの性能 高性能なSSDの完全なフェイルオーバーができない SSDをレプリケーションモードにすることで二重化が可能 FCにSSDを装着しても通信遅延で性能は半減 SSD搭載サーバとIBで接続、直付けと同等の応答性能 © 2013 Mellanox Technologies 4
- 5. OracleのEngineered Systemsで活用されるInfiniBand Oracle Weblogic Server Grid • 30 Compute Servers • 360 Compute Cores • 2.8 TB DRAM • 960 GB Solid-State Disk Mellanox InfiniBand Network • 40 Gb/s InfiniBand Links • 1.2 micro second latency • 10Gb/s Ethernet connectivity to data center Integrated Storage Appliance • Central storage for system images • Clustered for HA • 40 TB SAS disk storage • 4 TB read cache • 72 GB write cache © 2013 Mellanox Technologies 5
- 6. Oracle RACにインフィニバンドを採用するメリット I/O性能を33%向上 DB処理能力を62%向上 1Gb/s EthernetとFibreChannelの コンビネーションと システムコストを35%削減 インフィニバンドで比較 レスポンス時間の短縮により、生産性向上 * Common performance 80 benchmark Time to run 1 million SKU 70 Reduced through 60 fulfillment planning operation run-time 50 by 62% Minutes 40 Gigabit Source: 30 Ethernet 20 10 InfiniBand One million SKU* © 2013 Mellanox Technologies 6
- 7. Enterprise Data Centerの最適化におけるMSとの連携 SMB Direct • Windows Server 2012では、サーバ・アプリケーションの性能向上に効果的なリモート・ ファイル・ストレージを提供 - SMB Direct (SMB – Server Message Block) • InfiniBand RDMAまたはEthernet RoCEを活用することで最高の性能を実現 - RoCE – RDMA over Converged Ethernet - InfiniBand及びRoCE用ドライバは Windows Server 2012に組み込まれて提供 • 公表されている利用例 - 高速データベース（SQL+SMB）, クラウド環境のIO統合（Hyper-V+SMB） • 10G Ethernetの5倍の性能（Windows Server 2012 Betaでの参考性能結果） - PCIe Gen2サーバで計測されたQBR InfiniBandと一般的な10Gbps Ethernetの比較 - PCIe Gen3サーバで計測されたFBR InfiniBandでは10GbEの10倍の性能 • デモンストレーション環境を提供可能 © 2013 Mellanox Technologies 7
- 8. SMB Direct (SMB over RDMA)とは? 新しい企業ユーザー向けSMBファイルストレージ • ファイルストレージの処理に要するCPU負荷を最小化 • 低いレインテンシーによって高速NICの特長を最大限活用 File Client File Server • Fibre Channelに相当する機能を低価格に実現 Application User 従来からのSMBファイルストレージの強み Kernel • 簡単なプロビジョニング、管理、移行 • コンバージドネットワークの活用 SMB Client SMB Server • アプリケーションや管理者設定の変更の必要無し Network w/ Network w/ NTFS RDMA support RDMA support SCSI ハードウェアの要件 • RDMAを利用できるネットワークインタフェース • InfiniBandもしくはRoCE (Ethernet)のサポート RDMA RDMA Adapter Adapter Disk ロードバランスやフェイルオーバーには SMBマルチチャネルを使用 © 2013 Mellanox Technologies 8
- 9. Windows Server 2012で完成されたソリューション 1. RDMAを活用したSMB Direct (InfiniBand, RoCE) • CPUの負荷軽減・低レイテンシー(1μs)と広帯域(56Gbps)の両立 2. SMB マルチチャネル Hyper-V Parent 1 Config VHD Child 1 Disk … Hyper-V Parent N Config VHD Child N Disk • 複数のインタフェースでロードバランス 1 • 複数のインタフェースでフェイルオーバー 2 NIC1 NIC2 NIC1 NIC2 3. SMBの透過的なフェールオーバー • 計画的/非計画的なイベントの両方にゼロ・ダウンタイムで対応 4. SMB スケール・アウト特性 Administrator Switch 1 Switch 2 • クラスタ・ノードに渡って動的なファイル共有 6 7 5. Clustered Shared Volumes (CSV) • 仮想マシン構成ファイルへの透過的なアクセス NIC1 NIC2 NIC1 NIC2 切り替えもSMBで高速化 8 6. SMB PowerShell 4 4 Share • ファイル共有の管理 3 Share • SMB機能のイネーブル/ディセーブル CSV CSV 5 7. SMB Performance Counters 5 File Server 1 File Server 2 • ストレージ性能をリアルタイムに可視化 • disk countersに相当する機能の提供 Disk Disk Disk Disk 8. SMBイベント管理 Shared SAS Storage © 2013 Mellanox Technologies 9
- 10. Microsoft’s Cluster in the Box (CiB) Reference Design Mellanox VPI Interconnect Solutions At least one node and storage always 10GE, RoCE or Infiniband Network Network available, despite failure or replacement of x8 PCIe Server Enclosure x8 PCIe any component. Server A Server B 1/10G Ethernet cluster connect CPU CPU Dual power domains x8 PCIe x4 SAS x8 PCIe Storage through x4 SAS Controller Storage midplane through Controller Internal interconnect between nodes, x4 SAS midplane B x4 SAS controllers SAS A port SAS Expander 0 1 … 23 s Expander port s Flexible PCIe slot for LAN options External SAS ports for JBOD expansion A ports External JBOD B ports SAS SAS Expander 0 1 … 23 Expander Office-level power and acoustics for entry- level NAS Additional JBODs … © 2013 Mellanox Technologies 10
- 11. ハードウェアによるI/O Virtualizationのメリット VM VM VM VM VM VM VSA OS OS OS OS OS OS vHCA Direct Virtual File System Virtual File RDM (VMFS) A System (VMFS) RDMA To remote VSAs RDMA (for data replication) Local 8Gb FC / 10GbE SAN iSCSI HBA/CNA Disks/Flash Mellanox ConnectX 40/56Gbps (same one used for networking) VMのI/Oボトルネック VMに対する十分なI/O性能 • iSCSI: 400MB/s and 50K IOPs • ~5,000MB/s and 190K IOPs with VMFS • FC: 800MB/s and 100-200K IOPs • 700K IOPs with SR-IOV on guest VM 拡張性の無いI/O 制限の無い拡張性 • Same performance limit with Multiple VMs • Single target can handle a Million IOPs • SAN performance bottlenecks • Multiple targets scale linearly IT機器数が多く非効率な投資 IT機器導入コストと管理コストの最適化 • Millions of $s for FC SAN Infrastructure • Use the same server Hardware, same NIC/HCA, • High operational expenses and just add disks © 2013 Mellanox Technologies 11
- 12. Products Announced: X-IO Storage More than 15GB/sec Throughput Demonstrated Remote Storage Systems Windows Server 2012 with SMB 3.0 PCIe 3.0 based Servers - HP DL380p G8 Mellanox 56Gbps FDR Infiniband adapters & Switches © 2013 Mellanox Technologies 12
- 13. Products Announced: Supermicro More than 10GB/sec Throughput Demonstrated under Hyper-V Hyper-V with Windows Server 2012 RC Supermicro PCIe 3.0 based Servers, File Server & JBOD LSI MegaRAID SAS 9285 storage controllers with LSI FastPath I/O acceleration software OCZ’s Talos 2R SSDs © 2013 Mellanox Technologies 13
- 14. Thank You © 2013 Mellanox Technologies 14