ロードバランサのリソース問題を解決する ～NetScaler Clustering～
2 likes2,130 views
SSL証明書の2048bit化やHTTP2.0実装におけるSSLリソースの不足、コンテンツ最適化や圧縮、WAFの実装など、ロードバランサに求められる機能は増加しています。日々変化していく通信環境の中、ロードバランサ自体のCPUなどのリソース問題は管理者の悩みの種です。 Clustering機能を使用し、NetScalerのリソースをスケールアウトする方法と実際のUse Caseを解説します。
ロードバランサのリソース問題を解決する ～NetScaler Clustering～
- 1. ロードバランサのリソース問題を解決する ～NetScaler Clustering 部署名 ネットワーククラウド本部 役職 リードシステムズエンジニア 名前 小林隆行 セッション番号 N-6
- 2. 2 © 2015 Citrix. 本セッションの内容 • クラスタリングとは • クラスタリングのコンポーネント • クラスタリング構成例 • クラスタリング構成時のパフォーマンス • クラスタリング動作詳細 • クラスタリング設定方法 • まとめ
- 3. 3 © 2015 Citrix. SLB (Server Load Balancing) に求められる “真のスケーリング”と現状とは？ ・L4-L7 スイッチの “真のスケーリング”とは？ ＝「初期投資を無駄にすることなく、システムの拡張に合わせて L4-L7部分のシステム拡張が容易にできること」 ・L4-L7スイッチを取り巻く現状の一般的な構成は？ ＝冗長という観点からの “ハイアベイラビリティ(HA)” 構成が一般的 ・“ハイアベイラビリティ(HA)” 構成の限界とは？ 1. あくまでも“冗長”＝バックアップが目的 2. 基本的な構成としては “アクティブ – バックアップ”構成 機器パフォーマンスを生かしきれていない
- 4. クラスタリングとは
- 5. 5 © 2015 Citrix. NetScaler クラスタリングとは システムリソースを100%活用 初期投資を完全に保護 キャパシティをダイナミックに拡張 容易な管理と設定 従来の“HA”要件を包含 •異なる筐体間での設定の自動複製 •障害時のシステム冗長 1011011010SSL1011011010SSL1011011010 ACTIVE PASSIVE 32X ACTIVE
- 6. 6 © 2015 Citrix. •SSL オフロード機能の拡張 •広帯域アプリケーションへの対応 •２重障害対策 •グローバルIPの節約 •Active-Active構成によるキャパシティの倍増 •WAF/ICA-Proxy機能の拡張（Coming Soon) クラスタリング ユースケース
- 7. 7 © 2015 Citrix. クラスタリング実現のキーポイント シングルイメージとして管理 Enterpriseライセンス nCore Build のみサポート 拡張性と冗長性を実現 Classic Build は未サポート 一つのIPでクラスタシステム を管理 Enterpriseライセンスによる 機能の有効化 従来のHA要件をクリア
- 9. 9 © 2015 Citrix. クラスタリング 論理構成概要
- 10. 10 © 2015 Citrix. リンクアグリゲーションによる冗長化が推奨 クラスタリング Back Plane クラスタリングシステムの情報交換はBack Planeを使用し てやり取りされる •コンフィグ情報の同期 •パーシステンス・ヘルスチェック情報同期 •クラスタリング間のリクエスト・ レスポンスパケットの転送
- 11. 11 © 2015 Citrix. インターフェイスの命名ルール •３つのID Noを使用 •ノードに割り振られるノードID情報がインターフェース名に 加えられる •命名ルール: N / C / U N = ノードID, C = controller number, U = unit number •E.g.: Interface 2/1/4 ＝ノードID:2 のインターフェース 1/4
- 12. 12 © 2015 Citrix. クラスタリング構成時の設定 CLIP: 管理用クラスタリングIP •CCO (Cluster Coordinator) : 設定を他のノードへコピー •クラスタリング内でのコマンド 伝達 •ファイルの同期 SSL certificates ,CRLs などす べての クラスタノードへ同期.
- 13. 13 © 2015 Citrix. クラスタリングステートメント Active/Spare/Passive •Active – トラフィックを処理 •Spare – Active node がダウンしたときにトラフィックを処 理。 •Passive – トラフィックは処理しない。クラスタリングメン バとしてsyncを行う •メンテナンス、アップグレードの際に利用 クラスタリングの状態
- 14. 14 © 2015 Citrix. •インターフェースダウン インターフェースにHAMONを設定している場合 クラスタメンバからの離脱イベント •SSL Cards故障 •SSL Cardsに対するモニタがFailした場合 •ハートビート未達 •クラスタリングメンバからハートビート（UDP7000）が受 信できない場合
- 15. 15 © 2015 Citrix. クラスタリングで使用される IPアドレス Type Options NSIP • Spotted SNIP / MIP • Striped • Spotted (推奨) VIP • Striped • Spotted CLIP • Striped / Spotted のどちらでもなく、CCOが保持する フローティングのIPアドレス Striped:クラスタリング内の複数ノード上でアクティブ Spotted:クラスタリング内の単一ノード上のみでアクティブ
- 16. 16 © 2015 Citrix. クラスタリングStriped/Spotted IPの例
- 17. クラスタリング構成例
- 18. 18 © 2015 Citrix. クラスタリング 上位スイッチ接続方式 1.Equal Cost Multipath Routing (ECMP) • 最大パス：上位ルータの同時ECMPエントリー 2.Cluster Link Aggregation (CLAG) • 最大パス：上位スイッチのLAGメンバ本数 - 最大１CLAGあたり16＊32本 LAG：各ノードごとに最大8グループ、１LAGにつき最大16リンク 3.Link sets (LS) ・アップリングを増やすことなくバックプレーンにクラスタノードを追加
- 19. 19 © 2015 Citrix. ECMP (Equal Cost Multipath Routing) VIP/32: Node0(SNIP0) VIP/32: Node1(SNIP1) VIP/32: Node2(SNIP2) VIP/32: Node3(SNIP3) Flow receiver Flow Processor SNIP0 SNIP1 SNIP2 SNIP3 Node0 Node1 Node2 Node3
- 20. 20 © 2015 Citrix. CLAG (Cluster Link Aggregation) Flow Receiver Flow Processor
- 21. 21 © 2015 Citrix. Link set ARP request: CIP:CMAC -> VIP:broadcast ARP reply: VIP:ARP_OWNER_MAC -> CIP:CMAC
- 22. 22 © 2015 Citrix. 各接続モードにおける比較 ECMP LinkSets CLAG 上位Switchとの接続 ・全ノードの接続必須 ・LinkSetとの併用が 可能 ・全ノードを接続する 必要無し ・全ノードの接続必須 ・LinkSetとの併用が 可能 上位Switchの追加設定 必要 不要 必要 メリット ・最も効率の良いフロー ・上位デバイスに依存 しない ・効率の良いフロー 注意点 ・接続するL3デバイスの サポートECMP数を考慮 ・VIPオーナーは各ノ ードになるため、リン ク部分がボトルネック になる可能性アリ ・使用できる上位 Switchの物理ポート数 を考慮
- 24. 24 © 2015 Citrix. クラスタリングパフォーマンスデモ https://www.youtube.com/watch?v=X_he2An3XGc クラスタリング構成概要 MPX 21500 （Throughput 50Gbps/node） 16 node Cluster + 4 spare units Interface 5x10G interface/node ECMPによる分散方式 1-arm トポロジ LBパラメータ １stripped VIP 1000 HTTP services Persistent HTTP connections
- 25. 25 © 2015 Citrix. デモビデオ NetScaler Cluster Performance demo
- 26. 26 © 2015 Citrix. クラスタリング SSLパフォーマンスデータ MPX21500 Enc Tput 11Gbps SSL 45K TPS Cluster 4 node 8 node 12 node 2K TPS 180.37K 350.58K 529.01K Enc Tput 45.89Gbps 92.06Gbps 115.54Gbps 参考値 45K*4=180K 11G*4=44Gbps 45K*8=360K 11G*8=88Gbps 45K*12=540K 11G*12=132Gbps
- 27. クラスタリング動作詳細
- 28. 28 © 2015 Citrix. クラスタリングノード間のトラフィックフロー制御 クラスタリングシステム内でFlow Distributor （FR)がトラフィックフローをコントロール • クラスタリングノード間でトラフィック処理を アサイン • 主要コンポーネント: ᵒ Flow Distributor（Flow Receiver :FR) • トラフィックを受信し、転送するノード • Source IP,Port/Destination IP,Port情報ベース ᵒ Flow Processor (FP) • トラフィックを処理するノード ECMP,LAG,LSなど 受信・転送 処理
- 29. 29 © 2015 Citrix. CLAG Client FR FP クラスタリングパケットフロー Server Striped SNIP FR Spotted SNIP 使用 によるステアリングの減少 推奨！ Find FP Find FP A B C D Cからのトラフィック
- 30. 30 © 2015 Citrix. N0 N1 N2 N3 Server Client CIP:CP -> VIP:VP RSS Filter CIP:CP -> SIP:SP SIP:SP -> CIP:CP ExamplクラスタリングUSIP 使用時の動作：RSS filter USIP: ON, UseProxyPort : Off VIP:VP -> CIP:CP FP:N1 RSS Hash:N3 FP:N3
- 31. 31 © 2015 Citrix. セッション情報が保持される動き CIP -> SRV1 CIP -> SRV1
- 32. 32 © 2015 Citrix. サービスのモニタリング(ヘルスチェック)について サーバへの 負荷が増大
- 33. 33 © 2015 Citrix. サービスのオーナーノードのみがモニタリング サービスオーナー による単一の ヘルスチェック SVC1:UP SVC1:UP SVC1:UP SVC1:UP
- 34. 34 © 2015 Citrix. サービスステータスの共有と接続経路の確認 サービスオーナー による単一の ヘルスチェック SVC1:UP SVC1:UP SVC1:UP SVC1:UP サービスオーナー は全ノードへ サービスの死活 情報を伝達 その他のノード は接続経路を 継続的に確認
- 35. 35 © 2015 Citrix. クラスタリングアップグレード 10.5 10.5 10.5 10.5 11.0 11.0 11.0 11.0 バージョンアップ中の異バージョンクラスタリング構成を制限付きでサポート
- 36. クラスタリング設定方法
- 37. 37 © 2015 Citrix. クラスタリングセットアップ 最初のノード(CLIPオーナー)に接続してクラスタリングインスタンスを作成： add cluster instance 1 enable cluster instance 1 クラスタリングIP(CLIP)を最初のノードに設定： add ns ip 192.168.10.140 255.255.255.255 -type CLIP CCOにおいて、全てのノードをクラスタリングへ参加： add cluster node 1 192.168.10.110 -state ACTIVE -backplane 1/1/2 add cluster node 2 192.168.10.120 -state ACTIVE -backplane 2/1/2 add cluster node 3 192.168.10.130 -state ACTIVE -backplane 3/1/2 それぞれのノードから設定したクラスタリングインスタンスへ参加： join cluster -clip 192.168.10.140 –password nsroot
- 38. 38 © 2015 Citrix. クラスタリングノード削除 該当ノードにログインし、クラスタリングインスタンスを削除： rm cluster instance 1 クラスタリングIPにログインして該当ノードを削除： rm cluster node 2
- 39. まとめ
- 40. 40 © 2015 Citrix. NetScalerクラスタリング まとめ リニアなスケーリング •クラスタリングノードを追加することにより、システムリソースをリニ アにスケールアウトすることが可能です。 Active-Active構成 •すべてのクラスタリングノードをActive機として使用できるため、バッ クアップとしてリソースを確保する必要がありません。 管理の一元化 •クラスタリングのCCOに対して設定を実施することですべてのクラスタ リングノードに設定が自動反映されます。設定情報のほか、SSL証明書 なども自動同期されます。
- 41. 41 © 2015 Citrix. 関連するセッション N-1 12:30-13:10 クラウド、データセンターをフル活用するWAN最 適化技術とは？ N-２ 13:20-14:00 「クラウド時代のロードバランサとは？ ～ 変貌するL4-L7スイッチング ～」 N-3 14:10-14:50 「NetScaler導入企業講演 株式会社ドワンゴ様」
- 42. 42 © 2015 Citrix. 関連するセッション N-４ 15:10-15:50 「NetScaler導入企業講演 ヤフー株式会社様」 N-5 16:00-16:40 「ここまで進化したNetScalerのリモートアクセス ソリューション ～ Unified Gatewayとは ～」
- 43. 43 © 2015 Citrix. WORK BETTER. LIVE BETTER.WORK BETTER. LIVE BETTER.WORK BETTER. LIVE BETTER.