Faster SRv6 D-plane with XDP
0 likes150 views
#JANOG45 で発表したXDPを用いたデータプレーンについてのスライドです。
![測定結果
44
1.71 [Mpps]
1.09 [Mpps]
0.51 [Mpps]
Linuxを用いた実装に比べ
約3.4倍処理できている](https://image.slidesharecdn.com/fastersrv6d-planewithxdp-200128120316/85/Faster-SRv6-D-plane-with-XDP-44-320.jpg)
![測定結果
45
13.0 [Mpps]
9.07 [Mpps]
3.63 [Mpps]
Linuxを用いた実装に比べ
約3.6倍処理できている](https://image.slidesharecdn.com/fastersrv6d-planewithxdp-200128120316/85/Faster-SRv6-D-plane-with-XDP-45-320.jpg)
Faster SRv6 D-plane with XDP
- 1. Faster SRv6 D-plane with XDP Ryoga Saito
- 2. 自己紹介 ● 齋藤遼河 ● 国立木更津工業高等専門学校 情報工学科 5年 ● LINE株式会社 ○ ITサービスセンター Verda室 ネットワーク開発チーム 2 JANOG44 “Next Data Center Networking with SRv6” : https://www.janog.gr.jp/meeting/janog44/program/srv6
- 3. Background 3
- 4. 背景 Full L3 CLOS Network ● シングルテナントなネットワーク ● LINEのメッセンジャーやファミリー サービスなどが稼働 特定サービス専用のネットワーク ● サービス固有の要件を持つサービスが 稼働 ● サービス毎にネットワークを構築 ・・・ ・・・ 4 アンダーレイネットワークの断片化 設計・構築にかかる時間の増加 運用コストの増加
- 6. SRv6の概要 ● Segment ID（SID） ○ Segment（パケットに対する指示）を表す ID ■ Locator: Functionが実行されるノードを示す情報 ■ Function: Functionを示す情報 ● Segment Routing Header（SRH） ○ IPv6のルーティング拡張ヘッダ ○ Segment List（通るべきSIDのリスト）やSegments Left（Segment List内の現在のSIDのオフセット）など が含まれている 6 Locator Function 128 bits
- 7. SRv6の概要 ● Well-known Functions ○ H.Encaps (SR Headend with Encapsulation in an SRv6 Policy): IPv6ヘッダ, SRHを用いてカプセル化し転送する 7 IPv6 SRH IPv4IPv4 Address SID List ... ... 192.0.2.1 2001:db8::1, …
- 8. SRv6の概要 ● Well-known Functions ○ End.DX4 (Decapsulation and IPv4 Cross-Connect): IPv6ヘッダ, SRHを外し、指定されたnexthopに転送する 8 IPv6 SRH IPv4 IPv4 SID nexthop ... ... 192.0.2.1に転送する 2001:db8::1 192.0.2.1
- 9. SRv6の概要 ● Well-known Functions ○ End.DT4 (Decapsulation and Specific IPv4 Table Lookup): IPv6ヘッダ, SRHを外し、指定されたルーティングテーブルを用いて転送する 9 IPv6 SRH IPv4 IPv4 SID table ... ... ルックアップして得られた nexthopに転送する destination nexthop ... ... Routing Table A 2001:db8::1 A 192.0.2.1 ...
- 10. LINEにおける現在の構成 10 DataCenter SRv6 Domain CLOS Network Network Node (SRv6 Node) Network Node (SRv6 Node) Router Switch Switch Switch Switch Switch Switch Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) VM Tenant A VM Tenant B VM Tenant A VM Tenant B VM Tenant C VM Tenant D NFV (FW, IDS, ...) Transit Node SRHの処理はせずIPv6のパケット転送のみを行う Hypervisor (HV) • VMからの通信 → encaps • VMへの通信 → decaps Network Node (NN) • 既存ネットワーク/Internet/テナント間・クラスタ間通信の境界 Network Node (SRv6 Node) SRv6 unaware device
- 11. LINEにおける現在の構成 11 DataCenter SRv6 Domain CLOS Network Network Node (SRv6 Node) Network Node (SRv6 Node) Router Switch Switch Switch Switch Switch Switch Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) VM Tenant A VM Tenant B VM Tenant A VM Tenant B VM Tenant C VM Tenant D NFV (FW, IDS, ...) Transit Node SRHの処理はせずIPv6のパケット転送のみを行う Hypervisor (HV) • VMからの通信 → encaps • VMへの通信 → decaps Network Node (NN) • 既存ネットワーク/Internet/テナント間・クラスタ間通信の境界 Network Node (SRv6 Node) SRv6 unaware device
- 12. LINEにおける現在の構成 12 DataCenter SRv6 Domain CLOS Network Network Node (SRv6 Node) Network Node (SRv6 Node) Router Switch Switch Switch Switch Switch Switch Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) VM Tenant A VM Tenant B VM Tenant A VM Tenant B VM Tenant C VM Tenant D NFV (FW, IDS, ...) Transit Node SRHの処理はせずIPv6のパケット転送のみを行う Hypervisor (HV) • VMからの通信 → encaps • VMへの通信 → decaps Network Node (NN) • 既存ネットワーク/Internet/テナント間・クラスタ間通信の境界 Network Node (SRv6 Node) SRv6 unaware device
- 13. LINEにおける現在の構成 13 DataCenter SRv6 Domain CLOS Network Network Node (SRv6 Node) Network Node (SRv6 Node) Router Switch Switch Switch Switch Switch Switch Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) Hypervisor (SRv6 Node) VM Tenant A VM Tenant B VM Tenant A VM Tenant B VM Tenant C VM Tenant D NFV (FW, IDS, ...) Transit Node SRHの処理はせずIPv6のパケット転送のみを行う Hypervisor (HV) • VMからの通信 → encaps • VMへの通信 → decaps Network Node (NN) • 既存ネットワーク/Internet/テナント間・クラスタ間通信の境界 Network Node (SRv6 Node) SRv6 unaware device
- 14. テナント内通信 14 DC SRv6 Domain CLOS Network Router Hypervisor1 C2::/96 NFV VRF1 Tenant A SID: C2::A VM A1 C1::/96 Network Node2 C1::/96 Network Node1 VRF1 Tenant A SID: C1::A VRF2 Tenant B SID: C2::B VM B1 Hypervisor2 C3::/96 VRF1 Tenant A SID: C3::A VM A2 VRF2 Tenant B SID: C3::B VM B2 VRF2 Tenant B SID: C1::B VRF1 Tenant A SID: C1::A VRF2 Tenant B SID: C1::B End.DX4 nexthop VRF1 H.Encaps dst = C3::A
- 15. テナント間通信 15 DC SRv6 Domain CLOS Network Router Hypervisor1 C2::/96 NFV VRF1 Tenant A SID: C2::A VM A1 C1::/96 Network Node2 C1::/96 Network Node1 VRF1 Tenant A SID: C1::A VRF2 Tenant B SID: C2::B VM B1 Hypervisor2 C3::/96 VRF1 Tenant A SID: C3::A VM A2 VRF2 Tenant B SID: C3::B VM B2 VRF2 Tenant B SID: C1::B VRF1 Tenant A SID: C1::A VRF2 Tenant B SID: C1::B H.Encaps dst = C1::A End.DX4 nexthop VRF1 H.Encaps dst = C3::B End.DX4 nexthop VRF2
- 16. クラスタ間通信 16 DC SRv6 Domain CLOS Network Router Hypervisor1 C2::/96 NFV VRF1 Tenant A SID: C2::A VM A1 C1::/96 Network Node2 C1::/96 Network Node1 VRF1 Tenant A SID: C1::A VRF2 Tenant B SID: C2::B VM B1 Hypervisor3 C4::/96 VRF3 Tenant C SID: C4::C VM C1 VRF4 Tenant D SID: C4::D VM D1 VRF2 Tenant B SID: C1::B VRF3 Tenant C SID: C1::C VRF4 Tenant D SID: C1::D H.Encaps dst = C1::A End.DX4 nexthop VRF1 H.Encaps dst = C4::D End.DX4 nexthop VRF4 Cluster A Cluster B
- 17. ネットワークノードの処理 17 Default VRF Project VRF Project VRF Cluster VRF NIC VLAN I/F NIC CLOSネットワーク側（ SRv6ネットワーク側） NFV側（IPv4ネットワーク側） Project VRF OpenStackの Project Network毎 OpenStackの Cluster毎
- 22. ネットワークノードの処理 22 Default VRF Cluster VRF NIC VLAN I/F NIC Project VRF FIBのルックアップ x3 FIBのルックアップ FIBのルックアップ
- 23. 問題点 23 ● ネットワーク構成 ○ LinuxのVRFの仕様やルーティングを駆使して頑張っているが、構成が複雑になる ● 性能問題 ○ ソフトウェアでのFIBのルックアップは比較的重いコストになる ○ 何度もFIBのルックアップを行うため、普通の通信よりも性能が出ない ○ ネットワークノードを模した性能測定では普通の IPv6転送の半分程度しか性能が出ない 普通のIPv6転送: 1.09Mpps (Single Flow, 64bytes) 既存の構成: 0.51Mpps (Single Flow, 64bytes)
- 24. データプレーンの実装方法 24 ● XDP ● DPDK（VPP） ● Hardware Switch ● … ● L4LBでの使用実績がある ● ARPやICMPの処理をカーネルに依頼することができる ● LinuxカーネルのFIBを利用することができ、既存の構成からの変更点を少なくする ことができる
- 25. XDP（eXpress Data Path）の概要 25 NetworkInterface Device Driver eBPF Program パケットの解析 パケットの書き換え nexthopのルックアップ パケットの処理の決定 ProtocolStack Network Interface eBPF Maps Transmit Redirect Pass userspace kernel ProgramProgram Drop
- 26. srevo : Faster SRv6 D-plane with XDP 26
- 27. srevoの概要 27 ● XDPを用いたSRv6のパケット処理基盤 ○ さまざまな最適化を行い、既存の方法よりも高速に SRv6のパケットを処理できる ● LINEの用途に特化させることでシンプルな実装 ○ 必要のない機能は実装を省いている ○ データプレーン自体は約 500行
- 28. srevoの全体像 userspace kernel controller encaps/decapsルールの追加・削除 NICへのeBPFプログラムのアタッチ 統計情報の提供 28 eBPF map encaps/decapsルールの保管 統計情報の保管 eBPF map eBPF program パケットのチェック・書き換え NIC eBPF program NIC ● ルールの参照 ● 統計情報の書き込み ● ルールの書き込み ● 統計情報の参照 decapsの流れ データの流れ encapsの流れ CLOSネットワーク側 NFV側
- 29. コントローラ周り userspace kernel controller encaps/decapsルールの追加・削除 NICへのeBPFプログラムのアタッチ 統計情報の提供 29 eBPF map encaps/decapsルールの保管 統計情報の保管 eBPF map eBPF program パケットのチェック・書き換え NIC eBPF program NIC ● ルールの参照 ● 統計情報の書き込み ● ルールの書き込み ● 統計情報の参照 decapsの流れ データの流れ encapsの流れ CLOSネットワーク側 NFV側
- 30. データプレーン周り userspace kernel controller encaps/decapsルールの追加・削除 NICへのeBPFプログラムのアタッチ 統計情報の提供 30 eBPF map encaps/decapsルールの保管 統計情報の保管 eBPF map eBPF program パケットのチェック・書き換え NIC eBPF program NIC ● ルールの参照 ● 統計情報の書き込み ● ルールの書き込み ● 統計情報の参照 decapsの流れ データの流れ encapsの流れ CLOSネットワーク側 NFV側
- 33. 最適化の方針 33 Default VRF Cluster VRF NIC VLAN I/F NIC Project VRF ① どんなパケットを dropさせるのか？ ② Cluster VRFはどれか？ ③ VLAN IDは何か？
- 34. データプレーンの処理 34 Default VRF Cluster VRF NIC VLAN I/F NIC Project VRF IPv4IPv6 SRH ① 処理すべきかチェック eBPF map
- 35. データプレーンの処理 35 Cluster VRF NIC VLAN I/F NIC IPv4IPv6 SRH ② eBPF mapのルックアップ eBPF map SID Cluster VRF ... ... VLAN I/F ... 2001:db8::1 A A Project VRF Default VRF
- 36. データプレーンの処理 36 Cluster VRF NIC VLAN I/F NIC IPv4 ③ End.DT4 eBPF map destination nexthop ... ... 192.0.2.1 ... Project VRF Default VRF
- 37. データプレーンの処理 37 Cluster VRF NIC VLAN I/F NIC IPv4 ④ 物理NICのルックアップ eBPF map VLAN I/F NIC ... ... A B Project VRF Default VRF
- 38. データプレーンの処理 38 Cluster VRF NIC VLAN I/F NIC ⑤ VLANヘッダの挿入 IPv4VLAN eBPF map Project VRF Default VRF
- 39. データプレーンの処理 39 Cluster VRF NIC VLAN I/F NIC ⑥ XDP_REDIRECT IPv4VLAN eBPF map Project VRF Default VRF
- 40. データプレーンの処理 40 Default VRF Cluster VRF NIC VLAN I/F NIC IPv4VLAN eBPF map FIBのルックアップeBPF mapのルックアップ x2 Project VRF
- 41. 最適化の内容 ● FIBのルックアップを減らすことが出来た ○ 5回 => 1回に減らすことができた ■ 代わりにeBPF mapを2回ルックアップする必要がある ● Project VRFを減らすことが出来た ○ VRFで頑張ってEnd.DT4していた部分が無くなったので余計な VRFが要らなくなった 41
- 42. Performance 42
- 43. 測定環境 ● Traffic Generator ○ Intel Xeon E5-2630 x2, 256GB ○ Intel XL710 40GbE 2port ○ Linux 3.10 ○ TRex v2.50 ● Encaps Node / Decaps Node ○ Intel Xeon Silver 4114 x2, 128GB ○ Mellanox MCX516A-CCAT 100GbE 2port ○ Linux 5.3 rc5 ● L3SW ○ Mellanox SN2700 ○ Cumulus Linux 3.5.3 43
- 44. 測定結果 44 1.71 [Mpps] 1.09 [Mpps] 0.51 [Mpps] Linuxを用いた実装に比べ 約3.4倍処理できている
- 45. 測定結果 45 13.0 [Mpps] 9.07 [Mpps] 3.63 [Mpps] Linuxを用いた実装に比べ 約3.6倍処理できている
- 46. XDPを選択してよかったこと ● Linuxカーネルの恩恵を受けることができる ○ ARPの処理やFIBの管理はカーネルに依頼することができる ● 必要な機能だけ実装するのでシンプルに保つことができる ○ データプレーンのプログラム自体は 500行程度 ○ 新しい機能が欲しくなれば実装すればよくなる ● 既存のコントロールプレーンを利用できる ○ 大規模な変更を加えることなく、今動いている SRv6の仕組みにそのまま乗っかれる ○ srevoが問題を起こした際のフォールバックとして既存の実装がそのまま利用できる 46
- 47. 苦労した点 ● デバッグがしづらい ○ tcpdump等のデバッグツールが使えないのでパケットが消えたときにすごく困る ● カーネルのすべての情報に触れるわけではない ○ FIBのルックアップをしても VLAN I/Fの情報しか取れなく、物理 NICとの対応関係は 自分で管理する必要がある 47
- 48. 今後の課題 ● デバッガブルなプログラムにする ○ 監視用のインターフェースの実装 ○ デバッグモードの実装 ● Service Function Chainingに対応する ○ 複数のSIDでencapsできるようにする ○ End.DT4以外のFunctionの実装（EndやEnd.Xなど） ● さらなる最適化 ○ decaps / encapsの処理の高速化 ○ ルールを格納するデータ構造の持ち方 48
- 49. 議論したいポイント ● この取り組み（DCNにSRv6を用いることやXDPを用いた最適化）について どう思いましたか？ ● SRv6を用いてどのような世界が実現できると嬉しいと思いますか？ ● データプレーンのコントローラにどんな機能があると嬉しいと思いますか？（デバッ グ機能など） 49