2021年度ShowNetの作り方・コンセプトと設計思想_ShowNet2021 seminar

1 Copyright © Interop Tokyo 2021 ShowNet NOC Team
Interop Tokyo ShowNet 2021
Face the Future
2021年度ShowNetの
作り方・コンセプトと設計思想
中村遼（東京大学）
上野幸杜（NTTコミュニケーションズ）
廣瀬真人（NTTコミュニケーションズ）
鎌田徹平（シスコシステムズ）
Interop Tokyo 2021 ShowNet NOCチームメンバ L2L3担当

Interop Tokyo
• 世界最大のネットワーク機器と技術の展示会
• 1986年米国モントレで開催されたカンファレンスイベント
「TCP/IP Vendors Workshop」が始まり
• 日本では毎年6月に幕張メッセで開催
• 来場者約14万人

• “I know it works because I saw it at Interop”
• 産業界、学術、研究機関からトップエンジニアが集まり、
Interopで構築される世界最大のデモンストレーションネットワーク
• 2年後、３年後に業界に浸透する技術に先駆けて挑戦
• 様々な技術の相互接続性検証の場
• 最新技術を実装しながら安定した
サービスを出展ブース・来場者に提供
• 出展社や来場者へのネットワーク提供
• “Live” Network

ShowNetとは？
ShowNetでの取り組み商用化サービスの動き
1990年代 ATM
メトロイーサネット
ATMメガリンク
広域イーサネットサービス
2000年代 ADSL
FTTH
CGN(キャリアグレードNAT)
SOC(Security)
ADSLサービス(YBB等）
光接続サービス（USEN, B-フレッツ等）
CGN(キャリアグレードNAT)
セキュリティインシデントの増加
2010年代 100GbE
OpenFlow SDN
DCファブリック
Service Chaining
100GbEサービス
SDN/NFV
DCネットワークファブリック
ネットワークスライシング

ネットワークの規模
• コントリビューション機器/製品/サービス台数：約1500台
• 動員数（のべ）：368名
• NOCチームメンバー：30名
• STM/CTM ：33名
• コントリビュータ：305名
• UTP総延長：約21.0km 光ファイバー総延長：約5.5km
• NOCラック及びPod総電気容量 100V:約140.0kW 200V:約66.0kW
• 内訳(NOC 100V:約115.0kW 200V:約62.0kW、Pod 100V:約25.0kW 200V約4.0kW)
• NOCラック及びPod総コンセント数（100V,200V含む):約240個
• 内訳(NOC 約190個、Pod 約50個)

7 Copyright © Interop Tokyo 2021 ShowNet NOC Team
ShowNet2021
バックボーン

の、前に…
• ShowNetバックボーンの変遷
• 実は毎年、前回よりもさらに”先”を目指して設計しています
• 過去を知ると、今年のチャンレンジがさらに面白く！

ShowNet Backboneにおける柔軟性への挑戦
• Software-Defined Networking、そしてIP経路制御
• 2016年まではSDN/NFV: OpenFlow, Virtual Appliance
• 2017年、2018年はIP経路制御によるサービスチェイン

ShowNet 2019
• SRv6によるService Chaining
• IPv6 Segment Routing
• SR HeaderでSource Routingを実現
• このSRv6でユーザトラフィックを任意のネットワーク
サービスへ転送するデモンストレーションを実施

動きました。が…
• SRv6のコントロールプレーンはまだまだだった
• 当時BGPベースの提案が出はじめた段階
• 実際の機器への実装はまだだった
• ShowNet 2019では手動設定で構築
• ShowNetの構築で多くの課題を確認
• IETFなど業界へフィードバック
IETF 106 Singapore, spring wgにおいて
ShowNetで得られたSRv6 Service Chainingに
関する課題を共有

ShowNet 2021: SR-based Backbone
• SR-MPLSによる
柔軟なトラフィック制御
• Flex Algoによる優先制御
• Egress Peer Engineeringによる
計測実験
• 世界最先端・最大規模の
SRv6相互接続性検証
• SR-MPLS網とSRv6網の相互接続
• 400Gbps、Flex Ethernetによる
200Gbpsなどの広帯域リンク

ShowNet 2021: SR-based Backbone
• SR-MPLSによる
柔軟なトラフィック制御
• Flex Algoによる優先制御
• Egress Peer Engineeringによる
計測実験
• 世界最先端・最大規模の
SRv6相互接続性検証
• SR-MPLS網とSRv6網の相互接続
• 400Gbps、Flex Ethernetによる
200Gbpsなどの広帯域リンク
ShowNet 2019からの進化: コント
ロールプレーンはルーティングプ
ロトコルを使用した自動設定

今年はShowNet全体がL3VPNに
• L3VPNはSR-MPLS / SRv6に期待さ
れるユースケースの一つ
• 向こう5-10年のSR関連技術の普
及を見据え、ShowNetでもバッ
クボーン全体をL3VPN化
• アンダーレイをIS-ISで構築し、
VPNはBGPで制御
• 来場者・出展社のトラフィック
は全てこのL3VPNを通る
ptx10001-36mr
ne8000-m14
asr9904
c8201
ncs55a1
ne8000-f1a
mx204
Provider Edge
Provider Edge
asr9902
ne8000-x4

SR-MPLSによる柔軟なトラフィック制御
• Flex-Algoによる優先制御
• 広帯域の必要なトラフィックを
選択的に400Gbps, FlexEのリンクへ
• Egress Peer Engineering
• SRを用いて任意のパケットを
任意のピアASへ送信
• これを用いた計測実験を実施中
ptx10001-36mr
asr9902
ne8000-x4
ne8000-m14
asr9904
c8201
ncs55a1
ne8000-f1a
4K映像
トラフィック
EPEによる
計測トラフィック
SR-MPLSバックボーン
mx204

IGP Flex-Algorithm: draft-ietf-lsr-flex-algo
• ISIS Flexible Algorithm Definition Sub-TLVを用いて仮想的に
ISISを分割、制御する方式
• Prefix SIDにAlgoをつけて広告
• 各ノードはどのAlgoに所属して
いるか周りのノードに広告
デフォルト
IGP面
Algo 128の
IGP面

ShowNet 2021におけるFlexAlgoの利用
• ne8000-x4.noc, ne8000-m14.noc
c8201.nocの3台がFlexalgo(128)
に所属していることを広告
• 広帯域Traffic (8k非圧縮映像など)
をFlexalgo(128)上に載せることで
優先制御を実施
ptx10001-36mr
asr9902
ne8000-x4
ne8000-m14
asr9904
c8201
ncs55a1
ne8000-f1a
4K映像
トラフィック
SR-MPLSによるバックボーン

SR-MPLS Egress Peer Engineering
• パケットをLongest Prefix Matchによらずに狙ったピアへ
• draft-ietf-spring-segment-routing-central-epe
• ASBRがBGP PeerごとにSRのセグメント(ラベル)をアサイン
• そのセグメント行きのパケットは、そのピアへ送信される
• これを利用して送信方向のトラフィックを制御できる
AS 64512 AS 64520
AS 64521
Packet
24011

SR-MPLS EPEを使った計測実験
• EPEで各AS経由のインターネット全体に対するRTTを計測
• ASごとにどのような違いがあるのか？
• 計測はBGP-LSを用いて自動化
• Peerが上がり、
ラベルが広告されると、
自動で計測をスタート
• draft-ietf-idr-bgpls-
segment-routing-epe-19
ne8000-x4 mx204
The Internet
asr9902
cRPDを使ったBGP-LSによる
Peering Segmentの受信
計測パケット
crpd EPE計測サーバ

SR-MPLS網とSRv6網の相互接続
• インターワークゲートウェイにて、
SR-MPLSのラベルとSRv6のSIDを相互変換
ne8000-m14
asr9904
fx201
fx201 mx10003
n936000cd-gx
SRv6網
（サービス・DC）
SR-MPLS / SRv6 相互変換を行う
インターワークゲートウェイ
SR-MPLS網
（バックボーン）
ne8000-f1a ncs55a1
ne8000-x4 asr9902 ptx1001-mr36

コントロールプレーンのシングルスタック化
• 構築・運用負荷軽減のため、コントロールプレーンで
使用するL3プロトコルをシングルスタック化
ne8000-m14
asr9904
fx201
fx201
mx10003
n936000cd-gx
ne8000-f1a ncs55a1
ne8000-x4 asr9902 ptx1001-mr36
SRv6網のコントロールプ
レーンは
IPv6 link-local only
SR-MPLS網のコントロールプ
レーンはIPv4 only

SRv6相互接続検証
• SIDの配布や経路制御をIS-IS/BGPで実施
• Cisco: ASR9904, Nexus 93600cd-gx
• 古河電工: FX201
• Huawei: NE8000-M14
• Juniper Networks: MX10003
• SRv6 L3VPNのオーバーレイは
End.DT4/6のFunctionで構成
• 今回の4社5機種構成でSRv6による
L3VPNを実運用したのはおそらく世界初
• I-Dの解釈違いなどの解消のため、
コントリビュータ各社が実装をアップデートした結果、
相互接続が実現
ne8000-m14
asr9904
fx201
fx201 mx10003
n936000cd-gx
SRv6によるネットワーク

IS-IS Extension for SRv6:
draft-ietf-lsr-isis-srv6-extensions
• ISISでSRv6のLocator情報などを広告するのに使用
• 主に以下のTLVを拡張
• IS-IS Router CAPABILITY TLV (242) : 自身の Capability を広告
• IPv6 TE Router ID Sub-TLV (12) : IPv6 TE Router ID (16 octets)
• SRv6 Capabilities Sub-TLV (25) : SRv6 Capabilityの有無
• Node MSD Sub-TLV (23) : Maximum SID Depth (MSD)
• SRv6 Locator TLV (27) : Locator と Endpoint Function の SIDを広告
• SRv6 End SID Sub-TLV (5): Endpoint Function とそれに紐付く SIDを広告
• 上記がすべてのTLVではないですが、ShowNetで今回利用し
たTLVに関しては問題なく接続できました

課題が多かったのはBGP…
draft-ietf-bess-srv6-services
• BGP Prefix-SID TLVにてSIDの広告を行うが、Draft上変更
が非常に多い
• もともと使っていたType-4 TLVはすでにdeprecated
• ReferenceのRFCが5549から8950に変更
• SRv6 SID Structure Sub-Sub-TLV という新しいTLVが登場、これ
以前とのインオペが取れず
• Structure Sub-Sub-TLVに対応していても解釈の違い
• 結果として、全ベンダがHotstage中にVersion up
• 無事にサービスの疎通を確認

SRv6 SID in ShowNet2021
• SRv6 SID Design: 2001:3e8:6:deviceID:function::/64
RP/0/RSP0/CPU0:asr9904.noc#show segment-routing srv6 sid
Tue Apr 13 14:24:57.475 JST
*** Locator: 'shownet' ***
SID Behavior Context Owner State RW
-------------------------- ---------------- ------------------------------ ------------------ ----- --
2001:3e8:6:5:1:: End (PSP) 'default':1 sidmgr InUse Y
2001:3e8:6:5:11:: End.OP 'default' sidmgr InUse Y
2001:3e8:6:5:40:: End.DT4 'vrf-global' bgp-290 InUse Y
2001:3e8:6:5:41:: End.X (PSP) [Te0/1/0/0.212, Link-Local] isis-291 InUse Y
2001:3e8:6:5:42:: End.X (PSP) [Te0/1/0/1.218, Link-Local] isis-291 InUse Y
2001:3e8:6:5:43:: End.DT6 'vrf-global' bgp-290 InUse Y
2001:3e8:6:5:44:: End.X (PSP) [Hu0/0/0/3.208, Link-Local] isis-291 InUse Y
2001:3e8:6:5:45:: End.X (PSP) [Hu0/0/0/5.214, Link-Local] isis-291 InUse Y
2001:3e8:6:5:46:: End.DT6 'vrf-global-srv6' bgp-290 InUse Y
2001:3e8:6:5:47:: End.DT4 'vrf-private' bgp-290 InUse Y
2001:3e8:6:5:48:: End.DT4 'vrf-super-ocn' bgp-290 InUse Y
2001:3e8:6:5:49:: End.DT4 'vrf-cloud' bgp-290 InUse Y
2001:3e8:6:5:4a:: End.DT6 'vrf-private' bgp-290 InUse Y
2001:3e8:6:5:4b:: End.DT6 'vrf-super-ocn' bgp-290 InUse Y
2001:3e8:6:5:4c:: End.DT6 'vrf-private-srv6' bgp-290 InUse Y
2001:3e8:6:5:4d:: End.DT6 'vrf-super-ocn-srv6' bgp-290 InUse Y

まとめ
• SR-MPLSはコントロールプレーンを含め、マルチベンダで相互
接続性を確保しながらデプロイ可能な段階に到達、FlexAlgoや
EPEなどAdvanced featureの実装が進む
• SRv6も多様な機器に実装されつつあるが、SR-MPLSに比べると
コントロールプレーンは発展途上
• ShowNetでは、時代を先取りし、SR-MPLS / SRv6の両方で
コントロールプレーンを含めたL3VPNをマルチベンダで実現
• 各種検証・実験のベースとして使用
• 会場ネットワークとして提供

ShowNet NOCブースで、
ぜひ今実際に動いている機器をご覧ください

Interop Tokyo ShowNet
• 未来のネットワークの1つのカタチ
• 10年先のインターネットをつくる
• そのモデルを示すデモと検証
• そして業界へのフィードバック
• 3ホール3A01 ShowNetブースで、
実際に動いているところを
ぜひご覧ください

shownet.conf_開催決定
• shownet.conf_とは
• 2017年から開催している、その年に構築したShowNetについ
てNOCチームメンバーが解説するカンファレンス
• 2021年は下記の日程でオンライン開催
• 4月22日 shownet.conf_mini
• https://www.interop.jp/shownet/point/
• 6月23日 shownet.conf_
• https://f2ff.jp/event/int-2021-conf

2021年度ShowNetの作り方・コンセプトと設計思想_ShowNet2021 seminar

More Related Content

What's hot (20)

Similar to 2021年度ShowNetの作り方・コンセプトと設計思想_ShowNet2021 seminar (20)

More from Interop Tokyo ShowNet NOC Team (20)

2021年度ShowNetの作り方・コンセプトと設計思想_ShowNet2021 seminar