絶対に止まらないバックボーン
1 like7,108 views
［2018/10/24に開催した「Lead Initiative 2018 Technical TRACK」の講演資料です］ 情報システムのクラウド化やIoTの推進により、通信インフラには高いレベルの可用性や安定性が求められています。本講演では、全サービスの土台となるIIJバックボーンについて、どのように考えて設計、運用しているのかをお話しします。設計面では、設備の冗長化やDR対策の取り組みをはじめ、他のネットワーク事業者との接続方法などについてご紹介します。運用面では、機器の不具合やトラフィックの急激な変動といった迅速な判断や対応が求められる事象に対する対処方法について実例を交えてご紹介します。 講演者：渡邉 一平（サービス基盤本部 ネットワーク技術部 ネットワーク技術課）
絶対に止まらないバックボーン
- 3. 本日の講演内容 • IIJバックボーンの特徴 • IIJサービスをご利用いただく際には、必ずIIJバックボーンを経由し て通信しています • 普段は意識されないIIJバックボーンについて、規模や構造などの特 徴をご紹介いたします • IIJバックボーンの設計・運用 • IIJサービスを安心してご利用いただけるように、設備部門では多く の取り組みをしています • 設計面や運用面の取り組みについて、例を交えてご紹介いたします 3
- 6. IIJバックボーンの特徴
- 7. IIJバックボーンの全体像 • 国内 • 東京、大阪、名古屋を中心に 全国の主要都市に拠点を設け ている • 海外 • アメリカをはじめ、香港、シ ンガポール、ロンドンに拠点 を設けている • 拠点間接続 • 100Gbps回線を主体に、拠点 間を広帯域で接続している 7
- 8. IIJバックボーンのトラフィック動向 • ピークトラフィックは1Tbps • 動画コンテンツの高画質化や クラウド利用の増加によりト ラフィックは増加傾向にある • 今後もしばらくは今の増加傾 向のままトラフィックは推移 していくと予想している 8 0 200 400 600 800 1000 1200 2008年 2009年 2010年 2011年 2012年 2013年 2014年 2015年 2016年 2017年 2018年 IIJの契約者トラフィック 顧客からIIJ方向 IIJから顧客方向 (Gbps)
- 9. IIJバックボーンのネットワーク構造 • 機能を階層化し拡張性を高めたネットワーク • 多数の主要プロバイダと国内外で広帯域接続 • ネットワーク機器のマルチベンダ選定 • 拠点間接続のマルチキャリア選定、ルート分散 9
- 11. 主要プロバイダとの接続（ピアリング） • 国内主要プロバイダとは東京、大 阪で接続している • Tier1プロバイダや各国の主要プロ バイダとは、米国を中心にアジア やヨーロッパでも接続している • 100Gbps以上の広帯域で多数のプ ロバイダと接続している 11 Verizon AT&T Google Microsoft SoftBank KDDI OCN Level3 ｎtt.net Amazon Facebook ｔwitter IIJ バックボーン
- 13. IIJバックボーンの設計・運用
- 14. IIJバックボーンの設計・運用 設計 • ネットワーク構成の最適化 • 国内外主要プロバイダとの接続（ピアリング）強化 運用 • サービス障害発生時の対応力強化 • DoS攻撃への対策 14
- 16. 東日本大震災の影響 • 仙台データセンター向け回線 • 2011年当時の仙台データセンター向けバックボーン回線は、キャリ アと中継経路を分散していたが、2系統ともに東京の拠点と接続され ていた • 地震の影響で2系統とも回線断となり、仙台データセンターが一時的 に孤立した • 日米国際回線 • 保有していた帯域のうち1/3以上が、津波の影響で利用できなくなっ たが、ルート分散の効果で通信品質に影響を及ぼすことはなかった 16
- 17. 東日本大震災当時の国内バックボーン概略図 • 東日本の拠点は東京、西日本の拠点は大阪の複数拠点と異 ルート回線で接続していた • 東京、大阪で大規模災害が発生した場合に、東西の拠点間で 通信断が起きる可能性があった 17 名古屋エリア 札幌DC広島 福岡DC 仙台DC 大阪エリア 東京エリア 至アメリカ
- 18. 現在の国内バックボーン概略図 • 東日本の拠点は東京と名古屋、西日本の拠点は大阪と名古屋 の拠点と異ルート回線で接続している • 東京、大阪で大規模災害が発生した場合でも、名古屋を経由 した通信が可能となっている 18 大阪非通過 東京非通過 札幌DC 大阪エリア 東京エリア 至アメリカ 広島 福岡空港DC 仙台DC 名古屋エリア
- 19. 国内外主要プロバイダとの接続強化 • インターネットは複数の組織が集まって構成されており、通 信障害はいろいろな組織で起こる • 通信途中で経由する組織の数が少なければ、通信障害に遭遇 する可能性が下がる • 多くのプロバイダと接続することにより、多くの組織との通 信で経由する組織を減らすことができる • 途中経路で通信障害が発生した場合には、別の組織経由へ通 信を迂回し復旧しやすくできる 19
- 20. 通信障害の例 • 多数のプロバイダと接続していると、影響を受けにくい 20 IIJ プロバイダA プロバイダBお客様 IIJ プロバイダA プロバイダB お客様 障害 障害 多数プロバイダと接続 少数プロバイダと接続 通信 通信 通信 通信先 通信先
- 21. サービス障害発生時の対応力強化 • バックボーンは、ネットワーク上で提供されるすべてのサー ビスの共通基盤として利用される • バックボーンの可用性や信頼性が、各サービスの提供品質に つながっている • IoTやクラウド利用の増加により、バックボーンにはより高 い品質が求められる • 日々発生するインシデントの状況を管理し、適切な対応がと られているかを振り返り続けることで、バックボーンの可用 性、信頼性が向上するようにしている 21
- 22. インシデントの取り扱い • 全インシデントの振り返り • バックボーンの可用性、信頼性に影響を及ぼす可能性があるインシ デントについては、通信への影響有無にかかわらず管理している • インシデント解決までの対応内容を設備部門内でレビューし、優れ た対応や改善すべき対応の精査と、インシデント対応へのフィード バックを実施している • 障害対応訓練 • 過去のインシデントを参照し、各事象についてどのように対応すれ ば迅速に解決できるのか、検討と訓練を定期的に実施している • 手順ベースの対応だけでなく、臨機応変に対応できる人材の育成に 力を入れている 22
- 23. DoS攻撃への対策 • インターネットは世界中と通信が可能で便利だが、世界中か らサイバー攻撃を受ける可能性がある • バックボーンの広帯域化により、大量のトラフィックを流し てサービスを利用できない状態にするDoS攻撃が、大きな問 題となっている • DoS攻撃への対策をバックボーンとして準備し、影響を最小 限に抑えられるようにしている 23