【NGINXセミナー】 Ingressを使ってマイクロサービスの運用を楽にする方法
- 1. マイクロサービスアーキテクチャにおける NGINXの役割 〜 Ingressを使ってマイクロサービスの運用を楽にする方法 〜 F5ネットワークスジャパン合同会社 ソリューションアーキテクト 小峰 洋一
- 4. ©2022 F5 4 従来型アプリケーション 一般 UI 画像解析 検索 課金 支払 通知 予約 管理者 UI マイクロサービス 全機能 Ruby Go Python Ruby Scala JavaScript Rust TypeScript Python 巨大な1つのアプリケーション 機能ごとに複数言語のアプリケーションで構成
- 5. ©2022 F5 5 モダンアプリケーションには最新アーキテクチャが必要 ...ダイナミックに 3層構造、J2EEスタイルのアーキテクチャ 高級言語や共通ライブラリ 持続的なデプロイメント 固定された静的インフラ 大規模な機能リリース サイロ化したチーム(開発、テスト、運用) マイクロサービス 軽量 (REST、JSON) APIコール Dockerコンテナ、Kubernetes 自動化、コード化インフラストラクチャ 継続的デリバリー 様々な言語でのDevOps カルチャー モノリシックから.. 開発効率重視のプログラミング言語を選択して開発、迅速なアップデート、自動化
- 7. ©2022 F5 7 NGINX Ingress Controller ロードバランサー, キャッシュ, API Gateway, WAF オールインワンソフトウェア アプリケーションをコントロールし保護する • NGINX Ingress Controller 大規模アプリケーショントラフィックを実現 • JWT認証: OpenID接続を介して承認されたユーザーを検証する • NGINX App Protect: F5 WAFに基づいて開発された最新のアプリセキュリティ ソリューション Ingress
- 8. ©2022 F5 8 Source: Datadog Container Report 2021 The Top Technologies Running on Docker Top Ingress Providers CNCF Survey Source: CNCF Survey 2020 コンテナプラットフォームに最適なNGINX
- 9. ©2022 F5 9 NGINX Ingress Controller ユースケース L7リクエストルーティング トラフィック分割 レート制限 JWT認証 Web Application Firewall NGINX Snippets URLパス, リクエストメソッド A|B テスト, Canaryリリース 不正クライアント対策 認証機能をNGINXにオフロード アプリケーション脆弱性対策 既存のNGINXコンフィグを適用
- 10. ©2022 F5 10 Microservices July 2023 7/20 セミナー 「マイクロサービスにおけるNGINXの役割 ～Ingressを使ってマイクロサービスの運用 を楽にする方法～」 日時：7月20日（木）14時～15時 ラーニングコンテンツ （期間：7/20～8/20） Webinar、ブログ、ハンズオンラボの３つの 要素で構成されたコンテンツで、マイクロ サービスの運用を始めるためのエッセンスを 段階的に学ぶことができます。 Unit 1：アプリケーション構成ガイドライン”Twelve-Factor App”による マイクロサービス・アーキテクチャの適用 Unit 2：コンテナ環境での安全なシークレット管理方法 Unit 3：自動化でマイクロサービスのデプロイを加速させる Unit 4：Observabilityでマイクロサービスのカオスと複雑性を管理する 登録はこちら：https://www.nginx.co.jp/c/microservices-march-2023/
- 12. ©2022 F5 12 k8s環境におけるNGINXの３つのメリット 詳細なL7LBはNGINX Ingressで実行 ネットワークがブロッカーにならない、理想的なCICDの実現 L7LB 柔軟な通信制御、認証、レート制限、セキュリティ等を実行 シンプルである事 ＝ ミッションクリティカルである事 API GW 構成や既存開発プロセスを変えずにWAFを適用 シフトレフトやDevSecOpsを実現し、セキュリティを皆で意識 セキュリティがブロッカーにならない、理想的なCICDの実現 セキュリティ
- 13. ©2022 F5 13 アプリケーションの一部となる L7LB これまでの運用 モノリシック なアプリ L7 LB Attackers User モノリシック なアプリ L7LB設定 お願いします 2週間後なら可能だよ ・・・ インフラ アプリ L7LB
- 14. ©2022 F5 14 apiVersion: networking.k8s.io/v1beta1 kind: Ingress metadata: name: www-nginx-ingress spec: ingressClassName: nginx rules: - host: www.nginx.com http: paths: - path: / backend: serviceName: my-app-prod servicePort: 80 Cluster Attackers User Cluster L4 LB L7 LB L7 LB Ingress Ingress インフラ アプリ こっちでL7LB設定 やりますよ！ 開発チームが管理 IaCとしてCICDに組み込む アプリケーションの一部となる L7LB これからの運用 ネットワーク（セキュリティも）がブロッカーに ならない理想的な CICD の実現 クラウド LB の制限に依存しない、マルチクラウド アプリケーションの構築 L7LB
- 15. ©2022 F5 15 OpenShift Router と NGINX Ingress Controller OpenShift Cluster pod 外部ネットワークからの攻撃 シンプルな HTTP/HTTPS PATH Routing シンプルなMetrics ・Prometheus pod Ingress Controller OpenShift Router NGINX Ingress ControllerはOpenShift Router が提供する機能に加え 高度な通信制御機能・開発元によるパッチ提供が可能です。 OpenShift Router NGINX Ingress Controller シンプルなRate Limit 柔軟な権限管理 (VS/VSR/Policy) 柔軟な通信制御 ヘッダー・Cookie TCP/UDP対応 詳細なMetrics ・OpenTracing OIDC・JWTに よる通信制御 WAF/L7 DoS対策による高度 な防御 (※追加モジュール) Circuit Breaker/帯域制御な ど柔軟な流量制御 高度な通信制御機能 高度なセキュリティ機能 製品開発メーカーのサポート・ セキュリティパッチの提供 メーカーサポート 実績 K8Sに一番使われている Ingress Controller 消費リソースが少なく 安定動作・高速処理 L7LB
- 16. ©2022 F5 16 NGINXユーザ会での共同提案： RedHat様 NGINXはOpenShift環境で様々な形でご活用いただ くことが可能です。OpenShiftを提案する際に、 エンタープライズレベルでのミッションクリ ティカルな環境であれば、Red Hatとして OpenShift Routerではなく、NGINX Ingress Controllerを紹介することもある とのことです。OpenShift上に、NGINX Ingress ControllerとWAFモジュールを組み合わせることで セキュアなコンテナ環境を実現したAudi様の事例 (Red Hat/NGINX)もございます。 L7LB
- 17. ©2022 F5 17 NGINXユーザ会での共同提案： Retty様 ALBの制限（正規表現による振り分け） が課題となり、ALB単独構成を断念 ↓ 高度で柔軟な通信制御はNGINX Ingress Controllerを活用して実現 L7LB
- 18. ©2022 F5 18 EKSでAWSが提供するLBを利用した場合、URLの Rewriteなど対応しておりません。そこでNGINX Ingress Controller を活用し柔軟な制御を行うことが 可能となります。さらに、EKSではAWSが提供するApp Meshに加えNGINX Service Meshが利用可能であること をご紹介いただきました。 NGINXユーザ会での共同提案： AWS様 L7LB
- 19. ©2022 F5 19 AWS EKS環境での ALB vs NLB/NGINX L7LB https://aws.amazon.com/jp/blogs/opensource/network-load-balancer-nginx-ingress-controller-eks/
- 20. ©2022 F5 20 k8s 環境での WAF NGINX App Protect WAF機能（＝ NAP） • 世界中で実績が豊富なF5製WAFを移植 • 構成変更不要で、IngressでWAFを実行可能 • 前段のLB（BIG-IP等）からL7LBやセキュリティ 設定をNGINX Ingressに移すことで、ネット ワークやセキュリティがブロッカーにならない理 想的なCICDサイクルを実現 • OWASP Top 10 シグネチャ & CVEs • メタ文字チェック • HTTPプロトコル標準 • Bot通信検知 • 不許可ファイルへのアクセス検知 (bin, cgi, cmd, com, dll, exe, msi, sys, shtm, shtml, stm等) • セキュリティスコア検知 • Cookie改ざん • JSON & XML文法 • Data Guard & 重要パラメータ add-on セキュリティ
- 21. ©2022 F5 21 理想的なインシデント対応 脆弱性が 出たぞー！ アプリが30個ある・・ 使っているアプリは・・ 該当する設定か調べて・・ それぞれ個別チューニング なので一括は難しく・・ 優先度はこうで・・・ 徹夜で対応して、なんとか５日以内 に対応完了目標で頑張ります・・・ Sec or Ops Dev ・・・ 何かやってあげたいが 何やったらいいかわからない Log4j脆弱性対応 即 日 完 了！ 皆さん、大好きなLog4jの脆弱性 です。 きっとほとんど使っているのでは ないでしょうか。 今一度皆さんのアプリを見直して ください。 該当する方は即対応してください。 詳細やチューニングはこちらです。 明日の10時、Git確認しますので、対応不 要でもコメントは残しておいてください。 それでは皆さん、 お願いします！ D e v はーい、やっておきます！ Sec Ops セキュリティ
- 22. ©2022 F5 22 NGINXをベースにした API GW 商用製品 Google Cloud Endpoints Axway IBM DataPower Kong Red Hat 3scale API GW
- 23. ©2022 F5 23 k8s Cluster pod 外部ネットワークからの攻撃 前段LBへの制限 冗長化の方法が 限られている 設定・構成が複雑で 管理が難しい pod 他社 API GW API GWとしての NGINX Ingress Controller DBが必要 k8s外にサーバ必要 APIGWに求められる多くの機能を実装することが可能なため、構成をシンプルに、運用が容易な環境を実現できる Ingress Controller as API GW = ミッションクリティカルなAPI GW 柔軟な権限管理 (VS/VSR/Policy) 柔軟な通信制御 ヘッダー・Cookie TCP/UDP対応 詳細なMetrics ・OpenTracing OIDC・JWTに よる通信制御 WAF/L7 DoS対策による高度 な防御 (※追加モジュール) Circuit Breaker/帯域制御な ど柔軟な流量制御 高度な通信制御機能 高度なセキュリティ機能 製品開発メーカーのサポート・ セキュリティパッチの提供 メーカーサポート 実績 K8Sに一番使われている Ingress Controller 消費リソースが少なく 安定動作・高速処理 API GW 最もシンプルなAPI GWとしてのNGINX
- 25. ©2022 F5 25 NGINX Plus Ingress Controller 対応機能 補足 基本機能 対応プロトコル HTTP / HTTPS / WebSocket / gRPC TCP/UDPの制御も可能 ロードバランシング 可能 コンテンツキャッシュ 可能 URL Routing 様々な条件の指定、転送が可能。 Kubernetesでは、Serviceや外部 サービスへの転送が可能 URL rewrite 柔軟な制御が可能 ヘッダー制御 サーバサイド・クライアントサイドの 柔軟な制御が可能 セッションパーシステンス 可能 外部サービス転送 可能 Canaly / B|G / Version 可能。新旧Versionの制御に 様々なパラメータを用いた 条件分岐、通信制御が可能 Security クライアント証明書認証 可能 WAF 可能 追加モジュールが必要 L7 Dos 可能 追加モジュールが必要 IPアドレス制御 可能 GeoIP 可能 NGINX Support対象 3rd Partyモジュール Rate Limit 可能 Request Limit 可能 Connection Limit 可能 認証・認可 JWT Validation 可能 OIDC RP 可能 API Key 可能 NGINX Ingress Controller APIGW 提供可能機能（１） API GW
- 26. ©2022 F5 26 NGINX Plus Ingress Controller 対応機能 補足 ログ・ モニタリング ログ 様々な条件、様々なパラメータを ログに出力することが可能。 Syslog転送可能 Prometheus 可能 Open Tracing 可能 Data Dog 可能 New Relic 可能 拡張機能 NGINX Service Mesh連携 可能 mTLS、Ingress、Egress等 柔軟な制御が可能 APIによる分散対象の動的制御 可能 LUA Script 可能 CMD Parameter、 Teamplateの操作が必要 JS Script 可能 CMD Parameter、 Teamplateの操作が必要 API 管理機能 Developer Portal NGINX API Managemet 構成利用時、利用可能 追加製品が必要 OAS (OpenAPI Specification) NGINX API Managemet 構成利用時、利用可能 追加製品が必要 Quota 不可 課金管理 不可 高度な制御 複数のインスタンスで認証 ステータスを同期 可能 複数のインスタンスでlimit ステータスを同期 可能 複数のインスタンスでセッション パーシステンスステータスを同期 可能 NGINX Ingress Controller APIGW 提供可能機能（２） API GW
- 29. ©2022 F5 29 NGINX Security Monitoring • SecOpsやWAFチーム向け、セキュリティ イベント監視ダッシュボード • 管理しているすべてのNGINX App Protect のイベントを監視 • セキュリティイベントをフィルタリングし 、上位の違反や驚異に関する情報を表示 • Bot関連の驚異も同じダッシュボードに表示 • リクエストブロック時に発行されるサポー トIDから特定のリクエストを特定し、詳細 な原因を瞬時に把握 • 追加ライセンス無しでご利用頂けます
- 30. ©2022 F5 30 コーディング規約作成 セキュリティ基礎知識 トレーニング（使い方、チューニング） 全員がセキュリティを意識するDevSecOps Sec Dev Dev Sec D e v xxの攻撃がきてるね ○○画面ですね。このパラ メータ、狙われてますね。 チューニングはどう しましょう？ テンプレートそのまま で、△△シグネチャあ ててみて わかりました 適用前に一応 レビューさせて わかりました プルリク送っておきます WAFを共通のツールとして活用し 共通のダッシュボードと共通言語で迅速に対策 S S Ops WAFの有無でインフラ 構成変わらない？ もうWAFの面倒見なく ていいの？！ 寂しいけど・・・ やったね！！
- 32. ©2022 F5 32 APIを対象とした攻撃はますます増加するが・・・ 76% パフォーマンス向上を理由に セキュリティ機能を「オフ」にすると答えた ITリーダー 41% 12ヶ月以内にAPIに関する セキュリティインシデントが 発生した組織 SOURCES: Predicts 2018: Infrastructure Protection (Gartner, 2018); “API Attacks Soar Amid Growing Application Surface Area” (Dark Reading, 2022); State of Application Strategy Report (F5, 2022)
- 33. ©2022 F5 33 NGINX API ゲートウェイのパフォーマンス vs Kong , AWS APIGW NGINXをAPIゲートウェイとして動作させた場合、レイテンシを抑え通信の制御が可能
- 34. ©2022 F5 34 NGINX App Protect WAF のパフォーマンス vs WAFなし Latency (ms) NGINX App Protect WAF vs No Security latency distribution Lower is better Source: Gigaom 2021 WAF機能を導入した際にも、通信遅延を限りなく少なく抑えることが可能 ほぼ遅延の値に差がない
- 35. ©2022 F5 35 NGINX App Protect WAF のパフォーマンス vs AWS vs Azure NGINX App Protect WAF vs AWS WAF vs Azure WAF latency distribution その他のWAFに比べ最もレイテンシが少ない、高速なWAF
- 36. ©2022 F5 36 柔軟に拡張できるパフォーマンス NGINXはCPU Core数に応じて通信の並列処理を実施します CPUコア数に応じてパフォーマンスが向上します 0 10000 20000 30000 40000 50000 60000 0 200000 400000 600000 800000 1000000 1200000 RPS ECC 2 CPU cores 4 GB RAM 4 CPU cores 4 GB RAM 8 CPU cores 4 GB RAM 16 CPU cores 4 GB RAM 32 CPU cores 8 GB RAM HARDWARE SPECS EXPECTED PERFORMANCE 2 CPU cores 4 GB RAM 2x1 GbE NIC 90,000 RPS 4,500 SSL TPS (ECC) 1 Gbps throughput 4 CPU cores 4 GB RAM 2x40 GbE NIC 175,000 RPS 8,500 SSL TPS (ECC) 5 Gbps throughput 8 CPU cores 4 GB RAM 2x40 GbE NIC 350,000 RPS 16,000 SSL TPS (ECC) 40 Gbps throughput 16 CPU cores 4 GB RAM 2x40 GbE NIC 650,000 RPS 30,000 SSL TPS (ECC) 40 Gbps throughput 32 CPU cores 8 GB RAM 4x40 GbE NIC 1,000,000 RPS 52,000 SSL TPS (ECC) 70 Gbps throughput 44 CPU cores 16 GB RAM 4x40 GbE NIC 1,200,000 RPS 64,000 SSL TPS (ECC) 70 Gbps throughput https://www.nginx.com/resources/datasheets/nginx-plus-sizing-guide/ https://www.nginx.com/blog/nginx-plus-sizing-guide-how-we-tested/
- 37. ©2022 F5 37 NGINX Ingress Controller 便利な機能とデモ
- 38. ©2022 F5 38 デモ環境 自PCにk8sを構築し、下記をデプロイ NGINX Ingress Controller/App Protect デモ内容 (1) Blue-Greenデプロイメント （実際はカナリーリリース） (2) 流量制限 (3) APIセキュリティ
- 39. ©2022 F5 39 CRD – Custom Resource Definition Custom Resource Definition – CRD NGINX – VirtualServer/VirtualServerRoute and etc Contour – HTTPProxy and etc Traefik – IngressRoute and etc ミスを発生 させやすい
- 40. ©2022 F5 40 CRD – 共同管理の難しさ Coffeeアプリ （Coffeeチーム） Teaアプリ （Teaチーム） Namespace: Cafe CoffeeチームとTeaチームは、同じ Ingressリソースでお互いの変更を 上書きしてしまう可能性がある Coffee Tea Cafe Project Blue-Greenテスト やりたいな・・ レートリミット 変更しなきゃ Ingress
- 41. ©2022 F5 41 CRD – VirtualServer/VirtualServerRoute Namespace: cafe KIC VirtualServerRoute VirtualServerRoute VirtualServer / VirtualServerRoute リソースは、設定ファイルの分割、高度な通信制御など、 Ingressリソースではサポートされていない機能を実現します Policy • ACL • Rate limting • MTLS • JWT Validation • Advance Routing • Persistency • Traffic Splitting • WAF • etc Policy • ACL • Rate limting • MTLS • JWT Validation • Advance Routing • Persistency • Traffic Splitting • WAF • etc Service: coffee Service: tea VirtualServer route: coffee route: tea routes: Namespace: coffee Namespace: tea • 容易な設定 • エラーが発生しにくい • 詳細なコントロール インフラチームが設定管理 アプリ側の各チームが設定管理
- 42. ©2022 F5 42 事例 – NRI様（NGINXユーザ会より） NGINXを活用することで インフラチームの負荷を軽減 K8s上のアプリへの振り分け はやはりNGINXがベスト NICのCRDにより、 適材適所な管理を実現 組織の壁を考慮した理 想的な運用スタイル 理想的なバージョンアップ方法 BIG-IPが活躍するところ アプリのBlueGreen等 はNGINXが実現可能
- 43. ©2022 F5 43 事例 – NRI様（NGINXユーザ会より） サポートの重要性についてお話頂いた 自分達だけで解決できますか？ やはりサポートに任せましょう 最終的にはバグ等ではなく、NGINXとその後ろにあるアプリサーバでのKeep-Alive設定値の不一致によるもの F5サポートはそういうところもしっかりと見つけてくれてアドバイスすることが可能
- 44. ©2022 F5 44 トラフィック 分割ポリシー ターゲット条件 指定可能な条件例 • header • cookie • argument • variable variableの例: $args, $http2, $https, $remote_addr, $remote_port, $query_string, $request, $request_body, $request_uri, $request_method, $scheme デモ（１） Blue-Greenデプロイメント Blue-Greenデプロイメント ABテスト カナリアリリース
- 45. ©2022 F5 45 デモ（２） 流量制限 単純なレートリミット Path: / RateLimit: 5r/s, burst Path: /coffee RateLimit: 1r/s Path: /tea RateLimit: 無し burst値ありのレートリミット バースト値（burst）はキューのサイズを定義 レート制限を超えた数のリクエストを処理することができる キューがいっぱいになるとそれ以降のリクエストはエラーとなる
- 46. ©2022 F5 46 デモ（３） APIセキュリティ OpenAPI 定義ファイル WAFポリシー OpenAPI定義ファイルを指定するだけで、強力なホワイト リスト型セキュリティ & OWASP TOP10等への対応が可能
- 47. ©2022 F5 47 お知らせ
- 48. ©2022 F5 48 Microservices July 2023 7/20 セミナー 「マイクロサービスにおけるNGINXの役割 ～Ingressを使ってマイクロサービスの運用 を楽にする方法～」 日時：7月20日（木）14時～15時 ラーニングコンテンツ （期間：7/20～8/20） Webinar、ブログ、ハンズオンラボの３つの 要素で構成されたコンテンツで、マイクロ サービスの運用を始めるためのエッセンスを 段階的に学ぶことができます。 Unit 1：アプリケーション構成ガイドライン”Twelve-Factor App”による マイクロサービス・アーキテクチャの適用 Unit 2：コンテナ環境での安全なシークレット管理方法 Unit 3：自動化でマイクロサービスのデプロイを加速させる Unit 4：Observabilityでマイクロサービスのカオスと複雑性を管理する 登録はこちら：https://www.nginx.co.jp/c/microservices-march-2023/
- 49. その他参考資料
- 50. ©2022 F5 50 お問い合わせフォーム • 製品に関するお問い合わせ • 購入に関するお問い合わせ • 構成・設計に関するご相談 など https://www.nginx.co.jp/contact-sales/ お気軽にお問い合わせください
- 54. ©2022 F5 54 NGINXドキュメント/コンテンツ https://nginx.co.jp/ NGINX日本語サイト https://nginx.org/en/docs/ https://nginx.org/en/docs/dirindex.html NGINX OSS / Directive / Variable etc. (各種マニュアル)
- 55. ©2022 F5 55 • NGINXの持つ基本機能群 おさらい • NGINX(OSS版)とNGINX Plusの違い • NGINX Plus基本コン フィグのデモ Webinar 1 – これからはじめるNGINX技術解説～基本編 https://www.nginx.co.jp/resources/webinars/nginx-back-to-basic-jp/ このセミナーの主な内容：
- 56. ©2022 F5 56 Webinar 2 – これからはじめるNGINX技術解説～基本編 Part2 • NGINXの持つ基本機能群 おさらい • NGINXの動作の基礎、 listen directiveについて • NGINXのReverse Proxy 機能＆設定 • NGINX の高度なロード バランシング機能＆設定 https://www.nginx.co.jp/resources/webinars/nginx-back-to-basic-2-jp/ このセミナーの主な内容：
- 57. ©2022 F5 57 • NGINXの持つセキュリ ティ機能おさらい • NGINX Rate Limitの紹 介＆設定 • JWT validation (OAuth, OIDC) の紹介＆設定 • WAFの紹介＆設定 Webinar 3 – これからはじめるNGINX技術解説Part 3 〜セキュリティ編 https://www.nginx.co.jp/resources/webinars/nginx-back-to-basic-3-security-jp/ このセミナーの主な内容：
- 58. ©2022 F5 58 • NGINX Ingress Controllerとは？ • KubernetesにおけるNGINX Ingress Controllerの必要性 • 基本設定の紹介 （Ingress/VS/VSR 機能・設定） • Ingress Snippetによる拡張（既 存コンフィグの再利用） • ログの確認方法 Webinar 4 – これからはじめるNGINX技術解説〜Ingress Controller編 https://www.nginx.co.jp/resources/webinars/nginx-back-to-basic-ingress-controller-jp/ このセミナーの主な内容：