Elastic observabilitycansmartlymanagetheappsonkubernetes
0 likes518 views
Elastic Stack を活用した Kubernetes のアプリ監視 https://event.cloudnativedays.jp/cndo2021/speaker_dashboard/speakers/941/
Elastic observabilitycansmartlymanagetheappsonkubernetes
- 1. Elastic オブザーバビリティを 活⽤した Kubernetes のアプリ監視 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
- 2. Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. Elastic 概要
- 4. 3 Solutions, 1 Stack, Deploy Anywhere Elastic スタックで実現 Kibana Elasticsearch Beats Logstash Elastic エンタープライズサーチ Elastic セキュリティ Elastic オブザーバビリティ 3つのソリューション SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Elastic Cloud Elastic Cloud Enterprise 豊富なデプロイ選択肢 Kubernetes (クラウド & オンプレ） 蓄積、検索、分析 可視化 & 管理 収集
- 7. Kubernetes のログとメトリック、トレースを組み合わせる ● コマンド1つで Kubernetes のアプリからログをストリーミング可能 ● テレメトリーのインフラデータから Prometheus のメトリック、Jaeger のトレースまで収集し、オープンソースの Elastic APM エージェントで分散トレーシングを実施可能 ● 事前設定済みの Kibana ダッシュボードですぐに確認でき、Metricsアプリで横断的に検索できる
- 8. Kubernetes サービスの変化を把握する ● MetricbeatとFilebeatの⾃動 探知機能 で、環境のあらゆる変化 を把握できる ● モジュールを追加したり、パスを記録 するプロセスは⾃動化され、 Docker や Kubernetes の API フックを使って監視設定が動的に 調整される ● さらにメタデータが付記されることに より、すべてのデータの出所を把握 できる
- 9. 9 filebeat metricbeat packetbeat APM MySQL Elastic Search Service (Elastic Cloud) Elastic Cloud on Kubernetes (ECK) or Kubernetes に Elastic Observability を適⽤したサンプル Azure Kubernetes Service
- 10. Elastic Cloud on Azure と サンプルアプリのデプロイ
- 13. Elastic Cloud デプロイ (Elastic & 各 Marketplace) https://www.elastic.co/jp/ https://portal.azure.com/#create/hub https://aws.amazon.com/marketplace/ https://console.cloud.google.com/marketplace Elastic Azure AWS GCP
- 14. Elastic Cloud on Azure デプロイ https://www.elastic.co/jp/ # Get credentials for create_secrets.sh # - cloud_id, cloud_auth, apm_url, apm_token https://github.com/michaelhyatt/k8s-o11y- workshop/tree/cc6095210180f8526a9fdc518cf9 e3894b9ea9d0#elastic-cloud
- 15. Secrets の設定、Beats のセットアップ # create_secrets.sh を更新して実⾏する $HOME/k8s-o11y-workshop/install/create_secrets.sh ./create_secrets.sh # metricbeat と filebeat を動かしてセットアップする kubectl create -n kube-system -f metricbeat/metricbeat-setup.yml kubectl create -n kube-system -f filebeat/filebeat-setup.yml # 完了状況をウォッチする (completed になれば OK) kubectl get pods --namespace=kube-system
- 18. Kubernetes ログの監視
- 19. Kubernetes のログを収集 Deployment options Node 1 Node 2 Node n Filebeat DaemonSet Filebeat Filebeat Filebeat
- 20. Kubernetes ログの集約 - クラスターレベルのログ - サービスレベルのログ (例︓nginxのログ) - Auto-discovery - アプリのログ - 全てコンテナのログを tail - add_kubernetes_metadata でログをエンリッチ - 各イベントは下記の情報が追加される - Pod Name - Pod UID - Namespace - Labels ./filebeat modules enable kubernetes processors: - add_kubernetes_metadata: host: <host_name> kube_config: ${HOME}/.kube/config
- 21. メタデータプロセッサー イベントにメタデータを追加してログ、メトリックス、トレースを関連付け • cloud.availability_zone • cloud.region • cloud.instance_id • cloud.machine_type • cloud.project_id • cloud.provider • docker.container.id • docker.container.image • docker.container.name • docker.container.labels • kubernetes.pod.name • kubernetes.namespace • kubernetes.labels • kubernetes.annotations • kubernetes.container.name • kubernetes.container.image add_cloud_metadata add_docker_metadata add_kubernetes_metadata
- 22. Demo Filebeat と Metricbeat のデプロイと ログ監視
- 26. Kubernetes のメトリックスを収集 Deployment options Node 1 Metricbeat Node 2 Metricbeat Node n Metricbeat Metricbeat DaemonSet
- 27. Kubernetes メトリックスの集約 - Kubernetes モジュール - pod と service の監視 - Cluster、 pod、 container のメトリックス - Auto-discovery によるアプリメトリックス - メトリックスのソース - Kubelet (heapster, cAdvisor) - kube-state-metrics - apiserver - controller-manager - scheduler - proxy - Prometheus module (beta) - ⼀元的な Kibana UI ./metricbeat modules enable kubernetes
- 30. Node 1 Metricbeat Autodiscover 動的なターゲットも残さずデータ収集する Logs Metrics Nginx - コンテナ上でアプリを実⾏していると、 監視対象が動的になる - Autodiscover により、設定の変化 にも柔軟に対応可能になる - Template を指定する事で Autodiscover はコンテナの起動時 から監視ができる Elasticsearch
- 31. ヒントベース auto-discovery - Metricbeat はヒントを元にコンテナから取得す べき情報を判断する - 設定も⾃動で反映 - Logs, Metrics, Modules - 次の⽂字列で始まる Pod の annotation か Docker ラベルを元に hint を探す co.elastic.metrics - 9 種類のヒント - co.elastic.metrics/module - co.elastic.metrics/hosts - co.elastic.metrics/metricsets - co.elastic.metrics/raw - ... metricbeat.autodiscover: providers: - type: kubernetes hints.enabled: true annotations: co.elastic.metrics/module: prometheus co.elastic.metrics/metricsets: collector co.elastic.metrics/hosts: '${data.host}:9090' co.elastic.metrics/period: 1m
- 33. APM Logs + Metrics + APM の統合 オープンソース ⾔語＆エージェント Java, C#, Go, Node.js, Python, Ruby, RUM (React, Vue.js, Angular) 専⽤の UI 合理化された APM ワークフロー 分散トレーシング インデックス 他データと関連付ける Elastic stack の機能をフル活⽤
- 34. アプリ（MySQL, nginx, petclinic）のデプロイと Autodiscovery # Deploy MySQL DB kubectl create -f mysql/mysql.yml # Deploy petclinic and nginx kubectl create -f petclinic/petclinic.yml kubectl create -f nginx/nginx.yml # Observe the application components in Running state kubectl get pods kubectl get services
- 38. Prometheus メトリックを活⽤する ● MetricbeatのPrometheusモジュールでメトリックを捕捉、シッピング可能 ● /metrics エンドポイントを使⽤するか、Prometheus Federation API を使って、Prometheus サーバーに接続 ● 収集済みのメトリックをプルすることにより、Prometheus が収集するメトリックを補⾜できる ● Prometheus エクスポーターを直接 Metricbeat に接続し、ゲートウェイをプッシュする⽅法もある ● ※ 詳しくは、Elastic StackとPrometheusメトリックに関するドキュメントをご覧ください。
- 41. まとめ • Filebeat & Metricbeat を使⽤してアプリケーションと Kubernetes のログとメトリックを収集 • すぐにシステムとインフラストラクチャの監視を開始できる • Elastic Cloud で Elasticsearch Service の無料トライアルにサインアップ • 稼働したら、稼働時間モニタリングを使⽤してホストの可⽤性を監視 • Elastic APM を使⽤してホストで実⾏されているアプリケーションを計測 • 新しいメトリックスクラスターと完全に統合された、完全に監視可能なシステム
- 42. リソース • サンプルソリューション Github レポジトリ ‒ https://github.com/michaelhyatt/k8s-o11y-workshop • 関連ブログ ‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s-log- monitoring-and-analysis-elastic-stack ‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s- metrics-collection-and-analysis ‒ https://www.elastic.co/blog/kubernetes-observability-tutorial-k8s- monitoring-application-performance-with-elastic-apm
- 43. Thank you for your attention!