Monitoring the health and performance of your aws environment using the Elastic observability solution
0 likes205 views
Elastic オブザーバビリティソリューションを活用した aws 環境の健全性とパフォーマンスの監視 https://events.elastic.co/elasticawsdevdayjapan
Monitoring the health and performance of your aws environment using the Elastic observability solution
- 2. 本⽇お話する内容 01 02 03 04 05 Elastic Stack および Elastic オブザーバビリティの 概要 Elastic Cloud によるハイブリッド環境の監視 Elastic Agent 経由またはエージェントレス⽅式での データ投⼊プロセス Elastic Cloud とElastic オブザーバビリティの監視 機能デモ Elastic オブザーバビリティのお客様事例
- 3. スピーカーのご紹介 テクニカルプロダクト マーケティングマネージャー 鈴⽊ 章太郎 Elastic ソリューションアーキテクト ⽇⾺ 康和 Elastic データベースパートナー ソリューションアーキテクト 吉⽥ 成利 アマゾン ウェブ サービス ジャパン合同会社 ISV パートナー本部
- 4. Elastic Stack および Elastic オブザーバビリティソリューションのご紹介 スピーカー︓鈴⽊ 章太郎
- 5. The Elasticsearch Platform Enterprise Search Observability Security Kibana Explore, Visualize, Engage Elasticsearch Store, Search, Analyze Integrations Connect, Collect, Alert Public cloud Hybrid On-premises
- 7. …さらに、インターネット検索全体のおよそ 90％ のデータ 処理を裏側でサポートしているのも Elastic です。 Forbes に掲載された記事
- 10. マイクロ サービス コンテナ CI / CD オーケストレーション サーバレス クラウド ソフトウェアの開発⽅法とデリバリーは常に進化
- 11. 開発チーム 運⽤: ログ監視 可動性 応答時間 アップタイム ツール 運⽤︓ インフラ監視 ウェブログ アプリログ データベース ログ コンテナログ ログツール リアルユーザー監視 トランザクション パフォーマンス監視 分散トレーシング APM ツール 運⽤︓ サービス監視 コンテナ指標 ホスト指標 データベース指標 ネットワーク指標 ストレージ指標 メトリック ツール ビジネス KPI ビジネスツール ビジネス チーム 現状 ー 典型的なオブザーバビリティのツール群
- 13. 細部にわたり、 ⼀元的に可視化 トレース、ログ、メトリックの⾃動相関 機能で、アプリケーションの可視性を ⾼めます。 Elastic はあらゆるプラットフォームに デプロイできます。データの保存期間や 粒度を⾃由に設定できるほか、必要 に応じてカスタマイズもできます。 Elastic の優位性 相関するAPM 、トレース、ログ、 メトリックを集約 データの粒度、保存、拡張 思考並みの速度で異種クラスターの トラブルシュートを実⾏。 データ量の増加に合わせて拡張 できます。 「未知の未知」を探索 オープンかつ 無制限 パフォーマンスと スケーラビリティ
- 15. 開発(Dev)、オペレーション(Ops)、ビジネス部⾨のチーム オブザーバビリティを実現するための Elastic のアプローチ APM データ シンセティック データ メトリック データ ログデータ ビジネスデータ オペレーションに関するデータをパワフルなデータストアに⼀元化 ̶ Elasticsearch
- 16. 機械学習(ML)の統合 アラート機能の統合 学習、セキュリティ、保守を単⼀ツールでカバー ⼤量通知によるアラート疲れを軽減するスマートルール 課題を素早く特定するスマートな検知機能 パワフルな⼀元データストア ̶ Elasticsearch オペレーションの効率化 Elastic オブザーバビリティ APM アップタイム メトリック ログ ビジネス 統合スキーマ ソース横断的な相関付けで分析をスピードアップ どこにでもデプロイ可能 ハイブリッド環境における「データグラビティ」の実現 アナリスト向けワークフローの統合 回転イス(swivel-chair)式の⾮効率な分析を撤廃
- 17. 統合スキーマ︓Elastic Common Schema (ECS) Elastic Stack のデータ正規化プロセス Elasticsearch にデータを取り込むために、フィールド とオブジェクトの共通セットを定義 様々なデータを横断的にカバーするクロスソース分析 を有効化 拡張性を考慮した設計 Elastic Stack 全体に ECS を適⽤ コントリビューションやフィードバックをお待ちしています︓ https://github.com/elastic/ecs ECS を使わずに検索すると︓ src:10.42.42.42 OR client_ip:10.42.42.42 OR apache2.access.remote_ip: 10.42.42.42 OR context.user.ip:10.42.42.42 OR src_ip:10.42.42.42 ECS を使って検索すると︓ source.ip:10.42.42.42
- 18. 位置情報 メトリック ログ セキュリティ APM/RUM 様々なデータタイプ Elastic Agent & Fleet インストールが簡単 アップグレードが簡単 容易に拡張可能 統合された単⼀プラットフォームを介してデータを投⼊ オープンスタンダード サードパーティ コンテンツ シンセティック データ
- 19. + =
- 20. OpenTelemetry プロトコルのネイティブサポート ● OpenTelemetry︓オブザーバビリティに関するデータ収集の新規格 ● ベンダーニュートラルなプロトコル ● ネイティブサポート対応 → OpenTelemetry Collector のデプロイは不要 ● OpenTelemetry のセマンティクス規則 (Semantic Conventions) を ECS にマッピング ● Elastic は、OpenTelemetry の設⽴当初（2020年）からのサポート メンバー
- 24. From KPIs to logs アナリスト向けワークフローの統合 ︓メトリック → トレース → ログ
- 26. データグラビティを実現する柔軟なデプロイ形態 ●ハイブリッド環境全体でオブザーバビリティに関するテレメトリ収集をサポートします AWS に即デプロイ可能 単⼀パッケージのインストール Elastic Cloud Elastic Cloud on Kubernetes Elastic Cloud Enterprise お客様のインフラにデプロイ済の内容を ⼀元管理 セルフマネージド版
- 28. リスクを取らなければ成果は得られません。 複雑性とオブザーバビリティの問題 何千もの複雑なワークロード、可視性の⽋如 所要期間 通常の移⾏プロセスは数年単位 アーキテクチャの再構築 クラウドに合わせてアプリケーションの再編が必要 パフォーマンス レイテンシー、相互運⽤性、レガシーアプリへの依存、ダウンタイム 発⽣の懸念 セキュリティに関する懸念事項 データの漏洩、紛失、外部からの攻撃 クラウド移⾏時の課題 クラウドの評価 概念検証 (PoC) データ移⾏ アプリ移⾏ クラウドの活⽤ 最適化 クラウドへの移⾏プロセス AWS CLOUD への移⾏プロセス 4 5 6 1 2 3
- 29. AWS Well-Architected フレームワーク リスクとコストを低減し、クラウドへの移⾏をスピードアップ ● トレーサビリティ ● すべてのレイヤーを 保護 ● セキュリティイベント へ対策 ● ベストプラクティスの ⾃動化 ● 運⽤指標（メトリッ ク）の定義・捕捉・ 分析 ● 運⽤指標や内部 状態（ログ、トレース 情報）の理解 ● 勘に頼らない キャパシティ予測 ● 障害からの⾃動回復 ● 変更管理の⾃動化 ● 先端テクノロジーを サービスとして利⽤ ● 頻繁な実験 ● サーバーレス アーキテクチャの利⽤ ● 効率性の測定 ● 運⽤コストの抑制 ● ⽀出の分析と分類 セキュリティ 信頼性 パフォーマンス効率 オペレーショナル エクセレンス コスト最適化 ● リソース利⽤率の向上 による必要リソース量 の削減 ● コードやアーキテクチャ の最適化 持続可能性
- 30. 皆様のクラウドジャーニーを⽀援します 移⾏前 移⾏中 移⾏後 以下を考慮し、移⾏計画を効果的に 策定︓ ● オンプレミスの状況を可視化し、お 客様環境のモノリシックアプリをすべて 把握 ● サービスマップをもとに、アプリケー ションアーキテクチャと依存関係をビ ジュアル化 ● オンプレミスのパフォーマンスをもとに、 Webアプリ閲覧者のリアルユーザー エクスペリエンスを測定 ● 移⾏前のコスト分析(TCO)、アプリ ケーションポートフォリオ、サイジングの 適正化 ● ハイブリッド環境の監視 ● 複雑なアーキテクチャの（マイク ロ）サービスに、カスタマーエクスペ リエンスに⽀障をきたす⼤幅なレイ テンシーやエラーなどの問題が潜ん でいないかを分散トレーシングで 特定 ● 移⾏作業中の検証 ● 移⾏後の相互牽制機能 ● アラート機能とインシデント管理 ● クラウドに乗せたリソースをすべて 監視（アップタイム） ● コスト最適化 Elastic オブザーバビリティ ログ メトリック APM アップタイム
- 31. Elastic と AWS の連携 よく使われる汎⽤的な AWS サービスのほぼすべてをサポート
- 32. 動的なハイブリッドクラウド環境を Elastic で監視 複数のデータセンター 複数のリージョンに集約 エンタープライズ アプリケーション Application Load Balancer Amazon S3 コンテナ Amazon CloudFront Elastic Block Store (EBS) RDS インスタンス Lambda 関数 Amazon EC2 エンタープライズ アプリケーション コンテンツ配信 ネットワーク ストレージ ファイア ウォール メイン フレーム サーバー Elastic Ingestion Elastic Ingestion Amazon Kinesis Amazon S3
- 34. Elastic Agent Fleet 連携 • ログ、メトリック、セキュリティなどの データを⼀元的に収集する総合 エージェント • インストール、アップグレード、拡張 がより簡単に • 各種エージェントと設定内容を ⼀元管理 • 何千ものエージェントをワンクリック で⾃動更新 • 最もよく使われる AWS サービスと のワンクリック連携機能を追加 • ログ解析、ダッシュボードなどの 機 能を標準搭載 Elastic へのデータ投⼊⽅法が改良されました
- 35. これまで これから ホストごとに使い分け︓ • Filebeat （ログ） • Metricbeat （メトリック） • APMエージェント （アプリケーショント レース） • Heartbeat （アップタイム） • Endpoint （セキュリティ） • Winlogbeat （Windowsデータ） ホスト単位で︓ • ログ、メトリック、セキュリティデータを Elastic Agent が⼀元的に収集します。 アップタイム、Windows データ、トレースに ついては近⽇中にサポート開始予定。 インストールから設定、拡張まで単⼀ エージェントで完結します。 Elastic Agent ログ、メトリック、セキュリティなどのデータを⼀元的に収集する総合エージェント
- 36. よく使われる汎⽤的な AWS サービスを サポート ● AWS 環境全体を Elastic で⼀元的に 可視化 ● 20種類以上の AWS サービスと統合可能 （順次拡充中） ● ログ解析、ダッシュボードなどの機能を標準 搭載 ● Amazon インフラやアプリのパフォーマンスと 健全状態を可視化し、より深いインサイトを 提供
- 37. Amazon CloudWatch のメトリック Amazon EC2 インスタンス上の Elastic Agent Elastic Agent AWS EC2 どのマシンにも デプロイ可能 インジェスト ノード Elasticsearch データ ノード AWS のメトリックを Elastic で収集
- 38. AWS 側のメトリックとの連携 メトリックセット （GetMetricData API 経由） ● Amazon CloudWatch ● Amazon EC2 ● Amazon SQS ● Amazon S3（⽇次データのストレージ、リクエスト） ● Amazon RDS ● Amazon DynamoDB ● Elastic Load Balancing ● Amazon EBS ● AWS Lambda ● VPN、トランジットゲートウェイ、NAT ゲートウェイ ● 請求・使⽤状況 Amazon CloudWatchのメトリック合算（＝統計） ● 最⼩値、最⼤値 ● 合計、平均 ● サンプルカウント #welovecloud
- 39. AWS Overview（AWS の概要）画⾯ AWS 環境の健全状態を細部まで可視化します
- 40. AWS のログ/イベントを Elastic で収集 インジェスト ノード Elasticsearch データ ノード Elastic Agent Amazon CloudWatch Amazon VPC Amazon EC2 Elastic Load Balancing Amazon S3 AWS CloudTrail Amazon S3 Amazon SQS
- 41. Amazon VPC Flow Logs との連携モジュール Amazon VPC Flow Logs︓AWS の VPC ネットワークインターフェースを⾏き来する IP トラフィックの状態を捕捉するためのログ • S3 で収集する AWS サービスのログを捕捉 ‒ Amazon VPC Flow Logs ‒ Elastic Load Balancing のアクセスログ ‒ Amazon EC2 のログ ‒ AWS CloudTrail のログ ‒ Amazon CloudWatch Logs • さらに、Amazon S3 のサーバーアクセスログそ のものも捕捉 ‒ セキュリティ監査 ‒ アクセスログ ‒ Amazon S3 の利⽤料⾦を把握する便利 な⼿段 • ダッシュボードも搭載しています
- 42. ● AWS Serverless Application Repository (SAR)、Amazon S3 → Elasticsearch ○ AWS SAR︓Lambda コンソールで利⽤可能なサーバーレスアプリケーションのマネージド型リポジトリ ○ ⼀元リポジトリである SAR 経由で、Lambda テンプレートを選択・実⾏可能 ○ AWS の SAR テンプレートを使って AWS S3 から Elastic にログデータを取り込みます ● AWS Fargate、FireLens → Elasticsearch ○ Fargate︓AWS Elastic Container Service (ECS) のサーバーレスコンピューティングエンジン ○ FireLens︓Fargate が収集したログの出⼒先を選択したり、デプロイスクリプトを改変せずにフィルタを任意で定義できる、 コンテナログのルーティングツール ○ Fargate から Elasticsearch へのログデータは、FireLens を介してエージェントレスで取り込みます。これにより、AWS CloudWatch によるログの集約が不要になるため、コスト低減と簡素化につながります。 ● AWS Kinesis Firehose 配信ストリーム ○ Firehose から Elasticsearch へのデータ投⼊についても、サポート実現に向けて鋭意準備中です︕ AWS のデータをエージェントレスで Elastic に投⼊（全体の流れ） Amazon S3 AWS Fargate AWS Serverless Application Repository
- 43. Amazon S3 および Firehose については、近⽇中に対応予定 AWS のデータをエージェントレスで Elastic に投⼊ Placeholder: visual from S3 SAR demo ● Amazon S3 → Elastic Cloud ○ AWS EC2 に Beats をインストールする必要はありません︕ ○ AWS SAR の elastic-agentless-logging テンプレートを選択します ○ S3 のデータを Elasticsearch に取り込みます ● 各種 AWS ログ → Firehose → Elastic Cloud ○ Beats をインストールする必要はありません︕ ○ Firehose のログをほぼリアルタイムで Elasticsearch に取り込みます
- 45. 株式会社ぐるなび︓ ⾼速検索機能と⾼い運⽤効率を もって膨⼤なログデータを解析。障害対応の迅速化 に加えより戦略的な⽤途での情報活⽤が可能に 「弊社のシステムは、サービスサイトの関係で⾔語も多岐にわたり、またアプリケーションの性質 によっては取得するログデータの種類も異なり、様々なインデックスが存在するといった状態です 。クラウドを含めてそれらを横断的に⾒たいというのが開発者側の希望でしたが、今回の包括的な Elastic 環境の導⼊により、これが可能となりました」 岩本俊明⽒ ぐるなび 開発部 エンジニアリング セクションで副セクション⻑ elastic.co | @2021 Elasticsearch B.V. All rights reserved. PROFILE GOALS SOLUTIONS RESULTS About:飲⾷店情報サイト「ぐるな び」をサービス提供 Industry: 情報サービス Location: ⽇本 ● 全アプリとネットワーク機器から のログに対する⾼速検索 ● 迅速な障害対応、運⽤負荷の低減 ● ビジネス戦略⽤途での情報の活⽤ ● Elasticsearch、Kibana による ⼤量ログの解析に不可⽋な⾼速 検索の実現 ● Elastic Cloud によるバージョ ンアップ等に伴う運⽤負荷の軽 減 ● ⼿作業によるログデータのコピー や内容確認に費やされていた1時 間以上の対応時間が、わずか数秒 に短縮 ● 調査も含めて5〜10⽇前後もかか ったバージョンアップ対応を、ほ とんど時間をかけずに実⾏
- 46. https://www.elastic.co/jp/customers/gurunavi Hybrid クラウド環境のオブザーバビリティを Elastic Cloud にて実現。
- 47. ISV Workload Migration Program (WMP) 訳注︓AWS が ISV パートナーと共同で提供するワークロード移⾏プログラム 共通⽬標︓ AWS と Elastic は、お客様の Elastic ワークロードを Elastic Cloud に移⾏することで、 お客様が事業⽬標を達成し、クラウドジャーニーを加速できるよう⽀援します。 両者がもつノウハウを活⽤し、お客様の Elastic Cloud への移⾏を⽀援 規範的かつ反復可能な移⾏アプローチをお客様に提供し、クラウド化を加速
- 51. リソース • 公式ドキュメント https://www.elastic.co/guide/index.html • クラウドネイティブ アプリでの Elasticsearch https://docs.microsoft.com/ja-jp/dotnet/architecture/cloud- native/elastic-search-in-azure • Elastic APM Agent https://www.elastic.co/guide/en/apm/agent/index.html • Reactivesearch https://opensource.appbase.io/reactivesearch/ • 優れた React 検索エクスペリエンスを迅速に構築する ⽅法 https://www.elastic.co/jp/blog/how-to-build-great-react- search-experiences-quickly ● Search UI Elastic GitHub レポジトリ https://github.com/elastic/search-ui • APM https://www.elastic.co/jp/apm/ • Configuration on .NET Core https://www.elastic.co/guide/en/apm/agent/dotnet/current/co nfiguration-on-asp-net-core.html • ASP.NET Core Quick Start https://www.elastic.co/guide/en/apm/agent/dotnet/current/set up-asp-net-core.html • K8s Observability サンプルソリューション GitHub レポジトリ https://github.com/michaelhyatt/k8s-o11y-workshop • 関連ブログ https://www.elastic.co/jp/blog/kubernetes-observability- tutorial-k8s-cluster-setup-demo-app-deployment https://www.elastic.co/blog/kubernetes-observability-tutorial- k8s-log-monitoring-and-analysis-elastic-stack https://www.elastic.co/blog/kubernetes-observability-tutorial- k8s-metrics-collection-and-analysis https://www.elastic.co/blog/kubernetes-observability-tutorial- k8s-monitoring-application-performance-with-elastic-apm
- 52. Thank you for your attention!