AWS Black Belt Online Seminar 2017 AWS X-Ray
21 likes16,685 views
AWS Black Belt Online Seminar 2017 AWS X-Ray
AWS Black Belt Online Seminar 2017 AWS X-Ray
- 1. 【AWS Black Belt Online Seminar】 AWS X-Ray アマゾン ウェブ サービス ジャパン株式会社 ソリューションアーキテクト 畑 史彦 2017年8⽉2⽇ （※2017年8⽉9⽇更新）
- 2. 内容についての注意点 • 本資料では2017年8⽉2⽇時点のサービス内容および価格についてご説明しています。最新の 情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に 相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。⽇本居住者のお客様が東京リージョンを使⽤する場合、別途 消費税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided. 2
- 3. Agenda • AWS X-Ray とは • AWS X-Ray による分散アプリケーションの分析 • AWS X-Ray のデータ収集の仕組み • AWS X-Ray 導⼊の実装例 • まとめ 3
- 4. モノリシック vs. マイクロサービス • モノリシック アプリケーション – 多数の機能を1つのプロセス上で稼働 4
- 5. モノリシック vs. マイクロサービス • モノリシック アプリケーション – 多数の機能を1つのプロセス上で稼働 • マイクロサービス アプリケーション – 少数のまとまった機能を持つ複数のサービスで構成 – 各サービスは独⽴したプロセスとして稼働 – 各サービスが相互に通信し合うことでドメイン処理を実現 5
- 6. モノリシック vs. マイクロサービス • モノリシック アプリケーション – ⾼速なイテレーションが難しい – 効率的なスケールが難しい – 不具合や障害の影響がアプリケーション全体に波及 • マイクロサービス アプリケーション 6
- 7. モノリシック vs. マイクロサービス • モノリシック アプリケーション – ⾼速なイテレーションが難しい – 効率的なスケールが難しい – 不具合や障害の影響がアプリケーション全体に波及 • マイクロサービス アプリケーション – サービスそれぞれで独⽴した開発とデプロイ – サービスそれぞれで独⽴したスケーリング – 障害の直接的な影響範囲が各サービス内に留まる 7
- 8. 開発環境 vs. プロダクション環境 • 開発環境 – 多数の機能を1つのプロセス上で稼働 • マイクロサービス アプリケーション – 少数のまとまった機能を持つ複数のサービスで構成 – 各サービスは独⽴したプロセスとして稼働 – 各サービスが相互に通信し合うことでドメイン処理を実現 8
- 9. 分散アプリケーションならではの課題 9 • パフォーマンスの状態を知ることが難しい – ⽇々変化していくサービス間の依存関係や全体像 – ボトルネックのサービスはどこなのか • デバッグが煩雑 – 分散したログとそれぞれに独⾃のログフォーマット – 依存しあう多数の多様なサービス群 – プロダクション環境で発⾒された不具合が 開発環境ではなぜか再現しない・・・
- 11. AWS X-Ray を利⽤するメリット 11 リクエスト実⾏状況の確認 アプリケーションを構成する 個々のサービスやリソースの 実⾏結果ステータスを集計し、 アプリケーションの実⾏状況を エンドツーエンドで確認可能 アプリケーションの問題の検出 アプリケーションの実⾏状況に ついての関連する情報を収集し、 問題の根本原因を調査可能 アプリケーションのパフォーマンス向上 サービスやリソースの関係をリアルタイムで 表⽰し、レイテンシ増加やパフォーマンス低下 などのボトルネックを特定可能 AWSとの連携 Amazon EC2, Amazon ECS, AWS Lambda, AWS Elastic Beanstalk と連携 さまざまなアプリケーション向けの設計 ⾮同期のシンプルなイベント呼び出し、 ３層のウェブアプリケーション、数千の サービスから構成される複雑なマイクロ サービスも分析可能
- 12. X-Ray の概念 12 トレース 単一のリクエストに関するサービスをまたいだEnd-to-endのデータ セグメント トレースの構成要素であり、個々のサービスに対応 サブセグメント セグメントの構成要素であり、個々のリモートコールやローカル処理 に対応 アノテーション トレースをフィルタする際に利用可能なビジネスデータ メタデータ トレースに追加可能なビジネスデータ。 トレースのフィルタには使用できない。 エラー 正規化されたエラーメッセージとスタックトレース サンプリング トレースを取得するリクエストを絞ること。また、その取得割合
- 16. サービスマップ • 各ノードの呼び出しの結果を ⾊で分類し、割合を円グラフに – グリーン 成功した呼び出し – レッド 5xx errors – イエロー 4xx errors – パープル 429 Too Many Requests (スロットリングエラー) 16
- 17. サービスマップ • 各ノードの呼び出しの結果を ⾊で分類し、割合を円グラフに – グリーン 成功した呼び出し – レッド 5xx errors – イエロー 4xx errors – パープル 429 Too Many Requests (スロットリングエラー) • 平均レイテンシ (ms) • トレース数 (trace/min) • サービス名 • サービスの分類 17
- 18. サービスマップ • 各ノードの呼び出しの結果を ⾊で分類し、割合を円グラフに – グリーン 成功した呼び出し – レッド 5xx errors – イエロー 4xx errors – パープル 429 Too Many Requests (スロットリングエラー) • 平均レイテンシ (ms) • トレース数 (trace/min) • サービス名 • サービスの分類 18
- 20. レイテンシの分散グラフ 20 • レイテンシを ヒストグラムで表⽰ • x軸にかかった時間 y軸にリクエストの割合 • 任意を範囲を選択して 拡⼤が可能
- 21. レイテンシの分散グラフ 21 • レイテンシを ヒストグラムで表⽰ • x軸にかかった時間 y軸にリクエストの割合 • 任意を範囲を選択して 拡⼤が可能
- 22. レイテンシの分散グラフ 22 • レイテンシを ヒストグラムで表⽰ • x軸にかかった時間 y軸にリクエストの割合 • 任意を範囲を選択して 拡⼤が可能
- 23. トレースの概要 23
- 24. トレースの概要 24
- 25. トレースの詳細 25
- 26. トレースのフィルタ 26 • フィルタ式を使って、特定のトレースを抽出することができる。 – responsetime > 5 – duration >= 5 AND duration <= 8 – service("api.example.com") { fault = true OR responsetime > 2.5 } AND annotation.account = "12345"
- 27. トレースの詳細 27
- 28. エラーの検出 28
- 29. セグメント 29
- 31. X-Ray API • トレースデータを送信、フィルタ、検索するため のAPIセットを提供 • SDK を利⽤せずとも AWS X-Ray サービスに対し て直接トレースデータを送信することも可能 • ローデータの取得も可能なので、収集されたデー タを使った独⾃の分析アプリの構築も可能。 31
- 32. X-Ray SDK • 以下の呼び出しに対するメタデータを ⾃動でキャプチャするフィルタ機能を提供 – AWS SDK を利⽤した AWS サービス呼び出し – HTTP/HTTPS による AWS 以外のサービスの呼び出し – DBアクセス（MySQL, PostgreSQL, Amazon DynamoDB） – キュー（Amazon SQS） • 単純な X-Ray API への操作は AWS SDK で提供 • X-Ray SDK を使えば、リクエストに関するメタデータを 記録するためのコードを⼿動で実装する必要はない 32
- 33. X-Ray SDK の対応⾔語/フレームワーク Java Node.js C# ・.NET対応 AWS X-Ray SDKを利⽤ ・Windows Serverの.NET: メッセージハンドラをHTTPに設定 ・AWS X-Ray SDK for Javaを利⽤ ・tomcat: サーブレットフィルタをデプロイ記述⼦ (web.xml) に追加 ・Spring Boot: サーブレットフィルタを WebConfig クラスに追加 ・他サーブレット系フレームワークでは、同様にサーブレットフィルタを追加 ・X-Ray SDK for Node.js を利⽤ ・Express:アプリケーションサーバーで SDK をミドルウェアとして追加 http://docs.aws.amazon.com/xray/latest/devguide/xray-usage.html#xray-usage-languages Python ・ https://aws.amazon.com/jp/about-aws/whats-new/2017/08/aws-x-ray-sdk-for-python-beta/ ・現在は Beta バージョンであり、以下をサポート ・boto3, botocore, requests, django(>=1.10), sqlite3, mysql-connector New!(2017.08.08)
- 34. X-Ray デーモン • UDP で X-Ray SDK からのトラフィックを受信し、 未加⼯のセグメントデータを収集 • 受信したデータを⼀定時間バッファしたのち、 AWS X-Ray API に送信する • X-Ray デーモンがサポートされている環境 • Linux executable, RPM Installer, DEB Installer • OS X executable • Windows executable, service • AWS Lambda 34 http://docs.aws.amazon.com/xray/latest/devguide/xray-daemon.html
- 35. AWS X-Ray 動作の全体像
- 36. AWS X-Ray 動作の全体像
- 38. AWS X-Ray 動作の全体像 X-Rayデーモンは受け取ったセグメントデータを バッファリングし、X-Ray APIに定期的に転送
- 41. AWS X-Ray 動作の全体像 X-Ray SDKを使わずに、直接X-Ray APIと データをやり取りすることも、もちろん可能
- 46. アプリケーションには X-Ray SDKを組み込む必要がある X-Ray SDK がリクエストを自動でキャプチャしセグメントデータを収集 アプリケーション内でのトレースの動作 user RDB Amazon DynamoDB Amazon SNS Web API / Web Service
- 49. AWS X-Ray を使⽤できる AWS サービス 49 AWSサービス X-Ray デーモン Amazon EC2 ⼿動でインストール AWS Elastic Beanstalk ⾃動で有効化（※） Amazon ECS ⼿動でインストール AWS Lambda ⾃動で有効化（※） ※ 設定の変更によって有効化される
- 51. X-Ray SDK のインストール（EC2, Java） build.gradle に依存性を追加する （Maven の pom.xml でももちろんOK） 51 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java.html
- 52. X-Ray SDK 設定ファイル sampling-rules.json サンプリングルールをカスタマイズする設定ファイルを作成し配置 52 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java-configuration.html
- 53. X-Ray SDK 設定（Java） ServletContextListener を継承したリスナーを作成 53 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java-configuration.html
- 54. X-Ray SDK 設定（Java） 作成したリスナーを WEB-INF/web.xml に追加する 54 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java-configuration.html
- 55. HTTPリクエストのトレーシング（Java, Tomcat） Example WEB-INF/web.xml 55 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java-filters.html
- 56. DBアクセスのトレーシング（Java, Tomcat） src/main/myapp/model.java - Data Source JDBCデータソースで、 setJdbcInterceptors を呼び出して、X-Ray SDK for Java のクラ スの参照をセットする 56 http://docs.aws.amazon.com/xray/latest/devguide/xray-sdk-java-sqlclients.html
- 57. AWS Elastic Beanstalk との統合 Elastic Beanstalk アプリケーション では X-Ray デーモンの有効化が 容易 マネジメントコンソールの 「ソフトウェアの設定」を 変更するだけ ※ アプリケーションに X-Ray SDK を 組み込む 作業は必要 57
- 58. AWS Lambda との統合 Lambda 関数のトレーシングが可能。 トレースの有効化は Lambda 関数の設定変更だけで完了 （AWS CLI なら1⾏） コードレベルの修正は不要 多少のメモリ消費量の増加あり
- 59. AWS Lambda との統合 Lambda 関数と、Lambda関数から 呼び出される各種サービスの 実⾏結果やレイテンシが 把握できる
- 60. AWS SAM との統合 AWS Severless Application Model (powered by AWS CloudFormation)
- 61. AWS SAM との統合 AWS Cloud Formation • 関連する⼀連のAWSリソースをプロビジョンと管理 • JSON / YAML で環境を記述 • テキストファイル • このテンプレートから何回でも同様の環境を作成可能 • インプット：テンプレートファイル アウトプット：プロビジョニングされたAWSリソース • アプリケーション = CloudFormation stack
- 62. AWS SAM との統合 AWS Serverless Application Model (SAM) • サーバーレスに最適化した AWS CloudFormation の拡張 • 新しいサーバーレス リソース タイプ • functions • APIs • tables • CloudFormation の機能をすべてサポート • オープンな仕様 (Apache 2.0)
- 63. AWS SAM との統合 • AWS X-ray のアクティブトレースの有効化を 記述可能 • Tracing: Active / PassThrough
- 64. 料⾦ 1. トレースの記録 • 100 万件あたり 5 USD (1 件あたり 0.000005 USD) • 無料利⽤枠：10万件/⽉ 2. トレースの取得とスキャン • 100 万回あたり 0.5 USD (1 件あたり 0.0000005 USD) • 無料利⽤枠：100万回/⽉ ※ 永続的な無料利⽤枠 https://aws.amazon.com/jp/xray/pricing/
- 65. 注意点 • デフォルトでは、サンプリングされる • 100%トレースする設定も可能だが、 料⾦とパフォーマンスそれぞれへの影響を事前に確認する • データの完全性は保証されない • 監査やコンプライアンスのツールとしては使⽤できない • 直近 30 ⽇間のトレースデータが保存される • 過去 30 ⽇間の追跡データに対してクエリを実⾏可能 • BatchGetTraces API でトレースデータの取り出しが可能 • BatchGetTraces のレスポンスを PutTraceSegments API に使 ⽤する場合は、データの加⼯が必要となる
- 67. オンラインセミナー資料の配置場所 • AWS クラウドサービス活⽤資料集 – http://aws.amazon.com/jp/aws-jp-introduction/ • AWS Solutions Architect ブログ – 最新の情報、セミナー中のQ&A等が掲載されています – http://aws.typepad.com/sajp/ 67
- 70. 70