分散トレーシング技術について（Open tracingやjaeger）
27 likes23,919 views
勉強会で分散トレーシング技術について調査した内容を発表した資料です。OpenTracingやJaegerなどについてのざっくりとした解説などを行っています。
分散トレーシング技術について（Open tracingやjaeger）
- 2. About me Mahito Ogura (小倉真人<m.ogura@ntt.com>) NTTコミュニケーションズ 技術開発部 業務：クラウドや分散システムの調査検証 ● コムウェア入社（H21）2014年に異動で現職 ● インフラ構築（Chef, Ansible） ● アプリケーション開発（Ruby） ● OpenStackとか分散ミドルとかコンテナ ● 採用のお手伝いとか各種イベント業, etc...
- 4. 分散トレーシングの歴史 2003年「Magpie: Online Modelling and Performance-aware Systems」 2007年「X-Trace: A Pervasive Network Tracing Framework」 2010年「Dapper, a Large-Scale Distributed Systems Tracing Infrastructure」 以降、Dapperの論文を元にZipkinやDapperとZipkinをベースにしたappdash、HDFSや HBaseに使われているHTraceなどのOSSが開発される。 また、最近では分散Tracingの仕様やAPIを取りまとめたOpenTracingが登場し、 OpenTracingの仕様を実装したライブラリや、上記OSSのOpenTracing対応が進められて いる。
- 7. 分散トレーシングに必要なしくみは次の2つ ● 分散トレーシングのしくみ（ライブラリ含む） ● トレースの結果をモニタリングするためのしくみ また、トレーシングがシステムの性能に影響を及ぼさないよう、 一部の処理だけをトレースするためのサンプリングレートを設定するしくみを 設けている分散トレーシングツールも存在している（ex.Zipkin, OpenTracing） 分散トレーシング
- 9. オプション ● Span Tags ● Span Logs ● References ○ 他Spanとの関係性 分散トレーシング(OpenTracing)用語解説 2/2 必須 ● Operation Name ● Start / Finish Timestamp ● Span Context ○ Baggage Items ○ tarace / span ID
- 11. SpanとReferenceについて ChildOf Reference： 親Spanが依存する子Spanとの関係（例：RPC, SQL） FollowsFrom Reference： 親Spanが依存しない子Spanとの関係（例：非同期処理）
- 12. 分散トレーシングのユースケース ● プログラム内の関数レベルのトレース ● サーバのエンドポイントのトレース ● クライアントコールのトレース ● 分散環境におけるデータの分散 / 転送 ● イベントのロギング ● メッセージバス（MQ and Pub/Sub）シナリオのトレース
- 14. OpenTracing仕様を実装したトレーサー ● Zipkin：Twitter社が開発したトレーサー ● Jaeger：Uber社が開発したトレーサー ● Appdash：sourcegraph社がGo言語で開発した軽量なトレーサー ● LightStep：OpenTracing互換のトレーサー ● Hawkular：OpenTracing-Javaをサポート ● Instana：OpenTracingのJava, Node.js, Goをサポート ● sky-walking：OpenTracing-Javaをサポート ● inspectIT：OpenTracing-Javaをサポート ● stagemonitor：Javaのバイトコードからトレーシングを行う
- 15. Zipkin GoogleのDapperを参考に作られた分散トレーシングシステム 分散システムのレイテンシ問題の トラブルシューティングに必要な データを収集し（Zipkin）、 システムの依存関係を参照するための UI（Zipkin UI）を提供する アーキテクチャは右図参照 ● ReporterはTransportにデータを転送 ● Transporはcollectorにデータを転送 ● CollectorはStorageにデータを格納 参考：http://zipkin.io/pages/architecture.html
- 16. Jaeger Uber社がGo言語で開発している分散トレーサーとそのUI ● 2017年9月にプロジェクトがCNCFにホストされることになった Go言語で書かれた自前のモニタリングツールが用意されている Go, Python, Node, JavaなどのTracerが用意されている ● Python 3には未対応
- 18. 分散トレースのしくみ（ex. HTTP Request） HTTPヘッダに格納された親スパンの 情報をデシリアライズ(extract) 現在のSpanの情報をシリアライズして HTTPヘッダに格納(inject) Serialize span ID to a string {trace_id}:{span_id}:{parent_id}:{flags} 出典：http://jaeger.readthedocs.io/en/latest/architecture/
- 19. sourcegraph社がGo言語で開発した軽量なトレーサー Go言語で書かれた自前のモニタリングツールが用意されている ● 一応OpenTracingへの対応はしているとドキュメントに書かれている ● 開発の更新は2016/11で止まっている（2017/9/19時点） ● DAGの表示はできない Go, Python, Ruby(サードパーティー）などのTracerが用意されている ● しかしながらRubyはOpenTracing未対応かつ壊れている可能性が高い 参考：Appdashを動かしてみた - Qiita Appdash
- 20. LightStep OpenTracing互換のTracer ● Go / JavaScript / Python / PHP / Ruby / Java / iOS / Android MonitoringはSplunk/kibanaを利用する模様 詳細はLightStep社に問い合わせが必要
- 21. Hawkular RedHatが支援している既存のモニタリングの課題を解決するためのツール 以下の４つの機能を有する ● Federated Alerting ● Distributed Tracing ● Metrics TSDB ● ManageIQ Provider 分散トレーシングについてはJaegerとコラボをすることでOpenTracing対応をしているらし い。
- 22. サンプル（OpenStack Novaへの実装） nova-computeがnova-schedulerにインスタンスの情報を同期する流れ 22 nova-compute Queue <conductor> RabbitMQ nova-conductor Queue <reply_xxx> nova-scheduler Queue <scheduler> ① ② ③ ① call to ”conductor” for DB access ② reply to ① ③ cast to ”scheduler” Database
- 23. Jaeger UI上でのトレース結果 ① ① call to ”conductor” for DB access ② reply to ① ③ cast to ”scheduler” ① + ② ② ③
- 24. ● 分散システムの挙動やレイテンシの把握は難い ● 分散トレーシングの仕様としてOpenTracingがある ● OpenTracing実装として各種ツールがあるが、 現状はUber社が開発をしているJaegerがよさそう ● まだ全体的にドキュメントが足りておらずコードを 読まないとわからないことが多い まとめ
- 25. Presentation by NTT Communications