[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送
3 likes3,311 views
これまでのセッションではデータ分析サービスを紹介して来ましたが、今回は Cloud Pub/Sub、Cloud Dataflow を利用したストリーミングデータ処理基盤のアーキテクチャーと構築プロセスを解説します。
![Cloud OnAir
デモの手順
# 6 [demos] という BigQuery のデータセットを作成
# 7. Dataflow パイプラインのプログラムのダウンロード
$ cd ~
$ git clone
https://github.com/GoogleCloudPlatform/training-data-analyst
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
# 8. Dataflow パイプラインの実行コマンドを確認 (パラメータの確認 )
$ nano run_oncloud.sh
# 9. Pub/Sub からメッセージを読み取り、 BigQuery へ送信
$ cd ~/training-data-analyst/courses/streaming/process/sandiego
$ ./run_oncloud.sh YOUR-PROJECT-ID gs://[YOUR_BUCKET_NAME] AverageSpeeds
# 10. BigQuery にて下記のクエリを発行し結果を確認
SELECT * FROM [<PROJECTID>:demos.average_speeds]
ORDER BY timestamp DESC
LIMIT 100](https://image.slidesharecdn.com/oooooo-180913090941/85/Cloud-OnAir-GCP-2018-9-13-38-320.jpg)
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう！ 2018年9月13日 放送
- 1. Cloud Onr Cloud OnAir Cloud OnAir GCP上でストリーミング データ処理基盤を構築してみよう！ 2018 年 9 月 13 日 放送
- 2. Agenda Cloud OnAir 1 3 2 4 Googleが考えるストリームデータ処理 Cloud Dataflow Cloud Pub/Sub Pub/Sub と Dataflow でストリーミング処理を行う
- 7. Cloud OnAir ...無限まで大きい... ストリーミングデータ 9:008:00 14:0013:0012:0011:0010:00
- 8. Cloud OnAir ストリーミングデータ 9:008:00 14:0013:0012:0011:0010:00 8:00 8:008:00 処理時刻 (Processing Time) イベント時刻 (Event Time)
- 9. Cloud OnAir 13:00 14:008:00 9:00 10:00 11:00 12:00 Processing Time ∑ ∑ ∑ ∑ ∑ ∑ ∑8:00 8:00 処理時刻によるデータのグルーピング
- 10. Cloud OnAir 処理時刻 (Processing Time) 11:0010:00 15:0014:0013:0012:00 イベント時刻 (Event Time) 11:0010:00 15:0014:0013:0012:00 インプット アウトプット ∑ ∑ ∑ ∑ ∑ ∑ イベント時刻によるデータのグルーピング
- 11. Cloud OnAir ● Watermark イベント時刻ベースでどこまで処理が完了したか ● Trigger ウィンドウ集計結果をどのタイミングで出力するか ● Accumulation 集計結果出力時の累積計算方式 ○ 破棄モード(Discarding) ○ 累算モード(Accumulating) ○ 累算＆後退モード(Accumulating & Retracting) 問題を解決する ３ つの要素
- 14. Cloud OnAir Dataflow モデルと Cloud Dataflow ● バッチ / ストリーミングデータ処 理の共通モデル ● パイプラインを構築するための SDK のコレクション 並列化データ処理 パイプラインを実行するための フルマネージドサービス Cloud DataflowApache Beam
- 15. Cloud OnAir GCP 上のストリーミングデータ処理 Ingest Pipelines Standard Devices HTTPS Gateway Analytics Cloud Pub/Sub Cloud Dataflow BigQuery ストリーミング処理に利用する主なサービス
- 16. Cloud OnAir Cloud OnAir Cloud Dataflow
- 17. Cloud OnAir Cloud Dataflow の特徴 Deploy Schedule & Monitor ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4
- 18. Cloud OnAir Cloud Dataflow の特徴 ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 C D C+D C C+D A GBK + A+ GBK +
- 19. Cloud OnAir ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 800 RPS 1200 RPS Cloud Dataflow の特徴
- 20. Cloud OnAir ジョブのオートスケーリング フルマネージドで自動構成 最適な実行パスのための自動グラフ最適化 ジョブの動的な負荷のリバランシング 1 2 3 4 100 mins. vs. Cloud Dataflow の特徴
- 21. Cloud OnAir ワークロードによる動的なスケーリング 少ないワーカーでスタート 10 分 3 日 必要に応じてワーカーを追加し、 既存ワークロードを自動的にリバ ランス アイドル ワーカーが必要以上にある場合は自動的に ワーカーの数を削減
- 22. Cloud OnAir パイプラインの基本コンセプト ● PipelineIO：外部データリポジトリにデータを読み書きする ● PCollection：データを保持する内部データタイプ ● PTransformation：インプットを変換する機能 ● パイプライン：PipelineIO と PTransformationからなるデータフロー Pipeline IO (インプット) Pipeline IO (アウトプット) PTransform PTransform PTransform PCollection (データ) パイプライン Data Input Data Result
- 23. Cloud OnAir ● テキストファイルの単語のカウントパイプライン PTransform PTransform PipelineIO (Text) PipelineIO (Text) Cloud Storage PTransform Cloud Storage 単語のカウント単語の抽出 結果の整形ファイルの読み取り ファイルへ の書込み パイプラインの基本コンセプト
- 24. Cloud OnAir ● “Hello my daddy” を読み取り、処理する PipelineIO (Text)Hello my daddy Hellomydaddy PTransform PTransform Hello:1 my : 1 daddy :1 Hello my baby Hellomybaby PTransform PTransform Hello:2 my : 2 daddy :1 baby : 1 PipelineIO (Text) PTransform PipelineIO (Text) Cloud Storage Cloud Storage PTransform PipelineIO (Text) Cloud Storage Cloud Storage ● “Hello my baby” を読み取り、処理する 単語のカウント単語の抽出 結果の整形 単語のカウント単語の抽出 結果の整形 パイプラインの基本コンセプト
- 25. Cloud OnAir ● 全ての単語をカウントし終わりましたら、ファイルへ書き込む PTransform PTransform PipelineIO (Text) PipelineIO (Text) Cloud Storage PTransform Cloud Storage Hello:2 my : 2 daddy :1 baby : 1 “Hello:2” “my : 2” “daddy :1” “baby : 1” 単語のカウント単語の抽出 結果の整形ファイルの読み取り ファイルへ の書込み パイプラインの基本コンセプト
- 26. Cloud OnAir サンプルコード：単語のカウント処理 PTransform Pipeline IO (Text) Cloud Storage PTransform PTransform Pipeline IO (Text) Cloud Storage 単語のカウント 単語の抽出 結果の整形 ファイルの読み取り ファイルへの書込み
- 27. Cloud OnAir Dataflow パイプラインのコードサンプル Group 1 Filter 2 Transform 1 Write Read Filter 1 Input Output Pipeline p = Pipeline.create(); p. p.run(); .apply(ParDo.of(new Filter1())) .apply(new Transform1()) .apply(new Group1()) .apply(ParDo.of(new Filter2()) .apply(TextIO.Write.to(“gs://…”)); .apply(PubSubIO.Read.from(pubsub_topic)) class Filter1 extends DoFn<...> { public void processElement(ProcessContext c) { ... = c.element(); ... c.output(...); } 並列タスク(ランタイムによる自 動スケール) Dataflow 以外のランタイム でも実行可能 ストリーミング処理の場合 Cloud Pub/Sub からデータを 読み取る
- 28. Cloud OnAir Apache Beam の処理操作について バッチ ストリーム プリミティブ型の変換とカスタム 変換の組み合わせ フィルター フィルターとグループ フィルターとグループとウィンドウ
- 29. Cloud OnAir Pub/Sub から BigQuery への書き込み Dataflow テンプレートによるストリーミング処理 Ingest Cloud Pub/Sub Pipelines Cloud Dataflow Analytics BigQuery Cloud Console を使用してテンプレート ジョブを起動 適切なテンプレートを選択 このデモは下記 Qwiklab に基づいて作成しております。 https://qwiklabs.com/focuses/1099?parent=catalog
- 30. Cloud OnAir Cloud OnAir Cloud Pub/Sub
- 31. Cloud OnAir at-least-once 配信 プロビジョニング不要の自動処理 グローバルにデザインされた高い可用性 信頼性の高いリアルタイムのメッセージング Cloud Pub/Sub
- 34. Cloud OnAir エンドポイントは API 呼び出しを行えるサーバー もしくはデバイス メッセージ配信は Subscriber のタイミング エンドポイントは Webhook を受け付ける HTTPS サー バーのみ イベントが発生した直後に配 信される Push と Pull の比較
- 35. Cloud OnAir Cloud OnAir Pub/Sub と Dataflow で ストリーミング処理を行う
- 36. Cloud OnAir このデモの構成と概要 Cloud Pub/Sub Cloud Dataflow BigQueryCompute Engine このデモでは、シミュレートされたトラフィックセンサーからトラフィックイベントを Cloud Pub/Sub へ送信します。Dataflow を使用し、 レーンごとの平均スピードを求める パイプラインを実行し、後で分析するためにデータを BigQuery に保存します。
- 37. Cloud OnAir デモの手順 # 1.トピックの作成 $ gcloud beta pubsub topics create sandiego # 2.トラフィック センサー シミュレータプログラムのダウンロード $ cd ~ $ git clone https://github.com/GoogleCloudPlatform/training-data-analyst $ cd ~/training-data-analyst/courses/streaming/publish 3.データのダウンロード $ ./download_data.sh # 4.ユーザ認証 $ gcloud auth application-default login # 5.トピックにメッセージのパブリッシュ $ ./send_sensor_data.py --speedFactor=60 --project=YOUR-PROJECT-ID 1. トピックの作成 2. サブスクリプションの作成 3. トラフィックセンサーを シミュレートし、生成した データを Cloud Pub/Sub に送信
- 38. Cloud OnAir デモの手順 # 6 [demos] という BigQuery のデータセットを作成 # 7. Dataflow パイプラインのプログラムのダウンロード $ cd ~ $ git clone https://github.com/GoogleCloudPlatform/training-data-analyst $ cd ~/training-data-analyst/courses/streaming/process/sandiego # 8. Dataflow パイプラインの実行コマンドを確認 (パラメータの確認 ) $ nano run_oncloud.sh # 9. Pub/Sub からメッセージを読み取り、 BigQuery へ送信 $ cd ~/training-data-analyst/courses/streaming/process/sandiego $ ./run_oncloud.sh YOUR-PROJECT-ID gs://[YOUR_BUCKET_NAME] AverageSpeeds # 10. BigQuery にて下記のクエリを発行し結果を確認 SELECT * FROM [<PROJECTID>:demos.average_speeds] ORDER BY timestamp DESC LIMIT 100
- 40. Cloud OnAir Dataflow モデルと Cloud Dataflow ● バッチ / ストリーミングデータ処 理の共通モデル ● パイプラインを構築するための SDK のコレクション 並列化データ処理 パイプラインを実行するための フルマネージドサービス Cloud DataflowApache Beam