[Cloud OnAir ] #03 No-ops で大量データ処理基盤を簡単に構築する
9 likes5,344 views
次のビジネス時代を生き抜くために BigData は欠かせないものとなりつつあります。 GCP のビッグデータ製品である、BigQuery や Cloud Dataflow、Pub/Sub を使って No-Ops でデータ処理基盤を構築する方法を紹介します。
[Cloud OnAir ] #03 No-ops で大量データ処理基盤を簡単に構築する
- 1. Cloud Onr Cloud OnAir Cloud OnAir No-ops で大量データ処理基盤を簡 単に構築する 第 3 回放送 - 11 月 2 日
- 2. Agenda Cloud OnAir 1 3 2 4 大量データ処理とは 簡単に構築するには Google Cloud 事例 Questions 2
- 6. Cloud OnAir 企業で保有するデータサイズ 563 TB 〜 100,000 TB ※1 ※1 https://www.symantec.com/content/dam/symantec/docs/reports/2012-state-of-information-global-en.pdf ※2 1スプレッドシート = 10MBの場合 約10,000,000 スプレッドシート※2 6
- 9. Cloud OnAir 大量データに対す るGoogle のアプローチ 2016 Google Research 20082002 2004 2006 2010 2012 2014 2015 Open Source 2005 Google Cloud Products BigQuery Pub/Sub Dataflow Bigtable ML GFS Map Reduce BigTable Dremel Flume Java Millwheel Tensorflow Apache Beam PubSub 9
- 10. Cloud OnAir 分析に費やす時間を増やす 分析 クラスタを作 成 クラスタを 管理 クラスタを アップグレード インデックスを 定義 ソフトウェアを セットアップ ネットワークを セットアップ スケールを 管理 典型的なデータ ウェアハウス インフラではなく、 データから知見を 導くところに フォーカスする 分析 クラウド時代の Big Data アーキテクチャ 10
- 13. Cloud OnAir GCPのプロダクトで実現するには 保存収集 BigQuery (SQL) 加工 / 分析 Cloud Dataflow (stream and batch) Cloud Storage (objects) Cloud Datastore (NoSQL) BigQuery Storage (structured) Cloud Dataproc (Hadoop & Ecosystem) Cloud Bigtable (NoSQL HBase) Cassandra hBase MongoDBRabbit MQ Kafka Cloud 2.0 Cloud 3.0 可視化 Cloud Datalab (iPython/Jupyter) Tableau Cloud Pub/Sub Stackdriver Logging BQ Streaming App Engine Cloud SQL (SQL) Cloud Machine Learning Cloud Spanner (NewSQL) 13
- 14. Cloud OnAir リファレンスアーキテクチャ Cloud Pub/Sub At Least One の信頼性を持つ、スケーラブルな グローバル分散メッセージ・キュー Cloud Storage オブジェクトストレージ。外部システムが出力する ファイルの GCP へのエントリーポイントとなる イベント、 メトリック等 Stackdriver Logging GCP および AWS(EC2) からログイベントを収集 API を介して任意のアプリケーションログも収集 Transfer Service 生ログ、ファイル、 外部システムからの アウトプット 等 GCP のシステムログ、 アプリケーション ログ 等 14
- 15. Cloud OnAir リファレンスアーキテクチャ イベント、 メトリック等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Cloud Dataproc Spark / Hadoop のマネージド・サービス Batch 生ログ、ファイル、 外部システムからの アウトプット 等 GCP のシステムログ、 アプリケーション ログ 等 15
- 16. Cloud OnAir リファレンスアーキテクチャ イベント、 メトリック等 Stream Batch Batch BigQuery 大規模データ セットに 対する高性能クエリーエンジン 生ログ、ファイル、 外部システムからの アウトプット 等 GCP のシステムログ、 アプリケーション ログ 等 16
- 17. Cloud OnAir リファレンスアーキテクチャ イベント、 メトリック等 Stream Batch Batch 外部 アプリケーション Cloud Datalab 可視化および BI データ共有 B C A BigQuery Dataproc Dataflow Cloud Storage Pub/Sub Stackdriver Logging Data Studio 生ログ、ファイル、 外部システムからの アウトプット 等 GCP のシステムログ、 アプリケーション ログ 等 17
- 19. Cloud OnAir リファレンスアーキテクチャ 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A BigQuery Dataproc Dataflow Cloud Storage Pub/Sub Stackdriver Logging Data Studio No-ops で自動的にスケールする ビックデータ処理基盤
- 20. Cloud OnAir Cloud OnAir Google Cloud の事例
- 21. Cloud OnAir Spotify: 音楽ストリーミングの巨大インフラを Google Cloud Platform へ移行 https://cloudplatform-jp.googleblog.com/2016/ 02/spotify-google-cloud-platform.html ● 世界中に 7,500 万以上のユーザー ● 20 億を超えるプレイリスト ● 3,000 万曲以上の楽曲 ● パーソナライズされたプレイリストを提供 技術の重要性を早くから認識して自前で インフラを作り上げてきた ”最も重要なこと” にフォーカスするために 自前主義から脱却 21
- 23. Cloud OnAir Spotify: Cloud Pub/Sub スケーラビリティはシステムに組み込まれている 23
- 24. Cloud OnAir Spotify: BigQuery により分析処理をスピードアップ Common query types Hive / Hadoop BigQuery KPIs by specified ad hoc parameters ~1,200 secs ~10 - 20 secs FB audience list for social targeting for AU campaign ~4,000 secs ~15 - 30 secs Top tracks by age / gender by market ~17,500 secs ~500 secs 24
- 25. Cloud OnAir Spotify: BigQuery により分析処理をスピードアップ “ ” BIGQUERY が、私にとって 人生最高のものだと、 ついに世界に伝えることができる。 25
- 30. Cloud OnAir Google Cloud で簡単に始める大量データ処理 調査 分析 PoC 機器購入 メンテナス 機器増強 セットアップ 分析 事前準備 分析作業 今まで Google Cloud だと Google Cloud 申し込み 短縮されるタイムライン 30
- 32. Cloud OnAir 第一歩は BigQuery から チュートリアル https://goo.gl/fwSgKj クイックスタート https://goo.gl/VEfFyk BigQuery 32