![{a->[apple, art, argentina], ar->[art, argentina, armenia],...}
Count
ExpandPrefixes
Top(3)
Write
Read
ExtractTags
{a->(argentina, 5M), a->(armenia, 2M), …,
ar->(argentina, 5M), ar->(armenia, 2M), ...}
{#argentina scores!, watching #armenia vs
#argentina, my #art project, …}
{argentina, armenia, argentina, art, ...}
{argentina->5M, armenia->2M, art->90M, ...}
Tweets
Predictions](https://image.slidesharecdn.com/noopsdataplatformdevelopersummit2017021-170217034351/85/No-Ops-36-320.jpg)
No-Ops で大量データ処理基盤を簡単に実現する
- 1. 福田 潔 Google Cloud Platform カスタマーエンジニア Google Cloud No-Ops で大量データ処理基盤を 簡単に実現する BigQuery と Cloud Dataflow で実現する次世代データ処理基盤
- 3. Data makes software great. Apps (and companies) win or lose based on how they use it.
- 8. Enterprise
- 12. データセンター内の 高速ネットワーク ● 5th generation of custom-made network fablic ● 1Pbps = 100K machines x 10Gbps Jupitor
- 13. Borg 大規模クラスタ 管理システム ● Everything at Google runs in a container ● Separate of infra / application ● Prod + Non-Prod runs on same machine
- 14. 2016 Google Research 20082002 2004 2006 2010 2012 2014 2015 Open Source 2005 Google Cloud Products GFS Map Reduce 15年以上、データの問題に向き合ってきた
- 15. 2016 Google Research 20082002 2004 2006 2010 2012 2014 2015 Open Source 2005 Google Cloud Products BigQuery Pub/Sub Dataflow Bigtable ML GFS Map Reduce BigTable Dremel Flume Java Millwheel Tensorflow Apache Beam PubSub 15年以上、データの問題に向き合ってきた
- 17. 分析保存収集 BigQuery (SQL) 処理 Cloud Dataflow (stream and batch) Cloud Storage (objects) Cloud Datastor (NoSQL) BigQuery Storage (structured) Cloud Dataproc (Hadoop & Ecosystem) Cloud Bigtable (NoSQL HBase) Cassandra hBase MongoDBRabbit MQ Kafka Cloud 2.0 Cloud 3.0 可視化 Cloud DataLab (iPython/Jupyter) Tableau Pub/Sub Stackdriver Logging BQ Streaming App Engine Cloud SQL (SQL) Cloud Machine Learning プロダクトをマップすると Cloud Spanner (NewSQL)
- 18. リファレンスアーキテクチャ : データを収集する Cloud Pub/Sub At Leaast One の信頼性を持つ、スケーラブルなNo-Opsグローバル分散 メッセージ・キュー Cloud Storage オブジェクトストレージ。外部システムが出力するファイルの GCPへのエントリーポイントとなる 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 Stackdriver Logging GCP および AWS(EC2) からログイベントを収集 APIを介して任意のアプリケーションログも収集 GCPのシステムロ グ、アプリケーション ログ 等 Transfer Service
- 19. リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Transfer Service
- 20. リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Cloud Dataproc Spark / Hadoop のマネージド・サービス Batch
- 21. リファレンスアーキテクチャ : 分析および保存 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch BigQuery 大規模データセットに対する 高性能クエリーエンジン
- 22. リファレンスアーキテクチャ : 分析および可視化 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A BigQuery Dataproc Dataflow Cloud Storage Pub/Sub Stackdriver Logging
- 23. 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A a No-Ops big data stack that scales automatically
- 25. BigQuery Fully managed, Petabyte Scale, Low Cost Enterprise Data Warehouse for analytics
- 27. BigQuery の内部構造 SQL クエリ ペタビット ネットワーク BigQuery カラム指向ストレージ コンピュート ストリーミングイン ジェスト 高速バッチロード Google Cloud Storage Google Drive Google スプレッドシート Federated Query
- 28. デモ 1PB Query
- 30. 継続的な改善 2010 2011 2012 2013 2014 公開 大規模なクエリ結果 2015 2016 900 300 0 1,200 Google I/O でベータリリース Dremel X Big JOIN サポート ダイナミック エグゼキューション Capacitor シャッフル高速化 100k qps のストリーミン グ ユーザー定義関数 100k qps の ストリーミング Code Submits
- 31. Unstructured data accounts for 90% of enterprise data* *Source: IDC
- 32. Dataflow New default of stream processing
- 33. バッチ処理の問題点：データは継続的に生成される （＝Unbounded Data）。なぜ処理するために待たなければなら ないのか？ Dataflow(Apache Beam) は ストリーム処理の新しいデフォルト バッチ処理はストリーム処理のサブセットと捉える Cloud Dataflow とは？
- 34. 20122002 2004 2006 2008 2010 MapReduce GFS Big Table Dremel Pregel FlumeJava Colossus Spanner 2014 MillWheel Dataflow 2016 Dataflow は新しいデフォルト
- 35. Dataflow モデル および Cloud Dataflow Dataflow Model & SDKs バッチおよびストリーム処理の 統合プログラムモデル no-ops, フルマネージドサービス （実行環境） Google Cloud Dataflow Apache Beam
- 36. {a->[apple, art, argentina], ar->[art, argentina, armenia],...} Count ExpandPrefixes Top(3) Write Read ExtractTags {a->(argentina, 5M), a->(armenia, 2M), …, ar->(argentina, 5M), ar->(armenia, 2M), ...} {#argentina scores!, watching #armenia vs #argentina, my #art project, …} {argentina, armenia, argentina, art, ...} {argentina->5M, armenia->2M, art->90M, ...} Tweets Predictions
- 37. Count ExpandPrefixes Top(3) Write Read ExtractTags Tweets Predictions Pipeline p = Pipeline.create(new PipelineOptions()); p p.run(); .apply(ParDo.of(new ExtractTags())) .apply(Top.largestPerKey(3)) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(TextIO.Write.to(“gs://…”)); .apply(TextIO.Read.from(“gs://…”)) class ExpandPrefixes … { public void processElement(ProcessContext c) { String word = c.element().getKey(); for (int i = 1; i <= word.length(); i++) { String prefix = word.substring(0, i); c.output(KV.of(prefix, c.element())); } } }
- 38. NYC Taxi and Limousine Commissions : Open Data
- 39. Cloud Pub/Sub (public dataset) Dataflow ETL using Cloud Dataflow BigQuery BigQuery Cloud Pub/Sub Visualize Application Datalab DataStudio
- 48. cloud.google.com
- 49. https://goo.gl/EolvdJ 4月21日 | 10:00 AM - 5:30 PM ベルサール渋谷ファースト
- 50. 参考 ● BigQuery ○ https://cloud.google.com/bigquery/ ● Dataflow ○ https://cloud.google.com/dataflow/ ● Google Big Data Blog ○ https://cloud.google.com/blog/big-data/ ● NYC Taxi Tycoon Codelab ○ https://goo.gl/4g5eep ● Architecture: Optimized Large-Scale Analytics Ingestion ○ https://cloud.google.com/solutions/architecture/optimized-large-scale-a nalytics-ingestion