FirebaseAnalytics_BigQuery_Datastudio
- 2. 自己紹介 ● 名前： なかむら さとる ● 経歴： （元？現？）某小売系のインフラ・システム運用エンジニア ● その他： Google Developers Experts(Cloud)、BigQueryとかデータ関連が大好き。 GCPUGで色々話しています。あと#bq_sushiやります。
- 5. Agenda ● Firebase Analyticsって？ ● BigQuery Export ● DataStudio
- 6. Firebase Analyticsって？ ● アプリにFirebaseSDKを導入するだけで、自動的にある程度のデータを収集してく れる。 ● 自分で収集するイベントを設定する事もできる。 ● データの収集はイベント単位 ● 他のサービスとも統合出来る。 ○ BigQuery ○ Firebase Crash Reporting ○ FCM ○ Firebase Remote Config ○ Google タグマネージャ
- 7. Firebase Analyticsって？ ● アプリにFirebaseSDKを導入するだけで、自動的にある程度のデータを収集してく れる。 ● 自分で収集するアクションを設定する事もできる。 ● データの収集はアクション単位 ● 他のサービスとも統合出来る。 ○ BigQuery ○ Firebase Crash Reporting ○ FCM ○ Firebase Remote Config ○ Google タグマネージャ 今日はココを重点的に話します！ 今日はココ話します！
- 9. BigQueryって？
- 10. BigQueryの仕組み ■The 12 Components of Google BigQuery https://medium.com/google-cloud/the-12-c omponents-of-google-bigquery-c2b49829a7 c7 ■重要なコンポーネント ・Dremel（クエリエンジン） ・Colossus（ストレージエンジン） ・Jupiter（ネットワーク） ・Borg（大規模コンテナ・クラスタ管理）
- 11. サーバレス・サービスモデル ● 完全なサーバレスモデルである ○ ハードウェア、機能アップデートの管理はすべて Googleが行う ○ VMやCPU、メモリ、ディスクサイズなどの設定も不要 ○ 数秒で数十万コアを利用することが出来る ○ 利用者はデータを入れること、抽出することだけを考える
- 12. 独自のストレージエンジン ● Colossus ○ GFS(Google File System)の後継 ○ データセンター規模でのファイルシステム ○ GmailやDocsなどと同じインフラ ○ 同じデータを3箇所のデータセンターにレプリケーション ○ データのシャーディング ○ 暗号化 ● Capacitor ○ カラムナーストレージフォーマット ○ データの最適化（並べ替えなど） ○ テーブルパーティショニング ● Poseidon ○ 様々なファイルフォーマットへの対応 （CSV,JSON,Avro,DataStore） ○ クエリとインポート/エクスポートの分離
- 13. Dremelというクエリエンジン ● 2015年にアップデート ● 最初はBigQuery独自のSQLだけでしたが、Standard-SQLにも対応 （※今後はStandard-SQLを利用、オプティマイザを実装） ● シャッフルやソートはインメモリで実施 ● Borgで管理 ● いつでも元気にフルスキャン
- 14. 独立したストレージとネットワーク ● Jupiterネットワーク ○ Googleが独自に開発したネットワーク（ H/W,S/Wともに） ○ 1Pb/secの帯域 ○ 謎技術。。。。。（SDNであることは間違いない） ○ ストレージはネットワークで接続
- 15. 費用について ● クエリ課金 ○ クエリ毎に利用したカラムに対するデータ容量で課金 ○ 月額固定料金 ● ストレージ課金 ○ データ容量に対して課金 ○ 90日以上変更の無いテーブルはデータ容量に対しての課金が半額 ● ストリーミングインサート ○ バッチでInsertするのではなく、1行ずつ個別にいれるデータ量にたいして課金 ● https://cloud.google.com/bigquery/pricing?hl=ja#transfer
- 16. IAMと認証、監査ログ ● Google CloudのIAMと権限の連携（Read/Write/Admin） ● DataSet単位での権限付け ● 認証はO-Authとサービスアカウント ● すべての操作を監査ログで保存し、BigQueryへExportも可能
- 18. BigQuery Export ● ユーザー単位で行動データ(JSON)がBigQueryにExportされます ● RealTimeExport（間隔は多分20分）と1日1回のExportの2つがあります。 ● Blazeの契約が必要です。
- 19. それで何が嬉しいん？ ● そもそもそんなデータ作るのめんどい ● 他のデータと行動データをくっつけることが出来る ○ 持ってるアプリのデータ ○ Adwords、DCM、YouTubeのレポートなどなど
- 21. DataStudioとは ● 簡単に言うと、パワポスライドに数値を埋め込むことが出来るツール ● リアルタイムにデータを取得することが出来たり、『ある程度』利用者が自由に データを出すことが出来る ● BIツールの超簡易版
- 24. つまり・・・・・
- 25. つまり・・・・・
- 31. もうちょっと話ししたい人が居れば