福岡クラウドUG-BigQuery
- 3. 3 BigQueryとは？ 3 BigQuery は Google が提供するフルマネージドのエ ンタープライズ向けアナリティクス データ ウェアハウス です。 https://cloud.google.com/bigquery/?hl=ja
- 4. 4 そもそもDWH（データウェアハウス）とは？ 4 データウェアハウスとは、直訳すれば「データの倉庫」 である。 利用者により定義範囲は異なるが、一般に時 系列に整理された大量の統合業務データ、もしくはそ の管理システムを指す。 https://ja.wikipedia.org/wiki/データウェアハウス 主な製品（オンプレ） ■ Exadata(Oracle) ■ PureData(IBM) ■ HANA(SAP) ■ Teradata(Teradata) 主な製品（クラウド） ■ Redshift(AWS) ■ Azure SQL Data Warehouse(Microsoft) ■ Snowflake(Snowflake) ■ BigQuery(GCP)
- 5. 5 用途 5 ×不得意 ■ 業務システム(OLTP)のバックエンド ■ webのバックエンド ■ ゲームのバックエンド 〇得意 ■ ログ解析（アクセス、エラー、操作・・） ■ 大量データのバッチ処理 ■ 分析（Window関数、UDF）
- 6. 6 とにかく速い！ ■ 億を超えるレコード数でも数秒で処理 1TBのデータを1秒でフルスキャンにするには5,000台のディスクが必要 なぜBigQueryはこんなインチキ臭いほどに高速なのか。BigQueryは、Cloudera Impara等のいまどき の大規模並列（Massively Parallel Processing/MPP）クエリエンジンや過去のデータウェアハウスマシ ンと同じくカラム型のデータ分析専用データベースである。しかし、他の多くのカラム型DBとBigQuery との間には量子的飛躍が存在する。それは、並列度のオーダーだ。BigQueryでは、ひとつひとつのク エリを実行するたびに数百台〜数千台のマシンが同時並列に検索を実行している（←ケタ間違えてい ません）。文字通り、massivellyな並列処理だ。その上、インデックスは一切作らず、すべてディスクの フルスキャン（テーブルスキャン）で処理する。 引用：http://qiita.com/kazunori279/items/10ac0066ac9b0b5aaaf3
- 7. 7 とにかく楽！ ■ 物理設計不要 ☐ サイジング（CPU,メモリ,Disk） ☐ データ格納方法（分散＋ソート） ☐ インデックス不要（パフォチュー不要） ■ フルマネージメント ☐ AnalyzeやVacuum系の処理不要 ☐ さようならハードウェア障害！ ☐ さようならディスク領域不足！
- 8. 8 とにかく安い！ ■ 料金体系は使っただけの従量課金 操作 コスト メモ ストレージ GB あたり $0.02/月 毎月 10 GB まで無料。詳細はストレージの料金体系をご覧ください。 長期保存 GB あたり $0.01/月 長期保存の料金をご覧ください。 ストリーミング イン サート GB あたり $0.05 ストレージの料金体系をご覧ください。 クエリ TB あたり $5 毎月 1 TB まで無料。詳細はオンデマンドの料金体系をご覧ください。 多くの容量をご使用のお客 様は定額料金もご利用いただけます。 データの読み込み 無料 BigQuery へのデータの読み込みをご覧ください。 データのコピー 無料 テーブルのコピーをご覧ください。 データのエクスポート 無料 BigQuery からのデータのエクスポートをご覧ください。 メタデータ オペレー ション 無料 list、get、patch、update、delete の呼び出し。 17年08月現在
- 9. 9 注意 ■ SQLが２種類存在（Legacy or Standard） →Standard(SQL:2011準拠)がオススメ ■ コストの見積が難しい。 →定額料金あるが、手が届かない。 →変な使い方をしない限り、まず問題ない ■ どんなクエリでも秒単位ではかかる。 →用途を間違えない。 ■ パフォーマンスチューニング不可 →諦める。そもそも速い ■ DML(UPDATE/DELETE)実行回数制限あり →設計で回避
- 10. 1010 無料お試し！ １．無料トライアル枠あります $300 の無料クレジットで、あらゆる GCP プロダクトをお試し いただけます（最大12か月）。 https://cloud.google.com/free/?hl=ja ２．BigQuery無料枠あります ストレージ：10GB/月、クエリ：1TB/月 https://cloud.google.com/bigquery/pricing?hl=ja ３．お試しデータあります サンプルデータ：wikipedia全記事改定履歴など 一般公開データ：ニューヨーク市内のタクシー移動など https://cloud.google.com/bigquery/sample-tables https://cloud.google.com/bigquery/public-data/?hl=ja