SlideShare a Scribd company logo
Confidential
『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!
2020 年 09 月 09 日 株式会社グルーヴノーツ
Confidential
Agenda
● 会社紹介・自己紹介
● BigQuery をもっと自由に!
● 事例 1
● 事例 2
● デモ
2
Confidential
3
会社紹介・自己紹介
Confidential
© 2018
based in Fukuoka

Business MAGELLAN BLOCKS
TECH PARK
福岡本社 
福岡県福岡市中央区今泉 1丁目19番22号
天神CLASS 3F
東京オフィス
東京都千代田区大手町 1-9-2
大手町フィナンシャルシティグランキューブ 3F
Global Business Hub Tokyo BD Office
Address
予測
組合せ
最適化
Data
分析
機械学習による
高精度な予測
量子コンピュータによる
高速・高精度な最適解
データレイクの構築、
データ活用支援
事業の領域
Confidential
6
自己紹介
● 名前:
なかむら さとる
● 所属:
株式会社グルーヴノーツ
● 仕事内容:
企業のデータ活用や BigQuery での DWH 構築のお手伝い
● その他:
Google Developers Expert (Google Cloud Platform)
ビッグデータを専門としたコミュニティの運営
Confidential
7
BigQuery をもっと自由に!
Confidential
データ提供基盤既存システム
一般的な仕組み
8
Cloud
Storage
BigQuery BigQuery
Data Studio
Confidential
一般的な仕組み
9
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
Data Studio
Confidential
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
Data Studio
これが
10
天気の情報
使いたい
Confidential
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
Data Studio
こうなって
11
天気の情報
使いたい
Adsのデータ
入れたい
Confidential
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
Data Studio
こうなって
12
天気の情報
使いたい
メーカーから
もらった商品
情報
Adsのデータ
入れたい
Confidential
DataStudio
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
こうなる
13
天気の情報
使いたい
Adsのデータ
入れたい
メーカーから
もらった商品
情報
使ってる
Excelのデー
タ
他社からも
らったデータ
国勢調査の
データも入れ
たい
tweetと組み
合わせたい
おれの推しの
売れ方みた
い
ムリ!
納期は
明日!
Confidential
データ提供基盤既存システム
Cloud
Storage
BigQuery BigQuery
Data Studio
こうなると?
14
出すの遅い
好き勝手
いいやがって
文句ばっか
Confidential
さてさて。。。。
15
とはいえ、せっかくの
BigQuery だし、みんなに
使ってもらいたい。。。。
Confidential
課題と BigQuery のいいところ(おさらい)
16
現場の人たちは自由に分析したいと思っている、なぜ出来ないのか?
● 課題
○ オンプレや他クラウドではリソースの問題があった
→ BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い
Confidential
課題と BigQuery のいいところ(おさらい)
17
現場の人たちは自由に分析したいと思っている、なぜ出来ないのか?
● 課題
○ オンプレや他クラウドではリソースの問題があった
→ BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い
○ 自由に使われたら費用ががががが。。。
→ 使用量に上限を決めることが出来る
→ Flat-rate が 100 から契約出来るようになってお手軽に
→ Reservation を使って各プロジェクトごとに使える上限を決めることが出来る
Confidential
課題と BigQuery のいいところ(おさらい)
18
現場の人たちは自由に分析したいと思っている、なぜ出来ないのか?
● 課題
○ オンプレや他クラウドではリソースの問題があった
→ BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い
○ 自由に使われたら費用ががががが。。。
→ 使用量に上限を決めることが出来る
→ Flat-rate が 100 から契約出来るようになってお手軽に
→ Reservation を使って各プロジェクトごとに使える上限を決めることが出来る
○ 現場の人はプログラムも組めない、 GCP のコンソールも触らせたくない
→ MAGELLAN BLOCKS を使って、GUI で自由にできる
Confidential
既存システム
BigQuery BigQueryCloud
Storage
こうやっちゃう。
19
BigQuery
Cloud
Storage
BigQuery
Cloud
Storage
BigQuery
Cloud
Storage
現場にやっ
てもろたらえ
えやん!
Confidential
既存システム
BigQuery BigQueryCloud
Storage
運用を切り分けることで?
20
BigQuery
Cloud
Storage
BigQuery
Cloud
Storage
BigQuery
Cloud
Storage
『システム』としての仕事に集中できる
● 利用状況の把握
● 課金のコントロール
● 利用状況からのデータ構造の検討
● アクセス権・セキュリティ
Confidential
21
事例 1:人事部門が BigQuery 使ってみた
Confidential
事例 1:人事部門が BigQuery 使ってみた
22
● 課題:
過去の残業代計算に不備があったことが判明。
再計算の必要があったが、現在の給与計算ソフトでは出来ず表計算ソフトでチャレンジ。
しかしデータが多すぎて動かないし、特殊な計算が必要だった。
● 対応:
勤怠管理からデータを抜き出し、 MAGELLAN BLOCKS でフォーマット変換、 NULL 値の修正などを行
う。
計算方式はデータポータルでデータを一緒に見ながら、クエリを解説付きでその場で修正。
無事に 2 週間ほどで完了。
Confidential
事例 1:人事部門が BigQuery 使ってみた
23
● 課題:
過去の残業代計算に不備があったことが判明。
再計算の必要があったが、現在の給与計算ソフトでは出来ず表計算ソフトでチャレンジ。
しかしデータが多すぎて動かないし、特殊な計算が必要だった。
● 対応:
勤怠管理からデータを抜き出し、 MAGELLAN BLOCKS でフォーマット変換、 NULL 値の修正などを行
う。
計算方式はデータポータルで データを一緒に見ながら、クエリを解説付きでその場で修正 。
無事に 2 週間ほどで完了。
Confidential
事例 1:人事部門が BigQuery 使ってみた
24
● 効果:
人事部門発信の働き方改革の元データとして活用。
どの業務にどのぐらい時間が割かれているのか、他データとの連携を MAGELLAN BLOCKS を利用
して自分たちで活用している。
BigQueryCloud
Storage
Confidential
25
事例 2:仕入れ担当者が BigQuery 使ってみた
Confidential
事例 2:仕入れ担当者が BigQuery 使ってみた
26
● 課題:
過去のデータを探して、最終的には人の勘で仕入れを行っていた。
基幹システムから抜き出せる情報だけではなく、様々な要因があるがそれを別々でみていた。
これらを 1 つに統合して見て、あわよくば AI につなげたい。
● 対応:
当初は私達がデータを見ながら、特徴のあるところをヒアリング。
徐々に手を離して、自分たちでデータを見ながら他部門(マーケティングや商品情報)と連携してデータ
をもらい自立してデータを扱えるようになった。
Confidential
事例 2:仕入れ担当者が BigQuery 使ってみた
27
● 効果:
データを扱う仲間が増えて、自発的に横展開で利用するようになった。
現在は機械学習にも手を伸ばして使うようになっている。
BigQueryCloud
Storage
Confidential
28
デモ
THANK YOU

More Related Content

PDF
[Cloud OnAir] Google Cloud 主催イベント Data Platform Day Recap!〜登壇企業インタビューと内容解説〜 2...
PDF
6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
PDF
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
PDF
[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送
PDF
[Cloud OnAir] ビッグデータ事例紹介 データ分析と実践編 (e-Learning) 2018年6月28日 放送
PDF
[Cloud OnAir] Google Cloud Next '18 in London 最新情報 2018年10月18日 放送
PDF
[Cloud OnAir] ビジネスの成長を加速するマーケティング データウェアハウス 2019年12月5日 放送
PDF
[Cloud OnAir] Chronicle Backstory のご紹介 2020 年 1 月 23 日放送
[Cloud OnAir] Google Cloud 主催イベント Data Platform Day Recap!〜登壇企業インタビューと内容解説〜 2...
6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送
[Cloud OnAir] ビッグデータ事例紹介 データ分析と実践編 (e-Learning) 2018年6月28日 放送
[Cloud OnAir] Google Cloud Next '18 in London 最新情報 2018年10月18日 放送
[Cloud OnAir] ビジネスの成長を加速するマーケティング データウェアハウス 2019年12月5日 放送
[Cloud OnAir] Chronicle Backstory のご紹介 2020 年 1 月 23 日放送

What's hot (20)

PDF
BigQueryを始めてみよう - Google Analytics データを活用する
PDF
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
PDF
[Cloud OnAir] G Suite って何が便利なの?Google AI を活用した働き方とは?今さら聞けない G Suite の最新便利機能をユ...
PDF
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
PDF
明日から役立つ BigQuery ML 活用 5 つのヒント | Google Cloud INSIDE Games & Apps: Online
PDF
[Cloud OnAir] BigQuery ML と AutoML Tables で はじめるマーケティング分析入門 2019年5月23日 放送
PDF
[Cloud OnAir] 良いデータのために良い可視化ツールを使いましょう! 2019年11月7日 放送
PDF
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
PDF
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
PDF
[Cloud OnAir] クラウドからエッジまで!進化する GCP の IoT サービス 2018年11月22日 放送
PDF
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送
PDF
[Cloud OnAir] エンタープライズでのマイグレーション 方法論やクラウド ジャーニー 2019年7月18日 放送
PDF
[Cloud OnAir] Next ’19 サンフランシスコ最新情報 GCP 特集 2019年4月11日 放送
PDF
[Cloud OnAir] G Suite で実現するクラウド時代の ID マネジメントとコンテンツ管理 2019年11月21日 放送
PDF
Cloud OnAir #04 今話題の機械学習・GCP で何ができるのか?
PDF
[Cloud OnAir] Cloud Data Fusion で GCP にデータを集約して素早く分析を開始しよう 2019年10月31日 放送
PDF
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
PDF
データプロダクトを支えるビッグデータ基盤
PDF
Google Big Query
PDF
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (e-Learning) 2018年4月19日 放送
BigQueryを始めてみよう - Google Analytics データを活用する
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
[Cloud OnAir] G Suite って何が便利なの?Google AI を活用した働き方とは?今さら聞けない G Suite の最新便利機能をユ...
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
明日から役立つ BigQuery ML 活用 5 つのヒント | Google Cloud INSIDE Games & Apps: Online
[Cloud OnAir] BigQuery ML と AutoML Tables で はじめるマーケティング分析入門 2019年5月23日 放送
[Cloud OnAir] 良いデータのために良い可視化ツールを使いましょう! 2019年11月7日 放送
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
[Cloud OnAir] クラウドからエッジまで!進化する GCP の IoT サービス 2018年11月22日 放送
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送
[Cloud OnAir] エンタープライズでのマイグレーション 方法論やクラウド ジャーニー 2019年7月18日 放送
[Cloud OnAir] Next ’19 サンフランシスコ最新情報 GCP 特集 2019年4月11日 放送
[Cloud OnAir] G Suite で実現するクラウド時代の ID マネジメントとコンテンツ管理 2019年11月21日 放送
Cloud OnAir #04 今話題の機械学習・GCP で何ができるのか?
[Cloud OnAir] Cloud Data Fusion で GCP にデータを集約して素早く分析を開始しよう 2019年10月31日 放送
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
データプロダクトを支えるビッグデータ基盤
Google Big Query
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (e-Learning) 2018年4月19日 放送
Ad

Similar to 『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!| Google Cloud INSIDE Games & Apps: Online (7)

PDF
Google Cloud ベストプラクティス:Google BigQuery 編 - 01 : BigQuery とは?
PPTX
BigQueryを活用したPrivate DMPを作って使ってるお話
PDF
Google Analytics のデータ分析ハンズオン
PDF
BigQueryを使ってみた(2018年2月)
PDF
これでBigQueryをドヤ顔で語れる!BigQueryの基本
PDF
Google Cloud ベストプラクティス:Google BigQuery 編 - 02 : データ処理 / クエリ / データ抽出
PDF
BigQueryの課金、節約しませんか
Google Cloud ベストプラクティス:Google BigQuery 編 - 01 : BigQuery とは?
BigQueryを活用したPrivate DMPを作って使ってるお話
Google Analytics のデータ分析ハンズオン
BigQueryを使ってみた(2018年2月)
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Google Cloud ベストプラクティス:Google BigQuery 編 - 02 : データ処理 / クエリ / データ抽出
BigQueryの課金、節約しませんか
Ad

More from Google Cloud Platform - Japan (20)

PDF
ServerlessDays Tokyo 2022 Virtual.pdf
PDF
20221105_GCPUG 女子会 Kubernets 編.pdf
PDF
Google Cloud でアプリケーションを動かす.pdf
PDF
[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南
PDF
What’s new in cloud run 2021 後期
PDF
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
PDF
Google Cloud で実践する SRE
PDF
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
PDF
[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...
PDF
[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送
PDF
[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送
PDF
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
PDF
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
PDF
[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送
PDF
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
PDF
[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送
PDF
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
PDF
[Cloud OnAir] Talks by DevRel Vol.4 データ管理とデータ ベース 2020年8月27日 放送
PDF
[Cloud OnAir] Talks by DevRel Vol.2 セキュリティ 2020年8月6日 放送
PDF
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
ServerlessDays Tokyo 2022 Virtual.pdf
20221105_GCPUG 女子会 Kubernets 編.pdf
Google Cloud でアプリケーションを動かす.pdf
[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南
What’s new in cloud run 2021 後期
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
Google Cloud で実践する SRE
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...
[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送
[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
[Cloud OnAir] Talks by DevRel Vol.4 データ管理とデータ ベース 2020年8月27日 放送
[Cloud OnAir] Talks by DevRel Vol.2 セキュリティ 2020年8月6日 放送
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送

『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!| Google Cloud INSIDE Games & Apps: Online