Submit Search
『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!| Google Cloud INSIDE Games & Apps: Online
0 likes
920 views
Google Cloud Platform - Japan
株式会社グルーヴノーツ シニアコンサルタント / Google Developers Expert (GCP) なかむら さとる様
Technology
Related topics:
Google Cloud Platform
Read more
1 of 29
Download now
Download to read offline
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
More Related Content
PDF
[Cloud OnAir] Google Cloud 主催イベント Data Platform Day Recap!〜登壇企業インタビューと内容解説〜 2...
Google Cloud Platform - Japan
PDF
6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] ビッグデータ事例紹介 データ分析と実践編 (e-Learning) 2018年6月28日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud Next '18 in London 最新情報 2018年10月18日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] ビジネスの成長を加速するマーケティング データウェアハウス 2019年12月5日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Chronicle Backstory のご紹介 2020 年 1 月 23 日放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud 主催イベント Data Platform Day Recap!〜登壇企業インタビューと内容解説〜 2...
Google Cloud Platform - Japan
6 月 18 日 Next - Google が描く、MapReduce を超えたビッグデータの世界
Google Cloud Platform - Japan
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud の AI / IoT 最新事例紹介 2020年10月22日 放送
Google Cloud Platform - Japan
[Cloud OnAir] ビッグデータ事例紹介 データ分析と実践編 (e-Learning) 2018年6月28日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud Next '18 in London 最新情報 2018年10月18日 放送
Google Cloud Platform - Japan
[Cloud OnAir] ビジネスの成長を加速するマーケティング データウェアハウス 2019年12月5日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Chronicle Backstory のご紹介 2020 年 1 月 23 日放送
Google Cloud Platform - Japan
What's hot
(20)
PDF
BigQueryを始めてみよう - Google Analytics データを活用する
Google Cloud Platform - Japan
PDF
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
PDF
[Cloud OnAir] G Suite って何が便利なの?Google AI を活用した働き方とは?今さら聞けない G Suite の最新便利機能をユ...
Google Cloud Platform - Japan
PDF
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
Google Cloud Platform - Japan
PDF
明日から役立つ BigQuery ML 活用 5 つのヒント | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
PDF
[Cloud OnAir] BigQuery ML と AutoML Tables で はじめるマーケティング分析入門 2019年5月23日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 良いデータのために良い可視化ツールを使いましょう! 2019年11月7日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
Google Cloud Platform - Japan
PDF
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
PDF
[Cloud OnAir] クラウドからエッジまで!進化する GCP の IoT サービス 2018年11月22日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] エンタープライズでのマイグレーション 方法論やクラウド ジャーニー 2019年7月18日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Next ’19 サンフランシスコ最新情報 GCP 特集 2019年4月11日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] G Suite で実現するクラウド時代の ID マネジメントとコンテンツ管理 2019年11月21日 放送
Google Cloud Platform - Japan
PDF
Cloud OnAir #04 今話題の機械学習・GCP で何ができるのか?
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Cloud Data Fusion で GCP にデータを集約して素早く分析を開始しよう 2019年10月31日 放送
Google Cloud Platform - Japan
PDF
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform - Japan
PDF
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
PDF
Google Big Query
Ryuji Tamagawa
PDF
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (e-Learning) 2018年4月19日 放送
Google Cloud Platform - Japan
BigQueryを始めてみよう - Google Analytics データを活用する
Google Cloud Platform - Japan
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
[Cloud OnAir] G Suite って何が便利なの?Google AI を活用した働き方とは?今さら聞けない G Suite の最新便利機能をユ...
Google Cloud Platform - Japan
基本から学ぶ ビッグデータ / データ分析 / 機械学習 サービス群
Google Cloud Platform - Japan
明日から役立つ BigQuery ML 活用 5 つのヒント | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
[Cloud OnAir] BigQuery ML と AutoML Tables で はじめるマーケティング分析入門 2019年5月23日 放送
Google Cloud Platform - Japan
[Cloud OnAir] 良いデータのために良い可視化ツールを使いましょう! 2019年11月7日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud Next '18 最新情報 2018年7月26日 放送
Google Cloud Platform - Japan
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
[Cloud OnAir] クラウドからエッジまで!進化する GCP の IoT サービス 2018年11月22日 放送
Google Cloud Platform - Japan
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (LIVE) 2018年4月12日 放送
Google Cloud Platform - Japan
[Cloud OnAir] エンタープライズでのマイグレーション 方法論やクラウド ジャーニー 2019年7月18日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Next ’19 サンフランシスコ最新情報 GCP 特集 2019年4月11日 放送
Google Cloud Platform - Japan
[Cloud OnAir] G Suite で実現するクラウド時代の ID マネジメントとコンテンツ管理 2019年11月21日 放送
Google Cloud Platform - Japan
Cloud OnAir #04 今話題の機械学習・GCP で何ができるのか?
Google Cloud Platform - Japan
[Cloud OnAir] Cloud Data Fusion で GCP にデータを集約して素早く分析を開始しよう 2019年10月31日 放送
Google Cloud Platform - Japan
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
Google Cloud Platform - Japan
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
Google Big Query
Ryuji Tamagawa
[Cloud OnAir] ビジネスを変革する!クラウドを活用したデータ分析基盤の第一歩 (e-Learning) 2018年4月19日 放送
Google Cloud Platform - Japan
Ad
Similar to 『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!| Google Cloud INSIDE Games & Apps: Online
(7)
PDF
Google Cloud ベストプラクティス:Google BigQuery 編 - 01 : BigQuery とは?
Google Cloud Platform - Japan
PPTX
BigQueryを活用したPrivate DMPを作って使ってるお話
Masato Kawada
PDF
Google Analytics のデータ分析ハンズオン
Kenichi Tatsuhama
PDF
BigQueryを使ってみた(2018年2月)
Toshiyuki Shimono
PDF
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
PDF
Google Cloud ベストプラクティス:Google BigQuery 編 - 02 : データ処理 / クエリ / データ抽出
Google Cloud Platform - Japan
PDF
BigQueryの課金、節約しませんか
Ryuji Tamagawa
Google Cloud ベストプラクティス:Google BigQuery 編 - 01 : BigQuery とは?
Google Cloud Platform - Japan
BigQueryを活用したPrivate DMPを作って使ってるお話
Masato Kawada
Google Analytics のデータ分析ハンズオン
Kenichi Tatsuhama
BigQueryを使ってみた(2018年2月)
Toshiyuki Shimono
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
Google Cloud ベストプラクティス:Google BigQuery 編 - 02 : データ処理 / クエリ / データ抽出
Google Cloud Platform - Japan
BigQueryの課金、節約しませんか
Ryuji Tamagawa
Ad
More from Google Cloud Platform - Japan
(20)
PDF
ServerlessDays Tokyo 2022 Virtual.pdf
Google Cloud Platform - Japan
PDF
20221105_GCPUG 女子会 Kubernets 編.pdf
Google Cloud Platform - Japan
PDF
Google Cloud でアプリケーションを動かす.pdf
Google Cloud Platform - Japan
PDF
[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南
Google Cloud Platform - Japan
PDF
What’s new in cloud run 2021 後期
Google Cloud Platform - Japan
PDF
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
Google Cloud Platform - Japan
PDF
Google Cloud で実践する SRE
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送
Google Cloud Platform - Japan
PDF
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Talks by DevRel Vol.4 データ管理とデータ ベース 2020年8月27日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Talks by DevRel Vol.2 セキュリティ 2020年8月6日 放送
Google Cloud Platform - Japan
PDF
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
Google Cloud Platform - Japan
ServerlessDays Tokyo 2022 Virtual.pdf
Google Cloud Platform - Japan
20221105_GCPUG 女子会 Kubernets 編.pdf
Google Cloud Platform - Japan
Google Cloud でアプリケーションを動かす.pdf
Google Cloud Platform - Japan
[External] 2021.12.15 コンテナ移行の前に知っておきたいこと @ gcpug 湘南
Google Cloud Platform - Japan
What’s new in cloud run 2021 後期
Google Cloud Platform - Japan
【Dialogflow cx】はじめてみよう google cloud dialogflow cx 編
Google Cloud Platform - Japan
Google Cloud で実践する SRE
Google Cloud Platform - Japan
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
Google Cloud Platform - Japan
[Cloud OnAir] 【実演】Google Cloud VMware Engine と VMware ソリューションを組み合わせたハイブリッド環境の...
Google Cloud Platform - Japan
[Cloud OnAir] Google Workspace でできる データ分析と業務自動化のご紹介 2020年12月3日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud へのマイグレーション ツールの紹介 2020年11月26日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud における RDBMS の運用パターン 2020年11月19日 放送
Google Cloud Platform - Japan
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
Google Cloud Platform - Japan
[Cloud OnAir] 【Google Kubernetes Engine 演習】解説を聞きながら GKE を体験しよう 2020年10月29日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Talks by DevRel Vol.5 アプリケーションのモダナイゼーション 2020年9月3日 放送
Google Cloud Platform - Japan
今だから知りたい BigQuery 再入門 | Google Cloud INSIDE Games & Apps: Online
Google Cloud Platform - Japan
[Cloud OnAir] Talks by DevRel Vol.4 データ管理とデータ ベース 2020年8月27日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Talks by DevRel Vol.2 セキュリティ 2020年8月6日 放送
Google Cloud Platform - Japan
[Cloud OnAir] Talks by DevRel Vol. 1 インフラストラクチャ 2020年7月30日 放送
Google Cloud Platform - Japan
『MAGELLAN BLOCKS』を使って BigQuery を使い倒す!| Google Cloud INSIDE Games & Apps: Online
1.
Confidential 『MAGELLAN BLOCKS』を使って BigQuery
を使い倒す! 2020 年 09 月 09 日 株式会社グルーヴノーツ
2.
Confidential Agenda ● 会社紹介・自己紹介 ● BigQuery
をもっと自由に! ● 事例 1 ● 事例 2 ● デモ 2
3.
Confidential 3 会社紹介・自己紹介
4.
Confidential © 2018 based in
Fukuoka Business MAGELLAN BLOCKS TECH PARK 福岡本社 福岡県福岡市中央区今泉 1丁目19番22号 天神CLASS 3F 東京オフィス 東京都千代田区大手町 1-9-2 大手町フィナンシャルシティグランキューブ 3F Global Business Hub Tokyo BD Office Address
5.
予測 組合せ 最適化 Data 分析 機械学習による 高精度な予測 量子コンピュータによる 高速・高精度な最適解 データレイクの構築、 データ活用支援 事業の領域
6.
Confidential 6 自己紹介 ● 名前: なかむら さとる ● 所属: 株式会社グルーヴノーツ ●
仕事内容: 企業のデータ活用や BigQuery での DWH 構築のお手伝い ● その他: Google Developers Expert (Google Cloud Platform) ビッグデータを専門としたコミュニティの運営
7.
Confidential 7 BigQuery をもっと自由に!
8.
Confidential データ提供基盤既存システム 一般的な仕組み 8 Cloud Storage BigQuery BigQuery Data Studio
9.
Confidential 一般的な仕組み 9 データ提供基盤既存システム Cloud Storage BigQuery BigQuery Data Studio
10.
Confidential データ提供基盤既存システム Cloud Storage BigQuery BigQuery Data Studio これが 10 天気の情報 使いたい
11.
Confidential データ提供基盤既存システム Cloud Storage BigQuery BigQuery Data Studio こうなって 11 天気の情報 使いたい Adsのデータ 入れたい
12.
Confidential データ提供基盤既存システム Cloud Storage BigQuery BigQuery Data Studio こうなって 12 天気の情報 使いたい メーカーから もらった商品 情報 Adsのデータ 入れたい
13.
Confidential DataStudio データ提供基盤既存システム Cloud Storage BigQuery BigQuery こうなる 13 天気の情報 使いたい Adsのデータ 入れたい メーカーから もらった商品 情報 使ってる Excelのデー タ 他社からも らったデータ 国勢調査の データも入れ たい tweetと組み 合わせたい おれの推しの 売れ方みた い ムリ! 納期は 明日!
14.
Confidential データ提供基盤既存システム Cloud Storage BigQuery BigQuery Data Studio こうなると? 14 出すの遅い 好き勝手 いいやがって 文句ばっか
15.
Confidential さてさて。。。。 15 とはいえ、せっかくの BigQuery だし、みんなに 使ってもらいたい。。。。
16.
Confidential 課題と BigQuery のいいところ(おさらい) 16 現場の人たちは自由に分析したいと思っている、なぜ出来ないのか? ●
課題 ○ オンプレや他クラウドではリソースの問題があった → BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い
17.
Confidential 課題と BigQuery のいいところ(おさらい) 17 現場の人たちは自由に分析したいと思っている、なぜ出来ないのか? ●
課題 ○ オンプレや他クラウドではリソースの問題があった → BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い ○ 自由に使われたら費用ががががが。。。 → 使用量に上限を決めることが出来る → Flat-rate が 100 から契約出来るようになってお手軽に → Reservation を使って各プロジェクトごとに使える上限を決めることが出来る
18.
Confidential 課題と BigQuery のいいところ(おさらい) 18 現場の人たちは自由に分析したいと思っている、なぜ出来ないのか? ●
課題 ○ オンプレや他クラウドではリソースの問題があった → BigQuery ならサーバレスで、自動的に拡張してくれるのでリソースの問題は無い ○ 自由に使われたら費用ががががが。。。 → 使用量に上限を決めることが出来る → Flat-rate が 100 から契約出来るようになってお手軽に → Reservation を使って各プロジェクトごとに使える上限を決めることが出来る ○ 現場の人はプログラムも組めない、 GCP のコンソールも触らせたくない → MAGELLAN BLOCKS を使って、GUI で自由にできる
19.
Confidential 既存システム BigQuery BigQueryCloud Storage こうやっちゃう。 19 BigQuery Cloud Storage BigQuery Cloud Storage BigQuery Cloud Storage 現場にやっ てもろたらえ えやん!
20.
Confidential 既存システム BigQuery BigQueryCloud Storage 運用を切り分けることで? 20 BigQuery Cloud Storage BigQuery Cloud Storage BigQuery Cloud Storage 『システム』としての仕事に集中できる ● 利用状況の把握 ●
課金のコントロール ● 利用状況からのデータ構造の検討 ● アクセス権・セキュリティ
21.
Confidential 21 事例 1:人事部門が BigQuery
使ってみた
22.
Confidential 事例 1:人事部門が BigQuery
使ってみた 22 ● 課題: 過去の残業代計算に不備があったことが判明。 再計算の必要があったが、現在の給与計算ソフトでは出来ず表計算ソフトでチャレンジ。 しかしデータが多すぎて動かないし、特殊な計算が必要だった。 ● 対応: 勤怠管理からデータを抜き出し、 MAGELLAN BLOCKS でフォーマット変換、 NULL 値の修正などを行 う。 計算方式はデータポータルでデータを一緒に見ながら、クエリを解説付きでその場で修正。 無事に 2 週間ほどで完了。
23.
Confidential 事例 1:人事部門が BigQuery
使ってみた 23 ● 課題: 過去の残業代計算に不備があったことが判明。 再計算の必要があったが、現在の給与計算ソフトでは出来ず表計算ソフトでチャレンジ。 しかしデータが多すぎて動かないし、特殊な計算が必要だった。 ● 対応: 勤怠管理からデータを抜き出し、 MAGELLAN BLOCKS でフォーマット変換、 NULL 値の修正などを行 う。 計算方式はデータポータルで データを一緒に見ながら、クエリを解説付きでその場で修正 。 無事に 2 週間ほどで完了。
24.
Confidential 事例 1:人事部門が BigQuery
使ってみた 24 ● 効果: 人事部門発信の働き方改革の元データとして活用。 どの業務にどのぐらい時間が割かれているのか、他データとの連携を MAGELLAN BLOCKS を利用 して自分たちで活用している。 BigQueryCloud Storage
25.
Confidential 25 事例 2:仕入れ担当者が BigQuery
使ってみた
26.
Confidential 事例 2:仕入れ担当者が BigQuery
使ってみた 26 ● 課題: 過去のデータを探して、最終的には人の勘で仕入れを行っていた。 基幹システムから抜き出せる情報だけではなく、様々な要因があるがそれを別々でみていた。 これらを 1 つに統合して見て、あわよくば AI につなげたい。 ● 対応: 当初は私達がデータを見ながら、特徴のあるところをヒアリング。 徐々に手を離して、自分たちでデータを見ながら他部門(マーケティングや商品情報)と連携してデータ をもらい自立してデータを扱えるようになった。
27.
Confidential 事例 2:仕入れ担当者が BigQuery
使ってみた 27 ● 効果: データを扱う仲間が増えて、自発的に横展開で利用するようになった。 現在は機械学習にも手を伸ばして使うようになっている。 BigQueryCloud Storage
28.
Confidential 28 デモ
29.
THANK YOU
Download