[Cloud OnAir] BigQuery の一般公開データセットを利用した実践的データ分析 2019年3月28日放送

Cloud Onr
Cloud OnAir
Cloud OnAir
BigQuery の一般公開データセットを
利用した実践的データ分析
2019 年 3 月 28 日放送

Cloud OnAir
初心者が BigQuery の一般公開データセットを利用し、
● データ分析の方法
● BigQuery の実際の使い方
に習熟する
本日のテーマ

Agenda
Cloud OnAir
1
3
2
4
一般公開データセットをさわってみよう
BigQuery の特徴を検証する
BigQuery GIS を利用して位置情報を分析する
BigQuery ML を利用して機械学習をかんたんに行う

Cloud OnAir
Cloud OnAir
一般公開データセットを触ってみよう

Cloud OnAir
● BigQuery 上にストア
● すぐ利用可能
● 誰でもクエリできる
● ストレージ料金は不要
BigQuery 一般公開データセットとは
https://cloud.google.com/bigquery/public-data/

Cloud OnAir
BigQuery コンソール
● 「データを追加」
● 一般公開データセットを調べる
● “GitHub” で検索
一般公開データセットを利用してみる

Cloud OnAir
BigQuery コンソール
● GitHub Activity Data を選択
● データセットを表示
● サイドバーに表示される

Cloud OnAir
クエリエディタ
● クエリを入力 : 実行
● 2 億行からコミットの件名で
多いものをランキング
SELECT subject AS subject,
COUNT(*) AS num_duplicates
FROM
`bigquery-public-data.github_repos.co
mmits`
GROUP BY subject
ORDER BY num_duplicates DESC
LIMIT 100

Cloud OnAir
Cloud OnAir

Cloud OnAir
BigQuery の特徴と
高速な分析を支える機能
● カラム（列）指向
● 分割テーブル（パーティション）
● クラスタリング
● 更に便利な新機能

Cloud OnAir
カラム指向ストレージ
● BigQuery の内部はカラム指向ストレージ (Capacitor)
● 指定されたカラムは上から下までフルスキャンされる
● パフォーマンス、コストの観点から必要なカラムのみクエリをする
id name cost date
SELECT id, cost FROM table
BigQuery ホワイトペーパー“Inside Look at Google BigQuery”

Cloud OnAir
デモ : カラム指向を確認する
クエリエディタ
● 同じデータセットをクエリする
SELECT * FROM
`bigquery-public-data.samples.wiki
pedia`
すべてのカラム
SELECT title, id FROM
pedia`
必要なカラムのみ処理コスト、
及びスピードが
改善

Cloud OnAir
分割テーブル（パーティション）
id name cost date
2019-01-01
2019-01-01
2019-01-01
2019-01-01
2019-01-01
2019-01-02
2019-01-02
2019-01-02
2019-01-02
2019-01-02
2019-01-03
2019-01-03
SELECT id, cost FROM table
WHERE date=”2019-01-01”
BigQuery ドキュメント- 分割テーブルの概要
● テーブルを日付で分割
● 日付でスキャン範囲を絞り込む
● 処理コスト、パフォーマンスが改善
● 2 つのタイプ
○ 分割テーブル : カラムを指定、カラムデータに
もとづき自動分割（新しい方法、推奨）
○ 取り込み時間で分割されたテーブル : データを
取り込んだ日や、自分で指定して分割

Cloud OnAir
デモ : 分割テーブルを確認する
Wikipedia のログを分割する
● CREATE TABLE 構文を利用
● PARTITION_BY で分割に用いる
TIMESTAMP または DATE カラム
を指定
● 今回は unixtime 表記の timestamp
カラムを TIMESTAMP 型に変更し
分割に利用
● 割当（ソフトリミット）回避の
ため、今回は二度にわけてクエリ
CREATE TABLE
`$YOUR_PROJECT.query_demo.wikipedia_part
itioned` PARTITION BY
DATE(partition_timestamp) AS
SELECT *, TIMESTAMP_SECONDS(timestamp)
AS partition_timestamp FROM
`bigquery-public-data.samples.wikipedia`
WHERE timestamp < 1136041200
SELECT *, TIMESTAMP_SECONDS(timestamp)
AS partition_timestamp FROM
`bigquery-public-data.samples.wikipedia`
WHERE timestamp >= 1136041200
2) 抽出先テーブルを指定し、「テーブルに追加する」設定でクエリ
1) DDL を用いて分割テーブルを元のテーブルから作成

Cloud OnAir
デモ : 分割テーブルを確認する (2)
分割テーブルをクエリする
pedia` WHERE timestamp =
1141138800 LIMIT 1000
分割無し
`$YOUR_PROJECT.query_demo.wikipedi
a_partitioned` WHERE
partition_timestamp =
TIMESTAMP("2006-03-01")
分割あり
分割された部分のみの
スキャンで
大幅な処理サイズ削減

Cloud OnAir
分割テーブル - データポータルでの利用
分割テーブル
● 分割する列として「partition_timestamp を」
使用する：チェックを入れない
● フィルタ設定で自動的に分割テーブルが
利用される
取り込み時間で分割されたテーブル
● 分割する列として「 partition_timestamp 」を
使用する：チェック

Cloud OnAir
分割テーブル - データポータルでの利用 (2)
グラフ設定
● 期間のディメンジョン
● 時間のディメンジョン
フィルタ
● 期間
SELECT FORMAT_TIMESTAMP('%Y%m%d',
t0.partition_timestamp) AS t0_qt_5713rb7kvb,
COUNT(1.000000000000000) AS t0_qt_z99vgb7kvb FROM
`dataset.table` AS t0 WHERE
(FORMAT_TIMESTAMP('%Y%m%d',
t0.partition_timestamp) >= '20060101' AND
FORMAT_TIMESTAMP('%Y%m%d', t0.partition_timestamp)
<= '20110519') GROUP BY t0_qt_5713rb7kvb ORDER BY
t0_qt_5713rb7kvb ASC;
データポータルの発行したクエリ

Cloud OnAir
クラスタ化テーブル
2018-01-01
c1 userId c3 eventDate c5
2018-01-02
2018-01-03
2018-01-04
2018-01-05
SELECT c1, c3 FROM ... WHERE userId BETWEEN 52 and 63
AND eventDate BETWEEN “2018-01-03” AND “2018-01-05”
● 1 つ以上の列の内容に基づき
データを編成
● 関連したデータが同じ場所へ
● 不要なデータのスキャンが省略
https://cloud.google.com/bigquery/docs/clustered-

Cloud OnAir
INFORMATION_SCHEMA BETA
● 2019 2 月リリース
○ ODBC などからでもテーブル定義を
読み取れるように
○ BigQuery の CLI や GUI が使えない環境でも
データセットの把握が可能
○ DDL の自動生成などの用途でも
分析で便利な機能の利用
SELECT
* EXCEPT(is_typed)
FROM
query_demo.INFORMATION_SCHEMA.TABL
ES
https://cloud.google.com/bigquery/docs/informatio
n-schema-intro

Cloud OnAir
DDL ALTER 句サポート BETA
● 2019 2 月リリース
○ ALTER TABLE 句がテーブルとビューに
対して可能に
○ 発行したクエリでそのままテーブルを
置き換えることがクエリだけで可能に
分析で便利な機能の利用
{ALTER TABLE | ALTER TABLE IF
EXISTS}
table_name
SET
OPTIONS(table_set_options_list)
https://cloud.google.com/bigquery/docs/reference/
standard-sql/data-definition-language#alter_table
_set_options_statement

Cloud OnAir
Cloud OnAir
BigQuery GIS を利用して位置情報を
分析する

Cloud OnAir
BigQuery GIS とは　
{
"type": "Polygon",
"coordinates": [
[
[139.7483,35.6996],
[139.7493,35.6998],
...
[139.7518,35.6999]
]
]
}
SELECT
city_name AS ‘地区名’,
COUNT(car_id) AS ‘台数’
FROM
city, car
WHERE
ST_Intersects(car.geo,
city.geo)
...
GROUP BY city_name
地区名台数
港区六本木 58
港区南青山 40
港区芝公園 20
BigQuery
安価なフルマネージドのストレージ
領域に行政界や道路情報等を格納
サーバーレスの
DWH で膨大なデータを瞬時に解析
ビジネスに新たな知見をもたらす

Cloud OnAir
ユーザーから 500 メートル以内の店舗を抽出
BigQuery GIS の利用例
SELECT store_name
FROM stores
WHERE
ST_DWITHIN(store_loc,
ST_GeogPoint(@lon, @lat),
500)

Cloud OnAir
店舗から 500 メートル以内にいるユーザーを数える
SELECT store_name, COUNT(1) users
FROM stores s JOIN users u
ON ST_DISTANCE(s.loc, u.loc) < 500
GROUP BY 1

Cloud OnAir
郵便番号の中の区画にいるユーザー数の算出
SELECT zipcode, COUNT(1) users
FROM users u
JOIN
(select zipcode,
st_geogfromtext(zipcode_geom) loc
from
`bigquery-public-data.utility_us.zipcode_
area`) z
ON ST_COVERS(z.loc, use.loc)
GROUP BY 1

Cloud OnAir
BigQuery GIS / Geo Viz の利用
BigQuery Geo Viz
https://bigquerygeoviz.appspot.com/
● BigQuery 上でクエリを発行し
可視化できるツール
● 手軽な位置情報のプロットに

Cloud OnAir
Geo Viz の利用
BigQuery Geo Viz
● 初回のみ “Authorize” を押して
BigQuery の API を許可
● Project ID を入力
● SQL を入力
● “Run” で実行
● “See results” ボタンで次へ
https://cloud.google.com/bigquery/docs/gis-tutorial-hurrican
e

Cloud OnAir
Geo Viz の利用 (2) - プロット
BigQuery Geo Viz
● WKT 形式の位置情報を含む
カラムを選択する
● 右側地図にプロットされる
e

Cloud OnAir
Geo Viz の利用 (3) - スタイル調整　
データをもとにスタイルを変更
● ﬁllColor (塗る色) : 風速を可視化
○ Data Driven
(数字をもとに塗り分け)
○ “Function” : “linear”
○ “Field” : “usa_wind”
○ Domain : “0”, “150”
○ Range : “0006ff”, “#ff0000”
e

Cloud OnAir
Geo Viz の利用 (3) - スタイル調整　
データをもとにスタイルを変更
● circleRadius (半径) : ハリケーンの
半径
○ Data Driven
(数字をもとに塗り分け)
○ “Function” : “linear”
○ “Field” : “radius_50kt”
○ Domain : “0”, “135”
○ Range : “5”, “15”
e

Cloud OnAir
BigQuery GIS 事例
業種：Taxi Service
導入サービス：BigQuery、Google Cloud Storage、
Cloud Dataﬂow など
概要：BigQuery を活用して、国内最大級のタクシー
配車アプリ『JapanTaxi』を支えるデータ分析基盤を
構築。高速で効率的なデータ運用に加え、
非エンジニア層がデータ分析基盤にアクセスできる
ようにしたことで、ビジネスのスピード感も大幅に
増しました。

Cloud OnAir
Cloud OnAir
BigQuery ML を利用して
機械学習をかんたんに行う

Cloud OnAir
BigQuery 上で、 SQL クエリを
ベースに機械学習モデルを
作成、利用
BigQuery ML とは
BigQuery
BigQuery ML を
活用した機械学習
Google アナリティクス 360
にあるデータ、収益
メールマーケティング
および、
広告システムと連携
BI プラットフォームを介して
レポート
データポータル、Looker など
予測
モデルを
再トレー二ング

Cloud OnAir
デモ : BigQuery ML でユーザーあたり購入数を予測
#standardSQL
CREATE MODEL `bqml_tutorial.sample_model`
OPTIONS(model_type='logistic_reg') AS
SELECT
IF(totals.transactions IS NULL, 0, 1) AS label,
IFNULL(device.operatingSystem, "") AS os,
device.isMobile AS is_mobile,
IFNULL(geoNetwork.country, "") AS country,
IFNULL(totals.pageviews, 0) AS pageviews
FROM
`bigquery-public-data.google_analytics_sample.ga_sessi
ons_*`
WHERE
_TABLE_SUFFIX BETWEEN '20160801' AND '20170630'
1. モデルを作成
BigQuery ML で
ロジスティック回帰モデルを
作る
BigQuery に入っているデータを
教師データとする
( label は totals.transactions を
ベースに作成 )
https://cloud.google.com/bigquery/docs/bigquery
ml-analyst-start

Cloud OnAir
#standardSQL
SELECT *
FROM
ML.EVALUATE(MODEL `bqml_tutorial.sample_model`, (
SELECT
IF(totals.transactions IS NULL, 0, 1) AS label,
IFNULL(totals.pageviews, 0) AS pageviews
FROM
ons_*`
WHERE
_TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
2. モデルを評価
BigQuery ML でモデルを評価
(その他： Confusion Matrix, Roc
curve なども確認可能 )
BigQuery に入っているデータを
評価するデータとする
( label は totals.transactions を
ベースに作成 )
ml-analyst-start

Cloud OnAir
SELECT
fullVisitorId,
SUM(predicted_label) as total_predicted_purchases
FROM
ML.PREDICT(MODEL `bqml_tutorial.sample_model`, (
SELECT
IFNULL(totals.pageviews, 0) AS pageviews,
fullVisitorId
FROM
ons_*`
WHERE
_TABLE_SUFFIX BETWEEN '20170701' AND '20170801'))
GROUP BY fullVisitorId
ORDER BY total_predicted_purchases DESC
LIMIT 10
3. モデルを利用する
作成されたモデルから
predicted_label の合計を取得
（購入予測数）
PREDICT 対象となるデータを
BigQuery から SELECT する
ml-analyst-start

Cloud OnAir
Cloud OnAir
まとめ

Cloud OnAir
● BigQuery の一般公開データセットは簡単に利用できる
● 一般公開データセットを利用してすぐに BigQuery 上での分析に
習熟できる
○ カラムの指定によるスキャン効率化
○ 分割テーブル、クラスタリング
○ BigQuery GIS
● BigQuery の進化は分析だけではなく、分析者が ML を使えるように
○ BigQuery ML
まとめ

[Cloud OnAir] BigQuery の一般公開データセットを利用した実践的データ分析 2019年3月28日放送

More Related Content

What's hot (20)

Similar to [Cloud OnAir] BigQuery の一般公開データセットを利用した実践的データ分析 2019年3月28日放送 (20)

More from Google Cloud Platform - Japan (20)