RRADAR(仮):

GCPとBigQueryを用いた
IoT基盤の構築
株式会社リクルートライフスタイル
kuma
@Morikuma_Works
#bq_sushi tokyo #2
HELLO
2
本日のおしながき
3
•プロジェクトの紹介
•IoTで考えないといけないところ
•構成の話
•BigQueryと分析
プロジェクト
紹介
4
問題
5
•Web上の人の流入流出はわかる

ようになってきた
•では現実世界ではどうか?
現実世界の計測
6
•交通量調査

決め打ちの日付のデータに意味が?

人為的ミス
•アンケート調査

決め打ちの日付のデータに意味が?
•単純な計測器設置

カウントミス

設置が大変
•定点カメラからの画像処理

プライバシー問題

精度
解
7
•良さそうな解法がまだない
RRADAR(仮)
8
コンセプト
9
•手軽で
•そこそこ精度があり
•汎用的な
人の流れを検知・分析できるものを作る
RRADAR(仮)とは
10
•手軽で、そこそこ精度があり、

汎用的な
•人の流れを測定し
•分析するもの
要するに現実版Google Analytics
混雑検知実験@社内食堂
• 店内にビデオカメラを設置し、
10分毎の滞在人数(正解値)
を計測
• RRadar(仮)での検知数をも
とに10分毎の滞在人数(推定
値)を算出
• 推定値=検知数×2.5
• 相関係数:0.915
-75
0
75
150
225
300
10:50 11:00 12:00 12:10 13:10 13:20 14:20 14:30 15:30 15:40 16:40 16:50
滞在人数(正解値) 滞在人数(推定値)
混雑検知端末の
設置場所
40m
社内食堂の見取り図
11
唐突にデモ
メンバー
13
企画とiOS: okubok
(アイコン設定して…)
バックエンド+インフラ+デバイス+管理

全体設計+その他: @Morikuma_Works
フロントエンド: @kiikurage (なんと学生!) デバイス: @maruyama_jp
メンバー
14
まさかの4人!
メンバー
15
企画とiOS: okubok
(アイコン設定して…)
バックエンド+インフラ+デバイス

全体設計+その他: @Morikuma_Works
フロントエンド: @kiikurage (なんと学生!)
デバイス: maru
事業計画書とか
忙しい
院試忙しい

研究忙しい
他案件が忙しい
このプロジェクトのゴール
16
•超少数精鋭(ということにしておく)
•人を検知するデバイスの設計と作成
•大量のデータをさばいて保存しておく基盤
•データを分析して結果を返すAPI
•結果を魅せるフロント
IoT
17
IoTとは
18
•ネットワーク上に存在する現実情報を取得し常に
そのデータをバックエンドに情報を流している

デバイスのこと
IoTで必要な機能
19
•データの通信方式
•データの保存
•データの分析基盤
•認証情報・セキュリティ
•デバイス管理
データ通信方式
20
•どんなデータをどのように、どのタイミングで通
信するか
Streaming Insert
データ保存・分析基盤
21
•どのように膨大なデータを保存し分析するか
データ保存・分析基盤
22
•どのように膨大なデータを保存し分析するか
認証・セキュリティ
23
•どのように各データに安全に認証情報をもたせるか
デバイス管理
24
•どのように各センサを管理・アップデートするか
その他制約など
25
•人的リソースが最小限
•1.5ヶ月でPoof of Conceptまで実行
•使うツール、環境などは自由
構成
26
GCE

Instances
HTTP Load Balancer (L7LB)
Kuberenetes Nodes
Cloud SQL(MySQL)
Kubernetes
Master
Container Engine
Asia
app engine
(managed)
asia-east1-a
Cloud Storage
(as Docker Registry)
Cloud Monitoring BigQuery
Cloud DNS
from device

via fluentd
log

via fluentd
特徴
28
•Microserviceアーキテクチャ
•h2o/Go/Redis/MySQL/html/js/css and <3
•Kubernetes/GKEでプロビジョニング・デプロイ・ス
ケールをほぼ自動化

http://goo.gl/2efDk2
•BigQueryをセンサデータの保存場所兼分析基盤に
ココらへんの話はまた今度…
BigQueryと
分析
29
BigQuery
30
•Streaming Insertでほぼリアルタイムでセンサデー
タをバックエンドに送信できる
•Batch処理やリアルタイム性が必要ない分析には申
し分ない
•データ保存料金、分析料金、とにかく安い
BigQueryの価格
31
ちなみに
気をつけましょう
3種類の分析
32
•リアルタイム処理

まさしく現在の滞在人数など
•バッチ処理

クライアントへのレポート作成など
•オンデマンド処理

ユーザのダッシュボードに表示するデータなど

3種類の分析
33
•リアルタイム処理

Apache Spark Stream, Dataflow etc.
•バッチ処理

BigQuery
•オンデマンド処理

(まだ答えが見つかっていない…)

現状、ここもBigQuery

まとめ
34
•IoTをする上でスケーラブルな基盤は必要不可欠
•GCPなら容易に満たすことができている
•オンデマンド型処理の最適解が必要
IoTで必要な機能
35
•データの通信方式
•データの保存
•データの分析基盤
•認証情報・セキュリティ
•デバイス管理
まとめ
36
•IoTをする上でスケーラブルな基盤は必要不可欠
•GCPなら容易に満たすことができている
•オンデマンド型処理の最適解が必要

More Related Content

PDF
Googleにおける機械学習の活用とクラウドサービス
PDF
BigQuery 使ってみよう
PDF
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
PDF
Pentahoデータ統合・ETLセミナー 紹介資料
PPTX
第1回関西ソーシャルゲーム勉強会 kpi発表
PDF
Google Analytics のデータ分析ハンズオン
PDF
マーケティングで使えるBigQueryMLテンプレート
PDF
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
Googleにおける機械学習の活用とクラウドサービス
BigQuery 使ってみよう
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Pentahoデータ統合・ETLセミナー 紹介資料
第1回関西ソーシャルゲーム勉強会 kpi発表
Google Analytics のデータ分析ハンズオン
マーケティングで使えるBigQueryMLテンプレート
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...

What's hot (14)

PDF
20220125_neurips_sharing_vqgnn
PDF
NeurIPS2021論文読み会 (parameter prediction for unseen deep architecture)
PPTX
Jupyter Notebook Ops
PDF
GBDTを使ったfeature transformationの適用例
PPTX
ビッグデータビジネスの捉え方
PPTX
dots. ビッグデータオールスターズ: Azure 畠山
PDF
DMS2017まとめ
PDF
クラウドを活用した自由自在なデータ分析
PDF
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
PDF
Alteryxの紹介とデモ
PDF
Elastic Stackロードマップのディープダイブ
PDF
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
PDF
(Draft) lambda architecture by using TreasureData
20220125_neurips_sharing_vqgnn
NeurIPS2021論文読み会 (parameter prediction for unseen deep architecture)
Jupyter Notebook Ops
GBDTを使ったfeature transformationの適用例
ビッグデータビジネスの捉え方
dots. ビッグデータオールスターズ: Azure 畠山
DMS2017まとめ
クラウドを活用した自由自在なデータ分析
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Alteryxの紹介とデモ
Elastic Stackロードマップのディープダイブ
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
(Draft) lambda architecture by using TreasureData
Ad

Viewers also liked (14)

PDF
Xamarin 紹介:Windows Phone / iOS / Android アプリ同時開発のススメ 2015/8/20 版
PDF
チラシルiOSでの広告枠開発
PPTX
Pythonを中心としたチーム開発
PDF
越境まちづくり・ラボ~経営資源の日本から新興国へリサイクル活用!
PPTX
kintoneの開発プロセスとプロジェクト管理ツール
PDF
Infra: Kubernetes and GKE, Network
PDF
海外のユーザー向け プロダクト開発 ~現場のリアルな工夫&ガチな悩みを語る~
PPTX
開発ビギナーだけじゃない!インフラエンジニア & マネージャー にも知ってほしいテスト自動化と品質管理
PDF
Sl study 20150804-soft-layer-apibasic-shibata
PDF
WWDCを120%楽しむ
PDF
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
PDF
事業成長にコミットするエンジニア組織への道のり
PDF
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
PDF
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Xamarin 紹介:Windows Phone / iOS / Android アプリ同時開発のススメ 2015/8/20 版
チラシルiOSでの広告枠開発
Pythonを中心としたチーム開発
越境まちづくり・ラボ~経営資源の日本から新興国へリサイクル活用!
kintoneの開発プロセスとプロジェクト管理ツール
Infra: Kubernetes and GKE, Network
海外のユーザー向け プロダクト開発 ~現場のリアルな工夫&ガチな悩みを語る~
開発ビギナーだけじゃない!インフラエンジニア & マネージャー にも知ってほしいテスト自動化と品質管理
Sl study 20150804-soft-layer-apibasic-shibata
WWDCを120%楽しむ
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
事業成長にコミットするエンジニア組織への道のり
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Ad

GCPとBigQueryを用いたIoT基盤の構築