Upload
Download free for 30 days
Login
Submit Search
GCPとBigQueryを用いたIoT基盤の構築
11 likes
3,638 views
Kuma Arakawa
#bq_sushi #2 で発表した、GCPとBigQueryを用いてどのようにIoT基盤を構築したかに関する発表の資料です。
Technology
Read more
1 of 36
Download now
Downloaded 18 times
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
More Related Content
PDF
Googleにおける機械学習の活用とクラウドサービス
Google Cloud Platform - Japan
PDF
BigQuery 使ってみよう
Noriko Takiguchi
PDF
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Google Cloud Platform - Japan
PDF
Pentahoデータ統合・ETLセミナー 紹介資料
kimihikoeto
PPTX
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
PDF
Google Analytics のデータ分析ハンズオン
Kenichi Tatsuhama
PDF
マーケティングで使えるBigQueryMLテンプレート
さとる なかむら
PDF
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
Google Cloud Platform - Japan
Googleにおける機械学習の活用とクラウドサービス
Google Cloud Platform - Japan
BigQuery 使ってみよう
Noriko Takiguchi
Social GAME における AI 活用事例 [第 4 回 Google Cloud INSIDE Games & Apps]
Google Cloud Platform - Japan
Pentahoデータ統合・ETLセミナー 紹介資料
kimihikoeto
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
Google Analytics のデータ分析ハンズオン
Kenichi Tatsuhama
マーケティングで使えるBigQueryMLテンプレート
さとる なかむら
[Cloud OnAir] 事例紹介: 株式会社オープンハウス 〜Google サービスを活用したオープンハウスの AI の取り組み〜 2020年11月1...
Google Cloud Platform - Japan
What's hot
(14)
PDF
20220125_neurips_sharing_vqgnn
ssuser9156f1
PDF
NeurIPS2021論文読み会 (parameter prediction for unseen deep architecture)
Kshinmei
PPTX
Jupyter Notebook Ops
Atsushi Sumita
PDF
Bigquery
さとる なかむら
PDF
GBDTを使ったfeature transformationの適用例
Takanori Nakai
PPTX
ビッグデータビジネスの捉え方
Takatsugu Kobayashi
PPTX
dots. ビッグデータオールスターズ: Azure 畠山
Daiyu Hatakeyama
PDF
DMS2017まとめ
Teruki Obara
PDF
クラウドを活用した自由自在なデータ分析
aiichiro
PDF
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
PDF
Alteryxの紹介とデモ
Yosuke Katsuki
PDF
Elastic Stackロードマップのディープダイブ
Elasticsearch
PDF
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Koji Yoshida
PDF
(Draft) lambda architecture by using TreasureData
Toru Takahashi
20220125_neurips_sharing_vqgnn
ssuser9156f1
NeurIPS2021論文読み会 (parameter prediction for unseen deep architecture)
Kshinmei
Jupyter Notebook Ops
Atsushi Sumita
Bigquery
さとる なかむら
GBDTを使ったfeature transformationの適用例
Takanori Nakai
ビッグデータビジネスの捉え方
Takatsugu Kobayashi
dots. ビッグデータオールスターズ: Azure 畠山
Daiyu Hatakeyama
DMS2017まとめ
Teruki Obara
クラウドを活用した自由自在なデータ分析
aiichiro
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
Alteryxの紹介とデモ
Yosuke Katsuki
Elastic Stackロードマップのディープダイブ
Elasticsearch
Gunosy DM #120 論文紹介 Attention and Engagement-Awareness in the Wild: A Large-...
Koji Yoshida
(Draft) lambda architecture by using TreasureData
Toru Takahashi
Ad
Viewers also liked
(14)
PDF
Xamarin 紹介:Windows Phone / iOS / Android アプリ同時開発のススメ 2015/8/20 版
Yoshito Tabuchi
PDF
チラシルiOSでの広告枠開発
Satoshi Takano
PPTX
Pythonを中心としたチーム開発
Ryo Takahashi
PDF
越境まちづくり・ラボ~経営資源の日本から新興国へリサイクル活用!
jpid
PPTX
kintoneの開発プロセスとプロジェクト管理ツール
Yuki Okada
PDF
Infra: Kubernetes and GKE, Network
Kuma Arakawa
PDF
海外のユーザー向けプロダクト開発 ~現場のリアルな工夫&ガチな悩みを語る~
Azumi Wada
PPTX
開発ビギナーだけじゃない!インフラエンジニア & マネージャー にも知ってほしいテスト自動化と品質管理
慎一 古賀
PDF
Sl study 20150804-soft-layer-apibasic-shibata
Naoki Shibata
PDF
WWDCを120%楽しむ
Kuma Arakawa
PDF
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
Recruit Technologies
PDF
事業成長にコミットするエンジニア組織への道のり
Recruit Lifestyle Co., Ltd.
PDF
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
PDF
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Koichi Hamada
Xamarin 紹介:Windows Phone / iOS / Android アプリ同時開発のススメ 2015/8/20 版
Yoshito Tabuchi
チラシルiOSでの広告枠開発
Satoshi Takano
Pythonを中心としたチーム開発
Ryo Takahashi
越境まちづくり・ラボ~経営資源の日本から新興国へリサイクル活用!
jpid
kintoneの開発プロセスとプロジェクト管理ツール
Yuki Okada
Infra: Kubernetes and GKE, Network
Kuma Arakawa
海外のユーザー向けプロダクト開発 ~現場のリアルな工夫&ガチな悩みを語る~
Azumi Wada
開発ビギナーだけじゃない!インフラエンジニア & マネージャー にも知ってほしいテスト自動化と品質管理
慎一 古賀
Sl study 20150804-soft-layer-apibasic-shibata
Naoki Shibata
WWDCを120%楽しむ
Kuma Arakawa
リクルートにおけるVDI導入 ~働き方変革とセキュリティ向上の両立を目指して~
Recruit Technologies
事業成長にコミットするエンジニア組織への道のり
Recruit Lifestyle Co., Ltd.
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Koichi Hamada
Ad
GCPとBigQueryを用いたIoT基盤の構築
1.
RRADAR(仮): GCPとBigQueryを用いた IoT基盤の構築 株式会社リクルートライフスタイル kuma @Morikuma_Works #bq_sushi tokyo #2
2.
HELLO 2
3.
本日のおしながき 3 •プロジェクトの紹介 •IoTで考えないといけないところ •構成の話 •BigQueryと分析
4.
プロジェクト 紹介 4
5.
問題 5 •Web上の人の流入流出はわかる ようになってきた •では現実世界ではどうか?
6.
現実世界の計測 6 •交通量調査 決め打ちの日付のデータに意味が? 人為的ミス •アンケート調査 決め打ちの日付のデータに意味が? •単純な計測器設置 カウントミス 設置が大変 •定点カメラからの画像処理 プライバシー問題 精度
7.
解 7 •良さそうな解法がまだない
8.
RRADAR(仮) 8
9.
コンセプト 9 •手軽で •そこそこ精度があり •汎用的な 人の流れを検知・分析できるものを作る
10.
RRADAR(仮)とは 10 •手軽で、そこそこ精度があり、 汎用的な •人の流れを測定し •分析するもの 要するに現実版Google Analytics
11.
混雑検知実験@社内食堂 • 店内にビデオカメラを設置し、 10分毎の滞在人数(正解値) を計測 • RRadar(仮)での検知数をも とに10分毎の滞在人数(推定 値)を算出 •
推定値=検知数×2.5 • 相関係数:0.915 -75 0 75 150 225 300 10:50 11:00 12:00 12:10 13:10 13:20 14:20 14:30 15:30 15:40 16:40 16:50 滞在人数(正解値) 滞在人数(推定値) 混雑検知端末の 設置場所 40m 社内食堂の見取り図 11
12.
唐突にデモ
13.
メンバー 13 企画とiOS: okubok (アイコン設定して…) バックエンド+インフラ+デバイス+管理 全体設計+その他: @Morikuma_Works フロントエンド:
@kiikurage (なんと学生!) デバイス: @maruyama_jp
14.
メンバー 14 まさかの4人!
15.
メンバー 15 企画とiOS: okubok (アイコン設定して…) バックエンド+インフラ+デバイス 全体設計+その他: @Morikuma_Works フロントエンド:
@kiikurage (なんと学生!) デバイス: maru 事業計画書とか 忙しい 院試忙しい 研究忙しい 他案件が忙しい
16.
このプロジェクトのゴール 16 •超少数精鋭(ということにしておく) •人を検知するデバイスの設計と作成 •大量のデータをさばいて保存しておく基盤 •データを分析して結果を返すAPI •結果を魅せるフロント
17.
IoT 17
18.
IoTとは 18 •ネットワーク上に存在する現実情報を取得し常に そのデータをバックエンドに情報を流している デバイスのこと
19.
IoTで必要な機能 19 •データの通信方式 •データの保存 •データの分析基盤 •認証情報・セキュリティ •デバイス管理
20.
データ通信方式 20 •どんなデータをどのように、どのタイミングで通 信するか Streaming Insert
21.
データ保存・分析基盤 21 •どのように膨大なデータを保存し分析するか
22.
データ保存・分析基盤 22 •どのように膨大なデータを保存し分析するか
23.
認証・セキュリティ 23 •どのように各データに安全に認証情報をもたせるか
24.
デバイス管理 24 •どのように各センサを管理・アップデートするか
25.
その他制約など 25 •人的リソースが最小限 •1.5ヶ月でPoof of Conceptまで実行 •使うツール、環境などは自由
26.
構成 26
27.
GCE Instances HTTP Load Balancer
(L7LB) Kuberenetes Nodes Cloud SQL(MySQL) Kubernetes Master Container Engine Asia app engine (managed) asia-east1-a Cloud Storage (as Docker Registry) Cloud Monitoring BigQuery Cloud DNS from device via fluentd log via fluentd
28.
特徴 28 •Microserviceアーキテクチャ •h2o/Go/Redis/MySQL/html/js/css and <3 •Kubernetes/GKEでプロビジョニング・デプロイ・ス ケールをほぼ自動化 http://goo.gl/2efDk2 •BigQueryをセンサデータの保存場所兼分析基盤に ココらへんの話はまた今度…
29.
BigQueryと 分析 29
30.
BigQuery 30 •Streaming Insertでほぼリアルタイムでセンサデー タをバックエンドに送信できる •Batch処理やリアルタイム性が必要ない分析には申 し分ない •データ保存料金、分析料金、とにかく安い
31.
BigQueryの価格 31 ちなみに 気をつけましょう
32.
3種類の分析 32 •リアルタイム処理 まさしく現在の滞在人数など •バッチ処理 クライアントへのレポート作成など •オンデマンド処理 ユーザのダッシュボードに表示するデータなど
33.
3種類の分析 33 •リアルタイム処理 Apache Spark Stream,
Dataflow etc. •バッチ処理 BigQuery •オンデマンド処理 (まだ答えが見つかっていない…) 現状、ここもBigQuery
34.
まとめ 34 •IoTをする上でスケーラブルな基盤は必要不可欠 •GCPなら容易に満たすことができている •オンデマンド型処理の最適解が必要
35.
IoTで必要な機能 35 •データの通信方式 •データの保存 •データの分析基盤 •認証情報・セキュリティ •デバイス管理
36.
まとめ 36 •IoTをする上でスケーラブルな基盤は必要不可欠 •GCPなら容易に満たすことができている •オンデマンド型処理の最適解が必要
Download