SlideShare a Scribd company logo
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
BluemixとApache Sparkでできる
IoTデータの収集と分析
2016.6.30
クリエーションライン(株) 木内
6/30 IBM Cloud Community 勉強会 講演資料
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
自己紹介 木内 満歳(きうち みつとし)
クリエーションライン株式会社 シニアコンサルタント
Slideshare: http://www.slideshare.net/mkiuchi4
各種寄稿
a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション”
b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価”
c. Codezine: “機械学習をクラウドで手軽に体験! BluemixのApache Spark
で異常なセンサーデータを洗い出す”
専門分野:Apache Mesos, Apache Spark, 分散コンピューティング, ク
ラウドコンピューティング, NoSQL DB, グラフDB
O’reilley Certified Developer on Apache Spark
Docker Certified Technical Trainer
2 2
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 3
クリエーションライン株式会社
2006年1月設立
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
主な取扱い製品
4 4
IaaS基盤
構成管理・DevOpsMSP
PaaS・データ分析基盤
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
IBM Bluemix
5
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
BART
Bay Area Rapid Transit, California
Operation Monitoring, 15 days to install
6
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Le Tour de France
Realtime Monitoring, Winner Prediction
7
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Poseidon Project, IBM Research
Water Preservation, IoT
8
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Bluemix
Internet of Things
9
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
10
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
“データフロー・オーケストレーション(ツール)”
11
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 12
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
{
“MyID”: “1234567890987654321”,
“time”: “2016/4/16 12:34:56 +0900”,
“data” :
[
“temp”: “26”
]
}
“JSONデータ”(JSONドキュメント)
13
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
“(ドキュメント型)NoSQLデータベース”
14
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
IoT Sensorエミュレータ(ブラウザで動作)
https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/
15
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
16
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Internet of Things
MQTT
センサーがMQTTに対応していない場合
フィールド
ゲートウェイ
(Local -> MQTT)
バス接続(GPIOなど)
17
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
● 統計解析
● 機械学習
● ストリームデータ処
理
● SQL
18
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Bluemix
Internet of Things
https://console.ng.bluemix.net/
もしくは
http://www.bluemix.net
19
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
デモの構成
x8 sensors
20
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Apache Sparkにおけるプラグインのしくみ
Spark
SQL
HiveQL互換
JDBC/ODBC互換
Parquet
JSON
CSV
Hive DB
RDB
プラグイン MongoDBなど
21
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
Spark Packages
http://spark-packages.org/
22
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
SparkにおけるCloudant
add-onパッケージとして提供されている
https://github.com/cloudant-labs/spark-cloudant
23
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved
まとめ
• Bluemixを使うことで簡便にセンサーデータの蓄積、分
析を行うことができます
• センサーがなくてもエミュレータで手軽に練習するこ
とができます
24
Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved

More Related Content

PPTX
Spark summit 2016 recap
PPTX
(2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する
PPTX
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
PDF
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
PDF
みんなが安全にクラウドを使うために色々考えた結果
PPTX
(2017.9.7) Neo4jご紹介
PDF
20181127 hccjp ms_hybrid_cloud_30m
PDF
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話
Spark summit 2016 recap
(2017.4.27) IBM watson developer cloudのアプリケーションログを可視化する
(2017.6.2) Azure HDInsightで実現するスケーラブル分析環境
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
みんなが安全にクラウドを使うために色々考えた結果
(2017.9.7) Neo4jご紹介
20181127 hccjp ms_hybrid_cloud_30m
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話

What's hot (20)

PDF
Open stack活用に求められる人材と育成について2017 0314
PDF
クラウドセキュリティ
PDF
AWS re:Inforce2019 re:Cap LT
PDF
もうすぐ春だしAWSでさくらをやってみた
PPTX
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
PDF
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
PDF
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
PPTX
OSSのクラウド基盤 OpenStack / CloudStack
PDF
MongoDB Atlasアカウント取得
PDF
MongoDB Atlasの構成について 2019
PPTX
Azureのざっくり利用料金を毎日Slackに通知する
PDF
Hccjp PoC Introduction
PDF
Azure Fundamental
PPTX
INTEROP Tokyo 2015 C2-6 クラウド時代の運用技術と運用ビジネス最新動向 / The Technology and Business ...
PPTX
Windows 女子部主催 「デプロイ王子のクラウド寺子屋」(女性限定) 第0回資料
PDF
Azure bastion ignite the tour @tokyo 2019
PDF
Azure Hybrid/Infra Updates! Azureからオンプレ仮想基盤の管理もできるようになってます!
PDF
SmartNewsを支えるデータパイプラインとその運用
PDF
Game infrastructure design construction operation ver1.2
PDF
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Open stack活用に求められる人材と育成について2017 0314
クラウドセキュリティ
AWS re:Inforce2019 re:Cap LT
もうすぐ春だしAWSでさくらをやってみた
2016/4/16 Softlayer Bluemix Community Festa 2016講演資料
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
OSSのクラウド基盤 OpenStack / CloudStack
MongoDB Atlasアカウント取得
MongoDB Atlasの構成について 2019
Azureのざっくり利用料金を毎日Slackに通知する
Hccjp PoC Introduction
Azure Fundamental
INTEROP Tokyo 2015 C2-6 クラウド時代の運用技術と運用ビジネス最新動向 / The Technology and Business ...
Windows 女子部主催 「デプロイ王子のクラウド寺子屋」(女性限定) 第0回資料
Azure bastion ignite the tour @tokyo 2019
Azure Hybrid/Infra Updates! Azureからオンプレ仮想基盤の管理もできるようになってます!
SmartNewsを支えるデータパイプラインとその運用
Game infrastructure design construction operation ver1.2
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Ad

Viewers also liked (14)

PDF
Drupal on ibm_cloud_20160630
PPTX
2015/12/9 Spark Meetup December講演資料
PPTX
Dockerエンタープライズ利用について
PDF
An introduction to application of zebra pattern for dissipation of heat in el...
PDF
9/16 Tokyo Apache Drill Meetup - drill vs sparksql
PPTX
Docker活用ソリューション紹介
PPTX
Mesos consulで構築するマイクロサービスインフラ
PPTX
Apache Hadoop YARN: Past, Present and Future
PPTX
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
PDF
Rancher で Docker 利用!
PPTX
Watson活用事例~Watsonハッカソンの例を通じて~
PDF
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
PPTX
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
PDF
SparkSQLの構文解析
Drupal on ibm_cloud_20160630
2015/12/9 Spark Meetup December講演資料
Dockerエンタープライズ利用について
An introduction to application of zebra pattern for dissipation of heat in el...
9/16 Tokyo Apache Drill Meetup - drill vs sparksql
Docker活用ソリューション紹介
Mesos consulで構築するマイクロサービスインフラ
Apache Hadoop YARN: Past, Present and Future
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Rancher で Docker 利用!
Watson活用事例~Watsonハッカソンの例を通じて~
40分でわかるHadoop徹底入門 (Cloudera World Tokyo 2014 講演資料)
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
SparkSQLの構文解析
Ad

Similar to Bluemixとapache sparkでできる io tデータの収集と分析 (20)

PPTX
BluemixでサクッとIoT ! ~ IoT Foundation, Node-RED や Azure Event Hub との連携もお助けヾ(o´∀`o)ノ
PPTX
Bluemixで始めるIoT
PPTX
10種のセンサーを持つ SensorTag のデータをクラウドで遊ぼう!
PDF
JAWS DAYS 2022
PPTX
Bluemixを使ったTwitter分析
PPTX
Spark Summit 2014 の報告と最近の取り組みについて
PDF
進化を続けるIBM Bluemix 最新情報(2015年3月)
PDF
IoT・ビッグデータ解析を通じて見えてきたもの
PDF
Bluemixを実案件(エンタープライズ)で使ってみてわかったこと
PDF
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
PDF
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
PDF
Spark Analytics - スケーラブルな分散処理
PPTX
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
PDF
BluemixでIoTしてみる話
PDF
Data Scientist Workbench - dots0729
PDF
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
PPTX
AWSで作る分析基盤
PDF
IoTクラウドで拡がるBluemixの世界
PDF
IoT Application Development by XPages on Bluemix
PDF
Deep Dive into Spark SQL with Advanced Performance Tuning
BluemixでサクッとIoT ! ~ IoT Foundation, Node-RED や Azure Event Hub との連携もお助けヾ(o´∀`o)ノ
Bluemixで始めるIoT
10種のセンサーを持つ SensorTag のデータをクラウドで遊ぼう!
JAWS DAYS 2022
Bluemixを使ったTwitter分析
Spark Summit 2014 の報告と最近の取り組みについて
進化を続けるIBM Bluemix 最新情報(2015年3月)
IoT・ビッグデータ解析を通じて見えてきたもの
Bluemixを実案件(エンタープライズ)で使ってみてわかったこと
20191030 AWS Black Belt Online Seminar AWS IoT Analytics Deep Dive
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
Spark Analytics - スケーラブルな分散処理
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
BluemixでIoTしてみる話
Data Scientist Workbench - dots0729
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
AWSで作る分析基盤
IoTクラウドで拡がるBluemixの世界
IoT Application Development by XPages on Bluemix
Deep Dive into Spark SQL with Advanced Performance Tuning

Bluemixとapache sparkでできる io tデータの収集と分析

  • 1. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved BluemixとApache Sparkでできる IoTデータの収集と分析 2016.6.30 クリエーションライン(株) 木内 6/30 IBM Cloud Community 勉強会 講演資料
  • 2. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 自己紹介 木内 満歳(きうち みつとし) クリエーションライン株式会社 シニアコンサルタント Slideshare: http://www.slideshare.net/mkiuchi4 各種寄稿 a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション” b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価” c. Codezine: “機械学習をクラウドで手軽に体験! BluemixのApache Spark で異常なセンサーデータを洗い出す” 専門分野:Apache Mesos, Apache Spark, 分散コンピューティング, ク ラウドコンピューティング, NoSQL DB, グラフDB O’reilley Certified Developer on Apache Spark Docker Certified Technical Trainer 2 2
  • 3. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 3 クリエーションライン株式会社 2006年1月設立
  • 4. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 主な取扱い製品 4 4 IaaS基盤 構成管理・DevOpsMSP PaaS・データ分析基盤
  • 5. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved IBM Bluemix 5
  • 6. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved BART Bay Area Rapid Transit, California Operation Monitoring, 15 days to install 6
  • 7. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Le Tour de France Realtime Monitoring, Winner Prediction 7
  • 8. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Poseidon Project, IBM Research Water Preservation, IoT 8
  • 9. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Bluemix Internet of Things 9
  • 10. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Internet of Things 10
  • 11. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved “データフロー・オーケストレーション(ツール)” 11
  • 12. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved 12
  • 13. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved { “MyID”: “1234567890987654321”, “time”: “2016/4/16 12:34:56 +0900”, “data” : [ “temp”: “26” ] } “JSONデータ”(JSONドキュメント) 13
  • 14. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved “(ドキュメント型)NoSQLデータベース” 14
  • 15. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved IoT Sensorエミュレータ(ブラウザで動作) https://developer.ibm.com/recipes/tutorials/use-the-simulated-device-to-experience-the-iot-foundation/ 15
  • 16. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Internet of Things 16
  • 17. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Internet of Things MQTT センサーがMQTTに対応していない場合 フィールド ゲートウェイ (Local -> MQTT) バス接続(GPIOなど) 17
  • 18. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved ● 統計解析 ● 機械学習 ● ストリームデータ処 理 ● SQL 18
  • 19. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Bluemix Internet of Things https://console.ng.bluemix.net/ もしくは http://www.bluemix.net 19
  • 20. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved デモの構成 x8 sensors 20
  • 21. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Apache Sparkにおけるプラグインのしくみ Spark SQL HiveQL互換 JDBC/ODBC互換 Parquet JSON CSV Hive DB RDB プラグイン MongoDBなど 21
  • 22. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved Spark Packages http://spark-packages.org/ 22
  • 23. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved SparkにおけるCloudant add-onパッケージとして提供されている https://github.com/cloudant-labs/spark-cloudant 23
  • 24. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved まとめ • Bluemixを使うことで簡便にセンサーデータの蓄積、分 析を行うことができます • センサーがなくてもエミュレータで手軽に練習するこ とができます 24
  • 25. Copyright ⓒ2016 CREATIONLINE, INC. All Rights Reserved