Apache NiFiで、楽して、つながる、広がる IoTプロジェクト

Apache NiFi で
楽して、つながる、広がる
IoTプロジェクト
河村康爾
Hortonworks Japan Co., Ltd. ソフトウェアエンジニア
2016.07.19
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

⾃⼰紹介
• 河村康爾
- Hortonworks DataFlow Team – Software Engineer
- @ijokarumawak
- HadoopやNoSQLなど分散アプリケーションを利⽤したシステム開発を経
験、Apache NiFiがOSSとして公開されて間もない頃にコントリビュートし
たプルリクエストが契機となりHortonworksにエンジニア枠で⼊社、⽇本
勤務。
- 共著: 「RDB技術者のためのNoSQLガイド」秀和システム

Apache NiFiとは
” NiFi is like digging irrigation ditches as the water flows, rather than
building out a sprinkler system in advance."
“NiFiは事前にスプリンクラーを配備するというより、
⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”
https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%3C2FCCBD60-0A79-42F1-9F9B-A121591C826E@apache.org%3E

直感的なGUI、ブラウザApp
１.⽬的に合ったプロ
セッサを追加して
2.データの流れを
つなげて
3.実⾏するだけ!

IoTに最も適した
データフローオーケストレーションツール
• 他のストリーミングソリューションと⽐較すると、Apache NiFiは2015年7
⽉にASFのTLPになった⽐較的新しいプロジェクト
• Enterprise Integration Pattern (EIP)やFlow Based Programingをベースにしてい
る
• データフローを設計するための⾮常に直感的なGUIを持つ
• 急成⻑中のインダストリアルIoT分野では、堅牢で信頼でき、セキュアな
データフローエンジンが求められる
• Apache NiFiはIoTの実現において、最も適したセンサーデータ処理⽤オーケ
ストレーションツールになりうる
• Node-Redのような簡潔さと、Big Dataのパワーを併せ持つ
• 原⽂ All the Apache Streaming Projects: An Exploratory Guide
http://thenewstack.io/apache-streaming-projects-exploratory-guide/

各種プロセッサ取り揃えてあります
ambari, amqp, avro, aws, azure, cassandra, couchbase, elasticsearch,
flume, geo, hadoop, hbase, hive, hl7, jms, kafka, kerberos, kite, ldap,
mongodb, mqtt, riemann, twitter, solr, splunk, sql, spark, storm … etc
その数100以上!

NiFi Data Flow
データフロー例
MQTT topic
MQTT topic
IoT
デバイス
Consume
MQTT
Publish
MQTT
Kafka topic
Database
Hadoop
Put
HDFS
Publish
Kafka
Put
SQL
API
Invoke
HTTP
MiNiFiも併⽤すると、よりエッジ側での
データ収集、エージェント管理が可能に、
Java、C++

お知らせ
http://hadoopsummit.org/tokyo/

実演タイム
Live Demo

Fin.
ご清聴ありがとうございました。

Apache NiFiで、楽して、つながる、広がる IoTプロジェクト

More Related Content

What's hot (20)

Similar to Apache NiFiで、楽して、つながる、広がる IoTプロジェクト (20)

More from Koji Kawamura (13)

Apache NiFiで、楽して、つながる、広がる IoTプロジェクト