Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間

Kafka含むデータ処理フローを
NiFiで構築するさまを実演する5分間
河村康爾
Hortonworks Japan Co., Ltd. ソフトウェアエンジニア
2016.05.31
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

Apache NiFiとは
” NiFi is like digging irrigation ditches as the water flows, rather than
building out a sprinkler system in advance."
“NiFiは事前にスプリンクラーを配備するというより、
⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”
https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%3C2FCCBD60-0A79-42F1-9F9B-A121591C826E@apache.org%3E

各種プロセッサ取り揃えてあります
ambari, amqp, avro, aws, azure, cassandra, couchbase, elasticsearch,
flume, geo, hadoop, hbase, hive, hl7, jms, kafka, kerberos, kite, ldap,
mongodb, riemann, twitter, solr, splunk, sql, spark, storm … etc
その数100以上!

サンプルデータフロー: Hello World
おぎゃー
命名
男の⼦ topic
⼥の⼦ topic
ようこそ topic
祝福
> . <
0

第⼀部: 誕⽣〜命名編

お名前はこちらから引⽤させていただきました
$ cat top-names-2014.txt
# http://www.tonsuke.com/nebe28.html
m,蓮
f,陽菜
f,凛
m,大翔
m,陽向
f,結菜
m,陽太
f,葵
…

⾜りぬなら、書いてしまおう、スクリプト
注: ⾏ごとに分割し
たり、マッピング
したりする
Processorはありま
すが、今回は⼀度
にやるのを書い
ちゃいました

はじめてのKafka

第⼆部: 祝福編

男の⼦かな、⼥の⼦かな?

お祝いの⾔葉

これが、君たちの歩んできた道だ
第⼀部第⼆部
NiFiではこのデータ遍歴を
Provenance
プルーブナンス
とよんでいます。

そして世界へ、Hello world

⼦供の好きな動物といえば・・・

実演タイム
Live Demo

Fin.
ご清聴ありがとうございました。

Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間

More Related Content

What's hot (20)

Viewers also liked (20)

More from Koji Kawamura (12)

Kafka含むデータ処理フローを NiFiで構築するさまを実演する5分間