Spark Streaming + Amazon Kinesis
20 likes5,844 views
Spark Casual Talk #1( http://connpass.com/event/15575/ )で発表したSpark Streaming + Amazon Kinesisの話。
![words.foreachRDD(foreachFunc = (rdd: RDD[String], time: Time) => {!
!
val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)!
!
sqlContext.read.json(rdd).registerTempTable("words")!
!
val wordCountsDataFrame =!
sqlContext.sql(”””select level, count(*) as total !
from words!
group by level”””)!
!
println(s"========= $time =========")!
wordCountsDataFrame.show()!
!
})!
DStream
Run SparkSQL on Kinesis Stream
JSONデー
タを直接取
り扱える。](https://image.slidesharecdn.com/sparkstreamingkinesis-150623120723-lva1-app6891/85/Spark-Streaming-Amazon-Kinesis-18-320.jpg)
Spark Streaming + Amazon Kinesis
- 1. Spark Streaming + Amazon Kinesis @imai_̲factory
- 2. Spark Streaming • Sparkの主要機能のひとつで、ストリーム処 理理を実装するのを容易易化してくれる。 • データソースにはKafkaやKinesisを利利⽤用でき る。 • 時系列列に並ぶ無限⻑⾧長のRDD配列列をDStream というオブジェクトに抽象化してくれる。 FRPっぽい書き⽅方が簡単に実現できる。
- 3. 先にConclusion • KinesisのConsumerを書く⼿手段はいろいろある が、Spark Streamingを使うと、とてもプログ ラマフレンドリに書ける！ • ストリームにスライディングウィンドウなSQL かける、みたいな処理理が⾃自然に書ける！ • プログラマが、あまりKinesisについて気にせず にコードを書けるのがこの構成の⼀一番のメリッ トだと思っている。
- 5. Programming with DStream val conf = SparkConf()! val ssc = StreamingContext(conf, Seconds(1))! ! val lines = lines.ssc.socketTextStream(“localhost”,9999)! val words = lines.flatMap(_.split(“ “))! ! val pairs = words.map(word => (word, 1))! val count = pairs.reduceByKey(_ + _)! count.print()! ! ssc.satrt()! ssc.awaitTermination()!
- 6. Programming with DStream val conf = SparkConf()! val ssc = StreamingContext(conf, Seconds(1))! ! val lines = lines.ssc.socketTextStream(“localhost”,9999)! val words = lines.flatMap(_.split(“ “))! ! val pairs = words.map(word => (word, 1))! val count = pairs.reduceByKey(_ + _)! count.print()! ! ssc.satrt()! ssc.awaitTermination()!
- 7. Programming with DStream val conf = SparkConf()! val ssc = StreamingContext(conf, Seconds(1))! ! val lines = lines.ssc.socketTextStream(“localhost”,9999)! val words = lines.flatMap(_.split(“ “))! ! val pairs = words.map(word => (word, 1))! val count = pairs.reduceByKey(_ + _)! count.print()! ! ssc.satrt()! ssc.awaitTermination()!
- 8. Programming with DStream val conf = SparkConf()! val ssc = StreamingContext(conf, Seconds(1))! ! val lines = lines.ssc.socketTextStream(“localhost”,9999)! val words = lines.flatMap(_.split(“ “))! ! val pairs = words.map(word => (word, 1))! val count = pairs.reduceByKey(_ + _)! count.print()! ! ssc.satrt()! ssc.awaitTermination()!
- 10. Amazon Kinesis • フルマネージドなストリームサービス/ メッセージブローカー • 平たくいうとマネージドなKafkaに近い • マネージドなので – 運⽤用の⼿手間がいらない – スループットをほしいだけ設定すればそれだ けで使える
- 11. Amazon Kinesis Amazon Kinesis Data stream Store, Shuffle & Sort Consumer apps Consumer apps Consumer apps Process
- 12. Spark Streaming +Amazon Kinesis Amazon Kinesis Data stream Store, Shuffle & Sort Process
- 13. Spark Streaming +Amazon Kinesis • Kinesisに投⼊入されたデータをSparkを 使って処理理が書ける • Kinesisのストリームに対して – ウィンドウ関数+SparkSQLしたりできる。 – のちほどデモします • KinesisのConsumerを、とてもプログラ マフレンドリに書ける！
- 14. Building Amazon Kinesis Consumer app Amazon Kinesis Data stream Store, Shuffle & Sort API, SDKを使ってスクラッチ実装 KCLを使って実装 AWS Lambda Process SparkのKinesisインテグレーションも、Stormのkinesis-‐‑‒spoutも下のほうのレイ ヤでKCLを使っている StormやSparkを使う ↑まちがいでした。はてブコメントに感謝です
- 15. Amazon Kinesis Data stream Store, Shuffle & Sort Process Run SparkSQL on Kinesis Stream SQL
- 16. Run SparkSQL on Kinesis Stream import org.apache.spark.streaming.kinesis.KinesisUtils! ! val kinesisStreams = (0 until numStreams).map { i =>! KinesisUtils.createStream(! ssc, streamName, endpointUrl, kinesisCheckpointInterval,! InitialPositionInStream.LATEST, StorageLevel.MEMORY_ONLY! )! }! val unionStreams = ssc.union(kinesisStreams)! val words = unionStreams.flatMap(...)!
- 17. import org.apache.spark.streaming.kinesis.KinesisUtils! ! val kinesisStreams = (0 until numStreams).map { i =>! KinesisUtils.createStream(! ssc, streamName, endpointUrl, kinesisCheckpointInterval,! InitialPositionInStream.LATEST, StorageLevel.MEMORY_ONLY! )! }! ! val unionStreams = ssc.union(kinesisStreams)! ! val words = unionStreams.flatMap(...)! Run SparkSQL on Kinesis Stream Dstreamの配列列 DstreamをひとつにUNION Dstreamに対するTransformation
- 18. words.foreachRDD(foreachFunc = (rdd: RDD[String], time: Time) => {! ! val sqlContext = SQLContextSingleton.getInstance(rdd.sparkContext)! ! sqlContext.read.json(rdd).registerTempTable("words")! ! val wordCountsDataFrame =! sqlContext.sql(”””select level, count(*) as total ! from words! group by level”””)! ! println(s"========= $time =========")! wordCountsDataFrame.show()! ! })! DStream Run SparkSQL on Kinesis Stream JSONデー タを直接取 り扱える。
- 20. PluggableInputDStream KinesisReceiver KinesisClientLibrary Worker thread KinesisUtils.createStream(! ssc, streamName, endpointUrl, kinesisCheckpointInterval,! InitialPositionInStream.LATEST, StorageLevel.MEMORY_ONLY! )! DynamoDB Table Kinesis Stream Under the hood GetRecords Checkpoint
- 21. One more thing: Amazon EMR now supports Apache Spark! • EMRクラスタ起動時に Sparkを選択するだけで利利 ⽤用可能！ • 2015/06/23時点では Spark1.3.1のみがサポー ト
- 22. One more thing: Amazon EMR now supports Apache Spark! Amazon Kinesis Amazon EMR +