3分で作るストリーム処理基盤～kafka+flink on docker編～

Editor's Notes

• #5: 今回構築するのはストリーム処理基盤です。 ストリーム処理基盤は絶えず入力されるデータをリアルタイムに処理し続けるための仕組みです。
• #6: 今回の構成では、ブロードキャストもできるメッセージキューシステムであるApache Kafkaを利用します。 KafkaではKafka本体をbroker、メッセージ送信元をproducer、受信先をconsumerと呼びます。 Producerはメッセージをtopicに対して送信しすることができ、一つのborkerで複数のtopicを扱うことができます。 ConsumerはgroupIdと呼ばれるIDをもち、同一のグループごとに通常のメッセージキューのような振る舞いをします。 一方で、グループが異なる場合は同じメッセージがグループそれぞれに同時に配信されます。
• #7: Apache Flinkはリアルタイムストリーム処理を行うプロダクトです。 HaddopやStorm、Sparkなどの処理基盤はバッチ処理から発展しているのに対して、Flinkはストリーム処理を前提に設計開発されているため、ストリーム処理においてハイパフォーマンスでローレイテンシーを実現しています。また、ステートフルに処理を行うことにより堅牢性も実現しています。 実処理の実装はJavaまたはScalaで行います。
• #8: こちらは公式サイトに掲載されている、ランダムデータのカウント処理の性能をApache Stromと比較したグラフになります。 FlinkがStormに対して高スループットであることが確認できます。
• #10: KafkaとFlinkのイメージはdocker hubに用意されています。 また、それぞれを構成する際のdocker-compose.ymlが用意されているので、これをコピペすれば簡単に構築できます。