Tour of Distributed Systems 3 - Apache Kafka
2 likes1,494 views
分散システムのツアー #3 - Apache Kafka
Tour of Distributed Systems 3 - Apache Kafka
- 1. Apache Kafka 分散システムのツアー #3 Chris 2014/10/15 #m3dev https://github.com/m3dev/distrib-systems-tour
- 2. Kafka ● PubSubメッセージ・キュー ● LinkedIn発 ● 売り ○ パフォーマンス ○ スケーラビリティ ○ 永続性 ○ 柔軟な配布モデル：コンシューマ・グループ ● Scala実装、多言語のクライアント
- 3. アーキテクチャ Producer Producer Producer Producer Kafka cluster Broker Broker Broker Consumer Group 1 Consumer Group 2 Consumer Consumer Consumer Consumer ZooKeeper HDD HDD HDD
- 4. コンシューマ・グループ ● 全てのメッセージを全てのconsumer group（の consumerのいずれか）に配布する ● 例） ○ メッセージ 1, 2, 3, 4 ○ コンシューマグループ A, B ○ Aにコンシューマ２台：A1, A2 ○ Bにコンシューマ２台：B1, B2 Group A Group B A1 A2 B1 B2 ① ③ ② ④ ③ ④ ① ②
- 5. コンシューマ・グループ ● スペシャルケース ○ 全てのコンシューマが同じグループに所属 ■ 普通のキュー ○ コンシューマはそれぞれ別グループ ■ 普通のPub-Sub
- 6. （とある consumer group の中の話です） パーティション ● トピックを複数の partition に分ける ● Producer が message ⇔ partition の振り分け を決める ● Kafka broker が partition ⇔ consumer の振り 分けを決める ● 制限：Consumer数 ≦ Partition数 Producer Producer Partition 1 Partition 2 Consumer Partition 3 Consumer
- 7. 永続性 ● Brokerはメッセージをファイルに書き込む ● Consumerがメッセージを消費しても、一定期間 brokerに残る ● Consumerが自身の経過を管理するので、巻き 戻して再読み込みができる
- 8. パフォーマンス $ brew install kafka $ cd /usr/local/opt/kafka $ bin/start-zookeeper-server.sh libexec/config/zookeeper.properties & $ bin/kafka-server-start.sh libexec/config/server.properties & $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test $ bin/kafka-producer-perf-test.sh --broker-list localhost:9092 --topics test --messages 1000000 結果：49,568 messages/sec (Late 2011 MBP, 100 byte msgs)
- 10. 使い所：リアルタイム通知
- 11. 使い所：レポーティング
- 12. 使い所：多目的イベント活用
- 13. ハンズオン！ OSX: brew install kafka or, AWS上に稼働中のKafka を使う 192.168.51.119:9092 https://github.com/m3dev/distrib-systems-tour