Introdução ao Kafka
0 gostou46 visualizações
O documento apresenta Kafka, uma plataforma de streaming de dados em tempo real. Kafka foi criado pela LinkedIn para lidar com grandes volumes de dados com baixa latência. O documento discute conceitos como produtores, consumidores, tópicos e partições, além de apresentar ferramentas como Kafka Streams e Kafka Connectors.
Introdução ao Kafka
- 1. Tech Talk - Kafka Davi Alves - Desenvolvedor @M4U @davicdsalves
- 2. Agenda - Introdução - Spring Boot + Kafka - Streams + KSQL + Schemas
- 3. História - 2010 Linkedin sofria em consumir grandes volumes de data com baixa latência, arquiteturas de eventos em tempo real - Pipelines de dados customizados para streaming e queues, deveriam escalar junto com o site - Kafka criado internamente para receber informações sobre todas as ações no site e logs agregados de outros serviços - Pontos principais do Kafka: API simples produtor/consumidor, alto volume, arquitetura escalável desde o inicio Antes Depois
- 4. Terminologia - Produtor - Consumidor - Tópicos - Partições - API Kafka Streams - Kafka Connectors
- 5. Produtor - Servidores enviando logs - Informação de dispositivos IOT - Aplicação gerando eventos - Kafka: Array de bytes Consumidor - Lê/Consome os dados de um cluster Kafka - Inscreve em um tópico, não consome de um produtor - Destino final de um dado
- 6. Tópicos - Logs de dados contínuos - Formato de chave/valor+timestamp - Sem interferência entre grupos Particionamento - Divisão de tópicos (performance+escalabilidade) - Produtor pode decidir partição - Uma partição por consumidor em um grupo
- 7. Tolerante a falhas - Partições são replicadas entre brokers - Broker eleito líder da partição
- 8. Kafka Streams - API permite consumir de 1+ tópicos - Produzir dados para 1+ tópicos - Enriquecer dados final KStream<String, String> textLines = builder.stream(inputTopic); final Pattern pattern = Pattern.compile("W+", Pattern.UNICODE_CHARACTER_CLASS); final KTable<String, Long> wordCounts = textLines .flatMapValues(value -> Arrays.asList(pattern.split(value.toLowerCase()))) .groupBy((keyIgnored, word) -> word) .count(); wordCounts.toStream().to(outputTopic, Produced.with(Serdes.String(), Serdes.Long()));
- 9. Kafka Connectors - Framework para conectar sistemas externos no Kafka - Componentes prontos - Conectores Source/Sink - Source envia os dados para Kafka - Sink lê os dados do Kafka
- 10. Zookeeper - Eleição de Controller - Broker responsável pela liderança das partições - Zookeeper elege e monitora Controller - Membros do cluster
- 11. Kafka no Linkedin - 4,5 trilhão de mensagens por dia - 300 Terabytes de entrada - 900 Terabytes de saída - 4.5 milhões de mensagens por segundo, único cluster - 1300 servidores
- 12. Kafka como serviço - Confluent cloud - $0,11/GB ou $0,13/GB entrada - $0,11/GB ou $0,13/GB saída - $0,10/GB-mês storage - Amazon SQS: Alternativa mais antiga para Kafka - Standard queue: $0.40 (por milhão/req) - FIFO Queue: $0.50 (por milhão/req) - Amazon Kinesis: Mais proximo de "Kafka como serviço", partições e réplicas - Shard Hour (1MB/second ingress, 2MB/second egress): $0.015 - PUT Payload Units (1,000,000 units): $0.014
- 13. Obrigado!