Case Kinghost + Elasticsearch
0 gostou654 visualizações
O documento aborda um case da Kinghost que utiliza Elasticsearch para otimizar o processamento de retornos de e-mail marketing. A solução proposta envolve uma arquitetura complexa utilizando Docker, Filebeat, Logstash, RabbitMQ, Elasticsearch e Kibana para gerenciar grandes volumes de dados em tempo real. Desafios enfrentados incluem a sincronização de logs e limitações de recursos, com planos futuros focados em monitoramento e escalonamento automatizado.
Case Kinghost + Elasticsearch
- 2. Archer! Developer PHP Zend Certified Engineer 5.3 6 anos experiência Palestrante há 2 anos Grupo PHPRS Kinghost
- 3. Case O Problema Propostas Estrutura proposta Problemas enfrentados Sucesso! Melhorias Futuras
- 4. 1. O Problema Ferramenta de E-mail Marketing Processar os retornos de bounce do Postfix
- 5. “Tratar os retornos de erros é algo extremamente importante. Para não enviar campanhas maliciosas é necessário processar o retorno imediatamente.
- 7. Maneiras de Resolver Script Ficar lendo o arquivo de logs procurando por retornos. - Demorado - Dificil de Escalar - Fácil de Criar MongoDb Jogar todo esse dado para o mongo e processar os dados já inseridos, utilizando vários scripts de leitura. - Dificuldade Média - Boa Velocidade de Leitura - Sem Relatórios Elasticsearch Utilizar o armazenamento do elasticsearch junto com o sistema de filas, para agilizar o processamento. - Estrutura complexa - Processamento Real-time - Relatórios Dinâmicos
- 8. 3. Estrutura Escolhida Docker + Filebeat + Logstash + Rabbit + Elasticsearch + Kibana
- 9. Filebeat Lê um arquivo de (n) lugares Filtra Envia o resultado
- 10. Logstash Recebe input Parseia Envia para output
- 11. RabbitMq Recebe e distribui mensagens para filas de acordo com regras simples
- 13. Kibana Visualização dos dados armazenados
- 17. “- Sync do log do postfix - Parser do logstash (grok) - Criação do Ambiente - Limitação de Recursos no Container - Logs em modo debug - Monitoramento em caso de falha - Leak memória Kibana
- 18. 5. Sucesso!