Aquisição de dados IoT com Event Sourcing e Microservices
0 gostou152 visualizações
O documento discute os desafios de monitoramento de sensores em grande escala na indústria elétrica, anteriormente realizado por um sistema monolítico com muitas threads. A empresa decidiu migrar para uma arquitetura de microsserviços comunicando-se por event sourcing com Apache Kafka. Após um ano, a solução mostrou-se escalável e confiável, permitindo monitoramento online contínuo, porém ainda há espaço para melhorias no processamento e exibição dos dados.
Aquisição de dados IoT com Event Sourcing e Microservices
- 1. Microserviços & Event Sourcing Erros e acertos em um caso real na Indústria Elétrica
- 2. Agenda 01 Vamos refatorar Overview Setor Elétrico Como funcionam os sistemas de monitoramento Monolitos & muitas threads Dificuldades de manutenção e deploy Desafios da refatoração e atualização Microsserviços? Como, onde, quando, quantos, por que? Event Sourcing Kafka para a comunicação Implantação e Funcionamento Depois de 1 ano como está funcionando, o que pode ser aperfeiçoado? 02 03 04 05 06
- 4. Ambientes restritos, recursos escassos e de difícil acesso MISSION STATEMENT Overview setor elétrico
- 5. Indústria 4.0 1780 1870 1969 2000+ R$ 73 BIRedução de custos estimada 10% PIBO quanto a indústria representa hoje 69ºPosição do Brasil no Índice Global de Inovação
- 6. Ambiente industrial Acesso restrito Rede segregada Conservador No cloud Sem acesso externo
- 7. Necessário replicar em laboratório todo o ambiente para ser o mais fiel possível Ambiente de Testes
- 9. PROBLEMA Grande quantidade de sensores e dados gerados em questão de microssegundos. Monitorar isso de forma on-line Até então era usado Rest para buscar informações nos sistemas embarcados ou utilização de comunicação via MQTT SOLUÇÃO
- 10. Volume de Dados
- 11. Volume de Dados E quando temos vários dispositivos enviando informações ao mesmo tempo?
- 13. Monolito Muitas threads abertas, processamento, memória e disco “no talo” necessário reiniciar Threads Altamente acoplado, alto consumo de memória. Deploy necesita parar todo o sistema
- 14. Refatorar? 03
- 15. Refatorar ou não? Paralisar toda a aquisição Retrabalho Deploy continuaria dificultado
- 17. Como fazer? ● Muitas dúvidas ● Mudança de paradigma ● Como orquestar? ● Como comunicar entre os serviços?
- 18. Garantia dos Dados Disponibilidade Integridade Confidencialidade Autenticidade Ordem de chegada Garantia de Entrega
- 19. Possível solução Como realizar a comunicação eficiente??
- 21. Brokers
- 22. Não é apenas um Broker. Existe todo um ecossistema. Apache Kafka
- 23. Kafka Connect
- 25. Ordem de Entrega
- 27. Implantação 06
- 29. 1 2 3 4 5 Processo Exibição on-line Connectors para BD Aquisição através de MQTT e Modbus Análise dos dados Concentração no Kafka
- 31. CREDITS: This presentation template was created by Slidesgo, including icons by Flaticon, and infographics & images by Freepik. Obrigado! Nossos contatos: Frederick Moschkowich fredmosc.dev@gmail.com fredmosc fredmosc.dev