TDC POA 2020 - Digerindo dados com Apache NiFi
0 gostou100 visualizações
Este documento apresenta o Apache NiFi, uma plataforma open-source para construção e gestão de fluxos de dados. Apresenta os principais componentes do NiFi como processadores, conexões e controladores de serviço. Demonstra como o NiFi pode ser usado para mover conteúdo entre sistemas de forma escalável, segura e tolerante a falhas.
TDC POA 2020 - Digerindo dados com Apache NiFi
- 1. TRILHA BIGDATA E NOSQL Digerindo dados com Apache NiFi Eliézer Zarpelão Arquiteto de Software e Professor
- 2. Olá! Arquiteto de Software - ZarpSystem Professor Universitário - UNAERP Sistemas de Informação - ICMC/USP Esp. Engenharia de Software - IC/Unicamp @eliezerzarpelao https://www.linkedin.com/in/eliezerzarpelao https://github.com/elizarp eliezer.zarpelao@gmail.com
- 3. AGENDAAGENDA Motivação Porque utilizar Apache NiFi Estrutura NiFi Entenda como funciona (componentes e arquitetura) Demo Keep calm and show me the flow Case Aplicação em healthtech
- 4. Motivação 01
- 5. DataFlow Mover conteúdo de “A” para “B” Logs, HTTP, XML, CSV, Imagens, Vídeos, etc e etc
- 7. Desafios Big Data Dados Padrões Formatos Protocolos Veracidade Validade Schemas Particionamento Entrega “Exactly Once” Segurança Gestão de acesso Rede Infraestrutura Compliance Pessoa / Time / Grupo Mudança nos consumidores Alterações de requisitos Entrega “Exactly Once” Pessoas
- 9. Estrutura 02
- 10. 10 Apache NiFi ✘ Plataforma open-source para construção e gestão de fluxos de dados ✘ Escalável, segura e tolerante a falhas ✘ Interface Web e API para gestão e monitoramento dos fluxos ✘ Fluxos de dados podem ser alterados em tempo de execução
- 11. Flow File HTTP Header HTTP Payload ✘ Objeto que se move através do fluxo ✘ Coração do NiFi ✘ Composto por: ○ Atributos (chave/valor) ○ Apontador para conteúdo 11
- 12. Processor ✘ Executa um trabalho ✘ Roteamento, transformação... ✘ Mais de 200 componentes... 12
- 13. Connections ✘ Conexão entre Processors ✘ Atua como fila 13
- 15. Conexão com Banco de Dados Gestão de Cache (REDIS) Credenciais Cloud ContextMap HTTP (API) ... Controller Service ✘ Recursos compartilhados no fluxo 15
- 16. Flow Controller ✘ Orquestra como os processos se conectam e gerencia todas alocações que os processos usam ✘ Atua como broker facilitando a troca de FlowFiles entre os Processors 16
- 17. Arquitetura 17
- 19. Garantia de Entrega Back Pressure Priorização de filas Templates de fluxos Data Provenance Extensibilidade Escalabilidade Segurança Funcionalidades
- 20. Demo 03
- 22. Case 04
- 24. Aprenda mais Site Oficial: https://nifi.apache.org/ Idéias e sugestões: https://issues.apache.org/jira/browse/nifi Twitter: @apachenifi Slack: apachenifi.slack.com Telegram: https://t.me/nifibrasil 24