Dev Parana - Praticas Devops aplicadas a Big Data
Transferir como PPTX, PDF0 gostou54 visualizações
Este documento apresenta práticas DevOps aplicadas a Big Data, discutindo arquiteturas, implantação contínua e monitoramento. Ele introduz os palestrantes e agenda, explica conceitos de Big Data e mostra como construir uma arquitetura de três camadas usando Terraform e Terragrunt para orquestração de infraestrutura. Também aborda a integração contínua e entrega contínua, centralização de logs e métricas com ELK e monitoramento com dashboards e alarmes em Elasticsearch.
![Big Data – Do que estamos falando?
5 V's do
Big Data
VOLUME
VARIEDADE
VERACIDADE
VALOR
VELOCIDADE
● [Muitos] terabytes
● Transações
● Tabelas
● Arquivos
● Estruturado
● Não-estruturado
● Multi-fator
● Probabilístico
● Fidedigno
● Autêntico
● Disponível
● Não-repúdio
● Verificável
● Estatística
● Insights
● Correlações
● Hipóteses
● Batch
● Near/realtime
● Processos
● Streaming](https://image.slidesharecdn.com/lmavghhfs4idax0ucvdq-signature-0606afe0b42a79fde98d082656192326ca71be305fc9ac98e2c0fa73f19e856c-poli-200611140157/85/Dev-Parana-Praticas-Devops-aplicadas-a-Big-Data-4-320.jpg)
![Big Data em (alguns) números - 2020
➔ $189,1 bilhões - Receita projetada mundial com soluções de Big Data Analytics em 2019 [1]
➔ Em 2020, teremos gerado aproximadamente 40 trilhões de gigabytes de dados [2]
➔ $274.3 bilhões - Receita projetada mundial com soluções de Big Data Analytics em 2022 [1]
➔ Usuários na internet deverão gerar aproximadamente 2.5 quintilhões de bytes todos os dias [2]
➔ Usando Big Data, Netflix economiza $1 bilhão por ano em retenção de clientes [1]
➔ 8-10% de aumento no lucro em negócios que utilizam Big Data [1]
[1] https://financesonline.com/big-data-statistics
[2] https://techjury.net/blog/big-data-statistics](https://image.slidesharecdn.com/lmavghhfs4idax0ucvdq-signature-0606afe0b42a79fde98d082656192326ca71be305fc9ac98e2c0fa73f19e856c-poli-200611140157/85/Dev-Parana-Praticas-Devops-aplicadas-a-Big-Data-5-320.jpg)
![Como erguer um Big Data?
Data Sources
Fault Tolerance / Elasticity / High Availability
Metadata Data Quality Data Catalog Security
Ingestion Tier
[Near] Real-time
Batch
Data Tier
Raw Data Refined Data
Trusted Data
Processing Analysis
Ad-hoc query
API calls
Visualization
Events
Knowledge Tier Consumers
BI Tools
People
Companies &
Partners](https://image.slidesharecdn.com/lmavghhfs4idax0ucvdq-signature-0606afe0b42a79fde98d082656192326ca71be305fc9ac98e2c0fa73f19e856c-poli-200611140157/85/Dev-Parana-Praticas-Devops-aplicadas-a-Big-Data-6-320.jpg)
![[AWS] - Logs](https://image.slidesharecdn.com/lmavghhfs4idax0ucvdq-signature-0606afe0b42a79fde98d082656192326ca71be305fc9ac98e2c0fa73f19e856c-poli-200611140157/85/Dev-Parana-Praticas-Devops-aplicadas-a-Big-Data-21-320.jpg)
![[AWS] - Metrics](https://image.slidesharecdn.com/lmavghhfs4idax0ucvdq-signature-0606afe0b42a79fde98d082656192326ca71be305fc9ac98e2c0fa73f19e856c-poli-200611140157/85/Dev-Parana-Praticas-Devops-aplicadas-a-Big-Data-22-320.jpg)
Dev Parana - Praticas Devops aplicadas a Big Data
- 1. Know your data. Get inspired! Práticas DevOps aplicadas a Big Data
- 2. Quem somos? Alexandre Cardoso • Cientista da Computação, pós-graduado em Big Data • +20 anos fazendo software • Últimos 7 anos dedicados ao Big Data • CEO & founder da Datenworks Gustavo Biondo • Engenheiro da Computação • +5 anos de xp Cloud e DevOps • 6 meses focado em Big Data • Líder de Operações e Sócio da Datenworks
- 3. Agenda ● Arquiteturas de Big Data ○ Organização para reutilização ○ Terraform & Terragrunt ● Acelerando o Time to Market ○ CI/CD para Big Data ● Monitoramento ○ Centralização de Logs & Métricas ○ Dashboards ○ Alarmes
- 4. Big Data – Do que estamos falando? 5 V's do Big Data VOLUME VARIEDADE VERACIDADE VALOR VELOCIDADE ● [Muitos] terabytes ● Transações ● Tabelas ● Arquivos ● Estruturado ● Não-estruturado ● Multi-fator ● Probabilístico ● Fidedigno ● Autêntico ● Disponível ● Não-repúdio ● Verificável ● Estatística ● Insights ● Correlações ● Hipóteses ● Batch ● Near/realtime ● Processos ● Streaming
- 5. Big Data em (alguns) números - 2020 ➔ $189,1 bilhões - Receita projetada mundial com soluções de Big Data Analytics em 2019 [1] ➔ Em 2020, teremos gerado aproximadamente 40 trilhões de gigabytes de dados [2] ➔ $274.3 bilhões - Receita projetada mundial com soluções de Big Data Analytics em 2022 [1] ➔ Usuários na internet deverão gerar aproximadamente 2.5 quintilhões de bytes todos os dias [2] ➔ Usando Big Data, Netflix economiza $1 bilhão por ano em retenção de clientes [1] ➔ 8-10% de aumento no lucro em negócios que utilizam Big Data [1] [1] https://financesonline.com/big-data-statistics [2] https://techjury.net/blog/big-data-statistics
- 6. Como erguer um Big Data? Data Sources Fault Tolerance / Elasticity / High Availability Metadata Data Quality Data Catalog Security Ingestion Tier [Near] Real-time Batch Data Tier Raw Data Refined Data Trusted Data Processing Analysis Ad-hoc query API calls Visualization Events Knowledge Tier Consumers BI Tools People Companies & Partners
- 7. Qual é o desafio? ➔ Implantação manual? Sem chance! ➔ Como garantir estado (esperado/realizado)? ➔ Gerenciar configuração em escala? ➔ Implantar continuamente com confiança e sem regressão? ➔ Como monitorar e "dormir em paz"? ➔ Como medir e antecipar problemas?
- 8. Terraform & Terragrunt ● Infraestrutura como código ● HCL ● Diminuir a repetição de código ● Organização e padronização
- 9. Modelo de 3 camadas
- 10. 1ª Camada - Modules Glue_catalog Kinesis_firehose Lambda
- 11. 2ª Camada - Blueprints
- 12. 3ª Camada - Environments
- 13. Terraform & Terragrunt ● Garante stacks 100% idênticas ● Ajuda no versionamento dos ambientes ● Replicação ágil de ambientes
- 14. Como integrar tudo isso no CI/CD?
- 15. Como integrar tudo isso no CI/CD? ● Vários players para execução ● Arquivos de configuração simples ● Free Tiers <3
- 16. Como integrar tudo isso no CI/CD? Environments (camada 3)
- 17. E o Monitoramento? Usuários & Aplicações Processos OS Load Balancer Batch job App Server Web Server Database Services CPU Memory Disk Network Sistema de Monitoramento UI Estrutura Monolítica
- 18. E o Monitoramento? Estrutura Distribuída / Assíncrona? Database CDC engine Queue ETL process Object store Massive Parallel Processing Lakehouse Visualization 😱
- 19. Afinal, o que é "monitorar"? ➔ Monitorar ◆ Coletar, processar, agregar e exibir dados quantitativos e descritivos sobre um sistema e seu comportamento ➔ Caixa-branca ◆ Obter dados a partir dos internals de um determinado sistema ou componente, como logs, métricas JMX, memory dump, etc. ➔ Caixa-preta ◆ Observar e analisar o comportamento de um sistema do ponto de vista do usuário, a partir de indicadores mensuráveis (tempo de resposta, taxa de erros, etc) ➔ Dashboard ◆ Um painel para acompanhamento visual de indicadores principais de um sistema/aplicação
- 20. Como centralizar e analisar tudo isso? ● Bom e velho ELK!! ● Beats vs Logstash ● Serviços coletando métricas/logs de serviços
- 21. [AWS] - Logs
- 22. [AWS] - Metrics
- 23. Open Distro <3 ● Monitors & Triggers ● Notifications ● Dashboards
- 24. Alarms
- 25. Notificações
- 26. Quer entender um pouco mais dessa stack? https://datenworks.com/blog
- 27. OBRIGADO!