Bancos de Dados gerenciados na nuvem AWS
0 gostou963 visualizações
O documento apresenta uma visão geral dos serviços gerenciados de bancos de dados na AWS, incluindo DynamoDB, RDS, ElastiCache e Redshift. Explora as vantagens de usar bancos de dados gerenciados em ambientes AWS em comparação com a gestão própria, destacando eficiência, escalabilidade e segurança. Cada serviço é descrito em termos de arquitetura, desempenho e casos de uso, fazendo uma análise cuidadosa de como as empresas podem se beneficiar dessas soluções.
Bancos de Dados gerenciados na nuvem AWS
- 1. ©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved Escolhendo seu serviço de banco de dados gerenciado na plataforma AWS Hugo Rozestraten Arquiteto de Soluções – Amazon Web Services Caio Wendel IT Manager – Titans Group
- 2. Agenda • Por que Banco de Dados Gerenciados? • Bancos de Dados Não Relacionais • Bancos de Dados Relacionais Gerenciados • Serviços de cache in-memory • Data Warehouse Gerenciado • Próximos Passos
- 3. Por que banco de dados gerenciados?
- 4. Se os bancos de dados estão on-premises Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Instalação SO você Otimização Apps
- 5. Se os bancos de dados estão on-premises Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Instalação SO você Otimização Apps
- 6. Se os bancos de dados estão no Amazon EC2 Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs Instalação SO você Otimização Apps
- 7. Se os bancos de dados estão no Amazon EC2 Patches SO DB software patches Database backups Escalabilidade Alta Disponibilidade DB software installs você Otimização Apps Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Instalação SO
- 8. Serviço de Banco de Dados Gerenciados Energia,HVAC,rede Rack e Cabeamento Manuten. Servidor Patches SO DB software patches Database backups Otimização Apps Alta Disponibilidade DB software installs Instalação SO você Escalabilidade
- 9. Gestão Própria vs. Gerenciado pela AWS Gestão Própria de Banco de Dados Banco de Dados Gerenciados AWS Você tem toda responsabilidade de upgrades e backup AWS provê upgrades, backup, e failover como serviço Você tem toda a responsabilidade de segurança AWS provê alto padrão de segurança, certificações; Dá as ferramentas para que você garanta a segurança Total controle e administração dos servidores, S.O. e banco de dados Banco de dados são gerenciados como appliance, permite automação dos ambientes Replicação é complexa, custosa e requer bastante engenharia AWS provê o failover como serviço
- 10. Serviço Gerenciado para cada tipo de DB Amazon DynamoDB Documento e chave- valor Amazon RDS SQL database Amazon ElastiCache In-memory cache Amazon Redshift Data warehouse
- 11. O que é Amazon DynamoDB?
- 12. Amazon DynamoDB: armazenamento gerenciado de documento e chave-valor • Simples e rápido para disponibilizar • Simples e rápido para escalar • Milhões de IOPS • Dado replicado automaticamente • Rápido, performance previsível – Baseado em storage SSD • Índices Secundários para buscas rápidas • Sem custo inicial; paga o quanto você consome Amazon DynamoDB
- 13. Dropcam confia no Amazon DynamoDB • Dropcam provê hardware e software de vídeo monitoramento, de forma que os clientes possam ver vídeos em alta definicação com dispositivos iOS e Android ou pela internet “Utilizando o DynamoDB, nós reduzimos o tempo de entrega para eventos de vídeo para menos de 50 milesegundos.” —Greg Nelson, VP of Software Engineering
- 14. Chave para cada item Hash key Range key (DynamoDB maintains a sorted index)
- 15. Local secondary indexes = range keys alternativo Hash key Range key LSI key
- 16. Global secondary indexes = “pivot charts” para suas tabelas Escolha quais atributos irá projetar
- 17. Arquitetura simples com Amazon DynamoDB Elastic Load Balancing Amazon EC2 app instances Clients DynamoDB Business logic
- 18. O que é o Amazon RDS?
- 19. Amazon RDS: serviço gerenciado SQL • Simples e rápido de entregar • Simples e rápido para escalar • AWS gerencia patching, backups, replicação • Compatível com suas aplicações – Escolha entre Amazon Aurora, MySQL, PostgreSQL, Oracle, SQL Server • Rápido com performance previsíviel • Sem custo inicial; paga somente pelo consumo Amazon RDS
- 20. Flipboard confia no Amazon RDS • Flipboard é uma revista online com milhões de usuários e bilhões de “flips”por mês • Utilizam Amazon RDS e capacidade Multi-AZ para armazendar dados de missão crítica de usuários ”Somos capaces de ir do conceito para a entrega do produto em seis meses com apenas alguns engenheiros." —Greg Scallan, Chief Architect
- 21. Como Amazon RDS entrega alta performance • Escolha General Purpose (SSD) storage para a maior parte das aplicações – 3 IOPS por GB provisionado, com capacidade de burst até 3,000 IOPS • Escolha Provisioned IOPS (SSD) storage para demandas de alta performance – Provisionamento de 3 TB de storage e 30 K IOPS por instância – Escale IOPS para cima e para baixo online • Escolha um tipo de instância com a quantidade correta de CPU e memória, escale e altere conforme a demanda
- 22. Como funciona o Backup do Amazon RDS • Backup Automático – Restaure ou clone seu banco de dados em um ponto no tempo – Habilitado por padrão – Escolha uma retenção automática de até 35 dias • Snapshot Manuais – Iniciados por você – Persistente até que você as delete – Armazenado no Storage Amazon S3 – Clone uma base de ados a partir de um snapshot
- 23. Escolha Multi-AZ para alta disponibilidade • Uma Zona de Disponibilidade é uma infraestrutura física distinta e independente • Com operação Multi-AZ, seu banco de dados é replicado de forma síncrona para outra zona na memas região AWS • Failover automático em resposta a falhas com a Zona de Disponibilidade atual • Manutenção planejada é aplicada primeiro ao backup
- 24. Escolha Réplicas Para Leitura para alta disponibilidade e distribuição – Dentro da Região ou Entre Regiões • Recuperação mais rápida em caso de desastre • Traga os dados próximo aos seus clientes • Promova para master para realizar uma migração
- 25. O Que é Amazon ElastiCache?
- 26. Amazon ElastiCache: in-memory cache escalável • In-memory caching com Alta performance, escalável • Aumente a velocidade da sua aplicação evitando o acesso de banco de dados aos discos • Compatível com suas aplicações – Escolha entre os populares memcached e Redis ElastiCache
- 27. Amazon ElastiCache: arquitetura simples de aplicação Elastic Load Balancing Amazon EC2 app instances Clients Amazon RDSAmazon ElastiCache
- 28. “A opção pelo Amazon RDS permitiu a Titans Group organizar suas bases de dados e adequá-las a diferentes produtos e ambientes” • SVA – Provedor de Serviços de Valor agregado para operadoras móveis e fixas • White label para produtos de personal cloud, mobile security e produtos de educação • Mais de 10 milhões de usuários ativos em 17 países da América Latina “Ambiente de banco de dados escalável, de fácil manutenção, com ótimos recursos gerenciados” - Caio Wendel
- 29. Como tirar todos os ovos da mesma cesta? • Segregar bases de dados contidas em um único servidor de alta capacidade • Melhorar o desempenho e ter capacidade para acompanhar o crescimento previsto • Replicação, controle de acesso, backup e redundância geográfica • Manter o foco da equipe de “Infra” nos sistemas da Titans e não na administração básica de MySQL MySQL Master/Slave Servidores Físicos
- 30. Várias cestas, cada uma no tamanho certo PROD Amazon RDS UAT Amazon RDS RDS DB instance RDS DB instance DEV Amazon RDS RDS DB instance RDS DB instanceRDS DB instance RDS DB instance standby (Multi-AZ) RDS DB instance read replica SYS 1 RDS DB instance RDS DB instance standby (Multi-AZ) RDS DB instance read replica SYS n
- 31. Após dois anos, os ovos chocaram…. • Dezenas de sistemas, vários ambientes • Mesma abordagem para MemCached com ElastiCache • RDS/MySQL está próximo de não comportar algumas de nossas bases • Archiving/Sharding • Outras soluções AWS são alternativas: Aurora, Redshift Instâncias Simples 36 Instâncias Multi AZ 2 x 28 Réplicas 13 Instâncias Totais 105 Maior Instância db.m2.4xlarge Maior Storage 3 TB, 13.000 IOPS Região sa-east1 Total Storage/IOPS 38TB/96.000 ElastiCache 29 clusters Momento Atual
- 32. Amazon Aurora: Alta Disponibilidade por padrão • Seu dado replicado 6 vezes por 3 AZs • Storage cresce até 64 TB facilmente • Até 15 Réplicas de Aurora Replicas com recuperação instantânea • Até 5 vezes mais performance que o MySQL • 1/10 do preço de um banco de dados comercial AZ 1 AZ 2 AZ 3 Virtualized, cross-AZ storage layer
- 33. O Que é Amazon Redshift?
- 34. Amazon Redshift: data warehouse gerenciado • Petabyte-scale columnar database • Tempo de resposta – ~10x do que os típicos ambientes DW • Preço de $1,000 por TB por year Amazon Redshift
- 35. Foursquare utiliza Amazon Redshift • 40 milhões de usuários de Foursquare para se encontrar com amigos, compartilhar dicas de viagens, e encontrar bons negócios • Foursquare utiliza AWS para realizar análises dos milhões de check-ins diários, economizando em licenciamento e realocando seu time de dev/ops staff para trabalhos estratégicos “Amazon Redshift oferece a performance que precisamos liberando-nos do custo de licenciamento das soluções prévias.” —Jon Hoffman Software Engineer
- 36. Arquitetura Amazon Redshift Leader node Compute nodes Ferramentas de BI PostgreSQL JDBC/ODBC Amazon S3 Amazon DynamoDB AWS Data Pipeline Amazon EMR
- 37. Amazon Redshift redução dramática de IO • Column storage • Data compression • Zone maps • Direct-attached storage • Armazendamento em linha teria mais I/O • Para saber o total tem que varrer todas as linhas ID Age State Amount 123 20 CA 500 345 25 WA 250 678 40 FL 125 957 37 WA 375
- 38. • Com banco colunar busca diretamente a coluna que contém todas as informações ID Age State Amount 123 20 CA 500 345 25 WA 250 678 40 FL 125 957 37 WA 375 Amazon Redshift redução dramática de IO • Column storage • Data compression • Zone maps • Direct-attached storage
- 39. analyze compression listing; Table | Column | Encoding ---------+----------------+---------- listing | listid | delta listing | sellerid | delta32k listing | eventid | delta32k listing | dateid | bytedict listing | numtickets | bytedict listing | priceperticket | delta32k listing | totalprice | mostly32 listing | listtime | raw Amazon Redshift redução dramática de IO • Column storage • Data compression • Zone maps • Direct-attached storage • COPY comprime automaticamente • Análise e sobreposição • Mais performance menor custo
- 40. Amazon Redshift redução dramática de IO • Column storage • Data compression • Zone maps • Direct-attached storage 10 | 13 | 14 | 26 |… … | 100 | 245 | 324 375 | 393 | 417… … 512 | 549 | 623 637 | 712 | 809 … … | 834 | 921 | 959 10 324 375 623 637 959 • Mínimo e máximo de cada bloco “track" • Pula os blocos não relevantes
- 41. Amazon Redshift redução dramática de IO • Column storage • Data compression • Zone maps • Direct-attached storage DW.HS1.8XL: • > 2 GB/s leitura • Otimizado para proc de dados • High disk density DW.HS1.XL:
- 42. Amazon Redshift: escalabilidade Dense Storage Node (dw1.xlarge) 2 TB, 16 GB RAM, 2 cores Dense Compute Node (dw2.large) 0.16 TB, 16 GB RAM, 2 cores Single Node (2 TB) Cluster 2-32 Nodes (up to 64 TB) 8XL Dense Storage Node (dw1.8xlarge) 16 TB, 128 GB RAM, 16 cores, 10 GigE 8XL Dense Compute Node (dw2.8xlarge) 2.56 TB, 128 GB RAM, 16 cores, 10 GigE Cluster 2-100 Nodes (up to 1.6 PB) Note: Nodes not to scale
- 43. Obrigado!