Iniciando com Amazon Aurora
Transferir como PPTX, PDF0 gostou371 visualizações
O documento apresenta o Amazon Aurora, um banco de dados relacional otimizado para a nuvem, destacando sua velocidade, escalabilidade e redução de custos em comparação com bancos comerciais e MySQL. Aurora é projetado com uma arquitetura distribuída e oferece recursos automatizados de gerenciamento, segurança e monitoramento. Também é abordada a experiência de clientes que migraram para Aurora, destacando melhorias em desempenho, durabilidade e eficiência de custos.
Iniciando com Amazon Aurora
- 1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Daniel Bento de Paula Solutions Architect 22 de Junho de 2017 Iniciando com Amazon Aurora
- 2. ►O que é o Amazon Aurora Background and histórico ►O que você precisa saber sobre o Aurora Diferenciais; Casos de uso; Custo de propriedade ►Ouça diretamente de um de nossos clientes Qconcursos irá compartilhar a experiência adquirida Agenda
- 3. Um pouco do histórico … Reinventando o banco de dados relacional para a era da computação em nuvem
- 4. Múltiplas camadas de funcionalidades em uma única stack monolítica SQL Transactions Caching Logging Banco de dados relacionais não foram desenhados para a nuvem
- 5. E pouco mudou nos últimos 20 anos Mesmo no escalonamento horizontal, você estaria replicando o mesmo stack SQL Transactions Caching Logging SQL Transactions Caching Logging Aplicação SQL Transactions Caching Logging SQL Transactions Caching Logging Aplicação SQL Transactions Caching Logging SQL Transactions Caching Logging Storage Aplicação
- 6. Reinventando o banco de dados relacional Automação de atividades administrativas – serviço totalmente gerenciado 1 2 3 Escalabilidade e design distribuído Arquitetura orientada a serviços aproveitando os serviços da AWS
- 7. Arquitetura escalável, distribuída e multi-tenant Master Replica Replica Replica Zona de Disponibilidade 1 Shared storage volume Storage nodes com SSDs Camadas de log e storage juntas Storage distribuído, em 3 zonas de disponibilidade, composto por centenas de nós de armazenamento Seis cópias de dados, duas cópias em cada zona de disponibilidade, para proteção contra falhas SQL Transactions Caching SQL Transactions Caching SQL Transactions Caching Zona de Disponibilidade 2 Zona de Disponibilidade 3
- 8. Aproveitando o ecossistema da nuvem Lambda S3 IAM CloudWatch Execute funções Lambda a partir de stored procedures/triggers Carregue dados a partir do S3 Armazene snapshots e backups no S3 Use IAM roles para gerenciar o controle de acesso Envie métricas do sistema e audite logs via CloudWatch
- 9. Automatize atividades administrativas Definição do schema Construção de queries Otimização de queries Fail-over automático Backup e recovery Isolamento e segurança Compliance Escalabilidade em poucos cliques Patching automatizados Monitoramento avançado Rotinas de manutenção AWS cuida das atividades de gerenciamento para que você foque no negócio e suas aplicações Você AWS
- 10. Conheça o Amazon Aurora Banco de dados reinventado para a nuvem Velocidade e disponibilidade dos banco de dados comerciais de ponta Simplicidade e efetividade de custo dos banco de dados open source Compatibilidade with MySQL e PostgreSQL Preço simplificado: pague conforme o uso Disponível como um serviço gerenciado
- 11. Aurora é utilizado por: 2/3 dos top 100 clientes da AWS 8 dos top 10 clientes de games Adoção dos clientes Serviço de mais rápido crescimento na história da AWS
- 12. Quem está migrando para Aurora e porque? Clientes utilizando bancos comerciais Clientes utilizando MySQL tradicional Maior performance – até 5x Melhor disponibilidade e durabilidade Redução de custo – até 60% Fácil migração; sem mudanças na aplicação Um décimo do custo; sem licenciamento Integração com ecossistema cloud Performance e disponiblidade comparáveis Serviços e ferramentas para migração
- 13. Amazon Aurora é rápido 5x mais rápido que o MySQL
- 14. WRITE PERFORMANCE READ PERFORMANCE MySQL SysBench results R3.8XL: 32 cores / 244 GB RAM 5X mais rápido que RDS MySQL 5.6 & 5.7 Cinco vezes maior throughput que o MySQL Baseado em padrões de benchmark da indústria 0 25,000 50,000 75,000 100,000 125,000 150,000 0 100,000 200,000 300,000 400,000 500,000 600,000 700,000 Aurora MySQL 5.6 MySQL 5.7
- 15. Escalabilidade do Aurora Conexões Número de tabelas Tamanho do banco - SYSBENCH Tamanho do banco - TPCC Connections Amazon Aurora RDS MySQL w/ 30K IOPS 50 40,000 10,000 500 71,000 21,000 5,000 110,000 13,000 Tables Amazon Aurora MySQL I2.8XL local SSD RDS MySQL w/ 30K IOPS (single AZ) 10 60,000 18,000 25,000 100 66,000 19,000 23,000 1,000 64,000 7,000 8,000 10,000 54,000 4,000 5,000 8x A T É M A I S R Á P I D O 11x A T É M A I S R Á P I D O DB Size Amazon Aurora RDS MySQL w/ 30K IOPS 1GB 107,000 8,400 10GB 107,000 2,400 100GB 101,000 1,500 1TB 26,000 1,200 DB Size Amazon Aurora RDS MySQL w/ 30K IOPS 80GB 12,582 585 800GB 9,406 69 21 A T É M A I S R Á P I D O 136x A T É M A I S R Á P I D O
- 16. Dados reais – workload de games Aurora vs. RDS MySQL – r3.4XL, MAZ Aurora 3X faster on r3.4xlarge
- 17. BINLOG DATA DOUBLE-WRITELOG FRM FILES TYPE OF WRITE MYSQL COM REPLICA EBS mirrorEBS mirror AZ 1 AZ 2 Amazon S3 EBS Amazon Elastic Block Store (EBS) Primary Instance Replica Instance 1 2 3 4 5 AZ 1 AZ 3 Primary Instance Amazon S3 AZ 2 Replica Instance ASYNC 4/6 QUORUM DISTRIBUT ED WRITES Replica Instance AMAZON AURORA 780K transações 7.388K I/Os por milhão de transações (exceto mirroring, standby) Média de 7,4 I/Os por transação MySQL IO profile em 30 min Sysbench run 27.378K transações 35X MAIS Transações 0,95 I/Os por transação 7.7X MENOS I/O por tx Aurora IO profile em 30 min Sysbench run Como conseguimos isso?
- 18. Novas melhorias de performance ► Smart selector ► Logical read ahead ► Read views Performance de leitura Performance de escrita Acesso a meta-dados ► NUMA aware scheduler ► Latch-free lock manager ► Instant schema update ► B-Tree concurrency ► Catalog concurrency ► Faster index build
- 19. Caso de uso: consolidação de shards MySQL Master Read Replica Shared distributed storage volume M S M M M S S S MySQL shards Aurora cluster Cliente com aplicação global SaaS estava utilizando centenas de shards MySQL com o objetivo de evitar gargalos de desempenho e escalabilidade de conexões Consolidou 29 múltiplos shards MySQL em um único cluster Aurora de r3.4xlarge Mesmo depois da consolidação, a utilização do cluster é consistente em 30%, tendo capacidade disponível para crescimento.
- 21. • Seis cópias distribuiídas em três zonas de disponibilidade • 4 de 6 para quórum escrita; 3 de 6 para quórum de leitura • Replicação peer-to-peer para reparos • Volume distribuído em centenas de nós de armazenamento SQL Transaction AZ 1 AZ 2 AZ 3 Caching SQL Transaction AZ 1 AZ 2 AZ 3 Caching Disponbilidade de leitura e escritaDisponibilidade de leitura Storage com dados 6x replicados Sobrevive a falhas catastróficas
- 22. Até 15 réplicas de leitura Master Read Replica Read Replica Read Replica Shared distributed storage volume Reader end-point ► Até 15 réplicas de leitura distribuídas em múltiplas zonas de disponibilidade ► Re-do log baseado em replication leads para baixo lag de replicação – Usualmente < 10ms ► End-point de leitura com balanceamento de carga; Ordem de failover definido pelo cliente
- 23. Caso de uso: Near real-time analytics Cliente migrou aplicação de relatórios com mais de 1000 usuários internos Master Read Replica Read Replica Read Replica Shared distributed storage volume Reader end-point Rápido provisioinamento: réplicas podem ser criadas, excluídas ou escaladas em minutos em função da carga Balanceamento de carga: queries somente-leitura são balanceadas entre as réplicas através do endpoins de DNS Baixo lag de replicação: permite a mineração de dados frescos sem delay, imediatamente após a carga de dados Rapidez no acesso concorrente: significante ganhos de performance nas principais consultas analíticas ► Até 15 réplicas de leitura ► Baixo lag de replicação – usualmente < 10ms ► End-point de leitura com balanceamento de carga
- 24. Failover Automático em 15 segundos App RodandoDetecção da Falha Propagação do DNS Recuperação Recuperação Falha DB MYSQL App Rodando Detecção da Falha Propagação de DNS Recuperação Falha DB AURORA COM DRIVER MARIADB 5 - 6 s e g 5 - 1 0 s e g
- 25. Réplicas de leitura entre regiões Agilidade no disaster recovery e proximidade de dados • Promova réplicas de leitura a master para rápida recuperação em um evento de desastre • Traga o dado para perto das aplicações dos seus clientes em diferentes regiões • Promova a master para uma fácil migração
- 26. Novas funcionalidades de disponibilidade ► End-point de réplicas de leitura ► Definição da ordem de failover ► Failover mais rápido < 15 secs Read replicas X-region DR ► Replicação entre regiões ► Cópia de snapshots entre regiões ► Compartilhamento de snapshots entre contas *Em breve* *Em breve*
- 27. Amazon Aurora é fácil de usar Gerenciamento automatizado de storage, segurança e compliance, monitoramento avançado, migração de banco de dados
- 28. Gerenciamento de storage simplificado Backup incremental e contínuo no Amazon S3 Crie instantaneamente snapshots — sem impacto na performance Escalabilidade automática do storage até 64 TB — sem impacto na peformance Reparação de réplicas, gerenciamento de hot spots, criptografia Até 64TB de storage – Auto-incremento em unidades de 10GB Até 64 TB
- 29. Segurança e compliance Criptografia para segurança do dado em repouso através de chaves gerenciadas • AES-256 • Todos blocos de disco e Amazon S3 criptografados • Gerenciamento de chaves via AWS KMS Snapshots e replicação entre regiões criptografados – SSL para segurança do dado em trânsito Auditoria e logs avançados sem impacto no desempenho Padrões da indústria e proteção de dados SOC, ISO, PCI/DSS, HIPPA/BAA Data Key 1 Data Key 2 Data Key 3 Data Key 4 Customer Master Key(s) Storage Node Storage Node Storage Node Storage Node Database Engine
- 30. Monitoramento Avançado + de 50 métricas de sistema/SO | visualização de listas de processos | granularidade de 1-60s alarmes em métricas específicas | CloudWatch Logs | integração com ferramentas de terceiros ALARM
- 31. Opções de migração para Amazon Aurora Banco de dados Origem Opção recomendada RDS EC2, on premise EC2, on premise, RDS Ingestão automatizada do snapshot via Console Pareamento via binlog replication Ingestão de snapshot binário via S3 Pareamento via binlog replication Conversão de Schema através do SCT e migração de dados via DMS.
- 32. Aproveite o ecossistema MySQL e AWS Query and Monitoring Business Intelligence Fonte: Amazon Integração de dados “Nós rodamos nosso teste de compatibilidade com o Amazon Aurora e tudo funcionou" - Dan Jewett, Vice-presidente de Gestão de Produtos na Tableau Lambda IAM CloudWatch S3 Route53 KMS Ecossistema AWS VPC SWF
- 33. Caso de Uso: Pipeline de dados orientado a eventos Simplifique a criação de lógica customizada movendo o código das funções e procedures para repositórios em cloud Execute código em resposta a requisições, triggers ou eventos agendados do banco de dados em qualquer linguagem suportado pelo AWS Lambda (Java, Node.js, Python). Acelere a migração a partir de qualquer banco de dados Amazon S3 Data Lake Amazon Aurora Carga a partir do S3 Execução de Lambda Evento no S3 Execução de Lambda Carga completa no S3 Notificação entregue Serviços AWS gerando dados Fluxo de Dados Chamada / Fluxo de Notificação
- 34. Amazon Aurora te ajuda a economizar 1/10 do custo dos banco de dados comerciais Mais barato até que o MySQL
- 35. Custo de propriedade: Aurora vs. MySQL Custo por hora de um exemplo de configuração de MySQL Primary r3.8XL Standby r3.8XL Replica r3.8XL Replica R3.8XL Storage 6 TB / 10 K PIOP Storage 6 TB / 10 K PIOP Storage 6 TB / 5 K PIOP Storage 6 TB / 5 K PIOP $1.33/hr $1.33/hr $1.33/hr $1.33/hr $2,42/hr $2,42/hr $2,42/hr Custo de instâncias: $5.32 / hr Custo de storage: $8.30 / hr Total: $13.62 / hr $2,42/hr
- 36. Custo de propriedade: Aurora vs. MySQL Custo por hora de um exemplo de configuração de Aurora Custo de instâncias: $4.86 / hr Custo de storage: $4.43 / hr Total: $9.29 / hr Primary r3.8XL Replica r3.8XL Replica R3.8XL Storage / 6 TB $1.62 / hr $1.62 / hr $1.62 / hr $4.43 / hr *Em um nível macro, Aurora economiza por volta de 50% no custo de storage comparado com um RDS MySQL 31.8% De economia Sem instância standby ociosa Único storage compartilhado Sem PIOPs – pague pelo uso de I/O
- 37. Custo de propriedade: Aurora vs. MySQL Novas oportunidades de economia Custo de instâncias: $2.43 / hr Custo de storage: $4.43 / hr Total: $6.86 / hrPremissas 1. Média de IOPs é 50% do máximo IOPs 2. 50% de economia comparando shipping logs vs. full pages 49.6% De economia Primary r3.8XL Replica r3.8XL Replica r3.8XL Storage / 6TB $0.81 / hr $0.81 / hr $0.81 / hr $4.43 / hr r3.4XL r3.4XL r3.4XL Utilização de instâncias menores Pague conforme o uso do storage
- 38. Maior performance com menor custo Menor número de instâncias Em tamanhos menores Safe.com reduziu a conta em 40% trocando um MySQL em shard para uma única instância de Aurora Double Down Interactive reduziu a conta em 67%, obtendo melhores latências (maioria das queries rodaram mais rápido) e menor utilização de CPU Sem necessidade de provisionar storage Sem storage adicional para réplicas
- 39. Descontos de reserva de instância t2 Até 34% com RI de 1 ano Até 57% com RI de 3 anos vCPU Mem Preço por hora db.t2.medium 2 4 $0.082 db.r3.large 2 15.25 $0.29 db.r3.xlarge 4 30.5 $0.58 db.r3.2xlarge 8 61 $1.16 db.r3.4xlarge 16 122 $2.32 db.r3.8xlarge 32 244 $4.64 R3.large é muito grande para dev/test? Lançamos a t2.medium *Preços da Virginia *Nova*
- 41. Gustavo Aguiar Gerente de Projetos e TI bitly.com/gustavoaguiar O Qconcursos é um ambiente de estudos completo destinado às pessoas interessadas em concursos públicos, ENEM e OAB. Produzimos todo o conteúdo consumido pelo site. Projetos e operações totalmente na nuvem.
- 42. 9 anos +5k aulas +650k questões 160k acessos/dia 2 milhões acessos/mês 80% acessos via computador 20% acessos mobile (celular e tablet)
- 43. Cenário Antes do Aurora Limitação de Escalabilidade Baixa tolerância a falhas (failover manual) Longo tempo para subir uma instância (>2 horas) Disponibilidade – Migração com baixo downtime Integridade - Manter a consistência dos dados Desafios da Migração
- 44. Planejamento da Migração PLANEJAMENTO GANHOS PRÓXIMOS PASSOS DMS – Data Migration Service Alta disponibilidade (Elasticidade e Escalabilidade) Réplicas de leitura Baixo downtime Economia de 50% db.r3.8xlarge db.r3.4xlarge Nova adequação
- 45. Arquitetura Tamanho do Banco: 138 GB Throughput: 3.000 consultas/s
- 46. Outras sessões relacionadas a Aurora no Summit SP 2017 • Deep Dive on Amazon Aurora • Migrando seu banco de dados para a AWS: Deep Dive em Amazon RDS e AWS Database Migration Service
- 47. Obrigado! Daniel Bento de Paula
- 48. Lembre-se de avaliar a apresentação!
Notas do Editor
- #42: 10 anos Questões grauitas para o plano básico Plano Premium com videoaulas 160 mil acessos/dia 2 milhões de acesso/mês Rede social gratuita 79% acessos via computador 21% acessos mobile (celular e tablet)
- #43: 10 anos Questões grauitas para o plano básico Plano Premium com videoaulas 160 mil acessos/dia 2 milhões de acesso/mês Rede social gratuita 79% acessos via computador 21% acessos mobile (celular e tablet)
- #44: Os 4 (máximo) maiores desafios do projeto, que foram resolvidos pela utilização da nuvem da AWS
- #45: Os 4 (máximo) maiores desafios do projeto, que foram resolvidos pela utilização da nuvem da AWS
- #46: Diagrama de solução, e explicar a solução, vantagens, etc