AWS Database Day - Português

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Thiago Paulino
Brunno Orpinelli
AWS Database Services
Webinar
26 de Junho de 2018

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Portifólio de Produtos
RDS
Aurora
Database
Migration
Service
Amazon
Neptune
Relational Databases
DynamoDB
ElastiCache
NoSQL & In-Memory
Amazon Redshift
EMR
Data Pipeline
Athena
Big Data
QuickSight
Elasticsearch
Amazon ML
Analytics

Clientes de Database Service

Uso de serviços de banco de dados
• Amazon Aurora é o serviço que mais cresce na história da AWS
• Mais de 75.000 bancos de dados foram migrados usando o AWS
Database Migration Service

Bancos de Dados
Relacionais
RDS
Aurora
Database
Migration
Service
Amazon
Neptune

• Suporte a vários bancos de dados: Aurora, MySQL,
MariaDB, PostgreSQL, Oracle, SQL Server.
• Provisionamento, correção, dimensionamento, backup /
restauração e failover automatizados.
• Use com armazenamento GP2 ou IOPS provisionado
• Alta disponibilidade com o RDS Multi-AZ
– 99.95% SLA para implantações Multi-AZ
Amazon RDS
Amazon Aurora

Key Insight: Bancos de dados relacionais são complexos
• Nossa experiência na Amazon.com nos ensinou que os bancos de
dados relacionais podem ser difíceis de gerenciar e operar com
alta disponibilidade
• Bancos de dados relacionais mal gerenciados são a
principal causa de perda de sono e tempo de
inatividade no mundo de TI!

• Menor TCO pois gerenciamos o trabalho duro
• Obtenha mais de suas equipes
• Concentre-se nas coisas que o diferenciam, ou seja no seu negócio
• Alta disponibilidade integrada e replicação de regiões cruzadas em vários datacenters
• Disponível em todos os mecanismos, incluindo edições básicas/padrão, não apenas
para edições corporativas
• Agora, até mesmo uma pequena startup pode aproveitar vários data centers para
projetar aplicativos altamente disponíveis com mais de 99,95% de disponibilidade.
Mais barato, mais fácil e melhor

Tolerância a falhas de nível empresarial
solução para bancos
de dados de produção
Failover automático
Replicação Síncrona
Barato e contratado com um clique
Implantações Multi-AZ de alta disponibilidade

Clientes do Amazon RDS

• Airbnb moveu seu banco de dados MySQL principal para
o Amazon RDS com apenas 15 minutos de inatividade
• O RDS simplifica muito das tarefas administrativas
demoradas associadas aos bancos de dados, para que os
engenheiros foquem mais tempo no que realmente
importa para seu negócio
• Usa as réplicas de leitura, sincronizadas de maneira
assíncrona para melhorar o desempenho do site. Iniciado
por meio do console do RDS ou de uma chamada de API
• Aproveita a zona multi-disponibilidade (Multi-AZ) para
alta disponibilidade
Airbnb – Amazon RDS for MySQL

Reinvantando o banco de dados relacional

Perguntas chaves
• E se começássemos de uma folha de papel limpa com apenas restrição, sendo que o
banco de dados era um banco de dados relacional?
• Poderíamos oferecer um desempenho muito melhor aproveitando a enorme escala da
nossa nuvem?
• Poderíamos dar a vocês um banco de dados com durabilidade projetada indistinguível
de 100% e disponibilidade de 99,99%?
• … E poderíamos ser melhores e mais baratos do que os bancos de dados comerciais de
30 anos, atualmente em uso?

Sim, podemos. Resposta = Amazon Aurora
• Um mecanismo de banco de dados relacional, construído desde o início
para aproveitar a AWS
• Para todos os novos aplicativos que exigem SQL, recomendamos o uso do
Amazon Aurora
• Desempenho comercial e disponibilidade a preços de OpenSource (Código
aberto)
• Mantém a compatibilidade com o MySQL 5.6, 5.7 e PostgreSQL 9.6

Amazon RDS para Aurora
• MySQL e PostgreSQL compatível com desempenho até 5x melhor no
mesmo hardware: 100.000 gravações/seg. E 500.000 leituras/seg
• Amazenamento escalável com até 64 TB em banco de dados único,
até 15 réplicas de leitura
• Camada de armazenamento SSD personalizada, altamente
disponível, durável e tolerante a falhas: 6 vias replicadas em 3 zonas
de disponibilidade
• Criptografia transparente para dados em repouso usando o AWS
KMS
• Procedimentos armazenados no Amazon Aurora podem invocar
funções do AWS Lambda

Serviço de crescimento mais
rápido na história da AWS
Clientes do Amazon Aurora

Caso de uso: análises e relatórios próximo do tempo
real
Master
Read
Replica
Read
Replica
Read
Replica
Shared distributed storage volume
Reader end-pointUm cliente do setor de viagens migrou para a Aurora
para seu principal aplicativo de relatórios, acessado por
aproximadamente 1.000 usuários internos.
• As réplicas podem ser criadas, excluídas e dimensionadas em
minutos, baseado em sua demanda.
• As consultas somente leitura têm o balanceamento de carga
em toda a frota de réplicas por meio de um endpoint DNS -
nenhuma configuração de aplicativo é necessária quando as
réplicas são adicionadas ou removidas.
• O atraso de replicação baixa permite a extração de dados
novos sem atrasos, imediatamente após o carregamento dos
dados.
• Ganhos de desempenho significativos para as principais
consultas de análise - algumas das consultas sendo
executadas em 1/100 da hora original.
► Até 15 réplicas de leitura
► Baixo tempo de replicação - normalmente
<10ms
► Ponto final do leitor com balanceamento
de carga

Amazon Aurora é PostgreSQL compatível
• Compatibilidade do PostgreSQL 9.6 com suporte para PostGIS
• Todos os recursos que você espera do Amazon Aurora, incluindo 15
réplicas de leitura com menos de 10 ms, armazenamento compartilhado,
failover sem perda de dados, replicação de 6 vias em 3 zonas de
disponibilidade, criptografia com AWS KMS

Simplifique o monitoramento no
Console de gerenciamento da
AWS
 Carga do banco de dados:
identifica os gargalos do banco
de dados.
 Fácil
 Poderoso
 Identifica as fontes de gargalos
 Top SQL (SQL mais executados)
 Período de análise Ajustável
 Hora, dia, semana e mais.
Max CPU
Insights de desempenho para o Amazon RDS

Amazon Neptune
• O Amazon Neptune oferece suporte aos
modelos de Grafos comuns Property Graph
e RDF do W3C e suas respectivas linguagens
de consulta TinkerPop Gremlin e SPARQL.
• Altamente disponível, com réplicas de
leitura, recuperação point-in-time, backup
contínuo para o Amazon S3 e replicação em
3 zonas de disponibilidade.
• Totalmente gerenciado. Não precisa se
preocupar com tarefas de gerenciamento de
banco de dados: provisionamento de
hardware, correção de software, instalação,
configuração ou backups.

Amazon Neptune
Banco de dados grafo rápido, confiável e totalmente gerenciado
Amazon Neptune é um mecanismo de banco de dados grafo com projeto específico e
alta performance, otimizado para armazenar bilhões de relacionamentos e consultar os
grafos com latência de milissegundos
Facilita a criação e a execução de aplicativos que trabalham com conjuntos de dados
altamente conectados.
Neptune é seguro, com suporte à criptografia em repouso e em trânsito
O Neptune atende a casos de uso de grafo como: mecanismos de recomendação,
detecção de fraudes, gráficos de conhecimento, descobertas de medicamentos e
segurança de rede.

Benefícios
• Oferece Suporte a APIs de Gráficos Aberta
• Altos níveis de performance e escalabilidade
• Alta disponibilidade e resiliência
• Altamente Seguro
• Totalmente gerenciado

Quando usar bancos de dados gráficos
• Estruturas de Grafo como nós (entidades de dados), bordas
(relacionamentos) e propriedades para representar e armazenar dados.
• A performance interativa do Neptune em grande escala possibilita um
amplo conjunto de casos de uso de gráficos.
Bancos de dados grafo, como o Amazon Neptune, foram criados para
armazenar relacionamentos e navegar por eles.
Esses bancos de dados são vantajosos em relação aos bancos de dados
relacionais em casos de uso como redes sociais, mecanismos de
recomendação e detecção de fraudes, onde é necessário criar
relacionamentos entre os dados e consultar rapidamente esses
relacionamentos

Caso de Uso: Redes Sociais
O Amazon Neptune pode processar com rapidez e
facilidade grandes conjuntos de perfis de usuários
e interações para criar aplicativos de redes sociais.
• Consultas grafo altamente interativas com alto throughput
para levar recursos sociais aos aplicativos.
Por exemplo, se você estiver criando um feed
social em um aplicativo, poderá usar o Neptune
para fornecer resultados que priorizam exibir para
os usuários as atualizações mais recentes de sua
família, dos amigos cujas atualizações os usuários
curtem e dos amigos que moram perto dos
usuários.

Clientes do Amazon Neptune

AWS Database Migration Service
• Serviço totalmente gerenciado para migração do local para o
AWS Cloud com tempo de inatividade mínimo
• Migra dados para/e de todos os bancos de dados comerciais e
de código aberto amplamente usados
• Ferramenta de conversão de esquema (AWS SCT Tool) que
converte esquemas de banco de dados de origem, em um
formato de destino diferente, exemplo: Banco de dados
licenciados para banco de dados open-source.
• Suporta replicação de dados homogêneos e heterogêneos
• Um banco de dados do tamanho de Terabytes pode ser
migrado por apenas US $ 3

Recursos de Conversão de Banco de Dados na
ferramenta SCT(Schema Conversion Tool)
Fonte da Base de Dados Banco de Dados de Destino
Microsoft SQL Server  Amazon Aurora, MySQL, PostgreSQL
MySQL  PostgreSQL
Oracle  Amazon Aurora, MySQL, PostgreSQL
Oracle Data Warehouse  Amazon Redshift
PostgreSQL  Amazon Aurora, MySQL
Teradata, Netezza, Greenplum  Amazon Redshift

Clientes do AWS Database Migration Service

Migração Heterogênea
• Oracle Database em, um data-center privado, migrado para o
Amazon RDS, PostgreSQL.
• Usou o AWS Schema Conversion Tool para converter o
esquema de banco de dados
• Foi usada replicação contínua (CDC) para manter os bancos de
dados em sincronia até atingirem a janela de transição
• Benefícios:
• Maior confiabilidade do ambiente de nuvem
• Economia nos custos de licenciamento da Oracle
• O Relatório de Avaliação SCT permite entender o escopo da
migração, quais são os ajustes necessário para a aplicação.

NoSQL & In Memory DynamoDB
ElastiCache

Rápido, Flexivel, NoSQL EscalávelAmazon
DynamoDB

History of NoSQL at Amazon
História do NoSQL na Amazon: https://bit.ly/2N8X8P7

Perguntas Chaves
• Aurora foi projetado com uma única restrição:
o Compatibilidade com SQL e semântica de banco de dados
relacional
• E se dissermos não a essa restrição?
o Não para SQL = NoSQL
• Poderíamos eliminar as coisas de que não gostamos nos bancos de
dados relacionais?

Sim... Resposta = Amazon DynamoDB
• Banco de dados que pode ser dimensionado além de uma única caixa sem nenhuma alteração no seu
aplicativo.
• Você pode começar pequeno, mas saiba que não há limite para o sucesso de seu aplicativo.
• Se seu aplicativo estiver funcionando rapidamente com 10 usuários, ele sempre será executado
rapidamente, mesmo quando você tiver usuários de 1, 10 ou 100 milhões usando seu aplicativo.
• Não é necessário gastar tempo ajustando consultas e diagnosticando por que seu aplicativo está sendo
executado lentamente.
• Forneça disponibilidade e durabilidade indistinguíveis de 100%.
• 99.99% and 60 second failover are not good enough.
• Você não precisa gerenciar nada. Você nem precisa saber o que é uma instância de banco de dados.
• Nenhum Schema. Tudo o que você precisa nos informar é o número de leituras/s e gravações/s que você
deseja executar. Nós fazemos o resto.

Clientes do Amazon DynamoDB

Lyft aumenta facilmente seu sistema de rastreamento de
localização Ride usando o DynamoDB
Era tão simples de escalar.
Nós tínhamos dois botões.
Um era para leituras e um
era para gravações.
Chris Lambert
CTO, Lyft
”
“ • Lyft serve até 8x mais passeios nos
horários de pico
• A localização do GPS para todos os
passeios foi rastreada no sistema de
localização do percurso.
• Em junho de 2014, a Lyft implantou o
DynamoDB em produção.
• O Lyft já transferiu muitos de seus
outros armazenamentos de dados para
o DynamoDB também.

Cache em memória
Memcached ou Redis
Totalmente gerenciado; zero
administração
Amazon
ElastiCache

Principais recursos do ElastiCache
• Descoberta automática do nó de
cache
• Posicionamento do nó Multi-AZ
• Persistência
• Leitor de Réplicas
• Multi-AZ com "failover
automático“
• Redis cluster

Gaming AdTec
h
Media Mobile Other
Clientes do Amazon ElastiCache

RDS e ElastiCache estão por trás do aplicativo Taxi-Booking do
Grab
A latência de uma chamada de cabine deve
ser baixa e permanecer baixa, mesmo em
tempos de pico de tráfego, de centenas de
milhares de solicitações de táxi por minuto.
Usamos o ElastiCache for Redis na frente
do RDS MySQL para manter o
desempenho em tempo real de nossos
sistemas em qualquer escala.
Ryan Ooi
Sr. Devops Engineer,
Grab
“ • Grab é um popular aplicativo de chamada de táxi no sudeste da
Ásia.
• O tempo médio de resposta da camada da API é <40 ms,
obrigando uma camada na memória a atingir esse desempenho.
• Uma pequena equipe de devops que tentou rodar o Redis no EC2
antes, mas isso era muito trabalho. O uso do RDS e do
ElastiCache no Multi-AZ permitiu que eles terceirizassem todo o
gerenciamento para a AWS.

Big Data
Amazon
Redshift
Amazon EMR
Amazon
Athena
Data Pipeline

Amazon Redshift
• Petabyte-scale, relacional, MPP, data
warehousing
• Totalmente gerenciado com plataformas SSD e
HDD
• Segurança end-to-end integrada, incluindo
chaves gerenciadas pelo cliente
• $1,000/TB/ano; começa em $0.25/hour

Porque criamos o Amazon Redshift
• Os clientes estavam gerando dados na nuvem, mas movendo-os no local
para analisá-los usando um data warehouse
• Os clientes migraram tudo para a AWS, exceto seus armazéns de dados
no local.
• Eles queriam fechar esses centros de dados, mas não puderam, até que
lhes oferecemos uma solução na nuvem.

Gartner: User Survey Analysis: Key Trends Shaping the Future of Data Center Infrastructure Through 2011
IDC: Worldwide Business Analytics Software 2012–2016 Forecast and 2011 Vendor Shares
Available for analysis
Generated data
1990 2000 2010 2020
Key Insight: A maioria dos dados cai no chão
90% dos dados de uma empresa
nunca são analisados
Altos custos e complexidade dos
sistemas tradicionais de DW
dificultam a justificativa da
despesa de capital

Nos perguntamos…
• Podemos projetar um sistema barato e dimensionável o suficiente para
permitir que você analise todos os seus dados?
• Poderíamos criar um serviço que fosse mais rápido, mais barato e mais
fácil de usar que os sistemas tradicionais de DW?

Sim! Podemos. Resposta = Amazon Redshift
• Um sistema MPP (massively parallel processing) com até 128 nós de computação para
armazenar e processar até 2 PB de dados compactados
• Por $ 1.000 / TB / ano, é tão barato que você pode analisar todos os seus dados
• Você pode provisionar um petabyte em menos de três minutos e pagá-lo por hora
• 10x desempenho e 1/10 o preço de outras soluções
• Totalmente gerenciado com provisionamento automatizado, correção, segurança,
backup, restauração e tolerância a falhas integrada

Clientes do Amazon Redshift

NTT Docomo: Maior operadora de celular
do Japão
• 68 milhões de clientes
• 10s de TBs por dia de dados em
toda a rede móvel
• 6PB do total de dados
(descompactado)
• Ciência de dados para operações
de marketing, logística etc.
• Greenplum on-premises
• Cluster DS2.8XL de 125 nós
• 4,500 vCPUs, 30TB RAM
• 6 PB dados não
compactados
• consultas analíticas 10x
mais rápidas
• Redução de 50% no tempo
de implantação de novos
aplicativos de BI
• Significante menos ops.
overhead

Amazon EMR
• Hadoop, Hive, Presto, Spark, Tez, Impala etc.
• Release 5.2: Hadoop 2.7.3, Hive 2.1, Spark 2.02, Zeppelin, Presto, HBase 1.2.3
and HBase on S3, Phoenix, Tez, Flink
• Novos aplicativos adicionados em até 30 dias após o lançamento do código
aberto
• Totalmente gerenciado, escalonamento automático de clusters com
suporte para preços sob demanda e spot
• Suporte para sistemas de arquivos HDFS e S3, permitindo computação
e armazenamento separados; vários clusters podem ser executados nos
mesmos dados no S3
• HIPAA-elegível. Suporte para criptografia de ponta a ponta, IAM / VPC,
criptografia do lado do cliente S3 com chaves gerenciadas pelo cliente
e AWS KMS

Porque construimos o Amazon EMR
• Os clientes queriam usar as estruturas analíticas de código aberto mais
recentes para analisar e transformar seus dados
• Os clientes queriam usar tecnologias como Spark e Presto em conjunto
com serviços da AWS, como o Amazon S3, e recursos como instâncias
spot do EC2
• Os clientes queriam se beneficiar da elasticidade que a AWS oferece

Clientes Amazon EMR

Amazon Athena
• Serviço de consulta sem servidor para consultar dados no S3 sem
infraestrutura para gerenciar.
• Nenhum carregamento de dados é necessário; consulta diretamente
do Amazon S3.
• Use consultas ANSI SQL padrão com suporte para junções, JSON e
funções de janela.
• Suporte para vários formatos de dados incluem texto, CSV, TSV,
JSON, Avro, ORC, Parquet.
• Pague por consulta apenas quando você estiver executando
consultas. US $ 5 / TB digitalizado; se você compactar seus dados,
suas consultas custam menos.

Porque construimos Amazon Athena
• Os clientes queriam uma maneira fácil de executar consultas ad-hoc em
dados no Amazon S3 sem infraestrutura para gerenciar
• Os clientes queriam um serviço que pudesse complementar o uso do
Amazon Redshift e do Amazon EMR
• Os clientes queriam dar essa capacidade a qualquer pessoa da empresa e
pagar apenas por consulta

Clientes do Amazon Athena

Analytics
QuickSight
Amazon ES
Amazon ML

Como um serviço de nuvem nativo, o
QuickSight combina a velocidade, a
escalabilidade e a facilidade de
implantação das quais nossos clientes
passaram a depender do valor e da
economia que você espera da AWS.
Amazon QuickSight
Rápido, fácil de usar o serviço de análise de negócios a 1/10 do custo das
soluções tradicionais de BI.

Amazon QuickSight
• Detecta automaticamente fontes de dados da AWS, como o Amazon
Redshift, RDS e S3
• Conecte-se a fontes de terceiros, como Excel, Salesforce e outros bancos
de dados hospedados / no local
• Desempenho super rápido com SPICE
• Visualizações instantâneas com autógrafo
• Compartilhe e colabore com segurança em análises, painéis e histórias
• Experiência nativa do iPhone e acesso baseado na web de todos os outros
dispositivos
• Conjuntos de dados controlados
• Controles de acesso do usuário
• Integração do Active Directory

QuickSight fornecendo insights em tempo real no MLB Advanced
Media
O QuickSight fornece uma
visão em tempo real e em 360
graus dos nossos negócios,
sem ser restringido por painéis
e métricas pré-desenvolvidos,
expandindo nosso uso de
dados para tomar decisões
informadas.
Brandon Sangiovanni
Sr. BI Development Manager
”
“

• Mecanismo distribuído de pesquisa e análise
• Serviço gerenciado usando Elasticsearch e
Kibana
• Totalmente gerenciado; admin zero
• Altamente disponível e confiável
• Totalmente integrado com outros serviços da
AWS
Amazon
Elasticsearch
Service

Principais Casos de Uso do Amazon Elasticsearch Service
Log Analytics &
Operational Monitoring
• Monitore o desempenho de seu
aplicativo, servidores da Web e
hardware
• Ferramentas de visualização de
dados fáceis de usar, mas
eficientes, para detectar
problemas quase em tempo
real
• Capacidade de escavar seus
registros de maneira intuitiva e
refinada
• Kibana provides fast, easy
visualization
Traditional Search
• Aplicativo ou site fornece recursos de
pesquisa em diversos documentos
• Encarregado de fazer essa base de
conhecimento pesquisável e acessível
• Principais recursos de pesquisa,
incluindo correspondência de texto,
lapidação, filtragem, pesquisa difusa,
preenchimento automático e realce
• API de consulta para dar suporte à
pesquisa de aplicativos

Media and
Entertainme
nt
Online
Service
s
Technolog
y
Other
Clientes Amazon Elasticsearch

Estudo de Caso: Adobe Developer Platform (Adobe I/O)
Mais de 200.000 chamadas de API por segundo de pico
• destinos, tempos de resposta, largura de banda
Os dados de registro são roteados com o Amazon Kinesis para o Amazon Elasticsearch
Service e, em seguida, exibidos usando o AES Kibana
A equipe da Adobe pode ver facilmente padrões de tráfego e taxas de erro,
identificando rapidamente anomalias e possíveis desafios
Amazon
Kinesis
Streams
Spark Streaming
Amazon
Elasticsearch Service
Data Sources
1

Muito obrigado!
Avalie nosso webinar para que possamos melhorar
cada vez mais.

AWS Database Day - Português

Mais conteúdo relacionado

Mais procurados (6)

Semelhante a AWS Database Day - Português (20)

Mais de Amazon Web Services LATAM (20)

Último (19)

AWS Database Day - Português