ILM com PostgreSQL
0 gostou1,762 visualizações
O documento aborda a gestão do ciclo de vida da informação e a governança de dados em ambientes de TI, ressaltando a importância de estratégias como ILM (Information Lifecycle Management) na adequação dos recursos de armazenamento. Discute as mudanças no papel do DBA, as novas tecnologias e a adoção de ferramentas open source, além de apresentar desafios e considerações práticas para otimização e segurança dos dados. Conclui com recomendações para uma visão abrangente do ambiente de dados e a formação de um comitê para a gestão eficaz dessas operações.
![O que mensurar ao aderir a novas tecnologias?
Necessidade do
cliente
Preço
Funcionalidade
Analítica
Conjunto de
Ferramentas
Requerimentos
de
Processamento
Tolerância à falha
Capacidade de
extensibilidade
Maturidade
Numero de
clientes
Performance
Opções de
Deploy
Latência
Feedback de
Clientes
Requerimentos
de Hardware
Batch / Real Time
/ Streaming /
Transacional
Tamanho da
comunidade
[não][semi]-
estruturado
Opções de
otimização
Portabilidade
Penetração de
mercado
Visibilidade
Disponiblidade
de Profissionais
Disponibilidade
de Empresas
Conhecimento
da Equipe
Material para
estudo
Documentação Integração Mobilidade](https://image.slidesharecdn.com/ilmnopostgresql-180806225452/85/ILM-com-PostgreSQL-16-320.jpg)
ILM com PostgreSQL
- 2. Raul Oliveira DBA Multiplataforma @rauldoliveira raul.oliveira@msn.com Meetup Brasília DataGroup http://www.meetup.com/pt-BR/Brasilia-DataGroup/ SQLServerDF http://groups.google.com/group/sqlserverdf MTAC http://www.mtac.org.br
- 4. Agenda da Apresentação • Cenário de Dados Atual • Reflexão sobre a diversidade de operação • Principais argumentos usados para ambientes com e sem open source • Destaques do que podemos fazer • Argumentos para “vender”.
- 5. ILM – Information Lifecycle Management • Refere-se a um amplo conjunto de estratégias para administrar sistemas de armazenamento em dispositivos de computação. • Compreende as políticas processos práticas e ferramentas usadas para alinhar o valor comercial da informação com a infraestrutura de TI mais apropriada e econômica a partir do momento em que a informação é concebida por meio de sua disposição final. • Procura adequar os melhores recursos entendendo o dado. • Nos faz refletir sobre a Governança dos Dados
- 6. Alguns pontos mudaram com o tempo...
- 7. Até que descobrimos um novo petróleo
- 8. Necessidade aquece mercados e tecnologias
- 15. O DBA mudou Passado O padrão corporativo Data Centers Waterfall Provisionamento da TI Desenvolver e Operar Tarefas Manuais Tarefas Rotineiras Database Expert Presente O padrão é ter boas opções Cloud* Agile Self-Service DevOps Automação Problemas / Desafios difíceis Data Expert!
- 16. O que mensurar ao aderir a novas tecnologias? Necessidade do cliente Preço Funcionalidade Analítica Conjunto de Ferramentas Requerimentos de Processamento Tolerância à falha Capacidade de extensibilidade Maturidade Numero de clientes Performance Opções de Deploy Latência Feedback de Clientes Requerimentos de Hardware Batch / Real Time / Streaming / Transacional Tamanho da comunidade [não][semi]- estruturado Opções de otimização Portabilidade Penetração de mercado Visibilidade Disponiblidade de Profissionais Disponibilidade de Empresas Conhecimento da Equipe Material para estudo Documentação Integração Mobilidade
- 17. Reações Comuns do Mercado Leigo ao Open Source • Licença de Software • Banco de dados é produto X
- 19. O que meu profissional/equipe pode cuidar?
- 20. O que pode ser feito com o dado? Extraído Exportado Importado Migrado Validado Editado Atualizado Limpo Transformado Convertido Integrado Segregado Agregado Referenciado Revisado Relatado Analisado Garimpado Salvo Recuperado Arquivado Restaurado Eliminado Persistido
- 21. E o que fazemos*? • Backup (para ambientes bem maduros). • Restart.
- 22. Ciclo de Vida do Dado Ciclo de Vida do Dado Planejar Especificar Disponibilizar Criar e Adquirir Manter e Usar Arquivar e Recuperar Eliminar Ciclo de Vida da Aplicação Planejar Analisar Design Construir Testar Implantar Manter
- 23. Governança • Estratégia • Organização e Papéis • Políticas e Padrões • Projetos e Serviços • Avaliações
- 24. Custo
- 26. Ciclo de Vida do Dado Planejar Especificar Disponibilizar Criar e Adquirir Manter e Usar Arquivar e Recuperar Eliminar! Eliminar? Em Repouso (Disco) Em Uso (Processador / Memória) Em Trânsito / Movimento (Rede)
- 27. Principais nomes que ouviremos falar • Tier / Classificação / Racionalização • Compressão (para custo) • Deduplicação • como um todo e não (apenas) como compressão • Expurgo • Arquivamento • Otimizar (Armazenamento) • Armazenamento • Velocidade de acesso • Gerenciar / Monitorar
- 28. Oracle
- 29. IBM
- 30. Microsoft
- 31. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Análise • Modelagem de Dados • Design de banco de dados • Implementação • Produtividade com e sem IDE • PgModeler • DevOps em Alta
- 32. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Aquisição e Armazenamento • Backup e Recuperação • Gestão de Conteúdo • Retenção • Não subestime o Dump • O Backup é a mesma coisa! • Ferramentas como Barman • Segmento de Undo • Bacula
- 33. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Dados de clientes e produtos • Integração • Controle • Melhoria Contínua • Centralização dos Metadados • NiFi, Pentaho... • Qualidade dos dados: Deduplicação, sanitização... (processo)
- 34. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Aquisição • Recuperação • Otimização • FDW • Replicação • Operação • Tunning
- 35. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Padrão • Autenticação • Classificação • Auditoria • Auditoria(s) - mtas • MLS, RLS... • Padrão de código seguro
- 36. Arquitetura Desenvolvimento Documentação e Conteúdo Dados / Metadados / Qualidade Operações Segurança DW / BI / Analytics Principais Tópicos • Arquitetura • Implementação • Análise • Diversidade de Ferramentas gratuitas de BI • Self Service BI • GreenPlum
- 37. Conclusão • Pense macro o seu ambiente • Não pense sozinho (forme um comitê) • Cuidado com a operação, balanceie gestão • Explore as várias óticas do seu ambiente • Pense no ciclo de vida do seu dado e de onde seu dado está. Aplicações e Hardware que o tocam (Da visão de um DBA). • Se você fala muito mal de um produto, há grandes chances de você não conhecer ele bem. Estude.