SlideShare uma empresa Scribd logo
GUOB TECH DAY 2010
Oracle Advanced Compression
x
External Tables
(Armazenamento de dados históricos)
GUOB TECH DAY 2010
Agenda
 Sobre Rodrigo Mufalani
 Clico de dados
 Visão Geral – Avanced Compression
 Visão Geral – External Tables
 Performance
 Disponibilidade (Simulação de crash)
 Redução de Custos
 Referência
 Perguntas e Respostas
GUOB TECH DAY 2010
Apresentação – Rodrigo Mufalani
Dba Oracle desde 2004, participa da comunidade sempre que
possível e por isso foi nomeado Oracle ACE Member em 2009.
Atualmente atua como DBA do Ministério da Saúde gerindo
bases de dados em RAC com storage de aproximadamente 8Tb de
informação.
blog: www.mufalani.com.br
e-mail: rodrigo@mufalani.com.br
 Certificações
Oracle Certified Professional 10g
Oracle Certified Professional 11g
Oracle Certified Expert RAC 10gR2
GUOB TECH DAY 2010
Ciclo de dados
 Legislação
(Sarbanes-Oxley)
 Política de Retenção de dados
GUOB TECH DAY 2010
Ciclo de dados
GUOB TECH DAY 2010
Visão Geral – Avanced Compression
 Redução de Custos de Armazenamento
 Aumento de performance de Consultas
 Perda mínima de performance de escrita.
GUOB TECH DAY 2010
Advanced Compression
GUOB TECH DAY 2010
Advanced Compression
 Vantagens:
- Alocação de espaço usado pelas tabelas
- Índices
- Não precisa de fazer acesso a todos os blocos
- Não usa a área temporária, a menos que tenhamos sort ou grouping
- Backup facilitado
- Parallel Query
 Desvantagens:
- add ou drop column
- Limite de 255 colunas
- Lob
- Index Organized Tables
- Partições com hash ou hash-list, podemos comprimir a tablespace, como alternativa
- Sobrecarga em DML
- External tables ou Clustered Tables
- Em manutenções do storage é obrigatório colocar read_only na tablespace.
GUOB TECH DAY 2010
Visão Geral – External Table
 Armazenamento externo ao banco de dados
 Seu arquivo pode ser compartilhado por mais de um DB
 Facilidade para acesso a dados não normalizados
 Usado para envio de informações a Clientes/Fornecedores
GUOB TECH DAY 2010
External Table
GUOB TECH DAY 2010
External Table
 Vantagens:
- Não ocupam espaço no Banco de dados
- Perfomance na carga
- Compartilhamento entre bancos diferentes CFS (Clustered File Systems)
- A carga pode ser feita com parallel
 Desvantagens:
- Dados não backupeados com ferramentas Oracle (RMAN, EXPDP, EXP)
- Tabelas read_only não permite DML
- Gastam mais espaço (a mesma tabela heap 150Mb, compressed 56 Mb e external table 350 Mb)
- Não podem ser indexadas;
- Não tem recover “garantido” visto que o DBA não é o responsável pelo backup das mesmas
- Difícil manutenção na tabela quando um determinado tipo de dados muda na tabela
- Baixa performance, a cada leitura o Oracle tem que reler dados para a área temporária.
GUOB TECH DAY 2010
Performance – Plano de Execução
 Plano de Execução - External table
14/10/10.SYSTEM@ORCL.SID=314> select * from HIST.RECEBIMENTO_EXT where data_pagamento > sysdate-1
Execution Plan
----------------------------------------------------------
------------------------------------------------------------------------------------
| Id  | Operation                  | Name             | Rows  | Bytes | Cost (%CPU)|
------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |                  |   408 | 27336 |    23   (9)|
|   1 |  EXTERNAL TABLE ACCESS FULL| RECEBIMENTO_EXT  |   408 | 27336 |    23   (9)|
------------------------------------------------------------------------------------
GUOB TECH DAY 2010
Performance – Plano de Execução
 Plano de Execução – Compressed table
14/10/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_COMP where data_pagamento > sysdate-1
Execution Plan
----------------------------------------------------------
------------------------------------------------------------------------------------
| Id  | Operation                   | Name             | Rows  | Bytes | Cost (%CPU)|
------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT            |                  |     8 |   536 |     1   (0)|
|   1 |  TABLE ACCESS BY INDEX ROWID| RECEBIMENTO_COMP |     8 |   536 |     1   (0)|
|   2 |   INDEX RANGE SCAN          | IX_TESTE         |     8 |       |     1   (0)|
------------------------------------------------------------------------------------
GUOB TECH DAY 2010
Performance – Tempo de FTS
 Full table scan External Table
14/10/10.SYSTEM@ORCL.SID=314> select /*+FULL(a)*/ count(1) from 
HIST.RECEBIMENTO_EXT a;
  COUNT(1)
----------
  2944864
 Elapsed: 00:00:28.64
GUOB TECH DAY 2010
Performance – Tempo de FTS
 Full table scan tabela comprimida
14/10/10.SYSTEM@ORCL.SID=314> select /*+FULL(a)*/ count(1) from 
HIST.RECEBIMENTO_COMP a
  COUNT(1)
----------
   2944864
Elapsed: 00:00:03.39
GUOB TECH DAY 2010
Performance – Filtro na Consulta
Consulta com filtro – External Table
14/07/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_EXT where
dat_quitacao > sysdate-5
168 rows selected.
Elapsed: 00:00:30.21
GUOB TECH DAY 2010
Performance – Filtro na Consulta
 Consulta com filtro – Tabela comprimida
14/10/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_COMP where
dat_quitacao > sysdate-5
168 rows selected.
Elapsed: 00:00:00.90
GUOB TECH DAY 2010
Disponibilidade
 Manutenção programada:
External Table (nada a fazer)
Compressed Table:
- Read only na tablespace
- usando ASM desmontar o Disk group
 Queda indesperada:
External table
acesso a tabela interrompido com o erro ORA-29913: error in executing
ODCIEXTTABLEFETCH callout;
Compressed table:
Se não tiver em READ_ONLY a tablespace terá de fazer recover.
GUOB TECH DAY 2010
Custos
 Custo Terabyte R$1.000,00
 Compressão ~ 70%
 Cenário 1 - 10 Tb
 Cenário 2 - 20 Tb
 Cenário 3 - 50 Tb
0
100000
200000
300000
400000
500000
600000
700000
1 2 3
Espaço GB
Custo TB
Custo Mensal
Custo Anual Compressão
Custo Anual Normal
GUOB TECH DAY 2010
Custos
 Advanced Compression é uma Option do Enterprise Edition
que custa US$ 11,500.00 por processador.
 External Tables está disponível no Standart Edition
GUOB TECH DAY 2010
Referências
 ID 210510.1 Oracle9i SQL*Loader New Feature: the
EXTERNAL_TABLE Command-Line
 ID 230154.1 Table Compression in 9i Release 2 - White
Paper
 ID 950293.1 Advanced Compression Advisor
 http://www.oracle.com/us/corporate/pricing/technology-price-
list-070617.pdf
GUOB TECH DAY 2010
Perguntas e Respostas

Mais conteúdo relacionado

PDF
Mais performance com o MySQL 5.6
PDF
Projetos de rede sistemas de servidores
PPTX
Tuning Banco de Dados
PDF
Greenplum: O banco de dados open source massivamente paralelo baseado em Post...
PDF
Bancos de dados analíticos open source
PDF
Análise de Performance do MySQL e MariaDB
PDF
WBConsulting, MySQL Performance Tuning Basics
PPT
InnoDB Plugin - II Fórum da Comunidade MySQL
Mais performance com o MySQL 5.6
Projetos de rede sistemas de servidores
Tuning Banco de Dados
Greenplum: O banco de dados open source massivamente paralelo baseado em Post...
Bancos de dados analíticos open source
Análise de Performance do MySQL e MariaDB
WBConsulting, MySQL Performance Tuning Basics
InnoDB Plugin - II Fórum da Comunidade MySQL

Mais procurados (20)

PDF
Tuning Apache/MySQL/PHP para desenvolvedores
PPT
Componentes de Hardware e Servidores
PDF
Oracle Real Application Clusters
PPT
M2 Introdução Basica ao Mainframe
PPTX
Exadata - O Todo é maior que a soma das Partes
PDF
Escalabilidade, Sharding, Paralelismo e Bigdata com PostgreSQL? Yes, we can!
PPS
Alto desempenho com banco de dados MySQL
PPTX
AWS Redshift Primer
PDF
Aumente a performance de seu site de maneira disciplinada
PDF
Mysql para aplicações Web escaláveis
PDF
Aula 3 intraestrutura - 07012012
PDF
MySQL - visão geral
PDF
TDC2017 | POA Trilha BigData - Utilizando o Apache Kudu como Workload Analítico
PDF
FLISOL 2014 - Banco de dados Firebird rodando em CentOS - Faceca
DOC
Ficha de trabalho nº2 so 11º-2011_2012
PDF
Atividade sistema operacionais
PPT
Infnet Infra Day II - Server Core na prática
PPT
Ciclo de Palestras Infnet 2014 - Migrando o dc para Windows Server 2012 R2
ODP
Hbase trabalho final
PPT
ENPO - RMAN: Vilão ou Heroí?
Tuning Apache/MySQL/PHP para desenvolvedores
Componentes de Hardware e Servidores
Oracle Real Application Clusters
M2 Introdução Basica ao Mainframe
Exadata - O Todo é maior que a soma das Partes
Escalabilidade, Sharding, Paralelismo e Bigdata com PostgreSQL? Yes, we can!
Alto desempenho com banco de dados MySQL
AWS Redshift Primer
Aumente a performance de seu site de maneira disciplinada
Mysql para aplicações Web escaláveis
Aula 3 intraestrutura - 07012012
MySQL - visão geral
TDC2017 | POA Trilha BigData - Utilizando o Apache Kudu como Workload Analítico
FLISOL 2014 - Banco de dados Firebird rodando em CentOS - Faceca
Ficha de trabalho nº2 so 11º-2011_2012
Atividade sistema operacionais
Infnet Infra Day II - Server Core na prática
Ciclo de Palestras Infnet 2014 - Migrando o dc para Windows Server 2012 R2
Hbase trabalho final
ENPO - RMAN: Vilão ou Heroí?
Anúncio

Semelhante a Advanced compression external_tables (20)

PPTX
Oracle Database 12c - Novas Características para DBAs e Desenvolvedores
PPTX
Os melhores recursos novos do Oracle Database 12c para desenvolvedores e DBAs...
PPTX
Os melhores recursos novos do Oracle Database 12c para desenvolvedores e DBAs...
PPTX
Como funciona um banco de dados? (Prudente TechDay 2010)
PPTX
Como funciona um banco de dados? (Worldwide Online TechDay 2010)
PDF
Inúmeras Razões para Migrar de Oracle 10g para 11g
PPTX
Inside SQL Server: Como funciona um banco de dados?
PPTX
Otimizando a performance com in-memory no SQL 2016
PDF
Expremendo performance do sql server
PDF
Banco de dados oracle
PPTX
Busca de Documentos (Marilia TechDay 2011)
PPTX
Comprei um SQL Server e agora?
PDF
Essbase Series - Questões para Entrevistas
PPTX
Novidades do SQL Server 2008
PPT
Otimizando um banco de dados Oracle para Exadata
PPTX
Oracle Database 12c - Novas Características para DBAs e Desenvolvedores - GUO...
PPT
TechEd 2005: Novos Recursos T-SQL (SQL 2005)
PPTX
Novidades do Sql Server 2016
PPTX
Otimizando a performance com in memory no sql 2016
Oracle Database 12c - Novas Características para DBAs e Desenvolvedores
Os melhores recursos novos do Oracle Database 12c para desenvolvedores e DBAs...
Os melhores recursos novos do Oracle Database 12c para desenvolvedores e DBAs...
Como funciona um banco de dados? (Prudente TechDay 2010)
Como funciona um banco de dados? (Worldwide Online TechDay 2010)
Inúmeras Razões para Migrar de Oracle 10g para 11g
Inside SQL Server: Como funciona um banco de dados?
Otimizando a performance com in-memory no SQL 2016
Expremendo performance do sql server
Banco de dados oracle
Busca de Documentos (Marilia TechDay 2011)
Comprei um SQL Server e agora?
Essbase Series - Questões para Entrevistas
Novidades do SQL Server 2008
Otimizando um banco de dados Oracle para Exadata
Oracle Database 12c - Novas Características para DBAs e Desenvolvedores - GUO...
TechEd 2005: Novos Recursos T-SQL (SQL 2005)
Novidades do Sql Server 2016
Otimizando a performance com in memory no sql 2016
Anúncio

Último (19)

PDF
Custos e faturamento no SAP S/4HANA Transportation Management, S4TM3 Col26
PDF
Custos e liquidação no SAP Transportation Management, TM130 Col18
PDF
20250805_ServiceNow e a Arquitetura Orientada a Serviços (SOA) A Base para Ap...
PPTX
Aula16ManipulaçãoDadosssssssssssssssssssssssssssss
PDF
Gestão de transportes básica no SAP S/4HANA, S4611 Col20
PDF
Aula04-Academia Heri- Tecnologia Geral 2025
PPTX
Gestao-de-Bugs-em-Software-Introducao.pptxxxxxxxx
PPTX
Aula 18 - Manipulacao De Arquivos python
PDF
Otimizador de planejamento e execução no SAP Transportation Management, TM120...
PPTX
Programação - Linguagem C - Variáveis, Palavras Reservadas, tipos de dados, c...
PPTX
Como-se-implementa-um-softwareeeeeeeeeeeeeeeeeeeeeeeee.pptx
PDF
Apple Pippin Uma breve introdução. - David Glotz
PDF
Fullfilment AI - Forum ecommerce 2025 // Distrito e Total Express
PPTX
Informática Aplicada Informática Aplicada Plano de Ensino - estudo de caso NR...
PDF
Fundamentos de gerenciamento de ordens e planejamento no SAP TransportationMa...
PDF
Mergulho profundo técnico para gestão de transportes no SAP S/4HANA, S4TM6 Col14
PDF
Processos na gestão de transportes, TM100 Col18
PDF
COBITxITIL-Entenda as diferença em uso governança TI
PPTX
BANCO DE DADOS - AULAS INICIAIS-sgbd.pptx
Custos e faturamento no SAP S/4HANA Transportation Management, S4TM3 Col26
Custos e liquidação no SAP Transportation Management, TM130 Col18
20250805_ServiceNow e a Arquitetura Orientada a Serviços (SOA) A Base para Ap...
Aula16ManipulaçãoDadosssssssssssssssssssssssssssss
Gestão de transportes básica no SAP S/4HANA, S4611 Col20
Aula04-Academia Heri- Tecnologia Geral 2025
Gestao-de-Bugs-em-Software-Introducao.pptxxxxxxxx
Aula 18 - Manipulacao De Arquivos python
Otimizador de planejamento e execução no SAP Transportation Management, TM120...
Programação - Linguagem C - Variáveis, Palavras Reservadas, tipos de dados, c...
Como-se-implementa-um-softwareeeeeeeeeeeeeeeeeeeeeeeee.pptx
Apple Pippin Uma breve introdução. - David Glotz
Fullfilment AI - Forum ecommerce 2025 // Distrito e Total Express
Informática Aplicada Informática Aplicada Plano de Ensino - estudo de caso NR...
Fundamentos de gerenciamento de ordens e planejamento no SAP TransportationMa...
Mergulho profundo técnico para gestão de transportes no SAP S/4HANA, S4TM6 Col14
Processos na gestão de transportes, TM100 Col18
COBITxITIL-Entenda as diferença em uso governança TI
BANCO DE DADOS - AULAS INICIAIS-sgbd.pptx

Advanced compression external_tables

  • 1. GUOB TECH DAY 2010 Oracle Advanced Compression x External Tables (Armazenamento de dados históricos)
  • 2. GUOB TECH DAY 2010 Agenda  Sobre Rodrigo Mufalani  Clico de dados  Visão Geral – Avanced Compression  Visão Geral – External Tables  Performance  Disponibilidade (Simulação de crash)  Redução de Custos  Referência  Perguntas e Respostas
  • 3. GUOB TECH DAY 2010 Apresentação – Rodrigo Mufalani Dba Oracle desde 2004, participa da comunidade sempre que possível e por isso foi nomeado Oracle ACE Member em 2009. Atualmente atua como DBA do Ministério da Saúde gerindo bases de dados em RAC com storage de aproximadamente 8Tb de informação. blog: www.mufalani.com.br e-mail: rodrigo@mufalani.com.br  Certificações Oracle Certified Professional 10g Oracle Certified Professional 11g Oracle Certified Expert RAC 10gR2
  • 4. GUOB TECH DAY 2010 Ciclo de dados  Legislação (Sarbanes-Oxley)  Política de Retenção de dados
  • 5. GUOB TECH DAY 2010 Ciclo de dados
  • 6. GUOB TECH DAY 2010 Visão Geral – Avanced Compression  Redução de Custos de Armazenamento  Aumento de performance de Consultas  Perda mínima de performance de escrita.
  • 7. GUOB TECH DAY 2010 Advanced Compression
  • 8. GUOB TECH DAY 2010 Advanced Compression  Vantagens: - Alocação de espaço usado pelas tabelas - Índices - Não precisa de fazer acesso a todos os blocos - Não usa a área temporária, a menos que tenhamos sort ou grouping - Backup facilitado - Parallel Query  Desvantagens: - add ou drop column - Limite de 255 colunas - Lob - Index Organized Tables - Partições com hash ou hash-list, podemos comprimir a tablespace, como alternativa - Sobrecarga em DML - External tables ou Clustered Tables - Em manutenções do storage é obrigatório colocar read_only na tablespace.
  • 9. GUOB TECH DAY 2010 Visão Geral – External Table  Armazenamento externo ao banco de dados  Seu arquivo pode ser compartilhado por mais de um DB  Facilidade para acesso a dados não normalizados  Usado para envio de informações a Clientes/Fornecedores
  • 10. GUOB TECH DAY 2010 External Table
  • 11. GUOB TECH DAY 2010 External Table  Vantagens: - Não ocupam espaço no Banco de dados - Perfomance na carga - Compartilhamento entre bancos diferentes CFS (Clustered File Systems) - A carga pode ser feita com parallel  Desvantagens: - Dados não backupeados com ferramentas Oracle (RMAN, EXPDP, EXP) - Tabelas read_only não permite DML - Gastam mais espaço (a mesma tabela heap 150Mb, compressed 56 Mb e external table 350 Mb) - Não podem ser indexadas; - Não tem recover “garantido” visto que o DBA não é o responsável pelo backup das mesmas - Difícil manutenção na tabela quando um determinado tipo de dados muda na tabela - Baixa performance, a cada leitura o Oracle tem que reler dados para a área temporária.
  • 12. GUOB TECH DAY 2010 Performance – Plano de Execução  Plano de Execução - External table 14/10/10.SYSTEM@ORCL.SID=314> select * from HIST.RECEBIMENTO_EXT where data_pagamento > sysdate-1 Execution Plan ---------------------------------------------------------- ------------------------------------------------------------------------------------ | Id  | Operation                  | Name             | Rows  | Bytes | Cost (%CPU)| ------------------------------------------------------------------------------------ |   0 | SELECT STATEMENT           |                  |   408 | 27336 |    23   (9)| |   1 |  EXTERNAL TABLE ACCESS FULL| RECEBIMENTO_EXT  |   408 | 27336 |    23   (9)| ------------------------------------------------------------------------------------
  • 13. GUOB TECH DAY 2010 Performance – Plano de Execução  Plano de Execução – Compressed table 14/10/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_COMP where data_pagamento > sysdate-1 Execution Plan ---------------------------------------------------------- ------------------------------------------------------------------------------------ | Id  | Operation                   | Name             | Rows  | Bytes | Cost (%CPU)| ------------------------------------------------------------------------------------ |   0 | SELECT STATEMENT            |                  |     8 |   536 |     1   (0)| |   1 |  TABLE ACCESS BY INDEX ROWID| RECEBIMENTO_COMP |     8 |   536 |     1   (0)| |   2 |   INDEX RANGE SCAN          | IX_TESTE         |     8 |       |     1   (0)| ------------------------------------------------------------------------------------
  • 14. GUOB TECH DAY 2010 Performance – Tempo de FTS  Full table scan External Table 14/10/10.SYSTEM@ORCL.SID=314> select /*+FULL(a)*/ count(1) from  HIST.RECEBIMENTO_EXT a;   COUNT(1) ----------   2944864  Elapsed: 00:00:28.64
  • 15. GUOB TECH DAY 2010 Performance – Tempo de FTS  Full table scan tabela comprimida 14/10/10.SYSTEM@ORCL.SID=314> select /*+FULL(a)*/ count(1) from  HIST.RECEBIMENTO_COMP a   COUNT(1) ----------    2944864 Elapsed: 00:00:03.39
  • 16. GUOB TECH DAY 2010 Performance – Filtro na Consulta Consulta com filtro – External Table 14/07/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_EXT where dat_quitacao > sysdate-5 168 rows selected. Elapsed: 00:00:30.21
  • 17. GUOB TECH DAY 2010 Performance – Filtro na Consulta  Consulta com filtro – Tabela comprimida 14/10/10.SYSTEM@ORCL.SID=3197> select * from HIST.RECEBIMENTO_COMP where dat_quitacao > sysdate-5 168 rows selected. Elapsed: 00:00:00.90
  • 18. GUOB TECH DAY 2010 Disponibilidade  Manutenção programada: External Table (nada a fazer) Compressed Table: - Read only na tablespace - usando ASM desmontar o Disk group  Queda indesperada: External table acesso a tabela interrompido com o erro ORA-29913: error in executing ODCIEXTTABLEFETCH callout; Compressed table: Se não tiver em READ_ONLY a tablespace terá de fazer recover.
  • 19. GUOB TECH DAY 2010 Custos  Custo Terabyte R$1.000,00  Compressão ~ 70%  Cenário 1 - 10 Tb  Cenário 2 - 20 Tb  Cenário 3 - 50 Tb 0 100000 200000 300000 400000 500000 600000 700000 1 2 3 Espaço GB Custo TB Custo Mensal Custo Anual Compressão Custo Anual Normal
  • 20. GUOB TECH DAY 2010 Custos  Advanced Compression é uma Option do Enterprise Edition que custa US$ 11,500.00 por processador.  External Tables está disponível no Standart Edition
  • 21. GUOB TECH DAY 2010 Referências  ID 210510.1 Oracle9i SQL*Loader New Feature: the EXTERNAL_TABLE Command-Line  ID 230154.1 Table Compression in 9i Release 2 - White Paper  ID 950293.1 Advanced Compression Advisor  http://www.oracle.com/us/corporate/pricing/technology-price- list-070617.pdf
  • 22. GUOB TECH DAY 2010 Perguntas e Respostas