Modelo de Dados:
Entendendo e “re-”construindo...
Wesley Seidel Carvalho
@wseidel
wesley.seidel@ltasks.com
wesley.seidel@intelidados.com.br
Arquitetura de dados
● Escopo/Contexto
● Modelo de Negócios / Conceitual
● Modelo de Sistema / Lógico
● Modelo Tecnológico / Físico
● Configuração de Componentes
Arquitetura de dados
● Arquitetura Conceitual de Dados
– Visão de alto nível que dá suporte ao atendimento das
necessidades do negócio de uma organização
● Arquitetura Lógica de Dados
– Uma arquitetura lógica de dados descreve com precisão as
propriedades e os relacionamentos de cada uma das entidades de
dados envolvidas em um domínio organizacional;
● Arquitetura Física de Dados
– Engloba "arquitetura de banco de dados", que vem a ser um
esquema da tecnologia de banco de dados utilizado para viabilizar a
realização de um projeto de arquitetura de dados;
Arquitetura de dados
(Restrições e influências)
● Requisitos organizacionais
● Direcionadores tecnológicos
● Fatores econômicos
● Políticas de negócios
● Necessidades de processamento de dados
Arquitetura de dados
● O quê ?
● Como ?
● Onde ?
● Quem ?
● Quando ?
● Por quê ?
M.E.R.
● É um modelo abstrato cuja finalidade é
descrever, de maneira conceitual, os dados a
serem utilizados em um sistema de informações
ou que pertencem a um domínio.
Modelo de Dados: Entendendo e “re-”construindo...
Modelo de Dados: Entendendo e “re-”construindo...
Modelo de Dados: Entendendo e “re-”construindo...
Modelo de Dados: Entendendo e “re-”construindo...
Modelo de Dados: Entendendo e “re-”construindo...
Dicionário de dados
● É uma coleção de metadados que contêm
definições e representações de elementos de
dados.
Modelo de Dados: Entendendo e “re-”construindo...
Sistemas legados
● Normalmente são aplicações
– complexas;
– antigas;
– difícil manutenção;
– que pelo grau de criticidade e custo para modernização,
continuam ativas;
Tá, eae? E sobre os dados abertos?
● dados são abertos quando qualquer pessoa pode
livremente usá-los, reutilizá-los e redistribuí-los,
estando sujeito a, no máximo, a exigência de
creditar a sua autoria e compartilhar pela mesma
licença.
Fonte: http://dados.gov.br/dados-abertos/
Tá, eae? E sobre os dados abertos?
● Os dados abertos também são pautados ...
– ...por três leis:
1.Se o dado não pode ser encontrado e indexado na Web, ele
não existe;
2.Se não estiver aberto e disponível em formato compreensível
por máquina, ele não pode ser reaproveitado; e
3.Se algum dispositivo legal não permitir sua replicação, ele não
é útil.
Fonte: http://dados.gov.br/dados-abertos/
Tá, eae? E sobre os dados abertos?
● Os dados abertos também são pautados ...
– ...e oito principios:
1.Completos.
2.Primários.
3.Atuais.
4.Acessíveis.
5.Processáveis por máquina.
6.Acesso não discriminatório.
7.Formatos não proprietários.
8.Livres de licenças.
Fonte: http://dados.gov.br/dados-abertos/
Dados governamentais.
● Nem sempre estão bonitos como queríamos, pois
geralmente:
– Não seguem todas as pautas do OpenData;
– Não disponibilizam o dicionário de dados;
● Talvez não tenha mesmo.
– Não disponibilizam o M.E.R.
● Também talvez não tenham...
– Está em formato proprietário;
– Está em formato antigo;
– Etc, etc, etc....
Dados governamentais.
● Em boa parte das vezes que está disponível
podemos encontrá-los em:
– XL$
– CSV
– DBF ( o.O )
– GDB
– TXT ( seja TSV ou campos posicionais )
– PDF
Então...
…
Modelo de Dados: Entendendo e “re-”construindo...
Engenharia Reversa...
● ... consiste em usar a criatividade para, a partir de
uma solução pronta, retirar os possíveis conceitos
ali empregados
Data Integration
FONTE TRANFORMAÇÕES CARGA
Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA
-XL$
-CSV
-DBF
-XML
-JSON
-TXT
...
-BLA
-BLE
-BLI
-SGBD
-MySQL
-Postgre
-MariaDB
...
AAAAA aaaaaa
3337775522 33.37.77.55-22
Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA
Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA
Pentaho Data Integration
Pentaho Data Integration
Pentaho Data Integration
Pentaho Data Integration (kettle)
● Onde obter:
– http://kettle.pentaho.com/
Obrigado...
...se ainda tiver tempo...
Pesquisas realizadas:
Pesquisas realizadas:
http://www.cgu.gov.br/sorteios/index1.asp
Pesquisas realizadas:
Alocando Locais de votação em setores censitários.
Pesquisas realizadas:
Modelo de Dados: Entendendo e “re-”construindo...
Modelo de Dados: Entendendo e “re-”construindo...
18.097.608
Agora sim...
… Obrigado!
Wesley Seidel Carvalho
@wseidel
wesley.seidel@ltasks.com
wesley.seidel@intelidados.com.br

Mais conteúdo relacionado

PDF
Big Data para Leigos
PDF
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
PPTX
Criação de nuvem de palavras usando python e javascript
PDF
Pentaho, Hadoop , Big Data e Data Lakes
ODP
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
PDF
PPTX
Big Data: O que é? e por onde começar?
PDF
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Big Data para Leigos
Open Source Data Science - Elaborando uma plataforma de Big Data & Analytics ...
Criação de nuvem de palavras usando python e javascript
Pentaho, Hadoop , Big Data e Data Lakes
Palestra: Big Data Open Source com Hadoop - FLISOL 2014 - Curitiba
Big Data: O que é? e por onde começar?
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre

Destaque (12)

PDF
Broadband comission annual report 2012
PDF
Using netnography for studying "pure" cyber-cultures
PDF
Construindo um data warehouse com Pentaho e Docker
PPTX
Gestão de equipes para professores v final
PDF
Falando com a máquina: Desenvolvimento de assistentes pessoais virtuais
PDF
Criando Indicadores de Negócios com o Pentaho na Globo.com
PDF
Mini-curso Processamento de linguagens naturais: pondo em prática
PDF
Tutorial em Processamento de Linguagem Natural
PDF
Oficina Pentaho
PPTX
Apresentação árvore do conhecimento - final 2
PDF
GestãO Do Conhecimento Ed Consulting Pdf
PDF
Building a data warehouse with Pentaho and Docker
Broadband comission annual report 2012
Using netnography for studying "pure" cyber-cultures
Construindo um data warehouse com Pentaho e Docker
Gestão de equipes para professores v final
Falando com a máquina: Desenvolvimento de assistentes pessoais virtuais
Criando Indicadores de Negócios com o Pentaho na Globo.com
Mini-curso Processamento de linguagens naturais: pondo em prática
Tutorial em Processamento de Linguagem Natural
Oficina Pentaho
Apresentação árvore do conhecimento - final 2
GestãO Do Conhecimento Ed Consulting Pdf
Building a data warehouse with Pentaho and Docker
Anúncio

Semelhante a Modelo de Dados: Entendendo e “re-”construindo... (20)

ODP
Oficina Técnica da INDA em Belém no Consegi
ODP
I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa
DOC
Artc 1249307788 43
ODP
MODELOS DE DADOS - Parte 1 introdução
PDF
Fit Bd 01
PDF
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
PDF
Open data
PDF
Introdução aos Dados abertos - Open Data
PDF
Banco De Dados
PPTX
Dados abertos:Como tornar dados abertos governamentais acessíveis ao público.
ODP
Apresentacao geral opendata
PDF
Modelagem de dados
PDF
Banco dados i prof ivan (acesse www.portalgsti.com.br)
PDF
Dados Abertos para Gestão Pública
PPT
FMN-Banco de Dados - Partes 1 a 5-Modelagem de Dados 20070330.ppt
PPTX
Dados abertos e plataformas de co-participação para solucionamento de desafi...
PDF
Banco de Dados - Introdução - Projeto de Banco de Dados - DER
PDF
Manual dados-abertos-web
ODP
Política de Dados Abertos - II Fórum de Transferências Voluntárias
PPTX
Gt4, slide
Oficina Técnica da INDA em Belém no Consegi
I Oficina Técnica de Publicação de Dados Abertos e Transparência Ativa
Artc 1249307788 43
MODELOS DE DADOS - Parte 1 introdução
Fit Bd 01
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Open data
Introdução aos Dados abertos - Open Data
Banco De Dados
Dados abertos:Como tornar dados abertos governamentais acessíveis ao público.
Apresentacao geral opendata
Modelagem de dados
Banco dados i prof ivan (acesse www.portalgsti.com.br)
Dados Abertos para Gestão Pública
FMN-Banco de Dados - Partes 1 a 5-Modelagem de Dados 20070330.ppt
Dados abertos e plataformas de co-participação para solucionamento de desafi...
Banco de Dados - Introdução - Projeto de Banco de Dados - DER
Manual dados-abertos-web
Política de Dados Abertos - II Fórum de Transferências Voluntárias
Gt4, slide
Anúncio

Último (20)

DOCX
PLANEJAMENTO APOIO 3º B 2025 1º MÉDIO ARTE E TEATRO.docx
PPTX
Solos usos e impactos...............pptx
PDF
projeto 5 Em movimento Ciencias Humanas.pdf
PPTX
Slides Lição 8, Betel, Jesus e a Mulher Adúltera, 3Tr25.pptx
PPTX
REVISA-GOIAS-6o-ANO-LP-3o-BIMESTRE-PPT.pptx
PPTX
QUIZ_LÍNGUA PORTUGUESA_WALDO/QUIZ_LÍNGUA PORTUGUESA_WALDO.pptx
PDF
Caderno do Futuro 1º Ano CIÊNCIAS Aluno.pdf
PPTX
125519 - Aula 2 - Riqueza e diversidade povos indígenas na América Portuguesa...
PPTX
SEGURANÇA, MEIO AMBIENTE E SAÚDE Aula 1.pptx
PPT
Aula_02_Logica_Externa_dos_Esportes_de_Invasao_2025.ppt
PPTX
O amor e a mulher - Romantismo no Brasil.pptx
PPTX
02-simulado-saeb-9o-ano-matematica1.pptx
PPTX
São João Eudes, 1601 – 1680, padre e fondador, Francés.pptx
PDF
ENTREVISTA-PROCESSO-SELETIVO-idc8j5.pdf 1
PPT
Os Grandes Períodos Históricos UESC 2009.1
PPTX
125511 - Aula 1 - América portuguesa antes da conquista patrimônio e preserva...
PPTX
História da enfermagem 14.07.2025_040859.pptx
PDF
Sociologia Cultural, Aspecto teóricos e conceitos
PPTX
Adaptação Curricular para Alunos com Deficiências - EMEB. ODIR (1).pptx
PPTX
DOUTRINA FORÇA TÁTICA PMRO 2022 - PPT (1).pptx
PLANEJAMENTO APOIO 3º B 2025 1º MÉDIO ARTE E TEATRO.docx
Solos usos e impactos...............pptx
projeto 5 Em movimento Ciencias Humanas.pdf
Slides Lição 8, Betel, Jesus e a Mulher Adúltera, 3Tr25.pptx
REVISA-GOIAS-6o-ANO-LP-3o-BIMESTRE-PPT.pptx
QUIZ_LÍNGUA PORTUGUESA_WALDO/QUIZ_LÍNGUA PORTUGUESA_WALDO.pptx
Caderno do Futuro 1º Ano CIÊNCIAS Aluno.pdf
125519 - Aula 2 - Riqueza e diversidade povos indígenas na América Portuguesa...
SEGURANÇA, MEIO AMBIENTE E SAÚDE Aula 1.pptx
Aula_02_Logica_Externa_dos_Esportes_de_Invasao_2025.ppt
O amor e a mulher - Romantismo no Brasil.pptx
02-simulado-saeb-9o-ano-matematica1.pptx
São João Eudes, 1601 – 1680, padre e fondador, Francés.pptx
ENTREVISTA-PROCESSO-SELETIVO-idc8j5.pdf 1
Os Grandes Períodos Históricos UESC 2009.1
125511 - Aula 1 - América portuguesa antes da conquista patrimônio e preserva...
História da enfermagem 14.07.2025_040859.pptx
Sociologia Cultural, Aspecto teóricos e conceitos
Adaptação Curricular para Alunos com Deficiências - EMEB. ODIR (1).pptx
DOUTRINA FORÇA TÁTICA PMRO 2022 - PPT (1).pptx

Modelo de Dados: Entendendo e “re-”construindo...

  • 1. Modelo de Dados: Entendendo e “re-”construindo... Wesley Seidel Carvalho @wseidel wesley.seidel@ltasks.com wesley.seidel@intelidados.com.br
  • 2. Arquitetura de dados ● Escopo/Contexto ● Modelo de Negócios / Conceitual ● Modelo de Sistema / Lógico ● Modelo Tecnológico / Físico ● Configuração de Componentes
  • 3. Arquitetura de dados ● Arquitetura Conceitual de Dados – Visão de alto nível que dá suporte ao atendimento das necessidades do negócio de uma organização ● Arquitetura Lógica de Dados – Uma arquitetura lógica de dados descreve com precisão as propriedades e os relacionamentos de cada uma das entidades de dados envolvidas em um domínio organizacional; ● Arquitetura Física de Dados – Engloba "arquitetura de banco de dados", que vem a ser um esquema da tecnologia de banco de dados utilizado para viabilizar a realização de um projeto de arquitetura de dados;
  • 4. Arquitetura de dados (Restrições e influências) ● Requisitos organizacionais ● Direcionadores tecnológicos ● Fatores econômicos ● Políticas de negócios ● Necessidades de processamento de dados
  • 5. Arquitetura de dados ● O quê ? ● Como ? ● Onde ? ● Quem ? ● Quando ? ● Por quê ?
  • 6. M.E.R. ● É um modelo abstrato cuja finalidade é descrever, de maneira conceitual, os dados a serem utilizados em um sistema de informações ou que pertencem a um domínio.
  • 12. Dicionário de dados ● É uma coleção de metadados que contêm definições e representações de elementos de dados.
  • 14. Sistemas legados ● Normalmente são aplicações – complexas; – antigas; – difícil manutenção; – que pelo grau de criticidade e custo para modernização, continuam ativas;
  • 15. Tá, eae? E sobre os dados abertos? ● dados são abertos quando qualquer pessoa pode livremente usá-los, reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência de creditar a sua autoria e compartilhar pela mesma licença. Fonte: http://dados.gov.br/dados-abertos/
  • 16. Tá, eae? E sobre os dados abertos? ● Os dados abertos também são pautados ... – ...por três leis: 1.Se o dado não pode ser encontrado e indexado na Web, ele não existe; 2.Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; e 3.Se algum dispositivo legal não permitir sua replicação, ele não é útil. Fonte: http://dados.gov.br/dados-abertos/
  • 17. Tá, eae? E sobre os dados abertos? ● Os dados abertos também são pautados ... – ...e oito principios: 1.Completos. 2.Primários. 3.Atuais. 4.Acessíveis. 5.Processáveis por máquina. 6.Acesso não discriminatório. 7.Formatos não proprietários. 8.Livres de licenças. Fonte: http://dados.gov.br/dados-abertos/
  • 18. Dados governamentais. ● Nem sempre estão bonitos como queríamos, pois geralmente: – Não seguem todas as pautas do OpenData; – Não disponibilizam o dicionário de dados; ● Talvez não tenha mesmo. – Não disponibilizam o M.E.R. ● Também talvez não tenham... – Está em formato proprietário; – Está em formato antigo; – Etc, etc, etc....
  • 19. Dados governamentais. ● Em boa parte das vezes que está disponível podemos encontrá-los em: – XL$ – CSV – DBF ( o.O ) – GDB – TXT ( seja TSV ou campos posicionais ) – PDF
  • 22. Engenharia Reversa... ● ... consiste em usar a criatividade para, a partir de uma solução pronta, retirar os possíveis conceitos ali empregados
  • 24. Pentaho Data Integration FONTE TRANFORMAÇÕES CARGA -XL$ -CSV -DBF -XML -JSON -TXT ... -BLA -BLE -BLI -SGBD -MySQL -Postgre -MariaDB ... AAAAA aaaaaa 3337775522 33.37.77.55-22
  • 25. Pentaho Data Integration FONTE TRANFORMAÇÕES CARGA
  • 26. Pentaho Data Integration FONTE TRANFORMAÇÕES CARGA
  • 30. Pentaho Data Integration (kettle) ● Onde obter: – http://kettle.pentaho.com/
  • 34. Pesquisas realizadas: Alocando Locais de votação em setores censitários.
  • 39. Agora sim... … Obrigado! Wesley Seidel Carvalho @wseidel wesley.seidel@ltasks.com wesley.seidel@intelidados.com.br