Big Data e Governança de Dados, via DMM-Data Management Maturiy Model

Big Data
e
Governança de Dados,
via
DMM-Data Management
Maturiy Model
1
Carlos Barbieri
Versão01-Julho/2015

Carlos Barbieri Consultores Associados ®
Direitos reservados
carlos.barbieri@gmail.com

• Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975
• Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia
• Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data
Governance
• Consultoria e treinamento no Brasil e Portugal
• Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software,
responsável pelo Programa MPS.BR
– Engenharia de Software-MPS.BR
– Governança e Qualidade de Dados
• Autor de 3 livros na área de Dados, Informações e BI
• Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI
• CDMP-Certified Data Management Professional-DAMA-Data Management
Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS
(1994) (2002) (2011)

Big Data e
Governança de dados
• Objetivo:
– Discutir como a Governança de Dados se alinhará com
os conceitos de BIG DATA, através das áreas de
processos do DMM-Data Management Maturity Model,
do CMMI Institute
– Mostra, através de um exemplo real, o desenvolvimento
dos conceitos de Gestão e Governança de Dados,
analisando a aplicação de todas as práticas do modelo
DMM
– Esse tema será futuramente desenvolvido e publicado
no Blog do Barbi-Carlos Barbieri
4

DMM
5
Data Management Maturity Model
CMMI Institute

VISÃO GERAL NOS ANOS 200X
1
2
3
4
5
QUALIDADE
DE
DADOS
OPERAÇÕES
DE
DADOS
ESTRATÉGIA DE
GESTÃO DE DADOS
PLATAFORMA E
ARQUITETURA
1-realizado
2-gerenciado
3-definido
4-medido
5-otimizado
6 Categorias
25 PA´s
Capacidade
GOVERNANÇA
DE
DADOS
RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALITY
ASSURANCE) DE PROCESSO- GERÊNCIA DE PROCESSO
DMM-
1.0 Data
Maturity
Model
PROCESSOS DE SUPORTE
Atributos de Processos
ISP-Infrastructure
Support Practices
6

O modelo DMM
25 Áreas de Processos
• Propósito – Introducão - Objetivos
- Questões – Níveis de capacidade
- Produtos de trabalho
• Politicas – Processos – Padrões –
Governança – Métricas –
Tecnologia – Dicas de
implementação
300+ Práticas
300+ Produtos de trabalho
Data Management Strategy Data Management Strategy
Communications
Data Management Function
Business Case
Funding
Data Governance Governance Management
Business Glossary
Metadata Management
Data Quality Data Quality Strategy
Data Profiling
Data Quality Assessment
Data Cleansing
Data Operations Data Requirements Definition
Data Lifecycle Management
Provider Management
Platform & Architecture Architectural Approach
Architectural Standards
Data Management Platform
Data Integration
Historical Data, Archiving and
Retention
Supporting Processes Measurement and Analysis
Process Management
Process Quality Assurance
Risk Management
Configuration Management
7

O modelo DMM
8
uaisprocessosmerecem+atençãoquandopensamosemBIGData?
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management)

DMM-Data Management
Maturity Model
Exemplo prático aplicado em
uma empresa de energia que
planeja a troca de seus medidores
de energia elétrica por “smart
meters”, gerando o conceito de
Big Data
9

Estratégia de Gestão de Dados
Governança
de
Dados
Qualidade de Dados
Operações de Dados
Plataforma e Arquitetura
ProcessosdeSuporte
® Domani TI
+What
-How

Estratégias de Gestão
de Dados
Comunicação
Business case Funding
Funções da
Gestão de Dados
ESTRATÉGIA DE
GESTÃO DE DADOS
©CarlosBarbieri-DomaniTecnologia
® Domani TI

Visão de futuro
dos dados
Objetivos de
negócios com
Dados
Estratégia de DM-
dados
Comunicação
Funções de DM
Convencimento-
BC
Funding-
Apoio$$$
ESTRATÉGIA DE
GESTÃO DE DADOS
DM: Data Management
BC: Business Case® Domani TI

® Domani TI

Visão de dados
alinhada com
negócios
Gaps e
prioridades
Escopo
Benefícios
GD+DM
Medições
para avaliar
Plano de
Ação
GD:Governança de Dados
DM: Data Management® Domani TI

Estratégia de
Gestão de Dados
Exemplo prático
• Uma grande empresa de EE(energia elétrica) que planeja a conversão do
sistema convencional de leitura de medições por instalação de medidores
inteligentes
– Visão de futuro: até 2025 todos os consumidores (10 milhões) com
medidores inteligentes
– Planejamento:
• Realização de “Betateste” em uma cidade de 100.00 habitantes (+-
28.000 cs) em 2015/2016
• Planejamento para implementação das regionais (R1 a R5) a partir de
2016
– Alinhamento do plano de dados com o plano de negócios
• Plano de Tecnologia: GRID-Estrutura física da rede
• Plano de Tecnologia de TI
– Recursos de HDW, SW, Pessoas , Processos e Dados
• Plano de Comunicação e Divulgação
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Estratégia de
Gestão de Dados
Exemplo prático
• Considerações sobre requisitos/objetivos de Negócios:
– Oferta de preços variáveis em função do momento de consumo (off-peaks) levando
à otimização de consumo
– Se a unidade consumidora tem painéis solares e produz energia, há a possibilidade
de revenda (pelo consumidor)
– Maior facilidade no controle da rede(grid), no caso de problemas
físicos/interrupções
– Maior facilidade no corte(evitando o “delay” entre pagamento e a chegada da equipe
de corte)
– Abertura para novos conceitos: incentivo para “abastecimento” de carros elétricos à
noite, uso de máquinas de lavar, (clothing, dish- washing) em momentos mais
adequados
– Maior conteúdo de informações para os clientes(perfil de consumo por tempo)
– Riscos:
• (-) Diminuição de leituristas
• (-) Problemas de aculturamento dos clientes com preços dinâmicos e consumo por “appliance”
• (-) Preparação do call center para atendimentos sobre uso do medidor inteligente
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Estratégia de
Gestão de Dados
Exemplo prático
• Considerações sobre requisitos/objetivos de Dados:
– Volume e velocidade de dados com envio em NRT(near real time)-30 minutos
– Plataformas e arquiteturas de dados para a nova estratégia(medidor inteligente,
rede local wireless, RFID, internet, etc)
– Integração de plataformas de NRT(recebimento dos dados de consumo) com
Plataformas e Repositórios já existentes nos sistemas de Faturamento(Billing),
Cliente,etc
– Criação de nova plataforma e arquitetura para Analytics de Consumo a ser
disponibilizado para os Clientes
– Camada de qualidade de dados para recebimento, análise e tratamento de dados
• Considerações sobre GD: Políticas, padrões, processos
– Políticas de Segurança de dados(Smart Grid sujeito a problemas, hackers, cyber-
attacks)
– Políticas de Privacidade de dados( a que hora ela toma banho?)
– Políticas de Retenção de dados (volume, compliance, ida para storage
secundárioetc)
– Políticas sobre Comunicação acerca de dados e faturamento dinâmico
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Comunicação
® Domani TI

Comunicar
Políticas, Processos,
Padrões,etc
Comunicar
Promulgações
Comunicação-Para
Quem
Comunicação-
Quando-Como
Comunicações Críticas
Regulações-Compliance
Participação
Stakeholders
Plano de
Comunicação
Processo fundamental
quando se cogita de
mudanças culturais que
envolvam
cooperação e
adesão ao longo da
organização
® Domani TI

Comunicação
Exemplo prático
• No caso do exemplo em questão-Projeto de Medidores inteligentes, teríamos a Comunicação
e promulgação , por exemplo de
– Políticas de Segurança de dados(Smart Grid sujeito a problemas, hackers, cyber-attacks)
– Políticas de Privacidade de dados( a que hora ela toma banho?)
– Políticas de Retenção de dados (volume, compliance, ida para storage secundário)
– Políticas sobre Comunicação acerca de dados e faturamento dinâmico
– Políticas e normas da agência reguladora, divulgadas para os stakeholders
• Comunicação/treinamento/Mentoring sobre processos, procedimentos e e padrões definidos
pela GD/DM para os serviços de dados envolvidos no projeto de Medidores inteligentes
• Comunicação com a ANEEL para entender/esclarecer dúvidas sobre as normas e regulações
pertinentes ao uso de medidores inteligentes
• ?Quem: Agência reguladora, stakeholders envolvidos e clientes
• ?Quando: No momento adequado, sempre minimizando riscos e otimizando as relações com
clientes e agências reguladoras
• ?Como: vários canais de comunicação(mídia,reuniões,etc)
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Funções de Gestão de Dados
® Domani TI

Diagrama DAMA
Definir papéis
Definir
Responsabilidades
Definir Autoridades
Definir
“Accountability”
Institucionalizar
processos DM
segundo P´s
Alinhamento
GD+DM
DM+GD
Várias funções de Dados(DM)
Qual a prioridade?
Qual o seu problema?
® Domani TI

• No projeto de implantação de medidores inteligentes há plena interação
entre as áreas de GD, as áreas de TI e as áreas de Negócios responsáveis
pelos dados e processos de Clientes, Faturamento, Arrecadação,
Atendimento e Comunicação
• A GD juntamente com as áreas de negócios (Owners e Gestores de dados)
define as regras, políticas, processos, padrões, papéis e
responsabilidade para os aspectos de dados no novo ambiente de coleta,
faturamento, arrecadação, atendimento, disponibilização. etc
• A TI, via as áreas técnicas que oferecem serviços de ERP,DW/BI,
Metadados,Big Data, etc com funções de armazenamento, Plataformas,
Integração, Segurança, etc estará envolvida como “custodiadora” de
dados e provedora de camadas de tecnologia, seguindo definições da GD
Funções da
Gestão de Dados
Exemplo prático
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Racional de
sustentabilidade
Busca formal de
apoio e patrocínio
Resultados esperados
atrelados ao negócio
Vende: Melhoria da
qualidade dos dados
e de seus processos
Entregáveis com
métricas e medições
Apoio financeiro e
institucional
Vira referência
organizacional
O Porquê e o
O Quanto
O convencimento via
“Plano de Negócios”
A proposição de Valores
de negócios
® Domani TI

Business Case
Exemplo prático
• No caso do Projeto de Medidores inteligentes, um plano com alguns pontos como:
• Prós:
– Análise comparativa da nova situação : processo de medição atual e o processo por
medidor inteligente (maior frequência de leitura, maior controle de corte, precisão)
– Retorno em função de ganhos tangíveis: custo direto das operações
– Retorno em função de ganhos intangíveis: maior controle da rede, maior controle sobre
as informações , maior volume de informações permitindo melhor análise
– Valor variável de KWh por período
– Melhor distribuição da venda de energia, medição individual de “appliances” e
conhecimento de perfil de consumo
• Cons:
– Investimento com subsídio financiado
– Custo cultural (falta de conhecimento sobre tarifa variável)
– Reclamações por aspectos físicos(medo de RFID,etc)
– Aspectos de segurança da rede , como invasões, cyberataques,etc
– Aspectos de privacidade das informações de consumo
– Maior necessidade de recursos de TI(volume, retenção, rede, armazenamento)
ESTRATÉGIA DE
GESTÃO DE DADOS

Funding
Apoio Financeiro
® Domani TI

Sustentabilidade
financeira do
programa
Baseado em
custo/benefício
Reflete objetivos e
prioridades de negócios
Define método de
alocação de recursos
para projetos
Framework para
avaliar e priorizar
BC
EX: TCO, Total
lyfecycle cost, ROI
Processos de análise de
custo/benefício, e
gerência de gastos são
definidos e
acompanhados
Recursos, quem
proverá e em que forma
de participação® Domani TI

Apoio Financeiro
Exemplo prático
• No exemplo do Projeto de Medidores inteligentes:
• Visão geral do BC(outra PA)-(o Porquê)
• Visão geral dos recursos financeiros envolvidos e de suas priorizações-
(Quanto):
– Custo do investimento e retorno
– Retorno em função de ganhos tangíveis: custo direto
– Investimento com subsídio
• Detalhamento do cronograma físico financeiro- (Como)
– Custo-Instalação da rede com os novos medidores
– Custo-Instalação da infra de Comunicação (rede RFID, Internet)
– Custo-Instalação da infra de tecnologia de dados(servidores, camada de Big data,
integração com legado, sistema analytics,etc)
– Custo de treinamento e capacitação
– Custo de divulgação e conscientização
• Definição de participação das áreas envolvidas-(Quem, de que forma)
– Modelo de Funding
ESTRATÉGIA DE
GESTÃO DE DADOS
® Domani TI

Glossário Gerência de
Metadados
Gerência
de Governança
GOVERNANÇA DE
DADOS
® Domani TI

Prática e
supervisão(alto
nível) das ações de
DM
GD=vários P´s
Políticas, Processos,
Procedimentos,
Padrões
Pessoas, Papéis
Programas, Projetos
e Planos de dados
Plataformas/Arquiteturas
Performance(desempenho)
Glossário e Metadados
GOVERNANÇA DE
DADOS
Legislativo e Judiciário de dados
® Domani TI

Gerência da Governança
® Domani TI

Conceito de
Ownership de dados
Conceito de
Stewardship de
dados
Estruturas operacionais
de GD-Pirâmide
Funções de GD:
Criação, Manutenção e
Compliance de Políticas,
Processos, Padrões,etc
Definir e aprovar os
P´s da GD
Definir
responsabilidades e
Accountability
Conselho-Comitê GD-
GD negócios+TI(gestores)
Trabalhar integrado
com as funções de DM
® Domani TI

Gerência da Governança
Exemplo prático
• O projeto de implantação do medidor inteligente servira como projeto “trigger” das
ações de GD. Alguns exemplos de ações da GD:
• Será montada uma estrutura de GD com as seguintes camadas:
– Conselho de GD: formado pelos executivos das áreas envolvidas no projeto: Gerente da área de
Faturamento, Gerente da área de Clientes, Gerente da área de Engenharia de Rede de
Distribuição, Gerente da área de Arrecadação, Chefe da área de Comunicação e CIO(TI)
– Gestores de dados, de negócios, formados por um ou mais profissionais das áreas de
negócios(Faturamento, Consumidores, Rede, Arrecadação) , cada qual na sua especialização(assunto).
Com eles, serão definidos, por exemplo, dois analistas da TI envolvidos nas tecnologias dominantes
do projeto(BD, Big Data, Sistemas de Consumidores e Arrecadação). Eles formarão o time de
gestores de dados (de negócios) e da TI
– Escritório de dados: Uma camada tática formada por um representante líder de cada grupo acima.
Terão o objetivo de definir e propor para o Conselho os aspectos de
• Ownership de Dados : Aquele que terá a “accountability” sobre os dados críticos envolvidos no projeto
• Matriz RACIS, contendo as outras responsabilidades, conforme ilustrado a seguir
• Definir as Políticas de dados, envolvendo a criticidade de seu uso, segurança, privacidade, riscos, compliance com
agências reguladoras, etc
• Definir e implantar Padrões, procedimentos, pessoas/responsabilidades, plataformas
• Mapear os processos e dados relativos à Gerência de Medições de Consumo, Gerência de Potência/Voltagem da rede,
Gerência de Interrupções , Gerência de Equipamentos e configuração da rede , Faturamento, etc
• Definir estrutura de acompanhamento de desempenho, com auditorias e medições sobre Qualidade dos processos e
Qualidade dos dados do projeto
• Definir critérios para submissão de pendências ou definições para o Conselho de GD
GOVERNANÇA DE
DADOS
® Domani TI

Conselho
GD
Comitê de
GD-DMO
Gestores
Grupo “cross-funcional”, formado por elementos da alta
gerência;
Aprovar/Definir Políticas;
Buscar apoio financeiro;
Resolver pendências, aspectos de aderência a
normas(compliance);
Prover direção estratégica;
Atribuir ao DMO/CDO as ações de GD;
Formado por Data Owners e TI ; chefiado pelo DMO ou DGPO;
Coordenar as atividades de DG(estratégica) e táticas com as operacionais;
Definir os membros do Comitê de GD; Avaliar/aprovar as decisões do
Comitê;
Supervisionar os Data Steward/gestores de dados (Business) e os Data
Custodian da TI/Adm,BD,BI ; Arquitetos corporativos,
Implementar políticas, processos, procedimentos e padrões de GD para
áreas de negócios;
Pode ter uma liderança(cross-functional) de GD(GD Organizacional)
Implantar e executar as Políticas, Procedimentos e Padrões;
Projetar e implementar as políticas de dados e procedimentos nos processos
específicos de negócios e aplicações;
Executar as políticas, procedimentos e padrões nos processos e aplicações no
dia-a-dia;
Formado de pessoas do Negócio(data steward) e da TI(IT data custodian)
que poderão participar das reuniões do DMO, se não forem seus membros
também;
Estão em áreas funcionais e geográficas diferentes. Pode ser orientado por
sistema, por UO-Unidade Organizacional ou por Assunto
Tipos: GD de negócios, GD de Assunto, GD de Projetos,
Modelo de
Governança
v04
Data
Owners
Faturamento, Arrecadação, Engenharia, TI, etc
37
Executivos da Empresa
® Domani TI

Matriz RACIS-Atividades de GD
Descrição das Atividades de
dados
Conselho
de GD
Executivo
GD de
Domínio
(Tático)
GD de
Negócio
(Operacional)
GD-TI Equipe
DMO/
DGPG
Atividades
da Área de
Negócios
Identificaçãoe
Documentação
Evento de dados I/A R R S/R I/R
Identifica Dados e envolvidos
impactados
I R I S R
Levanta dados e documentação
e descreve soluções
R I S R
Solução
Envolve stakeholders, ouve
sugestões, identifica opções,
escolhe solução
A/I C C S R
Informa envolvidos sobre
solução
I I I S R
Implementação
eControle
Implementa, testa, implanta a
solução
C/R C R R
Documenta e comunica solução I C I S/R R
Mede e acompanha a solução I/A C I S R
R-Responsável pelo trabalho
A-Accountable
C-Comunicado
I-Informado
S-Suporte
® Domani TI

Glossário de Negócios
® Domani TI

Uniformização dos
termos de negócios da
organização
Facilita a
compreensão e
integração de dados
Ataque à área de
Metadados (esquecida)
Deve ser amplo,
objetivo e sem
ambiguidade
A GD facilita a
revisão, aprovação e
o uso consistente
Auditoria de
Qualidade garante a
consistência e o uso
organizacional
Comunicação e
feedback contínuo
sobre a utilidade e
uso do glossário é
FCS
Visão mais negocial de
Termos e definições
® Domani TI

Exemplo prático
• Uma das ações da GD é trabalhar juntamente com as estruturas (Gestores de dados de negócios/Assunto), no sentido de
coletar os termos de negócios para cada “fato” relevante sobre o projeto de medidor inteligente
• Serão criadas definições negociais, sem ambiguidade e em linguagem clara sobre os principais fatos do contexto do projeto
de Medidores inteligentes: Medições de consumo, limites de voltagem/tensão, desconexão remota de cliente, reconexão
remota de cliente, interrupções, frequência de interrupções, duração de interrupções, velocidade de restauração do
ponto de consumo, tipo de queda, horário de interrupção, alertas proativo de detecção de interrupções, correlação
entre dados da interrupção com elementos da rede de distribuição, componentes da rede de distribuição, upgrade de
firmware de componentes da rede, indicadores analíticos de BI para consumidores, configuração de elementos de
rede, etc
• Há vários indicadores fundamentais numa distribuidora de energia elétrica que devem fazer parte do glossário de negócios:
• DEC: Duração equivalente de interrupção por unidade consumidora : Intervalo de tempo que, em média, no período de
apuração, em cada unidade consumidora do conjunto considerado ocorreu descontinuidade da distribuição de energia
elétrica.
• FEC: Freqüência equivalente de interrupção por unidade consumidora : Número de interrupções ocorridas, em média, no
período de apuração, em cada unidade consumidora do conjunto considerado.
• DIC: Duração de interrupção individual por unidade consumidora : Intervalo de tempo que, no período de apuração, em cada
unidade consumidora ou ponto de conexão ocorreu descontinuidade da distribuição de energia elétrica
• FIC: Freqüência de interrupção individual por unidade consumidora : Número de interrupções ocorridas, no período de
apuração, em cada unidade consumidora ou ponto de conexão.
• DMIC: Duração máxima de interrupção contínua por unidade consumidora ou ponto de conexão: Tempo máximo de
interrupção contínua de energia elétrica, em uma unidade consumidora ou ponto de conexão.
• DICRI: Duração da interrupção individual ocorrida em dia crítico por unidade consumidora ou ponto de conexão:
Corresponde à duração de cada interrupção ocorrida em dia crítico, para cada unidade consumidora ou ponto de conexão.
GOVERNANÇA DE
DADOS
® Domani TI

Exemplo prático-II
• Essas definições deverão estar em plataformas acessíveis (dicionários, glossários,etc), dentro
da proposta de arquitetura, mantidas atualizadas e usadas por todos os sistemas envolvidos
com medidores inteligentes. Serão elementos facilitadores no momento de desenvolvimento
de novos sistemas/aplicações relacionadas ao tema, bem como em possíveis soluções de
integração
• Algumas dessas definições de negócios são também do interesse direto do consumidor e
portanto, devem estar disponíveis em segmentos do site da empresa, abertos ao seu público
consumidor
• Políticas de dados sobre Glossário de negócios, visando a definição, atualização e uso
deverão ser definidas juntamente com a GD, áreas de negócios e TI
GOVERNANÇA DE
DADOS
® Domani TI

Gerência de
Metadados
® Domani TI

Uniformização dos
termos e dados da
organização
Facilita a
compreensão e
Ataque à área de
Metadados
esquecida
Nesse contexto tem um
foco mais técnico e
operacional, além de
negócios
A GD facilita a
revisão, aprovação e
o uso consistente
Auditoria de
Qualidade garante a
consistência e o uso
organizacional
Comunicação e
feedback contínuo
sobre a utilidade e
uso de MD é FCS
Foco mais técnico e
operacional
® Domani TI

Gerência de Metadados
Exemplo prático
• Os dados/termos definidos anteriormente no processo de Glossário, com o âmbito
negocial, poderão ser estendidos sob o foco mais físico e operacional na Gerência
de Metadados. Os dados como Medições de consumo, limites de
voltagem/tensão, desconexão remota de cliente, reconexão remota de cliente,
interrupções, frequência de interrupções, duração de interrupções, etc também
serão definidos à luz de três classificações de metadados. O metadado de negócios,
aqui considerado tem uma certa similaridade com os termos de negócios, definidos
na PA anterior: Por exemplo:
– Metadado de negócios: O termo “valor de consumo de energia elétrica” será descrito no sentido de
facilitar o seu entendimento, procura, localização, etc . Conterá definições, valores, autores, palavras
chaves etc
– Metadado Técnico: O termo “valor de consumo de energia elétrica” aparecerá também instanciado
em várias fontes e relatórios na camada física(de dados), diretamente relacionado com as suas fontes.
As suas transformações/manipulações por processos /sistemas seriam documentadas nesse item.
– Metadado Operacional: O termo “valor de consumo de energia elétrica” seria documentado no
contexto operacional , mostrando quando esse dado foi criado, qual o tipo de arquivo que o acomoda,
registrando as informações necessárias para sua atualização, seu arquivamento, integração , direitos
e restrições de acessos,etc
Governança de
dados
® Domani TI

Data Profiling
Avaliação de QD
Limpeza de DadosEstratégia de QD
QUALIDADE
DE
DADOS
© Carlos Barbieri-Domani Te® Domani TI

Detecção, avaliação e
limpeza dos dados
Dados que estão
sob a DM/GD
Exige uma estratégia
de Qualidade de dados
Técnicas de Profiling
de dados-detecção de
problemas
Técnicas de Limpeza
dos dados-Correção dos
erros detectados
Auditoria de Qualidade
de Dados(processos e
dados)
Métricas de QD
QUALIDADE
DE
DADOS
® Domani TI

Estratégia de Qualidade de Dados
® Domani TI

Estratégia de QD
organizacional é o
grande alinhavo do
Plano de QD
Desenvolvida em
colaboração por
linhas de negócios
Alinhada com
objetivos de
negócios da empresa
Prioridades de dados
e objetivos traduzidos
em ações práticas
Papéis e
responsabilidade,
recursos, treinamento,
tools,etc
Auditoria de
Qualidade garante a
aderência à estratégia
de QD
Processos de QD
alinhados com a
estratégia(Plano
estratégico de QD)
Plano de QD-5W2H
® Domani TI

Estratégia de
Qualidade de Dados
Exemplo prático
• A estratégia de QD deve ser definida em função dos objetivos de negócios, definidos no
Projeto de Medidores inteligentes.
• A estratégia de QD deve então começar pela identificação dos dados mais críticos,
sensíveis, de cujos erros, poderão advir problemas nos mais variados campos, como
regulação, reputação, erro na tomada de decisão, etc
• Uma fonte inicial de busca são os indicadores demandados pela ANEEL(agência
reguladora) para uma empresa distribuidora de energia elétrica. Esses indicadores deverão
ser produzidos por dados confiáveis e representativos do estado da empresa, sem o que poderá
haver sanções e glosas. Há subconjuntos de temas que produzem indicadores : Indicadores
de Eficiência operacional, de Atendimento ao consumidor, de recursos humanos, etc
• Levantados os dados críticos, deve-se dar prioridades a eles, em função da sua sensibilidade
para os negócios da empresa
• Vamos supor que um dos objetivos na estratégia da empresa, visando a adoção do medidor
inteligente, tenha sido a melhoria nos seus indicadores de Atendimento ao Consumidor,
como Indicadores de frequência e de duração de interrupções de fornecimento
• Vamos considerar, por exemplo, os indicadores mais críticos de uma distribuidora, dentro da
linha de atendimento ao consumidor: DEC,FEC, DIC,FIC,DMIC e DICRI. Esses indicadores
deverão estar plenamente descritos no glossário de negócios
® Domani TI

Estratégia de
Qualidade de Dados
Exemplo prático-II
• Para cada um desses indicadores, deveremos ter, também no glossário, a
fórmula de cálculo, com as variáveis básicas, que produzem o resultado.
• Nesse momento, se define/levanta os pontos de criação e atualização
desses dados primários, cujos cálculos irão compor os indicadores e cuja
integridade é crucial de ser aferida. Essa é outra PA que trata do ciclo de
vida dos dados
• Assim, planejamos as ações de verificação de qualidade para esses dados
primários, nesses pontos do seu ciclo de vida, analisando as suas
características como formação, range, histograma de valores, etc. Isso é
realizado pela PA de Profiling de Dados, corrigido pela PA de Limpeza
de dados e verificado/acompanhado pela PA de Avaliação da QD.
• Dessa forma ligamos a Estratégia com as outras PA´s que compõem a sua
categoria e algumas de outras categorias.
® Domani TI

Profiling de Dados
® Domani TI

Espécie de
ultrasonografia dos
dados
Analisa a composição física
dos dados à luz de definições
de regras de negócios(dados)
Ótima abordagem inicial
para se quebrar
resistências e aprovar
projetos de dados
(GD,QD)
Envolve analisar
dados via regras de
completude,
integridade,
relacionamentos,etc
Deve servir como elemento
de entendimento das causas
raízes dos erros e ações de
correção
Trabalha com a Limpeza
de Dados e com a
avaliação da Qualidade
Exige ferramental
adequado para
análise
Qualidade de Dados
Laboratorial,
Ultrasom, TC dos dados
® Domani TI

Profiling de Dados
Exemplo prático
• No caso do projeto de medidores inteligentes, há que se definir um processo de “profiling”
para os dados. Aqueles mesmos dados críticos, já discutidos, deverão ser analisados em
pontos definidos do seu ciclo de vida(tratado em outra PA). Nesse caso, seria recomendável
um tratamento de “profiling” no BD de Clientes, visando identificar possíveis inconsistências
nos dados dos consumidores e no BD de Redes e Equipamentos que serão conectados nas
novas camadas de redes/tecnologia que advirão com o projeto de medidor inteligente.
• As análises sobre esses dados poderão ser do tipo:
– Análise de Formato;
– Análise de Domínio, com foco em range de valores;
– Análise de Completude;
– Análise de Integridade Referencial com foco em clientes associados a componentes da
rede;
– Análise do nível de Qualidade, em dimensões definidas.
• Os resultados produzirão itens para serem analisados que poderão indicar tipos de erros
repetitivos, erros de entrada de dados e erros de valores fora da faixa que poderão
comprometer cálculos aplicados na “utility” para definição de tarifas, parâmetros,etc,
requeridos pela agência reguladora
Qualidade de Dados
® Domani TI

Avaliação da
Qualidade de dados
® Domani TI

Abordagem para
acompanhar a QD
Envolve ações de
Profiling, Limpeza
e Auditoria
Trabalha várias
dimensões da
qualidade (*)
Profiling e Limpeza
são ações físicas sobre
os dados
Auditorias de
Qualidade, revisões
por pares são ações
de processo
Medições como suporte,
mostrando medidas em
dashboards,scorecards,etc
Oferece
indicadores para a
aferição da QD
Espécie de QA e MED
de QD
® Domani TI
(*):Integridade,precisão/acurácia,
cobertura,documentação,disponibilidade,etc

Avaliação da
Qualidade de Dados
Exemplo prático
• A essência desta PA é o desenvolvimento de ações de avaliação de qualidade para o projeto
de Medidores inteligentes. Poderá envolver as ações de Profiling de dados, já definidas
anteriormente, bem como o desenvolvimento e aplicação de PA´s de suporte, como
Qualidade do processo de dados e Medições.
• O processo de Medições, que seria a Medição aplicada à Qualidade de dados, teria a definição
de métricas com objetivos de negócios, estabelecimento de limites, ações a tomar, análise e
divulgação via mecanismos visuais
• Assim, a institucionalização do processo de avaliação de qualidade no projeto de medidor
inteligente poderia envolver:
– Realização de procedimentos automatizados como Profiling e Limpeza, conforme já
discutido nas PA´s específicas
– Realização de auditorias de QA por Equipes/pessoas independentes, revisões por pares,
realizadas em vários níveis de formalidade, revisão dos trabalhos no local em que são
realizados, revisão e comentário sobre produtos de trabalho,etc
– Coletas de medidas, tanto no plano de ferramentas automáticas como Profiling, quanto
nas ações de auditorias e revisões, como definido anteriormente
• Avaliação e divulgação dos resultados e definição de ações sobre os resultados encontrados,
visando a melhoria dos indicadores definidos para o projeto
Qualidade de Dados
® Domani TI

Dimensão da
Qualidade de
Dados
Descrição
Completude O grau com qual o dado é populado com base nas regras de negócio que definem quando este é requerido para ser
preenchido com um valor. Por exemplo, toda conta deve ter um identificador (ID). Uma regra mais complexa pode definir
que um registro adicional é requerido se e somente se um registro de empréstimo está presente e o tipo de empréstimo requer
um complemento (por exemplo, hipoteca).
Unicidade O grau permitido para que o dado tenha valor duplicado. Por exemplo, o ID de imposto de cada cliente deve ser único –
não pode haver dois clientes com o mesmo ID de imposto.
Validade O grau com qual o dado está em conformidade com as regras de negócio para um conteúdo aceitável. Pode incluir:
• Formato (inteiro com 6 digitos)
• Padrão (CPF-999.999.999-99)
• Tipo de dados (int,float,varchar,imagem,audio,XML,etc), estruturados, não estruturados, semi
• Lista de valores válidos (20,30,50)
• Domínio: conjunto de valores válidos dentro tipo)
• Faixa de valores (20-50)
Reasonableness
Razoabilidade
O grau no qual o dado está em conformidade com as regras sobre valores razoáveis quando comparado com cenários do
mundo real ou quando comparado com outros dados. Por exemplo, a data de preenchimento(na farmácia) da receita médica
para controle deve ser posterior ou igual à data em que a prescrição foi escrita/emitida pelo médico
Integridade O grau no qual elementos do dado possuem conteúdo consistente em múltiplas bases de dados. Por exemplo, a droga
prescrita é a mesma na base de dados transacional e no data warehouse da farmácia.
Timeliness-
Temporalidade
O grau no qual as alterações nos dados são avaliadas com o prazo exigido pelo negócio. Por exemplo, a mudança nos
assentos do avião deve ser refletida no website em tempo real.
Cobertura O grau com que o dado suporta todas as funções do negócio que necessitam dele para realizar seu objetivo de negócio
específico. Por exemplo, tenho dados registrados somente para região do BR e a empresa planeja entrar na Argentina., por
exemplo.
Acurácia-Precisão O grau com o qual o dado corresponde a valores corretos do mundo real, conforme fornecido por uma reconhecida e
estabelecida “fonte da verdade”. Por exemplo, o endereço de um cliente corresponde ao endereço fornecido pelo serviço
postal. Muitas “fontes da verdade” são externas, como o serviço postal. Outras podem ser internas, tal como dados de
pesquisa de setores da empresa. O que torna uma fonte da verdade é que as pessoas a reconhecem como tal.
Fonte: Data Stewardship-Na Actionable Guide to Effective Data Management na DG
David Plotkin-MK
® Domani TI

Limpeza de Dados
(Data Cleansing)
® Domani TI

Processo de limpeza
física dos dados
Correção dos
erros detectados
Deve ser processo
cíclico e sistemático
Baseado em regras,
processos e métodos
Deve ser aplicada em
pontos próximos da
criação dos dados
Deve seguir o Data
Profiling e interage c/
avaliação de QD
Segue a Estratégia de
QD e é avaliada pelo
QA
® Domani TI

Limpeza de Dados
Exemplo prático
• Os erros e inconsistências de dados detectados nos processos de profiling
ou de avaliação deste projeto de medidor inteligente são corrigidos neste
processo
• Nesse exemplo, poderão ser detectados erros de valores nos arquivos
mestres(fundamentais) do sistema de faturamento da empresa (Cliente,
Faturamento, Arrecadação), de rede de distribuição,etc. Também erros
de valores discrepantes em faixas de consumo, erros de dimensões de
elementos de rede discrepantes com relação à média ou a padrões,etc. Esses
erros poderão ter causas raízes originadas em erros de entrada, transmissão,
processamento de regras de negócios, além de erros de processos
• As causas raízes dos erros e suas condições são registradas e servem de
alertas/feedbacks para o novo ciclo de atualização do planejamento da
estratégia de QD
Qualidade de Dados
® Domani TI

Definição dos
Requisitos de
Dados
Gerência do
Ciclo de Vida dos
Dados
Gerência de Provedores
de Dados
OPERAÇÕES
DE
DADOS
® Domani TI

Dados necessários para o
alcance dos objetivos
Dados como numa cadeia
de consumidores e
fornecedores
Fornecedores e fontes
autorizadas de dados, sob o
controle da GD/DM
Entender dados e seu ciclo é
entender também os processos
de negócios por onde circulam
Criação e alteração de
dados sejam
controladas
Inclui processos:
Definição dos requisitos,
Ciclo de vida e Provedores
A palavra Operação aqui
pode ser “tricky” ,
diferente do DMBOK
OPERAÇÕES
DE
DADOS
Dados necessários,
Os processos por onde circulam
Os provedores e (consumidores)
® Domani TI

Definição de
Requisitos de Dados
® Domani TI

Requisitos de
dados=Requisitos de
negócios- O que é preciso?
Entender os Dados e os
Processos que os criam e
consomem
Várias representações de
Modelos de dados
Entendimento dos
PN(processos de negócios)
e do ciclo de vida(outra PA)
Entendimento dos
Provedores de dados-outra
PA
Requisitos de dados definidos
em termos claros(negócios)
outras PA(Glossário e
Metadados)
Responde a pergunta: O
que eu preciso de dados?
® Domani TI

Definição de
Requisitos de Dados
Exemplo prático
• No caso do projeto de medidor inteligente, a definição dos Requisitos de
dados começa pela modelagem dos dados, aplicadas nos vários níveis
demandados, conforme os desenhos a seguir. Vai desde a visão mais
“áreas de assunto”, envolvendo as áreas de Consumidores, Faturamento,
Rede de distribuição, até a visão mais operacional das tabelas de dados
• Uma parte relativa a coleta automática pelo medidor inteligente deverá ser
modelada antes de se integrar com os dados do ambiente
transacional(SAP, Legados,etc). Essa parte poderá ser baseada no conceito
de repositório temporário(ODS, Data Lake(*),etc)
• Também a parte de DW/BI(Analytics), visando a oferta de informações
analíticas para os clientes deverá ser considerada em requisitos separados
• Também a parte de Mining/Inferencial poderá ser definida, caso um dos
requisitos de dados seja uma camada de análise de Big data, com
tratamento estatístico e inferencial
OPERAÇÕES
DE
DADOS
(*)-arquivo intermediário com todos os dados fluindo para o mesmo repositório, sem ainda um processamento definido-
Difere de um DMart, onde as estruturas analíticas já foram previamente definidas, pelos níveis de hierarquização das dimensões
® Domani TI

Definição de
Requisitos de Dados
Exemplo prático
• Para se levantar os requisitos de dados, na forma de modelos,
há que se entender os processos de negócios atuais e
planejados( o que remete a próxima PA). Há diferentes
abordagens, como BPM, RUP, Casos de Uso, Togaf,etc, que
aplicadas, trazem à tona, os requisitos de dados demandados
para o projeto, no caso o de medidor inteligente.
OPERAÇÕES
DE
DADOS
® Domani TI

Áreas de
Assunto(negócios)
Modelo Conceitual
Modelo Lógico
Modelo Lógico de
Aplicações
Modelo Físico de
Aplicações
Visão Corporativa
Visão Aplicações
Alinhamento
Visão Canônica
® Domani TI
Visão macro

AA-Áreas de Assunto
MCC-Modelo Conceitual Corporativo
Modelo
de
Informação
Matriz Aplicações x Dados
Processos x dados(DFD-CRUD)
Matriz RACI
MLC-Modelo Lógico Corporativo
Visão
Negócios
Visão
TI
MLC-Modelo Lógico Aplicação-02MLC-Modelo Lógico Aplicação-01
Dado
Específico
-Auditoria
-Segurança
-Negócio esp.
Relacional
SGBOO
NOSQL(Chave-valor),(BD Documentos),
(Colunares),( Grafos) 71
Modelo
Físico
©CarlosBarbieri-DomaniT
® Domani TI
Nível
Projeto
Nível
Corporativo
Relacional
SGBOO
NOSQL(Chave-valor),(BD Documentos),
(Colunares),( Grafos)

Pré-
Game
Game
Post-
Game
Release
backlog
Planeja
Desenvolvimento
Demonstra
ção
Retrospectiva
Sprint
backlogCiclo de
Releases
Ciclo de
Sprints
Follow
UP
Diário
Requisitos
Detalhe por sprint
Estratégia de
Dados
Arquitetura
Dados
Requisitos de
Dados
Dados
Processos
Negócios
Tecnologia
Informação
Big Data
DNE, Metadados
BackLog
de Dados
Requisitos em maior nível
Priorização
Valor de negócios
Abordagem
Iterativa
Incremental
Estratégias de Negócios
Revisa
Planeja
Planeja
Revisa
® Domani TI
Abordagem
Iterativa-Incremental

Cliente Medições
FaturaPonto de
Consumo
Rede
Local
Tarifa
Componentes
Equipamento
Manutenção
Schedule
73
Medidor
Problemas
Valor
Data
Hora
Minuto
Id
Nome
tipo
Id
Tipo
fabricante
Valor
Data-referência
Data-emissão
Valor
Referência
® Domani TI
Modelo por área de assunto

Gerência do Ciclo de Vida dos Dados
® Domani TI

Entender o dado pela
ótica dos Processos de
negócios
Como os dados
circulam pelos
processos
Visão de dados, desde a
sua criação até sua
desativação(archiving)
From Requirement to
Retirement
POSMAD:
Plan,Obtain,Store/Share,Maintain,
Apply(Use), Dispose
Mapeia dependências
e impactos
Tem sabor de BPM
® Domani TI

Gerência do ciclo de vida dos Dados
Exemplo prático
• Os dados dentro do projeto de medidor inteligente seguem um ciclo de vida,
esquematizado pela figura a seguir. Os dados de medições são produzidos nas
camadas do sistema de medidor inteligente e transferidos para uma camada de Big
Data, onde são armazenados num ambiente de ODS ou “data lake”. Os dados ali
serão tratados/analisados e seguirão o fluxo para a camada transacional, onde se
encontram os sistemas que apoiam os processos de negócios de Clientes e
Faturamento(ERP, sistema legado,etc), Arrecadação e Corte. Dentro desses
módulos há outros fluxos não mostrados , por onde dados específicos seguirão.
Desta camada os dados irão para a camada Informacional(DW/BI) ou para a
Analítica/Inferencial. Para essa, os dados poderão vir direto da camada de Big Data.
• Observe que as setas denotam interações/integrações entre dados de diferentes
processos
• Esses processos deverão estar documentados, com ênfase nos seus fluxos de dados
• Matriz RACIS poderá ser usada como instrumento inicial para o mapeamento
Quem x O Quê x Dados
OPERAÇÕES
DE
DADOS
® Domani TI

Matriz Dados x Processos
Por área de assunto/foco da GD
Descrição Sistemas-TI Área 1 Área 2 Área 3 Área 4
Dados
Mestres
ID do Ponto de
consumo
SAP
CIS
Dados
Referenciais
Código de
faturamento
Depto X- C
Dados
Transacionais
Consumo de energia
Cliente
D-Define
C-Criação dos dados
R-Leitura/Uso
U-Atualização
E-Deleção/Eliminação
Processo de negócios
Nome do especialista
no processo
Nome do especialista nos
dados
DCRUE
® Domani TI

Sistema de
medidor
inteligente
ERP
Dados
lidos
ETL DW DM
Módulos
Clientes e
Faturamento
Módulos
Arrecadação e
Corte
Analytics
(Mining)
Módulo
Archiving
Transacional Informacional-Dimensional-DW/BI
Inferencial
ODS
Proprietário(Owner)
Gestores(Stewards)
Consumidores(consumers)
Custodiadores(TI)
78
Processos de negócios
Processos de Big data
Processos operacionais
Processos informacionais/inferenciais
Big data
ELT
© Carlos Barbieri-Domani Tecnolo
Processos principais e dados
Sistema de Medidores inteligentes
® Domani TI

Gerência de provedores de Dados
® Domani TI

Provedores/Fontes
de dados
Fontes internas ou
externas
Internas-sistemas do ciclo
de vida
Externas-outras fontes
SLA com os
provedores
Entrega de dados com
Qualidade
Cumprimento dos
Requisitos de
dados(PA)
Garante os objetivos de
negócios
® Domani TI

• O Sistema de medidor inteligente pode ser entendido como um conjunto de
processos que seguem em fluxo. Esses processos , no fundo, são os
provedores internos de módulos downstream. Pode haver dados externos
(com provedores), não considerados no exemplo.
• Essa PA sinaliza para os cuidados com a Qualidade oferecida por esses
módulos/sistemas. Por vezes são sistemas cuidados por outras áreas e
portanto um SLA (interno) deve ser definido em termos da Qualidade e do
Timeliness(disponibilidade) dos dados, a fim de garantir o alcance dos
objetivos de negócios
• O diagrama, a seguir mostra alguns dos módulos provedores envolvidos
nesse projeto, com os fluxos downstream e os dados
OPERAÇÕES
DE
DADOS
Gerência do provedores de Dados
Exemplo prático
® Domani TI

Sistema de
medidor
inteligente
ERP
Dados
lidos
ETL DW DM
Módulos
Clientes e
Faturamento
Módulos
Arrecadação e
Corte
Analytics
(Mining)
Módulo
Archiving
Inferencial
ODS
82
Fornecedores de dados-Processos de negócios
Fornecedores de dados-Processos de Big data
Fornecedores de dados- Processos informacionais/inferenciais
Big data
ELT
Fornecedores de dados-Processos de Archiving
Principais fornecedores de dados
Sistema de Medidores inteligentes
Indicadores financeiros(externos) ou dados de regulação
Fornecedor de dados externos -Indicadores financeiros
® Domani TI

Plataformas de DM Integração de Dados Dados Históricos, Archiving
E Retenção
Padrões Arquiteturais
Abordagem
Arquitetural
PLATAFORMA E
ARQUITETURA
© Carlos Barbieri-Domani Tec
® Domani TI

Definir o estilo das
camadas arquiteturais
de dados
Tem a visão mais conceitual e
foca na importância da
arquitetura de dados
Ganhos na
redução de fontes de
dados
Ganhos na
Ganhos na
minimização de riscos
de redundância
Menor risco de
redundância leva à
melhor Qualidade dos
dados
Menor redundância e maior
qualidade leva à melhor
governança dos dados
PLATAFORMA E
ARQUITETURA
Estruturas e camadas de dados
Padrões de arquitetura
Plataformas
Integração
Armazenamento
® Domani TI

Abordagens arquiteturais
® Domani TI

Espécie de um croquis
das arquiteturas que
serão necessárias para as
camadas de dados
Deverão permitir o alcance
dos objetivos de negócios,
além de características
tecnológicas
Deverão estar alinhadas com
padrões arquiteturais definidos
na PA (seguinte)
Deverão ser aprovadas
pelos envolvidos
relevantes
As escolhas técnicas deverão
estar alinhadas com a
abordagem arquitetural
Métricas deverão ser
definidas e coletadas para
acompanhamento-GD
Abordagens: BD, DW/BI,
ERP, MDM, Metadados, Big
data, processamento RT,etc
® Domani TI

• No caso do projeto de medidor inteligente há várias camadas arquiteturais
com abordagens distintas em função de seus objetivos.
– Há a abordagem arquitetural voltada para a rede física onde ficam os medidores
inteligentes. Ali há camadas de tecnologias como RFID na rede HAN(Home área
network), com a ligação dos diferentes “appliances”.
– Há a conexão com a rede externa WAN, para a comunicação com a empresa
distribuidora.
– Na parte de tratamento negocial de dados, há uma abordagem arquitetural que
encaminha os dados para o tratamento transacional, onde estão os ERP, ou
sistemas de billing, de clientes, de arrecadação, corte,etc
– Segue-se, a esta, uma camada arquitetônica focada no processamento informacional,
com o DW/BI e Data Marts, ODS,etc, visando o processamento dos dados com uma
latência maior
– Finalmente, pode-se ter uma abordagem arquitetural focada no tratamento analítico
de Big Data, com processamento quase tempo real, visando a prospecção de padrões de
informações de consumo, interrupções,etc , com foco em dados de baixa latência
Abordagens arquiteturais
Exemplo prático
Plataforma/
Arquitetura
® Domani TI

Fonte: http://smartgrid.ieee.org/ieee-smart-grid/smart-grid-conceptual-model
Abordagem arquitetural
Modelo Conceitual de Smart Grid
® Domani TI

http://smartgrid.ieee.org/ieee-smart-grid/smart-grid-conceptual-model
Abordagem arquitetural
Rede de Distribuição de Eletricidade
® Domani TI

Water
Heater
Zigbe
e
Compressor
Pool
Pump
Smart
Thermostat
Energy Management and Conservation via a HAN for in home devices
RF (Radio
Frequency)
Abordagem Arquitetural
Home Area Network (HAN)
Cliente Residencial
91
® Domani TI

Arquiteturas de camadas
Sistema de
medidor
inteligente
ERP
Dados
lidos
ETL DW DM
Módulos
Clientes e
Faturamento
Módulos
Arrecadação e
Corte
Analytics
(Mining)
Módulo
Archiving
Inferencial
ODS
Proprietário(Owner)
Gestores(Stewards)
Consumidores(consumers)
Custodiadores(TI)
92
Processos de negócios
Processos de Big data
Processos operacionais
Processos informacionais/inferenciais
Big data
ELT
© Carlos Barbieri-Domani Tecnologia® Domani TI

Abordagem arquitetural-Sharding
Tratamento de Big data
Tempo de Transferência
Controladora
Controladora paralela
P1 P2 P3 P4
P5
Pn
Tempo de resposta
Melhora escalável com o # de nós
X
Probabilidade de
Problemas de hdw
P1 P2 P3 P4
P5
Pn
> Probabilidade de
Problemas de hdw
Espelhamento
Redundância pró-segurança
O dado está replicado e pode ser
acessado (em outro nó), em caso de
perda de um nó
® Domani TI

Padrões arquiteturais
® Domani TI

Padrões arquiteturais com
foco em: representação,
acesso e distribuição de dados
Padrões definidos nos
níveis de DMS-Data
Management Services
Envolve aspectos de padrões de
representação(MER,XML),
acesso(SOA,CLOUD,SQL/NOSQL) e
Distribuição(replicação,MDM). Pense no
Dropbox, GoogleDrive
Padrões alinhados com
TI e Negócios
Aderência aos padrões
verificada via QA
Considera padrões entre
plataformas, visando a
melhor integração
negócios
® Domani TI

• Há vários padrões arquiteturais que cabem no projeto de medidor inteligente:
• Padrão arquitetural para acesso e distribuição de dados mestres e referenciais(MDM)
– Consolidação, Diretório /Registry, Coexistência, Centralização com SOA
• Padrão arquitetural para distribuição de dados em DW/BI
– DW, Dmarts, ODS-padrões combinados,Data lake
– DMart: esquema estrela e snowflake
• Padrão arquitetural acesso e distribuição de dados em ERP
– Localizado ou in-cloud
• Padrão arquitetural para Metadados
– Padrões de Dublin, ISO-IEC 11179
• Padrão arquitetural para representação, acesso e distribuição em Big Data
– Hadoop(estruturação), MapReduce(acesso distribuído)
– Sharding, Replication(M/S, Peer to Peer)
– NOSQL: orientado a chave-valor, documentos, grafos, estruturas colunares
– SQL: Hive sobre Hadoop, Teradata, Netezza/Aster
• Padrão arquitetural para acesso e distribuição de dados “in-streaming”
– Plataforma lambda
• Padrão estrutural para documentos
• Padrão arquitetural para representações de dados conceituais , lógicos e físicos
– Modelos arquiteturais em camadas: C/L(visão organizacional) e C/L/F(visão projetos), MER,UML,XML,etc
Ainda entra
como padrão as
marcas/tecnologi
as:
Oracle,DB2,MS,
MongoDB,
Cassandra,Neo4J
Padrões arquiteturais
Exemplo prático
Plataforma/
Arquitetura
® Domani TI

Grande volume de dados
(Tera-Peta-Exa) dividido em
milhares de pequenos arquivos
Milhares de nós processadores, com dados e funções de Map e Reduce
•Dados e funções
replicadas,
•Armazenamento key-value, alta
taxa de compressão
•MPP
•Fault Tolerant
Consulta: é mapeada (dividida) em diversas subconsultas
Enviada a diversos nós processadores, controlado pelo nó master
Retornam ao Master que os consolida (Reduce) na resposta
Nó master
Resultado
Map
Reduce
Outros “nós”
Padrão arquitetural-Hadoop-MapReduce
® Domani TI

Fontes de dados semi
ou Não estruturadas
Fontes de Dados
estruturados
Hadoop Cluster-HDFS
DW
Analytics de
MapReduce
Analytics de BI
Analytics em TR-HBase Bi-Business Intelligence
Ações em
Tempo Real Ações por decisões analíticas
Operações e decisões em tempo
real Operações e decisões analíticas
ETL
Alta Latência
Padrão Arquitetural
Plataforma e Arquitetura de
Analytics para Big Data
Baixa Latência
® Domani TI

CLIENTE
DADOS
OPERACIONAIS
REDE
DADOS SUMARIZADOS
DADOS CONSOLIDADOS
DW
C:D
Data Marts
SERVIDOR
DADOS
TRANSACIONAIS
FERRAMENTAS
OLAP/MINING
CATÁLOGO/
REPOSITÓRIO
METADADOS
DADOS
PARA
MINING
STAGING
DATA WAREHOUSE
PROCESSOS DE
EXTRAÇÃO,
TRANSFORMAÇÃO
E CARGA
100
DM DM
Outras
fontes
Arquitetura de DW/BI-Integração
Data Warehousing
© Carlos Barbieri-Domani T
® Domani TI

ESTAÇÕES
CLIENTE
DADOS
OPERACIONAIS
REDE
DADOS SUMARIZADOS
DADOS CONSOLIDADOS DW/DM
C:D
PROCESSOS DE
EXRAÇÃO
TRANSFORMAÇÃO
CARGA
DM
SERVIDOR
DADOS
TRANSACIONAIS
FERRAMENTAS
OLAP/MINING
CATÁLOGO/
REPOSITÓRIO
METADADOS
DADOS
PARA
MINING
STAGING
DATA MARTS INTEGRADOS
DATA WAREHOUSE
101
Bus integração
DM DM
Outras
fontes
Arquitetura de DW/BI-Integração
Data Marts integrados
© Carlos Barbieri-Domani T
® Domani TI

Plataformas de DM
® Domani TI

Plataforma de serviços de
DM (BD,MDM,DW,Big
Data,etc)
Constitui um sistema de
registro de dados
Constitui um sistema de
dados confiável e autorizado
Oferece ativos de
transformação e integração
Coerente com requisitos de
dados e com a arquitetura
Pessoas bem formadas e
treinadas nas plataformas
negócios
Visão Software+Hardware
Fonte de registro de dados
® Domani TI

• O Sistema medidor inteligente tem um conjunto possível de
plataformas de DM
• São os diferentes serviços oferecidos pelas camadas de Data
management, indo de serviços operacionais(distribuição de
EE), de Sistemas transacionais(ERP-plataforma SAP),
informacionais(DW/BI-BW/Hana) e de Big Data/Analytics
High Performance (SAP-Hana ou Teradata)
• Essas plataformas foram especificadas anteriormente baseada
em abordagens arquiteturais e padrões de arquiteturas
definidos pela empresa de energia elétrica(ou até por regras de
compliance regulatórias)
Plataformas de DM
Exemplo prático
Plataforma/
Arquitetura
® Domani TI

Integração de Dados
® Domani TI

Alinhamento entre TI e
Negócios visando a integração.
Algumas áreas de negócios
compram tecnologia à revelia
Envolve Processos e
Ferramentas
Aderência aos Padrões (PA´s
anteriores) e Requisitos de
dados(PA)
Pesquisa e avalia técnicas
de integração
Envolve Conversão,
Transformação e
Enriquecimento de dados
Envolve conhecimento de
dados e arquivos
duplicados-redução de
redundância
Somatório de várias PA´s
anteriores
Dados
Dados+Metadados(XML)
® Domani TI

• O Sistema de medidor inteligente apresenta, na sua visão
arquitetural vários pontos de integração.
• Integração entre os sistemas físicos de medição, com os
sistemas de ERP, onde rodam os processos negociais
• Integração entre módulos do ERP ou dos sistemas
transacionais, envolvendo Faturamento, Cliente, Arrecadação,
Corte,etc
• Integração entre a camada transacional com a camada de
informações OLAP, via ODS ou camadas de ETL-Extração
Transformação e Carga
• Integração entre esses dados e os dados de Big Data, nas
camadas de tratamento de dados de menor latência.
Integração de Dados
Exemplo prático
Plataforma/
Arquitetura
® Domani TI

Integrações
Sistema de
medidor
inteligente
ERP
Dados
lidos
ETL DW DM
Módulos
Clientes e
Faturamento
Módulos
Arrecadação e
Corte
Analytics
(Mining)
Módulo
Archiving
Inferencial
ODS
108
Big data
ELT
Pontos de integração entre camadas
Pontos de integração dentro de camadas

Dados históricos, Arquivamento e Retenção
® Domani TI

Retenção de dados
sensíveis
Arquivamentos de
dados históricos
Aspectos de
regulação
Obrigatoriedades
negociais
Processos definidos
em conjunto com a
GD
Políticas definidas
com a GD
Necessidades de
negócios definem os
5 W 2 H desta PA
® Domani TI

• O Sistema de medidor inteligente possui vários pontos onde o
arquivamento e a retenção de dados deve ser considerada:
– Arquivamento dos dados de leitura de consumo, em alto volume( a cada 30 minutos),
representa um ponto significativo no volume de dados principal. Considerando que um
registro de leitura tenha 100 bytes e seja enviado a cada 30 minutos, teremos 12
ocorrências vezes 100 bytes, ou seja 1200 bytes por dia por cliente. Considerando uma
estimativa de 8 milhões de clientes, teremos: (8*(10**6))*1200=9,6 bilhões de bytes/dia
de crescimento de volume (9,6 GB/dia). Considerando o mês: quase 300 GB/mês
– Outros dados deverão ser considerados, como as retenções de backup de bancos de dados
no ambiente transacional e no ambiente informacional. As informações sobre clientes,
faturamento, pagamento e corte são sensíveis a regulações.
– Os dados de natureza informacional, como os nos DW e Dmart são , por natureza, de
crescimento vegetativo , e a preocupação deverá ser mais com relação a gerações de
backups
– Os dados físicos de rede de distribuição são fundamentais de serem retidos pois
normalmente estão no corpo de exigências de agências reguladoras
– As políticas de retenção e arquivamento deverão ser desenvolvidas pela GD em parceria
com a área de DM, via os gestores de dados daqueles assuntos.
Dados históricos,
Arquivamento e retenção
Exemplo prático
Plataforma/
Arquitetura
® Domani TI

Governança
de
Dados
Qualidade de Dados
Operações de Dados
Plataforma e Arquitetura
ProcessosdeSuporte
® Domani TI

Garantia da Qualidade
e do Processo
Gerência de Risco Gerência de ConfiguraçãoGerência de ProcessoMedições e Análise
PROCESSOS DE
SUPORTE
© Carlos Barbieri-Domani Te® Domani TI

Processos básicos aplicados
aos processos de dados , como
camada de apoio
Base: Processos do CMMI e
MPS.BR. Envolve: Medições,
Qualidade, Configuração,
Risco e Processo
Processo: (Meta) processo que
cuida da forma pela qual os
processos de dados são desenvolvidos e
mantidos, adaptados e evoluídos
Medição: processo de controle,
via dados numéricos. Aplica-se em
todos os processos, inclusive nos
de Suporte
QA: Envolve a aferição, por
auditoria, da aderência das
atividades aos processos e aos
produtos de trabalho
Risco:Envolve o tratamento
preventivo e corretivo de riscos
passíveis de acontecer no domínio
dos processos de dados
Configuração: visa controlar
a integridade dos artefatos e
produtos de trabalho do
processo
Processos de Suporte
® Domani TI

Medições e
Análise
® Domani TI

Forma concreta e objetiva
de gerência, além da
percepção
Diretamente ligada a
objetivos de negócios.
Nunca medir por medir!!
Definir objetivos e medidas
associadas
Detalhar as medidas: Como
obter e armazenar
analisar
reportar e interpretar
Ações em função dos
resultados das medidas
® Domani TI

• O Sistema de medidor inteligente apresenta um conjunto de métricas que deverá ser
observado do ponto de vista negocial, operacional e de Governança de dados. Por
exemplo, no âmbito operacional:
– DEC: Duração equivalente de interrupção por unidade consumidora
– FEC: Freqüência equivalente de interrupção por unidade consumidora
– DIC: Duração de interrupção individual por unidade consumidora
– FIC: Freqüência de interrupção individual por unidade consumidora
– DMIC: Duração máxima de interrupção contínua por unidade consumidora ou ponto de conexão:
– DICRI: Duração da interrupção individual ocorrida em dia crítico por unidade consumidora ou ponto de conexão.
• O glossário de negócios, deverá conter a definição clara de cada desses indicadores
• Com a descrição clara, deve-se buscar as métricas primárias(aquelas que trabalhadas, dão origem à
métrica desejada). As operações necessárias à sua produção deverão ser detalhadas
• A forma de coleta de cada uma dessas medições primárias deverá ser descrita
• Os valores de referência para uma análise de pertinência ou aceitação da métrica deverá ser
detalhada
• As métricas finais deverão ser enviadas aos envolvidos em relatórios e disponibilizadas para análise
• As ações resultantes das análises deverão ser avaliadas para a definição de possíveis ações
Medições e Análise
Exemplo prático
® Domani TI

• Outras métricas operacionais poderão ser definidas, sempre em função dos
objetivos de negócios do projeto. Por exemplo,
– O grau de satisfação com a adoção dos medidores inteligentes , por parte dos consumidores;
– A incidência de problemas físicos na rede derivada diretamente dos medidores;
– O índice de reclamações classificadas por tipo(falta de conhecimento no uso, na interpretação dos
dados, na manipulação de acessórios,etc),
– Problemas de erros de registros de medições,etc
• A Governança de dados poderá definir métricas que mostrem o andamento de suas
ações, naquele segmento de DM.
– Problemas de pendências que escalaram para a resolução de esferas superiores;
– Problemas de não-conformidades de processos de DM voltados para a implementação de projetos de
BIG Data, DW/BI, etc
• Também métricas associadas com “compliance” e regulações são importantes,
como
– Número de autuações, glosas, comunicações, valores de multas por parte das agências reguladoras em
função da implantação ou de reclamações de consumidores acerca do novo sistema. Comparação
destas métricas ao longo do tempo
Medições e Análise
Exemplo prático -II
® Domani TI

Apólices Seguro
Baseado nsa KPI´ do exemplo: Fonte:
www.klipfolio.com/resources/kpi-examples
Acessado em 10/03/13
Número de erros de dados em cargas do DW
% de erros sobre registros
carregados/atualizados
2
4
6
1
Número médio de Não conformidades(QA) em processos de dados/tamanho
do projeto
7%
10%0%
Distribuição de pendências(issues), por tipo
detectadas pela GD e levadas ao Conselho de GD
Integração de dados
Duplicação de dados
Segurança de dados
Qualidade-Compliance
Qualidade-Reputação
Qualidade-Regulatório
0% 10%
Percentual de erros de regulações/glosas
pela agência reguladora, devido a erros de dados/período
8%
Exemplos de medidas-Projeto Medidores inteligentes

MÉDIA
+1 sigma
-1 sigma
+2 sigma
-2 sigma
Iterações
Erros de
Requisitos
de
Dados por
Sprints de
Projetos
Diagrama de Controle
® Domani TI

Gerência de
Processos
® Domani TI

Processo para definição
de Processo
Gera processos padrão
de DM
Processos padrão são
adaptados por guias e critérios
Processos adaptados são
aplicados nos projetos
de DM
Tem: Inputs, outputs,
participantes (RACI),
tools, controles ,etc
Uso de processos e suas
adaptações geram
conhecimento
Melhorias de processos
sempre alinhadas com
objetivos de negócios
® Domani TI

• A implementação de um Sistema de medidor inteligente deverá ser definida
via um ou mais projetos, que deverão seguir processos organizacionais
definidos, pelas áreas de DM, Engenharia e negócios, com a
supervisão/orientação da GD
• Haverá um conjunto de processos de implementação e de controle, que
servirão de guias para a execução das atividades de DM do projeto
• Os processos de GD deverão ser definidos, de forma a serem aplicados no
âmbito organizacional, visando a interação com todos os projetos
estruturantes. Por exemplo, processos de Medições e de Controle por QA
• Os processos poderão ter os atributos definidos como os processos
padrões do CMMI/MPS.BR, contendo : atividades de entradas e saídas,
insumos de entrada, entregáveis de saída, envolvidos com suas respectivas
participações(RACI), ferramentas e controles aplicados
• As adaptações nos processos padrão devem ser documentadas,
especificando “o quê” o “como” e “o porquê”.
Gerência de Processos
Exemplo prático
® Domani TI

• Alguns processos a serem definidos:
– Processo de Coleta e análise dos dados do medidor inteligente
– Processo de Faturamento
– Processo de Arrecadação
– Processo de Corte
– Processo de Gerência da Rede de Distribuição
– Processo de Manutenção da Rede
– Processo de DW/BI
– Processo de Big data/Analytics
– ....
Gerência de Processos
Exemplo prático
® Domani TI

126
Exemplo-Processo padrão de Governança de dados-DMBOK
DMBOK-fonte: The DMM Guide to Data Management Body of Knowledge-
Data Governance Context Diagram-página 37

Garantia da
Qualidade de
Processo
® Domani TI

Qualidade de processos
e de produtos
Foca nos processos de
DM e nos seus produtos
Verifica a Qualidade do
processo
Verifica a Qualidade dos
produtos
Não conformidades são
registradas e
encaminhadas
Não conformidades não
resolvidas são escalonadas
para instâncias superiores
GQA acompanha a
resolução das NC, até o
seu final
® Domani TI

• O projeto de implementação de medidor inteligente deverá ter um Plano de
avaliação de qualidade, baseado no Processo de QA
• A avaliação de qualidade verificará os processos e produtos gerados no
projeto ou em ciclos organizacionais, buscando a sua aderência
• O foco será em qualidade dos processos de DM e dos produtos gerados, e
as NC (não conformidades) serão registradas e acompanhadas até o seu
final.
• Alguns processos que deverão ser analisados pelo Processo de QA do
projeto medidor inteligente:
– Processos de Recebimento e Análise de medições dos medidores inteligentes
– Processo de Calculo de Faturamento
– Processo de Arrecadação
– Processo de Corte
– Processo de controle e manutenção da Rede de Distribuição
– Processos de Governança de dados
Garantia da
Qualidade de Processo
Exemplo prático
® Domani TI

Gerência de
Risco
® Domani TI

Processo para tratar os
potenciais Riscos de
projetos de Dados
Envolve entendimento dos
tipos de Riscos existentes no
projeto e no catálogo global
Envolve entender a
Probabilidade x Impacto para
definir a prioridade de cada
risco
Os riscos são
monitorados
Envolve planos de
Mitigação, para atenuar o
risco na sua incidência
Envolve planos de
Contingência para resolver
as consequências do risco
negócios, pela gerência de
riscos ao longo dos
projetos
® Domani TI

• O projeto de medidor inteligente apresenta, um conjunto de riscos de
variadas naturezas. Há os culturais, riscos negociais, técnicos/operacionais
e institucionais(compliance, reputação)
• Os riscos culturais (inadaptação dos clientes à nova sistemática de
medição) deverão ser analisados em função da tecnologia emergente e da
adaptação ao seu uso
• Os riscos institucionais de “compliance” envolvem a garantia de envio de
dados corretos à ANEEL, segundo as políticas deste novo tipo de serviço
(medições inteligentes)
• Os riscos institucionais de reputação podem estar , por exemplo,
relacionados à ações por dados /ameaças à saúde, pelos efeitos de RFID
(NYTimes-05/01/11)
• O projeto de medidores inteligentes contemplará um Plano de Riscos
Gerência de Risco
Exemplo prático
® Domani TI

Gerência de
Configuração
® Domani TI

Garantia de integridade de
elementos /produtos de
dados, quando de
alterações(versões)
Envolve Arquivos,
Interfaces,etc
Formas de gerência de
Configuração:
Versionamento, Linhas de
Base ou ambos
Controle de alterações de
elementos críticos de
dados
Controle e Gerência
de Releases
Manter um estado preciso
sobre a situação dos elementos
de dados(Data store e
interfaces) nas suas
configurações
negócios, via a
manutenção da
integridade dos elementos
de dados de um projeto
® Domani TI

• Do ponto de vista de Configuração, o Sistema de medidor
inteligente deverá ter um Plano, que defina controles sobre os
arquivos envolvidos e as interfaces existentes entre os diferentes
sistemas/plataformas. Esse plano contemplará
– o detalhamento dos itens a serem controlados (arquivos,
interfaces, documentos, etc) ,
– as formas de controle(versionamento e/ou linhas de base) e
– um planejamento de auditorias a ser aplicado em pontos do
cronograma.
• Para processos organizacionais, desvinculados de projetos, aplica-se
os mesmos conceitos, considerando-se os ciclos de execução do
processo.
Gerência de Configuração
Exemplo prático
® Domani TI

Referências
• Data Management Maturity Model-CMMI Institute-August 2014-
Version 1.0
• Data Management Maturity Model-Introduction-University of Ottawa-
CMMI Institute-December-2014
• Introduction to DMM Concepts-Course-CMMI Institute-Washington
DC-2015
• The DAMA Guide to Data Management Body of Knowledge(Dama-
DMBOK Guide)-First Edition 2009
• Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora
Henderson-September-2012
• OpenDataGovernance-DMBOK2-Chapter4-em revisão
• TDWI-The DataWarehouse Institute-Big Data Maturity Model and
Assessment Tool- acessado em tdwi.org, em 25 de junho de 2015
136

Carlos Barbieri Consultores Associados ®
Contatos
carlos.barbieri@gmail.com
Carlos Barbieri
Carlos Barbieri
Carlos Barbieri
Carlos Barbieri

Big Data e Governança de Dados, via DMM-Data Management Maturiy Model

Mais conteúdo relacionado

Mais procurados (20)

Destaque (20)

Semelhante a Big Data e Governança de Dados, via DMM-Data Management Maturiy Model (20)

Último (9)

Big Data e Governança de Dados, via DMM-Data Management Maturiy Model