Como Implementar a Análise de Dados em Tempo Real
0 gostou66 visualizações
O documento aborda a análise em tempo real como uma técnica essencial para a tomada de decisões ágil, destacando a importância da visibilidade imediata dos dados para processos de negócios, como a entrega rápida de pacotes. Discute métodos, desafios e melhores práticas, incluindo virtualização de dados, que oferece uma abordagem flexível e econômica. Exemplos práticos, como a implementação no Walmart México, demonstram o impacto positivo na redução do tempo de entrega e no aumento da retenção de clientes.
Como Implementar a Análise de Dados em Tempo Real
- 2. Agenda 1.O que é análise em tempo real 2.Por que se importar? 3.Como implementar? 4.Melhores práticas 5.Conclusões
- 3. Análises em Tempo Real 3
- 4. 4 4 O que é Análise em Tempo Real? Análise em tempo real são um conjunto de técnicas para permitir a tomada de decisões com base em dados real. Isto é, assim que os dados são produzidos, eles podem ser usados para análise sem replicação, nem delay na entrega. Como resultado, a tomada de decisão é mais precisa
- 5. 5 5 Por que se importar? Vamos usar um estudo de caso • Necessidade de reduzir o tempo de entrega de pacotes para se manter competitivo no cenário de compras online • O tempo original de entrega foi de 3 dias. • Queria oferecer entrega no dia seguinte. • Do carrinho de compras online à entrega, os dados passam por vários aplicativos • Atraso acumulado para atualizações de status e comunicação entre aplicativos são somados • Análises em tempo real podem fornecer um olhar mais recente sobre os dados para acelerar o processo • Enorme potencial de ROI • Desafios: • Ecossistema complexo, vários tipos de origem de dados, grandes volumes de dados
- 6. 6 6 O Valor do Tempo Real • A mudança para usar dados real-time, em vez de dados replicados, é um marco em muitos projetos de otimização de processos de negócios. • Os objetivos aqui são um pouco diferentes de outras análises (preditivas, prescritivas, etc.) , que valorizam o uso de grandes volumes de dados para tomada de decisão precisa. • Neste caso, o valor vem da visibilidade imediata do status atual dos dados • Por exemplo: • Fabricação • Otimização da cadeia de suprimentos • Varejo • Gerenciamento de estoque • Gerenciamento de compras online (pedidos/entregas/devoluções) • Telecomunicações e utilidades • Gerenciamento de paralisação de serviços • Call centers
- 7. 7 7 Como podemos realizar algo assim? • Quais são os requisitos para uma solução em tempo real? • Uso de dados atualizados • Integração de dados de várias fontes • Existem três grandes abordagens tecnológicas para cumprir esses requisitos • Change Data Capture (CDC) e consolidação física • Os fluxos do CDC replicam dados de bancos de dados de aplicativos para um local central (por exemplo, um data lake) onde a análise é feita • Streaming Analytics • Fluxos orientados por eventos (e.g. clickstreams, devices) são usados para gerar métricas e alertas • Virtualização de dados • O acesso virtual aos bancos de dados de aplicativos e aos recursos da federação são usados para gerar análise • Combinação dos métodos acima
- 8. 8 8 Por que a virtualização de dados • Quando comparado com outras técnicas em tempo real, a Virtualização de Dados tem vantagens significativas: • Facilidade de uso • Orientado a SQL • Curva de aprendizado menor • Infraestrutura simples • Baixo custo de operação • Flexível • Objetos virtuais super simples • Rastreabilidade e linhagem de dados • Nas seções a seguir, vamos revisar como aproveitar essas capacidades e como superar os possíveis desafios
- 9. 9 Sources Data Virtualization STAGING REPOSITORY Data Caching Sensors EDW Early Discovery Global Local Social Data Platform ODS No SQL Data Products DATA MARTS Cost Based Optimizer Local Data Marts & Consumption External On Cloud On Premisse Custom Catalog Files Data Discovery / Self Service Advanced Analytics DATA GOVERNANCE Dashboards Streaming Batch SQL Estudo de caso – Walmart México Master Catalog
- 10. 10 Estudo de caso – Walmart México Sources Data Virtualization STAGING REPOSITORY Data Caching Master Catalog Sensors EDW Early Discovery Global Local Social Data Platform ODS No SQ L Data Products DATA MARTS Cost Based Optimizer Local Data Marts & Consumption External Located on Cloud Located on Premise Custom Catalog Files Data Discovery / Self Service Advanced Analytics DATA GOVERNANCE Dashboards Streaming Batch SQL Destaques do projeto: • Implementação rápida durante a pandemia • Abordagem não intrusiva • Tempo médio de entrega do pacote reduzido de 3 para 1 dia • Aumento da retenção de clientes • ROI enorme
- 11. Melhores Práticas e Desafios 11
- 12. 12 12 A Receita Básica 1. Conecte diversas fontes a tecnologias abstratas • Todos os dados podem ser vistos como tabelas no Denodo não importa a fonte. 2. Adicionar metadados adicionais • Metadados técnicos: Chaves, estatísticas • Metadados de negócios: Descrições, tags, etc. 3. Definir relacionamento entre tabelas e pontos de vista, especialmente entre as fontes, simplificar também a navegação • Chave para ativar o self-service e simplificar as análises 4. Criar visões orientadas para os negócios (fonte única ou federada) • Fornecer acesso direto a métricas e conjuntos de dados comuns 5. Defina privilégios de segurança e acesso 6. Ajuste as configurações de execução para se adaptar às seus SLA • Mais sobre isso nos próximos slides
- 13. 13 13 Desafios • Então tudo é simples assim? • Quais são os desafios mais comuns que você pode ter que lidar: 1. Impacto nas fontes de dados operacionais 2. Consultas não são rápidas o suficiente • As fontes são lentas ou não construídas para esta carga de trabalho • Grandes volumes de dados
- 14. 14 14 Gerenciar o impacto nas fontes de dados • Algumas fontes de dados são "delicadas" e não podem lidar com cargas de trabalho adicionais • Felizmente, Denodo permite controlar a carga enviada aos sistemas de origem • O impacto nas fontes pode ser gerenciado em vários níveis 1. Data Sources • Pools de conexão permitem limitar o número máximo de solicitações simultâneas 2. Data models • Pode impor filtros e outras operações • Os parâmetros de exibição do Denodo permitem a personalização dos filtros, ao mesmo tempo em que reforçam sua presença (por exemplo, filtro por ID é obrigatório) 3. Resource manager • Regras específicas (por exemplo, para uma função, uma hora do dia, uma tabela específica, etc.) que aplicam restrições à execução • Ex: Timeout, Limite máximo de consultas, cotas (10 consultas por hora), etc..
- 15. 15 15 Gerenciar o desempenho • O gargalo mais comum neste tipo de consultas de análise em tempo real é o desempenho da própria fonte • Por exemplo, dados externos via APIs, mainframes, bancos de dados de aplicativos saturados. • Como podemos fazer uma fonte mais rápido? • A única opção é Cache • Mas sem cache, não estamos perdendo a essência do tempo real? • Existe alguma maneira de misturar o tempo real e o cache para tirar vantagem de ambos os mundos?
- 16. 16 16 Consultas incrementais em tempo real merge Customers changed / added since 1:00AM CACHE Customers updated at 1:00AM
- 17. 17 17 Microexecuções 1. Recupera conteúdo modificado desde a última data de atualização 2. Mescla delta com conteúdo existente 3. Os dados modificados são detectados e atualizados automaticamente via chave primária (PK)
- 18. Conclusões 18
- 19. 19 Conclusões • A análise em tempo real é uma ferramenta muito importante para otimizar processos de negócios usando dados • Existem várias tecnologias que permitem implementar essas ideias: CDC, Streaming, etc. • A virtualização de dados oferece uma abordagem muito flexível e econômica para análises em tempo real • Sem infraestrutura e processos adicionais caros, a Denodo oferece uma janela para estender suas análises tradicionais com dados em tempo real • Desafios comuns como impacto em fontes e desempenho são facilmente endereçadas •
- 20. Q&A
- 21. 21 Next Steps Access Denodo Platform in the Cloud! Take a Test Drive today! www.denodo.com/TestDrive GET STARTED TODAY
- 22. Thank you! © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.