TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - BI sobre big data - Como fazer?

BI Sobre Big Data – Como Fazer?
Leandro Mendes Ferreira

INTRODUÇÃO E CONTEXTUALIZAÇÃO
AGENDA
01
02
03
04
O QUE NÃO FAZER
O QUE FAZER
COMO FAZER

Quem sou eu?
• Formado em Processamento de Dados pela
FATEC Sorocaba
• MBA em BI pela FIAP
• Mestrando pela Politécnica - USP
• Especialista em Sistemas – Big Data na everis
• Trabalho com Big Data a Cerca de 3 anos
• Certificado Apache Cassandra Developer

• A everis, uma empresa do grupo NTT DATA
• Atualmente tem 13.000 profissionais em 14 países
Linhas de Negócios:
• Consultoria de negócios
• Serviços de tecnologia da informação
• Outsourcing
• Business Process Outsourcing (BPO)
• Soluções SAP
• Iniciativas & Inovação
O que é a everis?

INTRODUÇÃO E CONTEXTUALIZAÇÃO01
02
03
04
O QUE NÃO FAZER
O QUE FAZER
COMO FAZER

INTRODUÇÃO
É possível criar um ambiente de analytics sobre a arquitetura
tradicional de BI com ferramentas de Big Data? Como fazer isso?

Porquê BI Sobre Big Data?
1000x poder de processamento com 10% do custo
Vantagens
• Menor custo de ETL
• Redução com custos em hardware específicos
• Redução de custos com de licenciamento em visualização de dados ***
• Disponibilizar informações em tempo real sem custos adicionais
• Projetos de BI sobre arquitetura de Big Data são de desenvolvimento mais rápido
do que em arquitetura tradicionais

Arquitetura Padrão de Projeto de BI
DATA SOURCE INTEGRAÇÃO - ETL DATA WAREHOUSE
VISUALIZAÇÃO DE
DADOS

A “solução” para projetos de BI em Big Data
DATA SOURCE INTEGRAÇÃO - ETL DATA WAREHOUSE
VISUALIZAÇÃO DE
DADOS

Contexto através do tempo
BI sobre o ecossistema de Big Data
• 2014/2015 – Era necessário convencer as pessoas
que não valia mais a penas usar banco de dados
relacionais para fazer BI
• 2017 – Estamos convencendo as pessoas a não
fazerem da maneira ERRADA!

Perguntas básicas a serem feitas
Tendo em vista o início de um projeto de BI em ambiente de
Big Data:
• Quais ferramentas podem ser utilizados e como?
• A modelagem de dados é a mesma?
• Kimball e Imon ainda valem?
• Fazemos a mesma ETL?
• Visualizamos do mesmo jeito os dados?
• Quais são a possibilidades que podemos alcançar com o novo paradigma?

ETL
Faça ingestão dos dados, não faça ETL
Por que?
• Complexidade de projeto
• Não existe mais restrição de armazenamento de dados
“no mundo ideal”
• Seu cientista de dados talvez precisa dessa informação
que seria deixada para trás
• O cliente sempre gosta de “trazer tudo”

Star Schema
Faça ingestão dos dados, não faça ETL
Por que?
• Relacionamentos são custosos
• Processamento é mais caro que armazenamento
• Esperar um processamento é mais caro ainda
• Quanto mais junções mais lento será sua consutla

Planilhas de Excel
Você já deveria não estar fazendo isso
Por que?
• Você já sabe o Porquê.

Consultas Ad-hoc sobre 1 bilhão de linhas
Hive/Impala não são bancos de dados.
Por que?
• Operações de Mapreduce são custosas
• É irreal acreditar que consultas dessa magnitude
serão respondidas em milesegundos

Opinião pessoal!!!!
Não use Hadoop para dados estruturados!

Questões relevantes
Tendo em vista o início de um projeto de BI em ambiente de
Big Data:
• Quais ferramentas podem ser utilizados e como? (ARQUITETURA)
• A modelagem de dados é a mesma? (MODELAGEM)
• Kimball e Imon ainda valem?
• Fazemos a mesma ETL? (INTEGRAÇÃO)
• Visualizamos do mesmo jeito os dados? (VISUALIZAÇÃO)
• Quais são a possibilidades que podemos alcançar com o novo paradigma? (PROCESSOS)

Data WarehouseIngestion
Processing Memory Layer
Data Lake Star Tables
Transformation Processing Sandbox Area
Dashboard Ad-Hoc
Presentation Layer
OLAP
Uma proposta de arquitetura

Quais ferramentas Posso Usar
Integração
• Flume/Sqoop
• NIFI
• Cask Data Application Platform (Hydrator)
• KNIME Spark Executor
• Streamsets

Process Memory Layer
Data Warehouse
• Apache Drill
• Apache Phonix
• Apache Ignite
• Impala
• PrestoDB
Processadores
• Storm/Flink/Sanza
• KafkaStream
• Datatorrent
• Spark

Visualização
• Pentho
• Redash
• Superset

Modelagem
Star Schema Star Table

Use um NoSQL Colunar
Cassandra + PrestoDB
• Slow Change Dimension
• Não é problema com Cassandra
• Vantagens de compactação
• Simplificação
• Segurança http://pt.slideshare.net/doanduyhai/spark-cassandra-connector-api-best-practices-and-usecases

Se for usar Hive
Use ORC + Snappy + Transactions + Streaming Data Ingest
1. The following settings are required in hive-site.xml to enable ACID support for streaming:
2. “stored as orc” must be specified during table creation.
3. tblproperties("transactional"="true") must be set on the table during creation.
4. The Hive table must be bucketed, but not sorted.
https://cwiki.apache.org/confluence/display/Hive/Streaming+Data+Ingest

Pense nas partições e na clusterização
• Garante a distribuição dos dados
• Evolui no modelo
• Aumenta a performance
Performance aprimorada exponencialmente
só pensando nisso

DDL (Hive e Cassandra com Cluster e Partition)
CASSANDRA
CREATE TABLE table_name (
dt timestamp,
country text,
id int,
name text,
PRIMARY KEY ((country, dt),id)
)
WITH CLUSTERING ORDER BY (id
DESC);
HIVE
CREATE TABLE table_name (
id int,
name string
)
PARTITIONED BY(dt STRING, country
STRING)
CLUSTERED BY (id) INTO 2 BUCKETS
STORED AS ORC
TBLPROPERTIES ("transactional"="true)

Thanks, we are
delighted to have the
opportunity to
transform with you

TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - BI sobre big data - Como fazer?

Mais conteúdo relacionado

Semelhante a TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - BI sobre big data - Como fazer? (20)

Mais de tdc-globalcode (20)

Último (20)

TDC2017 | São Paulo - Trilha BigData How we figured out we had a SRE team at - BI sobre big data - Como fazer?