5 motivos para adotar o Event-Driven com Kafka

TECHROM TECNOLOGIA

5 Motivos para você adotar o Event-Driven
Data Streaming com Kafka

A Techrom é a primeira startup no Brasil especializada em data streaming com base na tecnologia Kafka

Introdução
Estamos iniciando uma nova década com a perspectiva de que o volume de dados aumentará
exponencialmente, principalmente com a evolução do 5G e a proliferação dos sensores
inteligentes (IoT).
Com base no estudo feito pela consultoria americana McKinsey, o IoT deverá adicionar US$
200 Bilhões em ganhos para a economia brasileiro em 2025.

A última década foi marcada fortemente pelos temas SMACIT (Social, Mobile, Analytics, Cloud
e Internet of Things), assim como o amadurecimento da Inteligência Artificial, BlockChain,
impressão 3D entre outras tecnologias.
Influenciado pelo SMACIT, o tema de transformação digital tem estado na agenda dos
principais executivos das grandes corporações, com os propósitos de estruturar a maneira
com as empresas utilizam os dados gerados, criar novos modelos de negócios, trabalhar a
base de clientes, usar novas ferramentas como BOT, melhorar a eficiência da operação do
negócio, montar sala de desempenho exibindo alguns indicadores em tempo real entre outros
objetivos.

2 A Techrom é a primeira startup no Brasil especializada em data streaming com base na tecnologia Kafka

Para os próximos anos, a empresa de pesquisa americana Gartner prevê que os temas abaixo
instigarão o uso do Event-Driven:
● Data Fabric : Geração de valor com o enriquecimento do dado bruto, utilização um
pipeline inteligente, reprocessamento dos dados e a possibilidade de conectar com
outras ferramentas para análises além da troca de informações entre empresas
parceiras;
● Multiexperiência: Com o aprimoramento das tecnologias realidade aumentada (AR),
realidade virtual (VR), plataforma conversacional, robotização e futuras tecnologias que
surgirão, a qualidade dos dados será essencial para a utilização destas tecnologias
impactando na interação do usuário com esses recursos;
● Persistência dos dados: Com a tendência de crescimento do volume de dados e a
necessidade cada vez maior de reuso e reprocessamento, a persistência se torna
fundamental para que as empresas possam ter a flexibilidade de trabalhar com as
informações.


Motivações para o uso do Event-Driven
A arquitetura de event-driven vem ganhando cada vez mais adeptos à adoção nas empresas
globais e brasileiras com base na tecnologia Kafka.
Destacam-se 5 motivos para a adoção do Event-Driven:
★ Mudança da arquitetura de dados para eventos: Tendo em vista a dinâmica do
mundo atual, ter uma arquitetura voltada para event-driven que permite compreender o
contexto, antecipar os possíveis novos eventos dos usuários, processar e reprocessar
dados no menor tempo possível, ter a persistência dos dados para consultas e
trabalhar com diversos tipos de dados (estruturados e não estruturados), é fundamental
para acompanhar as mutações do negócio. Manter uma arquitetura no modelo
request-driven cuja atuação é passiva, complexa e onerosa, prejudicará a empresa na
tomada de decisão tardia. Um exemplo de empresa que adotou esse formato é o Royal
Bank of Canada, que usou a tecnologia Kafka em parceria com a empresa americana
Confluent, para melhorar a experiência dos clientes e reduzir o custo da área de
tecnologia.


★ Processamento de dados instantâneo: A necessidade de captar e processar os
dados em streaming tem crescimento principalmente num cenário de mudanças cada
vez mais rápidas ( concorrência, preferências dos consumidores, econômicas, etc.).
Tecnologias que realizam o processamento em lotes (batch) estão sendo repensadas
ou substituídas por tecnologias como o Kafka, que processam de forma contínua e
instantânea. Um exemplo de uso é na detecção de ataques na rede ou de fraudes,
onde é imprescindível a identificação de comportamentos suspeitos que fogem do
padrão. Outro exemplo é no modelo omnichannel, em que o varejista precisa realizar a
atualização instantânea do estoque para não perder a venda, ou gerar uma experiência
ruim para o consumidor. Uma referência de uso é a Target, para a atualização do
inventários das suas lojas.


★ Datahub de eventos: É crucial a criação de um hub único, eliminando as ilhas de
dados (silos) e aprimorando a geração de valor dos dados dentro das empresas. Mais
do que nunca, a centralização dos dados é imperativo para que o time executivo possa
acessar, analisar e extrair informações úteis para o negócio. Além disso, para o uso de
ferramentas como bot e machine learning, os dados são o insumo básico para o uso
pleno destas tecnologias. Um exemplo é a Bayer, com a criação de um datahub global
usando o Kafka como o componente central.


★ Conexão com o legado: A evolução do uso do processamento em nuvem
(cloud-computing) tem evoluído ao redor do mundo, e as empresas tradicionais
precisam lidar com os dados que estão nos sistemas legados o que torna complexa a
gestão do ambiente tecnológico. Neste cenário, obter ferramentas que possam fazer a
gestão dos ambientes híbridos, como também transferir e utilizar os dados de maneira
simples e flexível, traz vantagens relevantes para a empresa. Um exemplo de uso é o
processamento de uma transação de uma loja on-line que ocorre na nuvem mas que
precisa fazer uma validação do cadastro do usuário numa base que está no legado
(on-premises). Uma ferramenta que pode auxiliar neste caso é o Replicator, da
empresa americana Confluent, que permite movimentar os dados de forma rápida e
fácil.


★ Transformação e enriquecimento de dados: Ter uma tubulação de dados (pipeline)
sem a inteligência necessária para realizar cálculos rápidos, agregar informações de
tabelas de dados diferentes ou fazer o enriquecimento de dados, pode implicar em
perda de oportunidade de mercado (time-to-market), produtividade do time interno e
de possíveis erros nas métricas. A automatização do processo de manipulação dos
dados ganhará força nas empresas para reduzir o trabalho manual e obter os
resultados de forma rápida. O recurso KsqlDB, que é a ferramenta de transformação de
dados voltado para o Kafka, permite realizar o enriquecimento de base de dados (ex.:
acrescentar os 4 últimos números do CPF do usuário) em uma tabela dinâmica para
avaliar o potencial de comprar de um determinado segmento de consumidores em
streaming. Um exemplo de empresa que usa é a Ticketmaster que usa para realizar
transformações dos dados em tempo real.


Metamorfose mercadológica
No último livro lançado pelo Peter Diamandis ( The Future is Faster Than you Think) relata a
rápida transformação que o mundo e os negócios estão passando principalmente pela
evolução tecnológica (poder computacional, machine learning, robotização, carros autônomos,
etc.) que houve nos últimos anos e que a tendência será uma metamorfose mais acelerada e
intensa para os próximos anos.
Paradoxalmente, grande partes das empresas ainda precisam resolver problemas básicos
como integração de várias fontes de dados, eliminação dos silos, simplificação da conexão
com outros sistemas, obtenção de métricas confiáveis para a tomada de decisão, governança
do ambiente tecnológico entre outros pontos, para poder utilizar as novas tecnologias
explorando todo o seu potencial.
A quebra de paradigma será mandatória para aproveitar as futuras oportunidades e os dados
serão a peça chave para a era digital.


Referências:
Event-Driven 2.0 :
https://www.confluent.de/blog/event-driven-2-0/
Gartner Identifies the Top 10 Strategic Technology Trends for 2020:
https://www.gartner.com/en/newsroom/press-releases/2019-10-21-gartner-identifies-the-top-10-strateg
ic-technology-trends-for-2020
Gartner Top 10 Data and Analytics Trends :
https://www.gartner.com/smarterwithgartner/gartner-top-10-data-analytics-trends/
Gartner The 5 Steps Toward Pervasive Event-Driven Architecture :
https://www.gartner.com/doc/reprints?first_name=ROm&last_name=cesar&work_email=rom%40techro
m.co&company=Techrom&job_title=Founder&country=Brazil&Email_OptIn=true&id=1-1DUXVP4V&ct=19
0710&st=sb
Mckinsey - Brazil 2020 Opportunity Tree:
https://www.mckinsey.com.br/our-insights/brazil-2020-opportunity-tree
Case Bayer:
https://www.confluent.io/kafka-summit-sf18/bringing-streaming-data-to-the-masses
Case Target:
https://www.confluent.io/kafka-summit-nyc17/simplifying-omni-channel-retail-at-scale/inv/
Streaming in the Clouds: Where to Start:
https://www.confluent.io/blog/streaming-in-the-clouds-where-to-start
Case Royal Bank of Canada:
https://www.confluent.io/customers/rbc/
Case Ticketmaster:
https://www.confluent.io/online-talks/an-intro-to-ksql-and-kafka-streams-processing-with-ticketmaster/


5 motivos para adotar o Event-Driven com Kafka

Mais conteúdo relacionado

Mais procurados (20)

Semelhante a 5 motivos para adotar o Event-Driven com Kafka (20)

Mais de Techrom Tecnologia (8)

Último (11)

5 motivos para adotar o Event-Driven com Kafka