VTEX @ Splunk Live! São Paulo
1 gostou713 visualizações
O documento discute como a VTEX usa o Splunk para coletar e analisar logs, métricas e dados de máquinas para monitoramento e fornecer insights de negócios aos clientes. Antes do Splunk, a VTEX enfrentava desafios para centralizar e analisar grandes volumes de dados gerados. O Splunk permitiu a criação de um ambiente centralizado para logs e o desenvolvimento de aplicativos para análises específicas.
VTEX @ Splunk Live! São Paulo
- 1. Copyright © 2014 Splunk Inc. The answer is always 42 Dos logs aos negócios Fábio Caldas – Senior SoBware Engineer na VTEX
- 2. 2 Agenda ! Sobre a VTEX ! Desafios iniciais ! Usando Splunk – Log, Métrica, Dados de máquina ! Monitoramentos – Máquinas, Aplicações, Negócios ! VTEX AnalyTcs -‐ Fornecendo aos nossos clientes visão de negócios
- 3. • A 3 VTEX é líder em tecnologia para e-‐commerce e pioneira na comercialização de soBware como serviço (SaaS) no Brasil. Suas soluções atendem lojas virtuais independente do volume de clientes e do segmento de negócio, tudo com selo PCI CerTfied ! Mais de 700 clientes aTvos, 10 países, 200 funcionários, 110 desenvolvedores ! 300 milhões de requests/dia entre sistemas (95% < 200ms) ! 1.7k de métricas por segundo / 200 logs por segundo
- 4. 4 Fábio Caldas ! Formado em Ciências da Computação – Turma 2005 UCP ! Programador .Net C# apaixonado ! Minha definição em uma frase “Problem Killer” ! Nunca gostei de banco de dados !! NUNCA !!
- 5. 5 Realidade vs Necessidade Hardware Dados de negócios Logs Métricas Aumento de Conversão IdenTficação de anormalidades Uma mãozinha com os futuros indicadores Análises Departamentais
- 6. 6 Antes do Splunk ! Como poderiamos logar dados do RequestCapture? – Necessitavamos logar todo o stream de navegação dos usuários pelas páginas dos clientes ! Como criar um ambiente central para todos os logs da empresa? – Centralizar logs de 14 novas aplicações que estavam sendo desenvolvidas
- 7. 7 Antes do Splunk ! Foram múlTplas as tentaTvas – Cassandra: Realmente eficiente e rápido na escrita de dados, óTma arquitetura, porém todo o trabalho de idenTficação/análise dos dados precisava ser criado – Solr/ElasBcSearch: Foram rapidamente Trado de questão devido a necessidade de schema, ajustes finos para indexação dependiam do volume de dados gerados. – Graylog: ÓTmo centralizador de logs mas UI extramente simplista – Splunk: Possui todas as caracterisTcas desejadas porém com um preço
- 8. 8 Splunk Enterprise at VTEX Splunk server -‐ Datastore Splunk search Splunk Heavy Forwarder Splunk server -‐ Datastore Forwarder-‐ Linux Forwarder-‐ Linux Forwarder-‐ Windows Forwarder-‐ Windows
- 9. 9 Depois do Splunk ! Exemplos de Logs, Métricas e Dados de máquinas
- 10. 10 EstawsTcas do Splunk ! Parque de 6 máquinas (1 Deployment, 2 Heavy-‐Forwarders, 2 Indexes redundantes, 1 Search) rodando 30 Splunk Apps ! Cada Splunk app é desenvolvida pelo Tme que está criando o soBware/ serviço
- 11. 11 Parque de Apps
- 12. 12 Machine Metrics Dashboard
- 13. 13 Metrics Sample Dashboard Monitoramento do DynamicStorage
- 14. 14 VTEX AnalyTcs
- 15. 15 What’s Next ! SimpleDb WebHook – Decidimos dar ao nossos clientes seus dados de volta através de Hooks Hyp configuráveis – Devolver dados de pedidos, catálogo, sessões de navegação, etc ! VTEX AnalyTcs – Finaliza-‐lo para disponibilizarmos ao cliente VTEX um conjunto de KPIs e dashboards de forma a auxilia-‐los no acompanhamento de seus negócios.
- 16. 16 Top Takeaways / Depois do Splunk ! Converse com todos os departamentos, todos precisam de bons dados pra terem sucesso ! Todos (todos mesmo) devem ver o Splunk como uma ferramenta auxiliar, porque pivotar no excel se é possível no Splunk ! ConTnue a inovar …
- 17. That's all folks 17