Robson Motta - Computer on the beach 2014
0 gostou253 visualizações
O documento aborda como a Chaordic utiliza big data e MapReduce para processar mais de 200 milhões de page views mensais e 700 milhões de recomendações diárias, enfrentando desafios relacionados a armazenamento, processamento e visualização de dados. Discute a arquitetura necessária para gerenciar eventos e recomendações, e apresenta soluções para problemas como a consistência de dados e a sazonalidade. O futuro da empresa inclui inovações em processamento de big data em memória com ferramentas como Shark.
![Data
A - B
Cadeira - D
Cadeira - E
Cadeira - E
F - A
Map
A, (B, F)
B, (A)
Cadeira, (D, E, E)
D, (Cadeira)
E, (Cadeira,Cadeira)
F, (A)
Reduce
A, [B, F]
B, [A]
Cadeira, [E, D]
D, [Cadeira]
E, [Cadeira]
F, [A]
Como
processar?](https://image.slidesharecdn.com/robsonmotta-computeronthebeach-150829141028-lva1-app6891/85/Robson-Motta-Computer-on-the-beach-2014-25-320.jpg)
Robson Motta - Computer on the beach 2014
- 1. Robson Motta | robson@chaordic.com.br Big Data e MapReduce Admirável mundo novo
- 3. Mais de 200 milhões page views mensais
- 5. 3 bilhões de visitas em produtos
- 6. 700 milhões de recomendações geradas diariamente
- 10. Como monitorar?
- 11. Sumário • A Chaordic • Chaordic + Big Data + Cloud • Dos eventos às recomendações • A vida não é bela: surgem os desafios • Visualizando e monitorando • Futuro?
- 16. +
- 17. • Volume • Velocidade • Variedade
- 18. quantidade de dados tempo de processamento 2010 16 M eventos 3 dias
- 19. quantidade de dados tempo de processamento 2010 2014 16 M eventos 4500 M eventos3 dias
- 20. quantidade de dados tempo de processamento 2010 2014 16 M eventos 4500 M eventos3 dias 7 horas
- 22. Como armazenar? Node 1 Node 3 Node 2Node... "Batch" Cassandra Cluster Availability Zone - 2 Node 1 Node 3 Node 2Node... "Online" Cassandra Cluster Availability Zone - 1 Online Service Tier Batch Service Tier
- 23. Como processar? MapReduce Um novo paradigma que permite e facilita a implementação de algoritmos distribuídos
- 24. Data Robson Motta Raul Seixas Ed Motta Reginaldo Rossi Nelson Mandela Valentino Rossi Map Motta, 1 Seixas, 1 Motta, 1 Rossi, 1 Mandela, 1 Rossi, 1 Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Reduce Mandela, (1) Motta, (1, 1) Rossi, (1, 1) Seixas, (1) Mandela, 1 Motta, 2 Rossi, 2 Seixas, 1 Como processar?
- 25. Data A - B Cadeira - D Cadeira - E Cadeira - E F - A Map A, (B, F) B, (A) Cadeira, (D, E, E) D, (Cadeira) E, (Cadeira,Cadeira) F, (A) Reduce A, [B, F] B, [A] Cadeira, [E, D] D, [Cadeira] E, [Cadeira] F, [A] Como processar?
- 26. Hadoop: HDFS e Hadoop MapReduce • Escalável • Custo reduzido • Flexível • Tolerante a falha Como processar?
- 29. recomendações eventos pré processamento processamento pós processamento ● produtos vistos ● cliques ● pedidos etc.
- 30. • Itens muito populares • Eventos inesperados • Clientes diferentes • Sazonalidade • Ausência de eventos Desafios
- 31. Desafios
- 32. Desafios R$ 270,81 Usuário entrou na página para comprar a boneca... ...e sugerimos que ele levasse junto um pneu
- 47. Promoção de pneu no dia das crianças Desafios +
- 49. Visualizar e monitorar • Consultas em bases não relacionais • Acompanhamento de desempenho • Visualização de logs • Acompanhamento de custos
- 50. Visualizar
- 53. KINESIS STORM Real Time Big Data Processing Futuro
- 54. SHARK In Memory Big Data Processing Futuro
- 56. /chaordic.com.br