Treinamento Hadoop - dia2
6 gostaram1,763 visualizações
O documento resume uma apresentação sobre treinamento Hadoop. Ele discute MapReduce e como foi introduzido pelo Google para processar grandes volumes de dados em paralelo. Também explica o conceito de sistema de arquivos distribuídos do Google (GFS) e como MapReduce e GFS juntos permitem processamento escalável, econômico e confiável de dados.
Treinamento Hadoop - dia2
- 2. Alexandre Uehara ● Analista Desenvolvedor (E-commerce) ● Coordenador Trilha Big Data (TDC 2013) http://www.thedevelopersconference.com. br/tdc/2013/saopaulo/trilha-bigdata#programacao ● Geek e nerd, trabalha com Python, Java, C, BigData, NoSQL, e outras coisas mais que aparecem no dia a dia
- 4. Dia 2!!!
- 5. Dia 1: Introdução Conceitos Básicos Big Data → O que é? → 4 V's → Por que agora? → Onde Usar? → Desafio → BI x Big Data →Profissional de Big Data → Ferramentas → Dicas
- 6. Dia 2 e 3: Map Reduce e Hadoop → História (Google) → Conceito MapReduce → Hadoop → Cases
- 7. Dia 4 Outras Ferramentas → Ecossistema → Ferramentas → Distribuições Hadoop → Hadoop na Nuvem → NoSQL Tipos → NoSQL Exemplos → Data Science → Machine Learning
- 8. Dia 5, 6 e 7 Hands-on → Pyhton → Hadoop
- 10. Antes disso...
- 11. Antes disso... lembram o quer era Big Data?
- 12. Antes disso... lembram o quer era Big Data? CONCEITO!!!
- 18. lembram o quer era Big Data? Agora que entedemos que é um CONCEITO, vamos ver a FERRAMENTA Antes disso...
- 20. Mas o que é?
- 21. Map Reduce
- 22. Map Reduce Hadoop é baseado no modelo de programação MapReduce
- 23. "MapReduce é um modelo de programação desenhado para processar grandes volumes de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes." http://en.wikipedia.org/wiki/MapReduce
- 24. Map Reduce Vem da onde?
- 29. Map Reduce ● Não inventou, apenas implementou ● Mas, "definiu" / "padronizou" algorítimo e arquitetura
- 30. Map Reduce ● paradigma de programação para processar e analisar grandes conjuntos de dados
- 31. Map Reduce ● Processamento tolerante a falha e fácil abstração ● Facilidade de escalar ● Decompõe tudo em Pares - chave : valor ● Depois sumariza os resultados
- 32. Map Reduce FileSystem Map Reduce
- 33. Map Reduce Google FileSystem Google Map Reduce
- 34. Map Reduce
- 35. Map Reduce
- 36. Map Reduce Inspirado pelas funções map e reduce usadas em programação funcional.
- 37. Map Reduce "Programação funcional é um paradigma de programação que trata a computação como uma avaliação de funções matemáticas e que evita estados ou dados mutáveis. Ela enfatiza a aplicação de funções, em contraste da programação imperativa, que enfatiza mudanças no estado do programa" Wikipedia - http://pt.wikipedia.org/wiki/Programa%C3%A7%C3%A3o_funcional Exemplos de linguagem: ● Lisp ● Haskell ● Scala
- 38. Map Reduce Se encarrega de toda complexidade de processamento paralelo, e o programador cuida apenas da lógica
- 39. Map Reduce ● Você especifica função map() ● Você especifica função reduce() ● O framework cuida do restante
- 40. Map Reduce Lembra o que era Map / Mapa?
- 42. Map Reduce ● Duas fases: Map Reduce ● Entre MapReduce : shuffle e sort
- 43. Map Reduce
- 45. No Linux seria mais ou menos: cat /my/log | grep '*.*. html' | sort | uniq -c > /output -file
- 47. Outros Map Reduce ● Hadoop http://hadoop.apache.org/ ● Twister http://www.iterativemapreduce.org/ ● Phoenix http://mapreduce.stanford.edu/ ● FileMap http://mfisk.github.io/filemap/
- 48. Map Reduce ● Modelo Simples de programação ● Sistema de arquivos distribuidos com gerenciamento de tarefas
- 49. Map Reduce ● Gerenciamento de cluster ● Excelente em processamento em batch ● Não é feito para processos online
- 51. Google Filesystem (GFS) ● Sistema de arquivos distribuídos otimizados para atuar em dados não estruturados ● Necessário pois os arquivos pode começar a tornar grandes demais para serem armazenados em apenas uma máquina
- 53. Google Filesystem (GFS) ● Tolerancia a falhas (se falhar um nó, automaticamente replica para outro) ● Suporte a falha parcial ● Suporte a recuperação de dados ● Suporte a recuperação individual de nós
- 54. Google Filesystem (GFS) ● Consistência ● Escalável (pode aumentar / diminuir sem afetar a aplicação) ● Milhares de nós ● Processamento paralelo ● Nós independentes
- 55. Map Reduce + GFS Ou seja: ● Escalável ● Econômico ● Eficiente ● Confiável
- 56. Map Reduce Exemplo "Word Count"