Introdução ao Apache Hadoop
0 gostou269 visualizações
O documento apresenta uma introdução ao Apache Hadoop, um framework de código aberto para processamento e armazenamento distribuídos de grandes volumes de dados. Apresenta o contexto de big data, Internet das Coisas e MapReduce, e define Hadoop como uma implementação do modelo MapReduce que permite processamento escalável e tolerante a falhas em clusters distribuídos.
Introdução ao Apache Hadoop
- 2. Quem sou eu? Vinícius Aires Barros Ciência da Computação 2016 - UFT Mestrando em Ciência da Computação - ICMC USP Laboratório de Sistemas Distribuídos e Programação Concorrente - LaSDPC Áreas de Interesse: IoT, Distributed Systems, Big Data (...) Github: @v4ires Website: http://viniciusaires.me
- 3. Contexto ● Big Data (5V’s) ○ Volume ○ Variedade ○ Velocidade ○ Veracidade ○ Valor ● Internet das Coisas (IoT) ● Grandes Volumes de Dados ● Programação Distribuída e Paralela ● Dados Estruturados, Não Estruturados e Semiestruturados ● Bancos de Dados SQL e NoSQL ● MapReduce ● Apache Hadoop
- 4. Mas Afinal de Contas o que é Hadoop?
- 5. O Apache Hadoop é um software de código aberto mantido pela Apache Foundation que tem como propósito fornecer uma implementação livre do modelo de programação MapReduce.
- 6. Características ❏ Linguagem Java ❏ Arquitetura Mestre Escravo (Master/Slave) ❏ Modelo de Programação MapReduce ❏ Hadoop Distributed File System (HDFS) ❏ Memória Secundária (Disco) ❏ Processamento Distribuído ❏ Escalável ❏ Tolerante a Falhas
- 7. O que não é? ❏ Linguagem de Programação ❏ Biblioteca de Machine Learning ❏ Processamento em Tempo Real ❏ Solução Definitiva para Tudo ❏ Hadoop ≠ Spark
- 8. Timeline Nutch Hadoop (Nutch sub-project) Hadoop 2.9.0 2002 MapReduce 2003 Google File System (GFS) 2004 2006 2017 Hadoop 2.2 2010
- 10. Hadoop Zoo
- 11. Single Node Getting Started Multi Node Documentação Oficial: http://hadoop.apache.org/ CMD’s Básicos
- 13. Arquitetura
- 14. Hadoop Distributed File System (HDFS)
- 15. MapReduce
- 18. Hadoop Streaming ● Suporte a outras Linguagens de Programação; ● Ex: Python, Ruby, JavaScript, C#, outras; ● Qualquer Linguagem de Programação com stdin e stdout.
- 19. Links úteis ❏ http://hadoop.apache.org/ ❏ http://viniciusaires.me/blog/ ❏ https://www.casadocodigo.com.br/products /livro-big-data ❏ https://www.amazon.com.br/Hadoop-Defini tive-Guide-Tom-White/dp/1449311520
- 20. Obrigado! Dúvidas? Contatos: ✘ Twitter: @v4ires ✘ E-mail: v4ires@gmail.com