Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecnologia
0 gostou189 visualizações
O documento discute como a Internet das Coisas (IoT) e Big Data irão mudar a forma como lidamos com a tecnologia, mencionando como essas tecnologias estão relacionadas à Indústria 4.0 e apresentando breves explicações sobre MapReduce, Hadoop e Spark.
Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecnologia
- 1. Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecnologia
- 2. 2 Sobre... Vinícius Aires Barros Ciência da Computação 2016 - UFT Mestrando em Ciência da Computação - ICMC USP Laboratório de Sistemas Distribuídos e Programação Concorrente - LaSDPC Áreas de Interesse: IoT, Distributed Systems, Big Data (...) GitHub: @v4ires Website: http://viniciusaires.me E-mail: v4ires@gmail.com
- 3. Contextualização ● Big Data (5V’s) ○ Volume ○ Variedade ○ Velocidade ○ Veracidade ○ Valor ● Internet das Coisas (IoT) ● Grandes Volumes de Dados ● Programação Distribuída e Paralela ● Dados Estruturados, Não Estruturados e Semiestruturados ● Bancos de Dados SQL e NoSQL ● MapReduce ● Apache Hadoop, Spark, etc. 3
- 4. 1. Indústria 4.0 Sistemas Ciber Físicos, Internet das Coisas e Computação em Nuvem
- 5. “Indústria 4.0 ou Quarta Revolução Industrial é uma expressão que engloba algumas tecnologias para automação e troca de dados e utiliza conceitos de Sistemas ciber-físicos, Internet das Coisas e Computação em Nuvem. 5
- 7. Internet das Coisas (IoT) IoT refere-se à uma nova abordagem sobre a interconexão de coisas, tecnologias e objetos, através da Internet. Essa abordagem proporcionou ao longo do tempo a criação da rede global de dispositivos. 7
- 8. Google Trends (IoT vs Big Data) 8 Total de Pesquisas Realizadas no Google em Relação a IoT e Big Data (Fonte: Google Trends).
- 9. Expectativas (IoT) 9 Expectativa de Crescimento da IoT.
- 10. Caso de Usos ▪ Cidades Inteligentes ▪ Casas Inteligentes ▪ Hospitais Inteligentes ▪ Smart Everything 10
- 11. Dispositivos 11
- 12. Protocolos de Comunicação ▪ HTTP: Hypertext Transfer Protocol; ▪ MQTT: Message Queuing Telemetry Transport; ▪ CoAP: Constrained Application Protocol. 12
- 13. Ferramentas 13
- 14. Desafios ▪ Escalabilidade ▪ Interoperabilidade ▪ Segurança ▪ Aquisição de Dados ▪ Armazenamento 14
- 15. 2. Big Data Sinônimo de grande volume de dados?
- 16. “Big Data é definido como um conjunto de dados estruturados ou não estruturados que não puderam ser percebidos, adquiridos, gerenciados e processados pelos modelos tradicionais de hardware e software. 16
- 17. MapReduce 17
- 18. Casos de Uso ▪ Sistemas de Recomendação ▪ Aprendizagem de Máquina ▪ Processamento de Imagens ▪ Mineração de Dados ▪ etc... 18
- 19. Ferramentas 19
- 20. Desafios ▪ Escalabilidade ▪ Dados Complexos ▪ Interoperabilidade ▪ Latência ▪ Velocidade de Escrita em Disco e de RAM ▪ etc... 20
- 21. 21 O que é Hadoop?
- 22. O que é o Hadoop? O Apache Hadoop é um software de código aberto mantido pela Apache Foundation que tem como propósito fornecer uma implementação livre do modelo de programação MapReduce. 22
- 23. Hadoop Timeline 23 Nutch Hadoop (Nutch sub-project) Hadoop 3.0.0 2002 MapReduce 2003 Google File System (GFS) 2004 2006 2017 Hadoop 2.2 2010
- 24. Características 24 ❏ Implementação em Java ❏ Arquitetura Mestre Escravo (Master/Slave) ❏ Modelo de Programação MapReduce ❏ Hadoop Distributed File System (HDFS) ❏ Memória Secundária (Disco) ❏ Processamento Distribuído ❏ Escalável ❏ Tolerante a Falhas
- 25. O que não é? 25 ❏ Linguagem de Programação ❏ Biblioteca de Aprendizagem de Máquina ❏ Processamento em Tempo Real ❏ Solução Definitiva ❏ Hadoop ≠ Spark
- 26. Hadoop Distributed File System (HDFS) 26
- 27. Configuração 27 Single Node Multi Node Documentação Oficial: http://hadoop.apache.org/ CMD’s Básicos
- 29. 29 O que é Spark?
- 30. O que é o Spark? O Apache Spark é um software de código aberto mantido pela Apache Foundation que tem como propósito fornecer uma implementação livre e melhorada do modelo de programação MapReduce. 30
- 31. Spark Timeline 31 UC Berkeley Lab Spark se torna um projeto Top Level da Apache 2009 Open Source 2010 Projeto da Fundação Apache 2013 2014 Spark 2.2.1 2017
- 32. Características 32 ❏ Implementação em Scala ❏ Arquitetura Mestre Escravo (Master/Slave) ❏ Modelo de Programação MapReduce ❏ Resilient Distributed Dataset (RDD) ❏ Memória Principal (RAM) ❏ Processamento Distribuído ❏ Processamento em Tempo Real ❏ Escalável ❏ Tolerante a Falhas ❏ Integração com HDFS
- 33. O que não é? 33 ❏ Linguagem de Programação ❏ Solução Definitiva ❏ Substituto do Hadoop
- 35. Resilient Distributed Dataset (RDD) 35
- 36. Quem utiliza? 36
- 38. Word Count 38
- 39. 39