Alphorm.com Formation Big Data & Hadoop : Le Guide Complet
1 j'aime1,884 vues
La formation sur le big data et Hadoop, animée par Fatma Siala, présente une vue d'ensemble du big data, d'Hadoop et de son écosystème, ainsi que des compétences pratiques pour travailler avec diverses technologies associées. Le cours s'adresse à toute personne souhaitant apprendre à gérer et analyser de grandes quantités de données, en abordant les principes fondamentaux de l'architecture Hadoop, le stockage de données, et les outils d'analyse tels que Hive et Spark. Les participants apprendront à surmonter les défis du big data tout en abordant des cas pratiques et des scénarios d'utilisation concrets.
![Une formation
Quelques commandes HiveQL
Création de base de données
CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name>
hive> CREATE DATABASE [IF NOT EXISTS] userdb;
hive> CREATE SCHEMA userdb;
Lister les base de données
hive> SHOW DATABASES;](https://image.slidesharecdn.com/alphorm-220608212937-a5b6a9cd/85/Alphorm-com-Formation-Big-Data-Hadoop-Le-Guide-Complet-131-320.jpg)
Alphorm.com Formation Big Data & Hadoop : Le Guide Complet
- 1. Formation Big Data & Hadoop Le Guide Complet Une formation Fatma SIALA
- 2. Une formation Introduction 1. Présentation du Big Data 2. Présentation d’Hadoop 3. Eléments de base d’Hadoop 4. Ecosystème d’Hadoop Conclusion Plan
- 3. Plan de l’écosystème Hadoop 1 2 3 4 6 ZEPPELIN 5
- 4. Objectifs Comprendre Hadoop et son périmètre Maîtriser la nouvelle manière de traiter les données Faire de la pratique
- 5. Une formation Public concerné Toutes personnes souhaitant Se lancer dans le Big Data Découvrir l'écosystème d’Hadoop Travailler sur un projet avec plusieurs outils d'Hadoop Consolider des connaissances Hadoop
- 6. Une formation Connaissances requises Avec ou sans connaissance, il est possible de suivre le cours Une connaissance du SQL pourrait être un plus
- 7. Big Data ! C’est quoi ? Le Big Data fait référence au volume énorme de données qui ne peuvent pas être stockées et traitées avec l'approche traditionnelle en un temps précis Gartner
- 9. Avoir un aperçu sur le Big Data Fatma SIALA
- 11. Le déluge continu de données
- 12. Big Data ETS 2017.07 - Philippe Laflamme
- 13. Une formation Pourquoi le Big Data ? Augmentation exponentielle de la quantité de données non structurées Augmentation de la capacité de stockage et d’analyse L’utilisation de plusieurs machines en parallèle devient accessible Les technologies existantes ne sont pas conçues pour ingérer ces données
- 14. Différentes sources Capteurs température, pression… IOT montre connectées, balances, Smartphone.. Autres Gps, email, sms… Messages sur les réseaux sociaux tweet, Posts .. Transaction et logs banque, e-commerce Images, vidéos et sons Instagram, youtube, snapshat,
- 15. Classification de la Big Data Données structurées Données semi-structurées Données non-structurées
- 16. Connaître les enjeux et les défis du Big Data Fatma SIALA
- 17. Importance des données Tirer des conclusions et prise des décisions Automatiser les systèmes et les processus
- 18. Big Data et BD
- 19. Bases de données Big Data
- 20. Optimisation du stockage => optimisation du temps de réponse
- 23. Une formation Big data et analytique : un marché promis à une croissance à deux chiffres Le marché des solutions et services du Big data et de l’analyse de données devrait croître en moyenne de 12,8% par an d’ici 2025 Les investissements mondiaux des entreprises dans les solutions de traitement et analyse avancée de mégadonnées devraient croître de plus 10% Le segment des services devrait attirer plus de la moitié des investissements BDA (Big data & Business Analytics) des organisations Devant le matériel dédié, les logiciels du Big data, devraient peser 82 Md$ https://www.idc.com/
- 24. Connaître les caractéristiques du Big Data Fatma SIALA
- 25. Caractéristiques du Big Data Gartner 2001
- 26. Caractéristiques du Big Data
- 27. Volume Des données non structurées incompatibles avec des bases de données classiques
- 28. Variété Des données non structurées incompatibles avec des bases de données classiques
- 29. Vitesse Être capable de traiter et analyser ce flux continu de données
- 30. Les 5 V
- 31. La valeur Les entreprises qui s'appuient sur leurs données pour générer de la valeur sont les meilleures sur leur marché *Aberdeen:Angling for Insight in Today’s DataLake, MichaelLock, Analytics andBusiness Intelligence,2017
- 32. Découvrir les cas d'usage réels du Big Data Fatma SIALA
- 33. Cas d’usage réels du Big Data
- 35. Énergie Amélioration de la production et distribution d’énergie Transport et distribution Optimisation des trajets et réduction des coûts E-Commerce Amélioration des stocks et de l’expérience Services publics et banques Prédire des tremblements de terre, Lute contre la fraude et abus Sécurité Étude des déplacements de population Santé Traitement
- 36. Produits de Luxe et de grandes consommations Recommandations Découverte
- 37. Défis du Big Data Stockage et gestion d'un el volume de données Traitement et extraction de la valeur de cet énorme volume de données dans un laps de temps prédéfini
- 39. Voir un cas pratique du Big Data Fatma SIALA
- 40. Application du Big Data
- 41. Définir les défis et cerner les technologies mises en jeu Fatma SIALA
- 42. Défis 1 : Stockage des données
- 43. Défis 2 : Traitement des données
- 44. Phases d’un projet Big Data
- 45. Phases d’un projet Big Data
- 46. Profils liés au Big Data Chief Data Officer Data Scientist Data Engineer Big Data Developer Big Data Administrator Chief Data Architect
- 47. Avoir un aperçu sur Hadoop Fatma SIALA
- 48. Introduction Doug Cutting + Mike Cafarella 1997 Projet Lucene 2000 Projet Nutch
- 49. Historique d’Apache Hadoop Google a publié un article en 2003 décrivant un Framework appelant Google File System NDFS En 2004, Google a fait un autre papier contenant la description de la solution Map Reduce HDFS Nutch Distributed File System NDFS HDFS Hadoop Distributed File System
- 50. Apache Hadoop
- 52. Une formation Présentation d’Apache Hadoop Hadoop est un framework open source qui repose sur Java Facilite l'utilisation d'un réseau de plusieurs ordinateurs (cluster) Résout des problèmes de Big Data
- 53. Découvrir l’écosystème d’Hadoop et son utilisation Fatma SIALA
- 55. Versions de Hadoop Hadoop 1.0.0 ( 2011) HDFS (système de fichier distribué) Hadoop 2.0.0 ( 2012) / Hadoop 3.0.0 (2017) HDFS (système de fichier distribué) Map Reduce (Framework de calcul distribué) YARN (gestionnaire de ressources de cluster)
- 56. Découvrir ce qu’on peut faire avec Hadoop
- 57. 1ère fonction : Traitement de type ETL (Extract/Transform/Load)
- 58. 1ère fonction : Traitement de type ETL (Extract/Transform/Load)
- 59. 2ème fonction : Analyse de temps réel
- 60. 3ème fonction : Analyses exploratoires
- 64. H a do op 3.3 : https://hadoop.apache.org/docs/r3.3.0/
- 70. MapR : HP
- 71. Installer Hadoop en pratique Fatma SIALA
- 72. Administrer graphiquement Hadoop avec Ambari Fatma SIALA
- 73. Plan 1 2 3 4 5 6
- 74. L'administration graphique d'Hadoop avec Ambari
- 75. Configurer son cluster avec Ambari Une formation Fatma SIALA
- 76. Connaître HDFS Une formation Fatma SIALA
- 77. Composant 1 : HDFS ZEPPELIN
- 79. Une formation HDFS H : Hadoop Le nom de plate-forme D : Distributed distribué F : File (fichier), créer, copier, renommer, couper des répertoires et fichiers S : System Contrôle la manière dont les données sont stockées et récupérées
- 80. Architecture physique de HDFS
- 81. Architecture logique de HDFS nœud Stocker les données et y accéder comme un seul grand ordinateur Cluster nœud nœud nœud Métadonnées
- 82. Stockage d’un fichier Hadoop client Name Node 1. Créer un fichier $ hadoop fs –put myfile.txt /mydir/ 4. succès 7.DN-3 is allocated 2. Vérification Dossier existe Fichier n’existe pas Le client possède 6. Block Allocation Request Data Nodes DN-1 DN-2 DN-3 DN-4 Block Data 128 MB 3. Fsimage en mémoire 128 MB 5. FSDataOutputStream Data Myfile.txt 270 MO Bloc C 14 MO Bloc B 128 MO Bloc A 128 MO Bloc A1 128 MO Bloc A2 128 MO Bloc A3 128 MO
- 83. Les commandes les plus utilisées dans HDFS hadoop fs –ls Afficher le contenu du répertoire racine hadoop fs –put file.txt Upload un fichier dans hadoop (à partir du répertoire courant linux) hadoop fs –get file.txt Download un fichier à partir de hadoop sur votre disque local hadoop fs –tail file.txt Lire les dernières lignes du fichier hadoop fs –cat file.txt Affiche tout le contenu du fichier hadoop fs –mv file.txt newfile.txt Renommer le fichier hadoop fs –rm newfile.txt Supprimer le fichier hadoop fs –mkdir myinput Créer un répertoire hadoop fs –cat file.txt | less Lire le fichier page par page
- 84. Caractéristiques de HDFS SCALABLE (Montée en charge) COST EFFECTIVE (Rentable) FAULT TOLERANT (Tolérant aux pannes)
- 85. Manipuler des fichiers sur HDFS avec la sandbox Une formation Fatma SIALA
- 86. Manipuler des fichiers sur HDFS avec cloudera Une formation Fatma SIALA
- 87. Connaître MapReduce Une formation Fatma SIALA
- 88. Composant 2 : Map Reduce ZEPPELIN
- 90. Map Reduce
- 91. Map-Reduce : Exemple But : Calculer le nombre d’occurrences des mots constituant le texte
- 92. Map Reduce : Utilité MapReduce permet de manipuler de grandes quantités de données en les distribuant dans un cluster de machines pour être traitées
- 93. Exécuter un code MapReduce Une formation Fatma SIALA
- 94. Connaître YARN Une formation Fatma SIALA
- 95. Composant 3 : YARN ZEPPELIN
- 96. Les avantages de Yarn Sépare la gestion des ressources/ordonnancement des job du traitement des données Permet à Hadoop de supporter d’autres applications de traitement de données
- 97. MapReduce et Yarn La nouvelle génération du framework MapReduce est une application qui s’exécute avec Yarn
- 100. Gérer les ressources avec YARN Une formation Fatma SIALA
- 101. Comprendre la structure de nos données Une formation Fatma SIALA
- 103. Données structurées / non structurées
- 105. 2006 BigTable de de 2007 2009 Not Only SQL 2017
- 107. Bases de données NoSQL
- 108. Pas de jointure Scalable horizontalement (cluster de serveurs) Pas de schéma Manipule toute sorte de données Données non structurées Pas de gestion de transaction Données non-structurées
- 111. Le NoSQL : cas d'usages
- 112. Découvrir les cas d’usage du NoSQL Une formation Fatma SIALA
- 113. Bases de données NoSQL Interrogation de données volumineuses Traitement en mémoire des données Types de moteurs de bases de données
- 114. Modèles d’architectures Maître esclave Sans maître Modèles d’architectures
- 115. Voir un exemple de NoSQL HBASE Une formation Fatma SIALA
- 117. HBASE BD orientée colonnes
- 118. HBASE BD orientée colonnes
- 119. Une formation Possibilités d’accès aux données avec HBASE Shell HBASE API REST API Java N’importe quelle application (en passant par les composants Apache Thrift ou Avro)
- 120. Manipuler une base de données NoSQL avec HBASE Une formation Fatma SIALA
- 121. Voir un exemple de NoSQL MongDB Une formation Fatma SIALA
- 124. Manipuler une base de données NoSQL avec MongoDB Une formation Fatma SIALA
- 125. Comprendre Hive Une formation Fatma SIALA
- 127. Apache Hive Fonction prédéfinie : + BIG + DATA B I G D A T A
- 128. Une formation Apache Hive Outil d'infrastructure d'entrepôt de données Fournit un langage de requête similaire au SQL nommé HiveQL
- 130. Apache Hive X
- 131. Une formation Quelques commandes HiveQL Création de base de données CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name> hive> CREATE DATABASE [IF NOT EXISTS] userdb; hive> CREATE SCHEMA userdb; Lister les base de données hive> SHOW DATABASES;
- 132. Une formation Quelques commandes HiveQL Création de table hive> CREATE TABLE posts (user STRING, post STRING, time BIGINT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',’ STORED AS TEXTFILE; Afficher la liste des tables hive> show tables;Décrire une table hive> describe posts;
- 133. Exécuter des requêtes HiveQL avec Hive Une formation Fatma SIALA
- 134. Etapes Hive Création base de données hive> create database dbventes; hive> use dbventes; Création de table pour le stockage des données qui existent dans le fichier /ventes.txt hive> CREATE TABLE ventes (ptvente STRING, article STRING, montant BIGINT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; hive> show tables; (Afficher la liste des tables) hive> describe ventes; (Description de la table posts) hive> LOAD DATA LOCAL INPATH '/home/cloudera/Desktop/ventesf.txt' OVERWRITE INTO TABLE ventes; hive> select count (1) from ventes; hive> select * from ventes where ptvente=“pointdevente1"; hive> select * from ventes where montant<=600 limit 2; Une formation
- 135. Comprendre Pig Une formation Fatma SIALA
- 137. Une formation Présentation d’Apache Pig Pig est une plateforme haut niveau pour la création de programme Map Reduce utilisé avec Hadoop Le langage de cette plateforme est appelé le Pig Latin
- 138. Apache Pig YARN
- 139. Une formation Commandes PIG LOAD TRANSFORM Opérateurs relationnels DUMP / STORE
- 140. Une formation Modes de fonctionnement Pig Mode intéractif ( ligne de commande ) $ pig grunt> … Mode script ( un fichier) $ pig myscript.pig Mode intégré
- 141. Manipuler des données avec Pig Une formation Fatma SIALA
- 142. Découvrir Apache Spark Une formation Fatma SIALA
- 144. Présentation d’Apache Spark Matei Zaharia Projet Apache depuis 2013 avec plus de 1000 contributeurs
- 149. Spark
- 150. Une formation SPARK RDD : principe Transformations Créent un nouveau RDD à partir d’un existant Actions Des fonctions qui permettent d’extraire des informations des RDD
- 151. Une formation SPARK RDD : Actions RDD.collect() RDD.count() RDD.first() RDD.take(n) RDD.reduce(fonction) RDD.persist() ou RDD.cache()
- 152. Une formation SPARK RDD : Transformations RDD.map(fonction) RDD.flatMap(fonction) parallelize() RDD.filter(fonction)
- 153. Une formation RDD : Transformations ensemblistes RDD.distinct() RDD.distinct().collect() RDD1.union(RDD2) RDD1.intersection(RDD2)
- 154. Une formation RDD : Sauvegarde saveAsTextFile(path) saveAsSequenceFile(path) saveAsObjectFile(path)
- 155. Une formation SPARK : comment créer des RDD ? Paralléliser la collection déjà existante dans le programme pilote Référencer un ensemble de données dans un système de stockage externe Créer un RDD à partir de RDD déjà existant
- 156. Manipuler des RDD avec Spark Une formation Fatma SIALA
- 157. Découvrir Apache Tez Une formation Fatma SIALA
- 159. TEZ
- 164. Faire un traitement avec Tez Une formation Fatma SIALA
- 165. Hadoop et le temps réel Une formation Fatma SIALA
- 167. Hadoop et le temps réel
- 168. Bus d’ingestion de messages en temps réel Traitement du flux de données Magasin de données analytiques Outils d’analyse et de reporting
- 170. Ingestion de données avec Kafka et Apache Flume
- 171. Utilisation de Kafka avec Apache Spark streamming
- 172. Découvrir Apache Flume Une formation Fatma SIALA
- 176. Visualiser un flux en temps réel avec Flume Une formation Fatma SIALA
- 177. Découvrir Apache Spark Streaming Une formation Fatma SIALA
- 180. Une formation Spark streaming : DStream Transformations des DStreams Map (fonction) flatMap (fonction) Filter (fonction) Reduce (fonction Transform (fonction)
- 181. Spark streaming : DStream https://spark.apache.org/
- 182. Comprendre Apache STORM & comparaison avec Spark Streaming Une formation Fatma SIALA
- 185. Une formation STORM Un tuple est une liste nommée de valeurs (la valeur est de n’importe quel type) Le flux (stream) est une séquence illimitée de tuples Le Spout lit les tuples à partir d’une source externe Le Bolt traite les tuples
- 186. SPARK Streaming VS STORM Année de création 2009 2011 Origine Twitter Université de Berkeley Système de traitement temps réel Micro-batch Evénements Langages supportés Scala, Java, Python, R Clojure, Java, Python Architecture Lambda (batch et temps réel) Oui Non Communauté open source Importante Moyenne Présence offre Cloud native Amazon EMR Azure HDInsight Google Dataproc Azure HDInsight Intégré dans HortonWorks Oui Oui
- 187. Comprendre le fonctionnement de YARN Une formation Fatma SIALA
- 190. Une formation YARN 3 types de scheduler FIFO Capacity scheduler Fair scheduler
- 191. Découvrir Apache MESOS Une formation Fatma SIALA
- 199. Apache ZOKEEPER ZooKeeper est un outil distribué utilisé pour la configuration et la synchronisation de larges services distribués
- 200. Apache ZOKEEPER
- 202. Faire de la visualisation avec Zeppelin Une formation Fatma SIALA
- 204. Apache ZEPPELIN
- 205. Une formation Apache ZEPPELIN Interpréteurs par défaut Angular JDBC Livy2 Md (Markdown) Spark2 Possiblité d’ajouter d’autres interpréteurs /usr/hdp/current/zeppelin-server/bin/install-interpreter.sh –all dans /usr/hdp/current/zeppelin-server/bin
- 206. Découvrir Apache Hue Cas Pratique Une formation Fatma SIALA
- 208. Comprendre le fonctionnement de Apache SQOOP Une formation Fatma SIALA
- 211. Apache SQOOP Export Job Merge Importation des données dans Hadoop Exportation des données de Hadoop Création de jobs pour exécution différée Combinaison de plusieurs sources de données Import
- 212. Une formation Apache SQOOP sqoop import --connect jdbc:mysql://localhost/naissances --driver com.mysql.jdbc.Driver --table departement -m 1 -username maria_dev -P
- 213. Importer une table avec SQOOP Une formation Fatma SIALA
- 215. Une formation Bilan Maîtriser Hadoop et son périmètre Comprendre la nouvelle manière de traiter les données Elaborer de la pratique sur plusieurs technologies