introduction bigdata
- 1. CHP1 : INTRODUCTION Approche et Vocabulaire Youssef CHOUNI Slide 1
- 2. 2 Introduction aux Big Data • Chaque jour, nous générons 2,5 trillions d’octets de données • 90% des données dans le monde ont été créées au cours des deux dernières années • 90% des données générées sont non structurées • Source: Capteurs utilisés pour collecter les informations climatiques Messages sur les médias sociaux Images numériques et vidéos publiées en ligne Enregistrements transactionnels d’achat en ligne Signaux GPS de téléphones mobiles … • Données appelées Big Data ou Données Massives
- 3. 3 • Chefs d’entreprise prennent fréquemment des décisions basées sur des informations en lesquelles ils n’ont pas confiance, ou qu’ils n’ont pas • Chefs d’entreprise disent qu’ils n’ont pas accès aux informations dont ils ont besoin pour faire leur travail • Des DSI (Directeurs des SI) citent : « L’informatique décisionnelle et analytique » commefaisant partie de leurs plans pour améliorer leur compétitivité • Des PDG ont besoin d’améliorer la capture et la compréhension des informations pour prendre des décisions plus rapidement 1/3 1/ 2 83% 60% Introduction aux Big Data
- 4. • Sources multiples: sites, bases de données, téléphones, serveurs: Détecter les sentiments et réactions des clients Détecter les conditions critiques ou potentiellement mortelles dans les hôpitaux , et à temps pour intervenir Prédire des modèles météorologiques pour planifier l’usage optimal des éoliennes Prendre des décisions risquées basées sur des données transactionnelles en temps réel Identifier les criminels et les menaces à partir de vidéos, sons et flux de données Étudier les réactions des étudiants pendant un cour, prédire ceux qui vont réussir, d’après les statistiques et modèles réunis au long des années (domaine Big Data in Education) INTRODUCTION AUX BIG DATA 4
- 5. • Réunir un grand volume de données variées pour trouver de nouvelles idées • Capturer des données créées rapidement • Sauvegarder toutes ces données • Traiter ces données et les utiliser INTRODUCTION AUX BIG DATA 5
- 6. • Extraction d’informations et décisions à partir de données, caractérisées par les 5 V: Volume (Volume) Variété (Variety) Vitesse (Velocity) Véracité (Veracity) Valeur (Value) INTRODUCTION AUX BIG DATA 6 5 Vs du BigData Volume Vitesse Valeur Variété Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes
- 7. 7 • Le prix de stockage des données a beaucoup diminué ces 30 dernières années: De $100,000 / Go (1980) À $0.10 / Go (2013) • Les lieux de stockage fiables (comme des SAN: Storage Area Network) ou réseaux de stockage peuvent être très coûteux Choisir de ne stocker que certaines données, j ugées sensibles Perte de données, pouvant être très utiles, comme les logs • Comment déterminer les données qui méritent d’être stockées? Transactio ns? Logs? Métier? Utilisateur? Capteurs? Médicales? Sociales? Aucune donnée n’est inutile. Certaines n’ont juste pas encore servi. • Problèmes: Comment stocker les données dans un endroit fiable, qui soit moins cher Comment parcourir ces données et en extraire des info rmations facilement et rapidement? Introduction aux Big Data - ² Volume Vitesse Valeur Variété Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes
- 8. 8 • Pour un stockage dans des bases de données ou dans des entrepôts de données, les données doivent respecter un format prédéfini. • La plupart des données existantes sont non- structurées ou semi-structurées • Données sous plusieurs formats et types • On veut tout stocker: Exemple: pour une discussion dans un centre d’appel, on peut la stocker sous forme textuelle pour son contenu, comme on peut stocker l’enregistrement en entier, pour interpréter le ton de voix du client • Certaines données peuvent paraître obsolètes, mais sont utiles pour certaines décisions: Exemple: Pour le transport de marchandise, on a tendance à choisir le camion le plus proche. Mais parfois, ce n’est pas la meilleure solution. D’autres problèmes peuvent intervenir. Besoin de : Données GPS, Plan de livraison du camion, Circulation, Chargement du camion, Niveau d’essence… Introduction aux Big Data 5 Vs du BigData Volume Vitesse Valeur Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes Vitesse Valeur Volume Véracité
- 9. 9 • Rapidité d’arrivée des données • Vitesse de traitement • Les données doivent être stockées à l’arrivée, parfois même des Teraoctets par jour Sinon, risque de perte d’informations • Exemple Il ne suffit pas de savoir quel article un client a acheté ou réservé Si si on sait que vous avez passé plus de 5mn à consulter un article dans une boutique d’achat en ligne, il est possible de vous envoyer un email dès que cet article est soldé. Introduction aux Big Data - 5 Vs du Big Data Volume Vitesse Valeur Variété Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes Valeur Variété Véracité Volume
- 10. 10 • Cela fait référence au désordre ou la fiabilité des données. Avec l’augmentation de la quantité, la qualité et précision se perdent (abréviations, typos, déformations, source peu fiable…) • Les solutions Big Data doivent remédier à cela en se référant au volume des données existantes • Nécessité d’une (très) grande rigueur dans l’organisation de la collecte et le recoupement, croisement, enrichissement des données pour lever l’incertitude et la nature imprévisible des données introduites dans les modèles mais aussi pour respecter le cadre légal pour créer la confiance et garantir la sécurité et l’intégrité des données. Introduction aux Big Data 5 Vs du BigData Volume Vitesse Valeur Variété Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes Valeur Variété Volume Vitesse
- 11. • Le V le plus important • Il faut transformer toutes les données en valeurs exploitables: les données sans valeur sont inutiles • Atteindre des objectifs stratégiques de création de valeur pour les clients et pour l’entreprise dans tous les domaines d’activité INTRODUCTION AUX BIG DATA 11 5 Vs du BigData Volume Vitesse Valeur Variété Véracité - Téraoctets - Enreg. / Archives - Transactions - Tables, fichiers - Batch - Temps réél - Processus - Flot dedonnées - Statistiques - Évènements - Corrélations - Hypothétiques - Confiance - Authenticité - Origine, réputation - Disponibilité - Responsabilité - Structurées - Non structurées - Multi-facteur - Probabilistes Vitesse Variété Volume Véracité Valeur
- 12. 12 Introduction aux Big Data De nouvelles exigences nécessitent une nouvelle conception et construction Les besoins métier guident la conception de la solution Le responsable métier définit les besoins : Quelles questions doit-on poser? IT conçoit une solution avec un ensemble de structures et fonctionnalités Le responsable métier exécute les requêtes pour répondre aux questions – encore et encore
- 13. • Appropriée pour: Des données structurées Opérations et processus répétitifs Sources relativement stables Besoins bien compris et bien cadrés INTRODUCTION AUX BIG DATA 13
- 14. 14 IntroductionauxBigData Les sources d’information guident la découverte créative Le responsable métier et IT identifient les sources de données disponibles Denouvelles idées conduisent à l’intégration de technologies traditionnelles IT fournit une plateforme qui permet une exploration créative de toutes les données disponibles Le responsable métier détermine les questions à poser en explorant les données et relations entre elles
- 15. • La question n’est pas : Dois-je choisir entre l’approche classique et l’approche Big Data? • Mais plutôt: Comment les faire fonctionner ensemble? INTRODUCTION AUX BIG DATA 15 Entrepôt de Données Plateforme Big Data Sources Traditionnelles Nouvelles Sources
- 16. Approche Big Data Analyse Itérative et Exploratoire Responsables Métier Déterminent quelles questions poser APPROCHE BIG DATA VS APPROCHE TRADITIONNELLE 16 Responsables IT Structurent les données pour répondre à ces questions Responsables IT Fournissent une plateforme pour permettre la découverte créative Responsables Métier Explorent la plateforme pour déterminer quelles questions poser Introduction aux Big Data Approche Traditionnelle Analyse Structurée et Répétée