BigData on change d'ère !
3 j'aime2,201 vues
Le document présente les évolutions et enjeux du big data, avec un accent sur les technologies comme Hadoop et l'open source, qui révolutionnent le traitement et l'analyse des données. Il souligne l'importance croissante des données non structurées et les compétences nécessaires pour leur exploitation, ainsi que les implications pour les entreprises dans différents secteurs. Des cas d'utilisation illustrent comment le big data est appliqué pour améliorer les performances opérationnelles et les expériences client.
BigData on change d'ère !
- 1. BigData | Cloud | Mobile | Security
- 2. #BigData… on change d’ère ! Aadel Benyoussef Excelerate Systems France Aadel.Benyoussef@ExcelerateSystems.net +33 (0)5 24 61 56 81
- 3. #Innovation De Nouvelles Solutions pour de Vieux Problèmes De Nouvelles Solutions pour de Nouveaux Problèmes
- 5. #Innovation De Nouvelles Solutions pour de Vieux Problèmes ? De Nouvelles Solutions pour de Nouveaux Problèmes ? Alors, innovons !
- 6. Au début de notre ère numérique… Informatique d’Entreprise • Affaire de Spécialistes • Centralisée • Inaccessible hors de l’entreprise
- 7. Au début de notre ère numérique… Informatique d’Entreprise • Affaire de Spécialistes • Centralisée • Inaccessible hors de l’entreprise Informatique Personnelle • Mac .vs. PC • Individuelle • Isolée
- 8. Notre environnement Numérique… aujourd’hui ! PC / Mac
- 9. Notre environnement Numérique… aujourd’hui ! › Application d’Entreprise › Bureautique › Internet › Email › Réseaux Sociaux › Objets connectés › e-commerce › Banque en ligne › Jeux en réseau › Apps Mobiles › Sauvegarde et Transport de données › Échange / Partage › … etc. Cloud Objets Connectés Smartphones Tablettes Laptop Hybrydes PC / Mac Disques USB
- 10. Ajourd’hui, les Entreprises s’intéressent à … Toutes les données Produites en Interne et en Externe … Mais aussi à toutes les données qui la Concernent ! Source : IBM
- 11. Les Entreprises s’intéressent à … Nous !
- 12. Les Entreprises s’intéressent à … Nous !
- 13. Les 3V qui imposent le changement - Volume - Variété - Vitesse
- 14. ÉvolutiondelaDonnées 10% - Données Structurées 1980 2014 90 % - Données Non-Structurées +3 trillion Go de données créées en 2013… Plus de 90% sont des données non structurées 500 quadrillion de fichiers 1 Trillion = 1018, soit un milliard de milliards. 1 Quadrillion = 1024 Des changements considérables lors des 30 dernières années Applications Internet Smartphones & Tablettes Machines intelligentes Capteurs Quantités doublent tous les 2 Ans
- 15. En route vers Le Changement Déterminer l’environnement opérationnel 1
- 16. En route vers Le Changement Déterminer l’environnement opérationnel Analyser des cas d’usages 1 2
- 17. En route vers Le Changement Déterminer l’environnement opérationnel Analyser des cas d’usages Identifier les Compétences 1 2 3
- 18. BigBang Hadoop
- 19. BigBang Hadoop
- 20. Pourquoi utiliser Hadoop ? • Le moins Couteux (100% OpenSource) • Pour traiter des Peta-Octets de données • Le plus Rapide actuellement • Pour les Traitements Parallèles • Le Meilleur à ce jour • Pour apporter des Solutions à tous les problèmes de traitement de Données Massives
- 21. Ecosystèmes Hadoop Source : Datameer +400 Partenaires Technologies et Services
- 22. Les avantages de l'Open Source au-delà de l’éthique, il est question de : Facilité d’Adoption Acquisition et démonstration de la Valeur avec des investissements mesurées1
- 23. Les avantages de l'Open Source au-delà de l’éthique, il est question de : Facilité d’Adoption Acquisition et démonstration de la Valeur avec des investissements mesurées1 Innovation et Développement Rapide Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborent pour résoudre les problèmes et Imaginer de nouveaux concepts 2
- 24. Les avantages de l'Open Source au-delà de l’éthique, il est question de : Facilité d’Adoption Acquisition et démonstration de la Valeur avec des investissements mesurées1 Innovation et Développement Rapide Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborent pour résoudre les problèmes et Imaginer de nouveaux concepts 2 Extensibilité Un Standard Ouvert et indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
- 25. Les avantages de l'Open Source au-delà de l’éthique, il est question de : Facilité d’Adoption Acquisition et démonstration de la Valeur avec des investissements mesurées1 Innovation et Développement Rapide Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborent pour résoudre les problèmes et Imaginer de nouveaux concepts 2 Extensibilité Un Standard Ouvert et indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3 Pas de dépendance « Editeur » Pas de données ou processus « propriétaires" – la sélection des fournisseurs uniquement sur la Qualité des Services4
- 26. Quelle importance accordez vous, dans la sélection d’un vendeur de BigData aux critères suivants: 7 8 9 Source: King Research, 3922 Respondents Evolutivité Performance Flexibilité Fiabilité du vendeur Technologie Sécurisée Intégration avec d'autres systèmes Coût Techniquement Supérieur aux autres Logiciel Open Source
- 29. Quels sont les éléments qui déterminent votre choix de fournisseur de solution BigData? Source: King Research, 3922 Respondents 6 6,5 7 7,5 8 8,5 9 Formations Services de Consulting Recommandations Support Technique Richesse des Fonctionnalités
- 30. 0% 20% 40% 60% Quelles infrastructures pensez-vous améliorer avec des solutions BigData ? Source: King Research, 3922 Respondents Traitements ETL Bases de Données Analytiques Stockage Enterprise Data Warehouse Système Central (Mainframe)
- 31. 31 Quels sont les principaux avantages recherchés dans une solutions BigData d’entreprise Source: King Research, 3922 Respondents 10% 30% 50% 70% Amélioration des Analyses de Données Amélioration du Traitement de Données Prendre de Meilleures Décisions, Plus Rapidement Augmenter la Valeur marchande des Données Améliorer l‘Efficacité Opérationnelle Acquérir un Avantage Concurrentiel
- 32. 15% 25% 35% 45% Quelles sont vos principaux développements d’applications BigData? Source: King Research, 3922 Respondents Recherche / Innovation Analyse Comportementale Connaissance des Clients Ciblage de Marché Analyse de l‘Expérience Client Amélioration Opérationnelle
- 33. 33 #2 Analyser des Cas d’Usages
- 34. #BigData en Pratique Société de Jeux Video • Succès d’un jeux sur Mobile Augmentation exponentielle du nombre de joueurs Lenteurs d’exécution des programmes d’Analyse comportementales • la transformation de l'architecture MySQL à vers NoSQL Choix technique: Hadoop (CDH) sur Cloud AWS - Versus MySQL sur serveur dédié OVH • Amélioration des schémas des bases de données, Accélération de la vitesse d'exécution des programmes et des procédures (70 min à moins de 5 Sec) Organisme Public Gestionnaire d’une Métropole Urbaine • Faible participation des citoyens dans les programmes de consultations • Expérimentation d’un Plate-forme « Sentiment Analysis » pour un projet d’Amélioration du programme « Participation Citoyenne ». • Collecter, analyser et visualiser les usages et données de Twitter, Facebook et de sites de presse en ligne (SudOuest.fr, Aqui.fr) • Choix technique: Hadoop (CDH), ElasticSearch sur Cloud AWS • Tableau de Bord synthétique de Scoring des thématiques populaires, et Analyses des Sentiments dégagés (positif, négatif ou neutre) #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 35. Importance de la DataVizualisation Source de la thématique Analyse de la thématique - Nombre de parutions - Intérêt (lecture/consultation) - Sentiments (Positif/neutre/négatif)
- 36. Importance de la DataVizualisation
- 37. 37 # Validation de l’Environnement Opérationnel
- 38. Les Changements dans le Système d’Information des Entreprises Logs Files Web Data Relational Databases IDEs BI / Analytics Enterprise Reporting Enterprise Data Warehouse Online Serving Systems Manager SYSTEM OPERATORS ENGINEERS ANALYSTS BUSINESS USERS Web/Mobile Applications CUSTOMERS Sqoop Sqoop Sqoop FlumeFlumeFlume Modeling Tools DATA SCIENTISTS DATA ARCHITECTS Meta Data/ ETL Tools ODBC, JDBC, NFS, HTTP
- 39. Choix de la Distribution BigData Une puissante plate-forme BigData basée sur Apache • Cloudera est le plus grand contributeur au projet Hadoop • CDH est la 1ère distribution Hadoop 100% Open Source prête à l’emploi pour les entreprises et la plus utilisée • Intègre les projets les plus populaires liées à Hadoop dans un package unique, testé rigoureusement et qui garantit une fiabilité maximale lors de la mise en production. La liste des distributions Hadoop : http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
- 40. Une Plate- forme pour Stocker toutes les données • Stockage et Traitement par Lots • HDFS + NoSQL • Gestionnaire de processus batch BATCH PROCESSING WORKLOAD MANAGEMENT STORAGE FOR ANY TYPE OF DATA UNIFIED, ELASTIC, RESILIENT, SECURE Filesystem Online NoSQL
- 41. Ouverte avec des méthodes d‘Accès à toutes les données • Fournir de multiples options pour intégrer les données • S'appuyant sur les niveaux de compétences et les investissements existants BATCH PROCESSING ANALYTIC SQL SEARCH ENGINE MACHINE LEARNING STREAM PROCESSING WORKLOAD MANAGEMENT STORAGE FOR ANY TYPE OF DATA UNIFIED, ELASTIC, RESILIENT, SECURE Filesystem Online NoSQL #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 42. Prêt pour l'entreprise avec une Sécurité Garantie et la Supervision Globale • Sécurité et Protection des données et outils pour les Audits • Haute disponibilité avec sauvegarde automatique et reprise après sinistre • Système de Gestion Globale BATCH PROCESSING ANALYTIC SQL SEARCH ENGINE MACHINE LEARNING STREAM PROCESSING 3RD PARTY APPS WORKLOAD MANAGEMENT STORAGE FOR ANY TYPE OF DATA UNIFIED, ELASTIC, RESILIENT, SECURE DATA MANAGEMENT SYSTEM MANAGEMENT Filesystem Online NoSQL #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 43. Solution pour toutes les Entreprises
- 44. Nouvelles Possibilités grâce aux technologies du BigData Moteurs de Recommandations Analyse de Sentiments Modélisation des Risques Détection de la Fraude Analyse de Campagne Marketing Analyse du taux de désabonnement des clients Analyse Social Graph Réseau de surveillance Data Analytics Source: Cloudera “Ten Common Hadoopable Problems”
- 45. BigData Cas d’Usages ! • Moteurs de Recommandations: les géants du Web et les sites de e-commerce qui utilisent Hadoop, l’utilisent pour proposer à leurs clients des produits et services basés sur l'analyse du profil utilisateur et les données comportementales. LinkedIn utilise cette approche pour alimenter son "personnes que vous connaissez peut-être", tandis qu’Amazon l’utilise pour proposer des produits liés aux habitudes d’achats pour les consommateurs en ligne. • Analyse de Sentiments: Utilisé en conjonction avec Hadoop, et des outils avancés d'analyse de texte, essentiellement non structuré des médias sociaux et des publications et blogs de réseautage social, y compris les tweets et messages Facebook, afin de déterminer le sentiment des utilisateurs liés à des entreprises particulières, des marques ou des produits. L'analyse peut se concentrer sur une analyse macro-sentiment jusqu'au sentiment de chaque utilisateur. • Modélisation des Risques: les entreprises financières, les banques et d'autres utilisent Hadoop et Entrepôts de données nouvelle génération pour analyser de grands volumes de données transactionnelles pour déterminer le risque et l'exposition des actifs financiers, afin de préparer des scenarii potentiels "what-if" basés sur le comportement du marché simulé, et de marquer des clients potentiels pour le risque. • Détection de la Fraude: Utiliser les techniques du BigData pour combiner le comportement des clients, historiques et données transactionnelles pour détecter les activités frauduleuses. Les sociétés de cartes de crédit, par exemple, utiliser les technologies BigData pour identifier le comportement transactionnel qui indique une forte probabilité d'une carte volée. • Analyse campagne de marketing: Les départements de marketing dans les industries ont longtemps utilisé la technologie pour surveiller et évaluer l'efficacité des campagnes de marketing. BigData permet aux équipes de marketing d’intégrer l'augmentation des volumes de données de plus en plus granulaires pour augmenter la précision de l'analyse. #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 46. BigData Cas d’Usages ! (suite.) • Analyse du taux de désabonnement des clients: Les entreprises utilisent Hadoop et les technologies de BigData pour analyser les données du comportement des clients pour identifier les modèles qui indiquent que les clients sont plus susceptibles de les quitter pour un service ou fournisseur concurrent. Action peut alors être prise pour sauver et garder les plus rentables de ces clients. • Analyse Social Graph: les données de prochaine génération et les données de réseaux sociaux sont extraites pour déterminer quels clients ont le plus d'influence sur les autres à l'intérieur de réseaux sociaux. Ceci aide les entreprises à déterminer quels sont leurs «plus importants», clients qui ne sont pas toujours ceux qui achètent le plus de produits ou dépensent le plus, mais ceux qui ont tendance à influer sur le comportement d'achat d’autres personnes. • Data Analytics: utiliser Hadoop et les grandes technologies connexes pour intégrer des données provenant de canaux d'interaction client cloisonnés tels que centres d'appels, chat en ligne, Twitter, etc… pour avoir une vision complète de l'expérience client. Cela permet aux entreprises de comprendre l'impact d'un canal d'interaction client dispose sur un autre afin d'optimiser l'expérience client dans son ensemble du cycle de vie. • Réseau de surveillance: Hadoop et d'autres technologies BigData sont utilisés pour ingérer, analyser et afficher les données collectées à partir des serveurs, périphériques de stockage et autres matériels informatique pour permettre aux administrateurs de surveiller l'activité du réseau et de diagnostiquer les goulots d'étranglement et autres problèmes. Ce type d'analyse peut également être appliqué à d'autres formes de réseaux, notamment des Réseaux de Transport afin d'améliorer l'efficacité énergétique. • Recherche et développement: les entreprises, comme les fabricants de produits pharmaceutiques, utilisent Hadoop pour passer au peigne fin les volumes énormes de texte basé sur la recherche et d'autres données historiques pour aider au développement de nouveaux produits. #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 47. #3 Identifier les Compétences
- 48. Comment ? Le Principal obstacle à l'adoption du BigData C’est le manque de Ressources et de Compétences Qualifiées Selon McKinsey, à horizon 2018; les États-Unis devront faire face à une pénurie de : • 140.000 à 190.000 personnes avec des compétences d'analyse de données • 1,5 million d’analystes avec le savoir-faire minimum leur permettant utiliser l'analyse de données massives pour prendre des décisions efficaces. En France; Vu le faible taux de pénétration de ces nouveaux modèles de BigData dans les entreprises, la pénurie devrait être proportionnellement plus importante. #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 49. Les Nouveaux Métiers Pour Réaliser des Projets en utilisant les technologies du BigData Chief Data Officer (CDO) : la responsabilité du CDO concerne les données et leur état : Valeur, Qualité, Fiabilité et doit en garantir la Cohérence et Gouvernance. Les données peuvent être d’origine interne ou externe, privée ou publique Data Scientist : est chargé de développer les outils adaptés au besoin pour Collecter, Analyser et faire parler les données numériques et, de les présenter sous un format simple et compréhensible (DataVizualisation) Data Analyst : va manipuler les données une fois que la base est opérationnelle, afin de faire remonter les informations nécessaires pour les prises de décisions. Et faire évolution les métiers de Programmeurs, d’Architectes, d’Administrateurs Réseaux, de DBA … avec des formations adaptées. #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance
- 50. Excelerate Systems +30 Experts Certifiés Cloudera • Depuis 2011, nous avons développé un réseau de consultants hautement qualifiés. • Architectes, • Administrateurs, • Développeurs, • Analystes, Statisticiens • Data Scientistes • Nous avons réalisé plusieurs projets dans divers secteurs d’activités. • e-Commerce • Jeux • e-Gouvernement • Banque et Finance • Grande Distribution • Marketing • Communication • Sécurité et Protection des Données
- 51. Des Experts accessibles mondialement • France • 2 Développeur Certifié Cloudera • 1 Administrateur Certifié Cloudera • 2 Data Scientiste & Analyste Canada 1 Développeur Certifié Cloudera États Unis 1 Développeur Certifié Cloudera, 1 Administrateur Certifié Cloudera 1 Data Scientiste Mexique 1 Administrateur Certifié Cloudera Brésil 2 Développeurs Hadoop (Sao Paulo, Belém, 1 Administrateur Certifié Hadoop (Belém) 1 Développeur HBase (Rio) @ExcelSysFrance ExcelerateSystemsFrance Contact@ExcelerateSystems.net Chine 1 Administrateur Certifié Cloudera, 1 Développeur Certifié Cloudera, Inde 2 Administrateurs Certifiés Cloudera, 2 Développeurs Certifiés Cloudera, Chili 1 Développeur Cert. Excelerate Systems Offices Espagne 1 Développeur Cert.
- 52. +100 Clients nous font confiance…
- 53. Qui sommes-nous ? #Cloud #BigData #Security #Mobile @ExcelSysFrance ExcelerateSystemsFrance • Entreprise Privée, Fondée en 2007 à Seattle, Washington USA • Des bureaux pour l’Europe à Bordeaux (France), pour l’Amérique Latine à Mexico (Mexique), et présence dans +20 pays • Offre Riche dans 4 catégories 1. BigData, Cloud et Virtualisation. 2. Sécurité et Protection des Données et Optimisation des S.I 3. Gestion et Sécurité du Mobile en Entreprise et le CRM-Mobile. 4. Connectivité au Systèmes Centraux et l’intégration des Mainframes
- 54. Nos Partenaire, Nos Solutions
- 55. Stand J-4 BigData Paris 2014 1er & 2 Avril – CNIT La Défense Doug Cutting Intervention le 1er Avril à 12h Prochain Rendez-vous
- 56. BigData | Cloud | Mobile Keep Calm and Protect your Data @ExcelSysFrance ExcelerateSystemsFrance Excelerate Systems - BigData, Cloud & Security Community