Software-Defined Storage
- 1. Petit-déjeuner Software-Defined Storage 25 janvier 2018 Salons Hoche, Paris
- 2. AGENDA 9:00 – 9:10 Introduction Marché du stockage, révolution du distribué 9:10 – 9:40 Synthèse des résultats de l’étude Software-Defined Storage 2017 Stéphane Krawczyk, Consultant IDC France 9:40 – 10:40 Présentation SUSE Enterprise Storage Julien Niedergang, Ingénieur avant-vente SUSE Bénéfices, architectures, contexte RGPD, cas d’usage et réalisation clients 10:40 – 10:50 Conclusion Pierre-Yves Albrieux, Directeur Commercial SUSE
- 4. 1991 – Linux
- 6. 150+ Support Engineers SUSE en quelques chiffres 25+Years of Linux Engineering Experience 1stEnterprise Open Stack Distribution 7000+ Certified Applications 5000+ Global Partners 2/3+of the Fortune Global 100 use SUSE Linux Enterprise 20000+ Certified Systems 18% Revenue Growth
- 7. Leadership dans de multiples domaines Linux dans l’Automobile 10 des plus grands constructeurs automobiles sont des clients SUSE actifs x10 Linux dans la Distribution 7 des 10 plus grandes chaines de distribution sont des clients SUSE actifs 7/10 Linux dans les Telecom 10 des plus grands opérateurs telecom font confiance à SUSE x10 Linux dans la Pharma 7 des 10 plus grands groupes pharmaceutiques utilisent SUSE Linux Enterprise 7/10 Linux dans l’Aérospatial 9 des 10 plus grandes entreprises aérospatiales font confiance à SUSE 9/10 SAP sous Linux 70% des applications SAP sous Linux utilisent SUSE 70% Linux dans le HPC La moitié des top 20 super computers tournent sur SUSE 50% Linux dans les grandes entreprises Plus de 80% des Fortune Global 50 sont des clients SUSE actifs 80% Mainframe Linux Linux mainframe le plus répandu depuis plus de 15 ans 15+ Linux dans la Fabrication 7 des 10 plus grands fabricants mondiaux utilisent SUSE Linux Enterprise 7/10 Linux dans la Finance 4/5 des plus grandes banques mondiales utilisent SUSE Linux Enterprise 4/5
- 8. SUSE fait partie du groupe Micro Focus International 7thLargest pure-play software company in the world. 40,000Customers $4.4BAnnual Revenue 5,000+Partners 45+Countries
- 9. Les missions de SUSE Gestion de l’obsolescence des data centers Migration vers Linux • Unix (Solaris,HP-UX, AIX) • Mainframe IBM z Migration des bases de données • Oracle, Informix, DB2…vers PostgreSQL, Cassandra, MongoDB, Couchbase, Elasticsearch, SQL Server… sur Linux Modernisation des infrastructures de stockage traditionnelles • Réduction des coûts et amélioration du RAS avec SUSE Enterprise Storage, solution de Software- Defined Storage basée sur Ceph Gestion de la compliance • SUSE Manager : gère les distributions Linux SUSE, RedHat, CentOS et Ubuntu • Sécurité, conformité, remédiation, normes de paiement PCI DSS,… Adoption de SAP HANA • Migration de SAP ECC vers SAP HANA ou S4/HANA
- 10. Les missions de SUSE Transformation digitale des entreprises Evolution vers le Cloud • Programme ‘Bring Your Own Subscription’ disponible chez les principaux fournisseurs de Cloud Public IaaS • Une distribution d’entreprise : SUSE OpenStack Cloud • La continuité avec Helion OpenStack CaaS • SUSE Container as a Service Platform (cluster Kubernetes) PaaS • SUSE Cloud Application Platform basé sur Cloud Foundry • La continuité de Stackato Big Data • Stockage des données sur un environnement Ceph (SUSE Enterprise Storage)
- 11. SUSE Software-defined Infrastructure and Application Delivery Approach Application Delivery Physical Infrastructure : Server, Switches, Storage Public Cloud SUSE Cloud Service Provider Program Container Management SUSE CaaS Platform Networking SDN and NFV Compute Virtual Machine & Container Operating System SUSE Linux Enterprise Server Platform as a Service SUSE Cloud Application Platform Private Cloud / IaaS SUSE OpenStack Cloud SUSE Manager SUSE OpenStack Cloud Monitoring Infrastructure & Lifecycle Management Software-Defined Infrastructure Storage SUSE Enterprise Storage
- 12. Synthèse de l’étude IDC Software-Defined Storage 2017, France Stéphane Krawczyk Research & Consulting Manager, IDC France
- 13. SUSE Enterprise Storage Stockage distribué open source
- 14. Des données de plus en plus massives SOCIAL MEDIA BUSINESS OPERATIONS MOBILE DATA CUSTOMER DATA %UPTIME
- 15. Stockage distribué SUSE Enterprise Storage Matériel x86 standard File Storage Block Storage Object Storage 3 types de données couvertes Disques standards Open source pour l'entreprise Croissance infinie (~16EB) Système solide et autonome Cycle de vie simple et transparent Coûts très faibles
- 16. Positionnement
- 17. 50-60% of Enterprise Data 20-25% 15-20% 1-3% Tier 0 Très haute performance Tier 1 Haute performance OLTP Tier 2 Sauvegarde/restauration, reference data, stockage de masse Tier 3 Stockage objets, données froides, archivage legal, stockage long terme Source : Horison Information Strategies - Fred Moore Positionnement SUSE Enterprise Storage
- 18. Exigences Des Métiers Temps Mode 1 - Infra en silos - Multi-constructeurs - Complexité de gestion - Coût d’administration - Pression sur les équipes Mode 2 - Agnosticité - Coûts réduits - Agilité - As a Service - Simple - Software-Defined - Open source 1970 Cloud Transformation Digitale Software Defined Big Data Stockage Distribué In Memory As Code 2000 Virtualisation x86
- 20. Ceph est le coeur de SUSE Enterprise Storage Client Servers (Windows, Linux, Unix) RADOS (Common Object Store) Block Devices Server Object Storage File Interface Storage Server Storage Server Storage Server Storage Server Server Server Storage Server Storage Server Applications File Share OSD OSD OSD OSD OSD OSD NetworkCluster MON RBD iSCSI S3 SWIFT CephFS NFS Monitors MONMON
- 21. Ceph : unité de base FS Disk OSD Object Storage Daemon Système de fichier (btrfs, xfs, ext4) Disque physique
- 22. Ceph : Storage Node FS OSD FS OSD FS OSD FS OSD FS OSD FS OSD Ceci est un storage node
- 23. Ceph : Monitoring node M M M M : nœud de monitoring ‒ Membres du cluster ‒ Ajout de disques OSDs ‒ Détection d’anomalies ‒ Reconstruction des données ‒ Décision de la distribution des données
- 24. Ceph : auto-réparation 38.b0b swimmingpool/rubberduck M M M M Les moniteurs détectent un OSD HS 1 x is missing 1 x is missing
- 25. Ceph : auto-réparation M M M M Les moniteurs allouent l'espace sur les OSDs survivants38.b0b swimmingpool/rubberduck
- 26. Ceph : auto-réparation Les moniteurs initialisent la récupération M M M M 38.b0b swimmingpool/rubberduck
- 27. Ceph : auto-réparation M M M M Les futures écritures mettent à jour les replicas 38.b0b swimmingpool/rubberduck
- 28. SUSE Enterprise Storage 5 Bluestore OpenATTIC – 2ème mise à jour Ceph Luminous 12.2 NFS Ganesha Deepsea Deployment with SALT
- 29. SUSE Enterprise Storage : tableaux de bord
- 31. Architecture : 3 data centers / 512To utiles Datacenter 1 Datacenter 2 Datacenter 3 2,5 km 2,5 km 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe Exemple 1 10Gbps black fiber 40+Gbps upgrade
- 32. Architecture : 3 data centers / 1024To utiles (scale out) Datacenter 1 Datacenter 2 Datacenter 3 10Gbps black fiber 40+Gbps upgrade 2,5 km 2,5 km 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x MONITOR 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x Block or File or Object GW 1U Server 2 x E5-2620 v4 32GB RAM 2 x 240GB SSD 4 x 10Gbe 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server 1 x OSDs 2 x E5-2640 v4 384GB RAM 32 x 8TB disks 6 x Cache SSD 2 x OS SSDs 4 x 10Gbe X86 Server Exemple 1
- 33. Exemple 2 Usage Stockage pour machines virtuelles / KVM Remplacement baie traditionnelle Protocoles : RBD / NFS Architecture : 144TB utiles / Erasure Coding 3:2 Datacenter 2 x E5-4114 v5 128GB RAM 10 x 4TB disks 1 x RocksDB NVMe 1 x Cache NVMe 2 x SSD OS disks 2 x 25Gbe Storage Node + Monitor 3 x 2 x E5-4114 v5 128GB RAM 10 x 4TB disks 1 x RocksDB NVMe 1 x Cache NVMe 2 x SSD OS disks 2 x 25Gbe Storage Node + Gateway NFS 2 x 2 x E5-4114 v5 128GB RAM 10 x 4TB disks 1 x RocksDB NVMe 1 x Cache NVMe 2 x OS disks 2 x 25Gbe Storage Node + Admin 1 x 25 / 50 / 100 Gbps WAN CEPH Cluster
- 34. 4 Storage Nodes ET 6 Infrastructure Nodes 1 Storage Node ET 1 Infrastructure Node SUSE Enterprise Storage Pricing (1 an) Monitor Nodes X3 Management Node Storage Nodes X4 Gateway X2 Storage Node Infrastructure Node ET Expansion Node – 1910€Base Configuration – 8300€
- 35. RGPD Réglement Général sur la Protection des Données
- 36. Protection des données - 1978 Loi informatique et libertés 1978 Donner aux citoyens un recours quant à l'utilisation de leur données personnelles > Concept de données personnelles sensibles: sexualité, politique, santé, religion, origine ethnique > Initiative Française, difficile à propager à l'Europe
- 37. Protection des données - 1988 Loi Godfrain 5 Janvier 1988 Lutte contre la fraude informatique > piratage ou atteintes aux systèmes de traitement automatisés des données > Pas de de notion de protection pour le consommateur !
- 38. Protection des données - 1998 Data Protection Directive – 95/46/EC 1998 Application Européenne de la Loi Informatique et Libertés > Pas de considération spéciale pour le réseau Internet naissant 20 ans
- 39. Protection des données - 2018 Règlement Général sur la Protection des Données 25 mai 2018 Evolution nécessaire Explosion des données mobiles, des réseaux sociaux, du Big Data, du marketing digital… > Sévérité: pas de limite d'amende > Autorité et Contrôle
- 40. Points clés - Couverture Jusqu’à 20 M€ ou 4% du CA annuel mondial (sans limite) Punition partagée entre le propriétaire et ses sous-traitants La notion de profilage (fortement utilisée en marketing) Transfert des données entre plusieurs organisations Traitement / Analyse par des machines ou des humains Stockage des données personnelles sensiblesPublique / Privée Toute organisation L'utilisation des données collectées
- 41. Logiciel d'évaluation d'impact de la loi sur une entreprise: https://www.cnil.fr/fr/outil-pia-telechargez-et-installez-le-logiciel-de-la-cnil Mettre en place et documenter les bonnes procédures régissant l’accès aux données personnelles (qui / comment) Périphériques mobiles (clés USB) Logiciels de partage dans le Cloud Penser aux mots de passe et au chiffrement des données Points de vigilance
- 42. Ceph et RGPD ? Chiffrement Chiffrement des disques dans le cluster Un tiers malveillant ne peut pas exploiter les données Ceph Luminous (SUSE Enterprise Storage 5) gère nativement le chiffrement des pools Chiffrement de l'accès aux données via HTTPS
- 43. Ceph et RGPD ? Droit à l'oubli Par défaut un cluster ceph déréférence la donnée sans la supprimer Le garbage collector peut forcer la suppression totale de la donnée pour un pool Assurance de la suppression de la donnée Propre au mécanisme interne de propagation des données
- 44. Ceph et RGPD ? Simplicité de migration Protocole S3 natif (AWS…) Applications inchangées Capacité massive Coût très faible Elasticité gigantesque
- 45. Ceph et RGPD ? Sécurité autonome 72h pour prévenir les autorités en cas de défaillance… Système privé au contrôle total Monitoring actif Réactivité maximale
- 46. SUSE Enterprise Storage Cas d’usage et exemples clients
- 47. Stockage pour les données massives Monitor Nodes Management Node Storage Nodes Object Storage Block Storage File SystemArchivage de données numériques Vidéo Surveillance Stockage de Virtual Machines Imagerie médicale Images et vidéos haute résolution
- 48. Solution de sauvegarde Serveurs applicatifs Serveurs de backup (et logiciels de backup) Stockage disques ou appliances de déduplication Bandothèque Remplacer Augmenter SUSE Enterprise Storage
- 49. OpenStack Cloud Intégration native avec OpenStack • Ceph est idéal comme backend pour OpenStack Le backend stockage le plus utilisé pour OpenStack • Plus de la moitié des déploiements en production • 65% de l’ensemble des usages Bénéfices • Scalabilité extrême • TCO réduit vs stockage traditionnel OpenStack User Survey April 2017 N=363
- 50. Services de Police d’Orchard Park, Etat de New York Contexte Améliorer la sécurité des habitants Anticiper les problèmes éventuels liés aux règlements de sécurité Décision d’équiper les policiers de caméras corporelles Défis Gérer les énormes quantités de données vidéos Les conserver pendant au moins 30 jours, voire sans limite de durée Utiliser la même solution pour les caméras de surveillance de la ville Solution Choix évident d’une solution Software-Defined Storage vs baies de stockage Choix de SUSE Enterprise Storage : non propriétaire, rentable, solide, évolutive 4 serveurs x86 HP (constructeur habituel) Résultats Installation et paramétrage en 1 semaine Prend désormais en charge les données de 20 services de police de la ville Aucun problème, aucune interruption de service « J’ai le sentiment que l’installation a été simple comme bonjour » « SUSE a été une véritable bénédiction pour la ville en matière de stockage d’entreprise » Paul Warriner, Network Coordinator
- 51. Centre hospitalier d’Essen, Allemagne Contexte Plus de 200 000 patients chaque année, 6000 employés Forte croissance du volume de données médicales : radios, vidéos chirurgicales… Refus de solutions de cloud public (confidentialité des données) Défis Mettre fin à l’explosion des coûts du stockage Faciliter la collaboration entre les équipes de l’hôpital Solution Choix d’une solution Software-Defined Storage (blocs et fichiers) Critères : flexibilité, coûts, évolutivité Rassuré par l’accompagnement SUSE et la qualité du support vs open source Installation de 9 nœuds de stockage pour plus de 300 To Résultats Coûts -70% à -80% vs baies de stockage midrange Rapidité d’intégration de nouveaux nœuds (jours vs mois) Déploiement d’un nouveau service de partage de fichiers (usage d’outils externes bien trop risqué) « Avec SUSE, nous sommes confiants de pouvoir gérer la croissance de nos données sans casser la banque » « Nous sommes bien équipés pour accompagner les initiatives digitales de l’hôpital» Michael Nieporte, Manager de l’infrastructure
- 52. Université des Arts d’Utrecht, Pays-Bas Contexte Explosion du volume de données multimedia à stocker/partager entre étudiants Infrastructure de stockage décentralisée, en silos Défis Consolider et construire une infrastructure solide, évolutive, simple à gérer Plus performante et sans interruption de service Plus attractive pour les étudiants Solution Consolidation de 3 sites en 1 Phase de test (POC), pour les blocs et fichiers Choix de SUSE Enterprise Storage : évolutive, résiliente, à faible TCO Serveurs x86 Supermicro Résultats Facilité pour ajout de capacité (scale up ou scale out) Aucun downtime pendant les opérations de maintenance Réduction du TCO et du temps d’administration « SUSE Enterprise Storage a fortement réduit notre TCO » « SUSE a non seulement permis de réduire notre temps d’administration mais également d’éliminer les interruptions de service» Emile Bijk, Manager SI
- 54. Bénéfices Client 1/2 Avantage Bénéfice Open source Communauté CEPH Open source et très dynamique No vendor lock-in Obligation d’excellence Cycle de vie entreprise Validation et support Design Ouverture matérielle et logicielle Flexibilité des architectures Solution testée et validée Architectures de référence Faible TCO Matériel de commodité Recyclage possible
- 55. Bénéfices Client 2/2 Avantage Bénéfice Exploitation Gestion simplifiée Autonomie et réparation Scalabilité Jusqu'à 16 exabytes Extension sans interruption Fiabilité Cluster réputé incassable Pas d'expertise HA nécessaire Objet / Bloc / Fichier Moins de silos Coûts Prix par paire de sockets Prime à la densité Tarifs de l‘open source Equation "baisse des coûts" / "volumétrie" Métiers OpenStack Intégration performante OpenStack Données massives : dire "OUI" IoT, Vidéo, Big Data… Support Expertise L3 SUSE