Klein, aber oho - Continuous Delivery von Micro Applications mit Jenkins, Docker & Kubernetes bei Apollo
0 gefällt mir508 aufrufe
Die Präsentation beschreibt die Implementierung von Continuous Delivery für Microanwendungen bei Apollo Optik mit Technologien wie Jenkins, Docker und Kubernetes. Der Fokus liegt auf der agilen Entwicklung, Middleware-Nutzung und der Automatisierung von Builds und Deployments in einer stabilen und skalierbaren Infrastruktur. Die Erfahrungen zeigen eine signifikante Leistungssteigerung und hohe Verfügbarkeit der Systeme.
Klein, aber oho - Continuous Delivery von Micro Applications mit Jenkins, Docker & Kubernetes bei Apollo
- 1. Klein, aber oho – Continuous Delivery von Micro Applications mit Jenkins, Docker & Kubernetes bei Apollo ContainerConf 2016 15. November 2016 Ulrich Häberlein Teamleitung Backend-Management Apollo-Optik Holding GmbH & Co KG Michael Steinfurth Linux/Unix Consultant & Trainer B1 Systems GmbH info@b1-systems.de B1 Systems GmbH - Linux/Open Source Consulting,Training, Support & Development
- 2. Vorstellung B1 Systems gegründet 2004 primär Linux/Open Source-Themen national & international tätig fast 100 Mitarbeiter unabhängig von Soft- und Hardware-Herstellern Leistungsangebot: Beratung & Consulting Support Entwicklung Training Betrieb Lösungen dezentrale Strukturen B1 Systems GmbH Continuous Delivery @ Apollo 2/31
- 3. Schwerpunkte B1 Systems GmbH Continuous Delivery @ Apollo 3/31
- 4. Vorstellung Apollo Deutschlands filialstärkster Optiker gegründet 1972 über 800 Filialen in Deutschland über 100 Filialen in Österreich mehr als 3.600 Angestellte seit 1998 Teil der GrandVision-Gruppe einer der größten Optikkonzerne der Welt über 6000 Filialen in 44 Ländern mehr als 27.000 Angestellte B1 Systems GmbH Continuous Delivery @ Apollo 4/31
- 5. Business Case B1 Systems GmbH Continuous Delivery @ Apollo 5/31
- 6. Business Case B1 Systems GmbH Continuous Delivery @ Apollo 6/31
- 7. Ausgangssituation Business-Plattform mit Datenbanken 900 Filialen Verarbeitung von Bestellungen, Lagerprozessen und Stapelverarbeitung aus den Schnittstellen der POS Systeme zentraler SAP Betrieb der GrandVision B1 Systems GmbH Continuous Delivery @ Apollo 7/31
- 8. Warum Middleware in Microapplication I agile Entwicklung schnelle, änderbare Geschäftsfälle einfach skalier- und erweiterbar kontinuierliche, automatische Updates standardisiertes Testmanagement B1 Systems GmbH Continuous Delivery @ Apollo 8/31
- 9. Warum Middleware in Microapplication II Sicherstellung der Deployment-Qualität hohe Verfügbarkeit betriebssystemunabhängig Configuration as Code möglich B1 Systems GmbH Continuous Delivery @ Apollo 9/31
- 10. Workflow B1 Systems GmbH Continuous Delivery @ Apollo 10/31
- 11. Workflow B1 Systems GmbH Continuous Delivery @ Apollo 11/31
- 12. Jenkinsübernahme 1 Java-Anwendungen werden entwickelt und landen im SVN 2 Jenkins bekommt SVN Änderungen mit, übernimmt Bauprozess 3 maven → Bauen mit Abhängigkeiten und Test 4 Übergabe an Microapp-Job B1 Systems GmbH Continuous Delivery @ Apollo 12/31
- 13. Jenkins-MicroappContainer bauen 1 Applikation verpacken in generischen Container 2 Konfigurationsdateien befüllen 3 Docker Image bauen 4 Metainformationen in Dockerfile (Service ↔ Ports) 5 Verschieben in die Registry B1 Systems GmbH Continuous Delivery @ Apollo 13/31
- 14. Jenkins Deployment 1 Jobübergabe 2 Image herunterladen aus Registry (Tag) 3 Erstellen der Metainformationen 4 Anhand von Informationen aus Deployment-NFS und Dockerfile 5 Anlegen Struktur im NFS 6 Anpassen der Softwarezustandsdatei (Konfigurations-NFS) 7 Weiter mit Deployment B1 Systems GmbH Continuous Delivery @ Apollo 14/31
- 15. Deployment Entwicklungsstufe Dockerfile Labels + Konfigurationsinformationen = YAML z. B. TAG und Häufigkeit konfiguriert in Konfiguration direktes Deployment in Kubernetes Platform pro Container vom Jenkins-Slave B1 Systems GmbH Continuous Delivery @ Apollo 15/31
- 16. Deployment YAML Beispiel deployment.yaml Beispiel gekürzt apiVersion: extensions/v1beta1 kind: Deployment metadata: name: testmicroapplication-deployment spec: replicas: 1 strategy: type: RollingUpdate template: spec: restartPolicy: Always containers: - name: testmicroapplication image: registry/apps/testmicroapplication:B123 env: B1 Systems GmbH Continuous Delivery @ Apollo 16/31
- 17. Test Staging Softwarezustandsdatei in Entwicklung anhand von config-Datei im SVN Container Name & Version, Min & Max Häufigkeit, Downtime-Wert Jenkins-Job kopiert Zustanddatei in Teststufenbereich im SVN → automatisches Erkennen und Herstellen aller Pods (Container) Beispiel Zustandsdatei testmicroapplication:B123:1:1:1 integration-sample:B42:2:3:1 B1 Systems GmbH Continuous Delivery @ Apollo 17/31
- 18. Temporäre Besonderheit Anwendungen werden direkt nach Test und Entwicklung ausgerollt → schnellerer Entwicklungsfortschritt, da gleichzeitig Weiterentwicklung und Fehlerbehebung aus Tests späterer Normalzustand: Herstellung eines Gesamtzustands der Container B1 Systems GmbH Continuous Delivery @ Apollo 18/31
- 19. Infrastruktur B1 Systems GmbH Continuous Delivery @ Apollo 19/31
- 20. Hostsysteme VMware virtuelle Maschinen mit SLES 12 3 VLANs für jede Stageing Area jeweils /16 +1 VLAN Cluster Service IP-Adressbereich pro Stageing Area geteiltes NFS-Volume SUSE Manager Deployment Systeme einheitlich → Konfiguration eines neuen Systems in fünf Minuten B1 Systems GmbH Continuous Delivery @ Apollo 20/31
- 21. Kubernetes flanneld für virtuelles Netz kubernetes Pakete (Master & Worker) Master- und Worker-Knoten einheitlich + bessere Verfügbarkeit Docker als Backend infrastrukturelle Abhängigkeiten ausgelagert (kein Henne-Ei-Problem) B1 Systems GmbH Continuous Delivery @ Apollo 21/31
- 22. B1 Systems GmbH Continuous Delivery @ Apollo 22/31
- 23. Infrastrukturkomponenten Infrastrukturkomponenten auf ausgelagerten Kubernetes-Plattformen Registry, Jenkins, Maven durch Container höhere Verfügbarkeit etcd mit virtueller IP-Adresse und keepalived hochverfügbar Reverse Proxy mit dynamischer Konfiguration aus Kubernetes-Services für vhosts alle Komponenten mit Jenkins bau- und deploybar B1 Systems GmbH Continuous Delivery @ Apollo 23/31
- 24. Rolling Update & Lastverteilung & Skalierung Rolling Updates Replicasets in Deployments → keine Downtimes der Applikationen Verteilung der Netzwerklast durch Kubernetes-Proxy → Iptables-Regeln verteilen unabhängig von eingehender IP-Adresse Horizontal Pod Autoscaler → konfigurierbare Skalierung bei Leistungsengpässen B1 Systems GmbH Continuous Delivery @ Apollo 24/31
- 25. B1 Systems GmbH Continuous Delivery @ Apollo 25/31
- 26. Logging Logging vorbereitet auf ELK-Stack Stack selber in Kubernetes mit verteiltem Speicher fluentd zur Erfassung der Containerlogs Applikationen schreiben selbständig Logdateien Ausbau der Applikationen zu ELK-Anbindung B1 Systems GmbH Continuous Delivery @ Apollo 26/31
- 27. Monitoring Nagios für die grundlegende Systemüberwachung Speicher & Basisdienste Grafana mit InfluxDB für die Performancegraphen von Clustern und Containern B1 Systems GmbH Continuous Delivery @ Apollo 27/31
- 28. Erfahrungen & Lessons Learned B1 Systems GmbH Continuous Delivery @ Apollo 28/31
- 29. Erfahrungen Infrastruktur schneller als erwartet Faktor 20 schneller zur SAP-Infrastruktur Infrastruktur selbst zur Entlastung durch dynamische Jenkins Slaves genutzt Umgebung sehr stabil und quasi selbstheilend B1 Systems GmbH Continuous Delivery @ Apollo 29/31
- 30. Lessons Learned etcd hochverfügbar machen ohne Henne-Ei-Problem und weniger als drei Container rabbitmq Message Broker im Cluster anfällig für Aktualisierungen (Erlang Version) B1 Systems GmbH Continuous Delivery @ Apollo 30/31
- 31. Vielen Dank für Ihre Aufmerksamkeit! Bei weiteren Fragen wenden Sie sich bitte an info@b1-systems.de oder +49 (0)8457 - 931096 B1 Systems GmbH - Linux/Open Source Consulting,Training, Support & Development