LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
0 gefällt mir1,215 aufrufe
Das Dokument beschreibt die Implementierung eines einfachen hochverfügbaren Linux-Dateiservers als Lösung zur Konsolidierung von Speicher und Verbesserung der Verfügbarkeit für die Landesvermessung Brandenburg. Es werden technische Voraussetzungen, strategische Ziele und die Vorteile virtueller Cold-Standby-Server erläutert, einschließlich der Verwendung von NFS und CIFS sowie der Integration von Backup- und Replikationstechnologien. Das System kombiniert Hardware- und Virtualisierungskonzepte, um eine kostengünstige und zuverlässige Lösung anzubieten, die die Notwendigkeit umfangreicher Clusterkonfigurationen vermeidet.
LinuxTag 2008 - Virtuelle Cold-Standby Server mit Linux
- 1. Th e Si m Lin ple ux H Fil igh e Se Ava rv ila er bl e Virtuelle Cold-Standby Server mit Linux Schlomo Schapiro Principal Consultant Leitung Virtualisierung & Open Source 28.05.2008
- 2. Agenda Hintergrundinformationen The Simple High Available Linux File Server Vorteile: Virtuelle Cold-Standby Server Seite 2 probusiness group © 2008
- 3. Kundensituation Landesvermessung und Geobasisinformation Brandenburg Katasterdaten des Landes Brandenburg Amtliche Karten, Luftbilder usw. Sammelt, speichert und verarbeitet Geoinformationsdaten In Potsdam und Frankfurt / Oder Heavily IT dependant HP ist Hauptlieferant 3 EVA (~40 TB) > 100 Server Seite 3 probusiness group © 2008
- 4. Die Problemsituation Viele Systeme speichern Daten auf vielen Fileserver und lokal Viele komplexe Datenbeziehungen mit viel FTP und Kopien zwischen UNIX/Linux Servern und Windows Systemen Z.T. sehr große Datenvolumina, Performanceprobleme Lokale Benutzeraccounts auf vielen Systemen (UNIX/Linux) Lösung: Storage Konsolidierung Laufendes Projekt Seite 4 probusiness group © 2008
- 5. Ziele der Storage Konsolidierung Einheitliches Storage für UNIX/Linux und Windows Zentralisiertes Storage Hochverfügbarkeit & Notfallwiederherstellung Gute Unterstützung der Protokolle CIFS: Windows ACL, Access Based Enumeration, DFS Replication, AD Integration NFS: Version 2 und 3, Posix ACL, AD Integration mit RFC2307 FTP, RSYNC, SCP Seite 5 probusiness group © 2008
- 6. Entscheidungsprozess & Kriterien Wirtschaftliche und technische Argumente Wichtige Kriterien Investitionen und Betriebskosten für 3 Jahre (bis 2010) Verfügbarkeit und Zuverlässigkeit (Lösungen ohne eigenes Storage benutzen die vorhandene EVA 8xxx) „Qualität“ der CIFS und NFS Implementieren, Interoperabilität Einfache Nutzung und Verwaltung Effizientes Backup mit CommVault Galaxy, präferiert LAN-free Optionale Kriterien Asynchrone Protokolle unterstützt (RSYNC, FTP ...) Integrierte Replikation zu einem unabhängigen 2. Storage Zukünftige Storage Strategie stärken Seite 6 probusiness group © 2008
- 7. Ergebnis: Linux File Server Positiv Sehr redundant NFS und CIFS ACL Integration Beste und weiteste Protokollunterstützung Backup (CommVault Galaxy) mit LAN-free Agent Integrierte Replikation der Daten auf 2. Storage Keine Implikation für Storage Strategie Linux Wissen kann genutzt werden Negativ Unvollständige CIFS-Unterstützung (Samba) Verwaltung mit Shell Kommandos Seite 7 probusiness group © 2008
- 8. Agenda Hintergrundinformationen The Simple High Available Linux File Server Vorteile: Virtuelle Cold-Standby Server Seite 8 probusiness group © 2008
- 9. The Simple High Available Linux File Server VMware ESX Server HARDWARE FAILOVER Lokales Storage via SAS (bootable) SAN Storage via FC Verbindung STORAGE SAN Boot auf HW FAILOVER oder VM (mit RDM) Seite 9 probusiness group © 2008
- 10. Komponenten Hardware (alles von HP) DL 380 G5 EVA 8000 (30TB) 4x MSA60 (36TB) mehrere DL Server als ESX Server (für das Rechenzentrum) Software SuSE Enterprise Linux 10 SP1 Samba, NFS LVM, LVM Snapshots (smbsnap) rsync Virtuelle Maschine auf VMware ESX 3 (normalerweise aus) Seite 10 probusiness group © 2008
- 11. Aufgaben – SAN Boot SAN Boot mit Multipathing (DM-MPIO) Möglich mit SLES10SP1 dm-multipath bereits Teil der initrd Installation in der VM Siehe auch Artikel in i'X 04/2008 p. 142 Dual Boot Hardware und Virtuelle Maschine (Treiber ...) Den versehentlichen Boot der VM verhindern (per ISO Image) Seite 11 probusiness group © 2008
- 12. Aufgaben – Lokales Storage Lokales Storage verwalten Automatisches Cloning des Produktionssystems auf das lokale Storage Modifikationen des Boot Prozesses vom lokalen Storage (RAID-1) Lokales Storage an Stelle des SAN Storage (ro) mounten Nächtliches rsync aller Daten aus dem SAN zum lokalen Storage Vorbereitung des lokalen Systems, als Produktivsystem genutzt zu werden (mit manueller Rückkopie) Seite 12 probusiness group © 2008
- 13. Vorteile 2 Ebenen der Redundanz Hardware und VM laufen mit dem selben System und denselben Daten – Failover ohne Datenverlust SAN Storage auf lokales Storage repliziert Wiederherstellung ~ 5 Min für HW oder Storage Probleme Sofortiges Disaster Recovery – auch mit vielen TB Daten Sehr einfache Lösung – keine komplexe Clusterkonfiguration Failover: HW neu booten (Storage) oder VM boot (Hardware) Administrator behält alles im Griff Sehr bezahlbare Lösung – keine Extrakosten für Hochverfügbarkeit Seite 13 probusiness group © 2008
- 14. System & Samba Setup Lokales Storage GPT (>2TB) System auf RAID-1 (MD) LILO (GPT, MD) passdb backend = tdbsam smb ports = 445 Alles andere via LVM disable netbios = Yes name resolve order = wins rsync script mit inherit acls = Yes hide unreadable = Yes Sicherheitsprüfungen idmap backend = ad idmap uid = 100-20000000 idmap gid = 100-20000000 winbind enum users = Yes AD Integration via RFC2307 winbind enum groups = Yes winbind use default domain = Yes Volume Shadow Copy winbind nss info = rfc2307 use sendfile = yes Map BUILTIN Accounts Seite 14 probusiness group © 2008
- 15. Performance Tuning net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 Benchmarks (1GBit): net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_no_metrics_save = 1 125 MB/s (NFS) net.ipv4.tcp_moderate_rcvbuf = 1 100 MB/s (CIFS) net.core.netdev_max_backlog = 2500 (>2 streams) Nutzen XFS (auf SLES gut unterstützt) sysctl.conf (auch auf dem client) USE_KERNEL_NFSD_NUMBER="16" Bonding für redundante Netzwerkanbindung Jumbo Frames hatten keinen meßbaren Effekt auf den Durchsatz, CPU Last um ca. 50% reduziert Seite 15 probusiness group © 2008
- 16. Ausblick Automatisiertes Failover Heartbeat in der initrd vor dem Mounten Storage und Netzwerk überwachen – schwierige Entscheidung MD oder LVM Mirror zwischen SAN und lokalem Storage (ist aber kein Disaster Recovery !) als Alternative zu rsync Onlinespiegelung Für Datenbanken usw. Multipathing SAN Boot mit RHEL/CentOS, Ubuntu ... Seite 16 probusiness group © 2008
- 17. Agenda Hintergrundinformationen The Simple High Available Linux File Server Virtuelle Cold-Standby Server Seite 17 probusiness group © 2008
- 18. Cold Standby Günstigste und einfachste Form der Hochverfügbarkeit Klassischerweise problematisch wegen doppelte Hardwarekosten Datenreplikation vom aktiven zum passiven (=stromlosen) System Daher keine Lösung für alle Server im Rechenzentrum Seite 18 probusiness group © 2008
- 19. Virtuelle Cold-Standby Server Ist ein Betriebskonzept, das die Vorteile der Virtualisierung auch für klassische Hardwareserver nutzt. Cold-Standby als günstiges Ausfallkonzept für alle Systeme Nebeneffekt: Nachweis der Virtualisierbarkeit eines Systems Bei Ausfall der Hardware – Produktivnutzung als VM Das ist primär eine Idee und eine Denkweise Schickt mir Emails mit Details Eurer Implementierung Seite 19 probusiness group © 2008
- 20. Fragen & Antworten Mehr Open Source Software (schapiro.org/schlomo/projects) Relax & Recover (Linux Disaster Recovery) RSYNC BACKUP MADE EASY (Backup Software mit Hardlinks) Halle 7.2b OpenVPN Gateway Builder Stand (Linux Router selber bauen mit zentraler Verwaltung) 102 easyVCB (VMware VI3 Backup, w.i.p.) Schlomo Schapiro probusiness Berlin AG Principal Consultant Potsdamer Platz 11 Leitung Virtualisierung und Open Source D-10785 Berlin sschapiro@probusiness.de berlin@probusiness.de +49 160 97846168 +49 30 259378 0 Seite 20 probusiness group © 2008