OSDC 2011 | GlusterFS by Thomas Halinka

© 2011 CustomSol 1 GlusterFS – Thomas Halinka – OSDC 2011 – 06.04.2011
GlusterFS
Storage für die Cloud
Thomas Halinka
CustomSol

Agenda
 Warm-Up
 Cloud
 Kurze Geschichte
 NFS
 DRBD (daisy-Chain)
 SAN
 GlusterFS

Agenda
 Warm-Up
 Cloud
 NFS
 SAN
 GlusterFS

Warm-Up – Who am I
 OpenSource-Evangelist
 OpenQRM-Core-Team
 Consultant
 Trainer (ClusterFS/XEN/Cloud)
 Buchautor (XEN)

Warm-Up – Wer sind sie?
 Wer sind sie?
 Wer gehört eher zu
 Entwicklung
 Betrieb
 Management
 Wer setzt ein?
 Cloud
 NAS
 DRBD
 SAN
 ClusterFS

Warm-Up – Wer sind sie?
 Wer hat Spitzenlasten über 10GBit pro
Sekunde?
 Wer betreibt Cluster > 50 Knoten?
 Wer hat schon mal zu einem Open-Source-
Projekt beigetragen?
 Patch, Doku, Problemanalyse
 Wer ist Projektmitglied bei einem
OpenSource-Projekt?

Agenda
 Warm-Up
 Cloud
 Kurze Geschichte einer Cloud
 NFS
 DRBD (-Daisy-Chain)
 SAN
 GlusterFS

Warm-Up – Cloud
 SAAS
 PAAS
 IAAS
 XAAS
→ Speicher?!

Agenda
 Warm-Up
 Cloud
 Kurze Geschichte einer Cloud
 NFS
 DRBD (-Daisy-Chain)
 SAN
 GlusterFS

Eine kleine Geschichte - NFS
 Aufbau für Pilotbetrieb
 Zentraler NFS
 HA-VMs
 Live-Migration
 Work-Load-Balancing

 Probleme:
 Performance
 Skalierbarkeit
 SPOF
 > 10 Subdir + Files < 100kb
 ….
→ Nicht geeignet für Produktion

Eine kleine Geschichte - DRBD(-Daisy-Chain)
 Redundanter NFS
 Kein SPOF
→ Skaliert aber nicht :(

Eine kleine Geschichte - DRBD(-Daisy-Chain)

Eine kleine Geschichte - DRBD-Daisy-Chain
 DRBD-Daisy-Chain
 ResA on NodeA und NodeB
 ResB on NodeB und NodeC
 ResC on NodeC und NodeA
 Mehrere Redundante NFS
 Kein SPOF
 Skalierbarkeit

 Problem:
 Manageability

Eine kleine Geschichte - SAN
 Ersatz von NAS durch SAN
 SAN skaliert

 Problem:
 Preis
 Anschaffung
 Replikation
 Snapshots
 ...
 Vendor-Lockin
 Admin Man-in-the-Middle (Betriebsrisiko)
 Bsp: Strato 3 Tage offline wegen FS-Error

Eine kleine Geschichte - Fazit
→ Alle Lösungen mangelhaft

Eine kleine Geschichte - Fazit
Auswege/Lösungen?!

Agenda
 Warm-Up
 NFS
 SAN
 Cloud
 GlusterFS

GlusterFS - Einführung
 Verteiltes Cluster-Filesystem
 FUSE-Basiert
 Skalierbarkeit
 Mehrere PetaByte
 >1000 Client

GlusterFS - Features
 Skalierbarkeit
 Mehrere PetaByte
 >1000 Client
 Performance (~30 Nodes)
 > 18 Gbit/s
 >1.000.000 IOPs
 Betriebsmodi
 Standalone
 Distributed
 Replicated

GlusterFS - Features
 Distributed replicated
 Striped
 Storage-Subsystem beliebig
 Backend-FS beliebig
 Healing
 Locking
 Quota

GlusterFS – Architektur | Standalone

GlusterFS – Architektur | Replicated (RAID 1)

GlusterFS – Architektur | Replicated Distributed (RAID X0)

GlusterFS – Architektur | Striped (RAID 0)

 Tolle Performance
 Keine Redundanz per GlusterFS

 Linux-Baukastenprinzip:
 DRBD-Unterbau

GlusterFS – Storage-Subsystem
Alles!
 Lokal Storage
 SAN
 DRBD
→ Flexibilität

GlusterFS – Backend-FS
Alles!
 EXT3
 EXT4
 XFS
 ZFS (Solaris
 BTRFS
 …. → Flexibilität

GlusterFS – Healing
 Background SelfHealing
 Checksum-Based
 On-The-Fly (FileOpen)
 Generation Numbers

GlusterFS – Quota
volume quota
type features/quota
option min-free-disk-limit 90% ; percent of filesystem
usage limit
option refresh-interval 300s ; 20s is the default
option disk-usage-limit 100G ; usage limit in bytes
subvolumes <x>
end-volume

GlusterFS – Locking
 POSIX-konform
 fnctl()
 Flock()
 Benötigt dringend „patched FUSE“

GlusterFS – FUSE (patched)
 höhere IO BufferSize erhöht IO
Performance
 Erweiterung um flock() SystemCall.
 Erweiterung von FUSE um Locking-Funktionalität
 Nutzung von O_DIRECT bei open()
(http://ftp.zresearch.com/pub/gluster/glusterfs/fuse/).

GlusterFS – Usage
 Installation:
modprobe fuse
apt-get install udev libibverbs1 glusterfs-XYZ

GlusterFS – Usage
Konfiguration
 Server:
 /etc/glusterfs/glusterfsd.vol
 Client:
 /etc/glusterfs/glusterfs.vol

GlusterFS – Usage
Logfiles
 Server:
 /var/log/glusterfs/etc-glusterfs-glusterfsd.vol.log
 Client
 (der Name des Logfiles richtet sich nach dem
Mountpoint):
 /var/log/glusterfs/data.log

GlusterFS – Usage
Administration
 Server:
 /etc/init.d/glusterfsd [start|stop|restart]
 Keine dynamische Konfiguration, der Server muß
also durchgestartet werden. Das funktioniert
problemlos und die Clients machen automatisch
einen Reconnect(timeout=1800s).
 Client:
 mount -t glusterfs -o _netdev,noatime
/etc/glusterfs/glusterfs.vol /data

GlusterFS – Usage
Cronjobs
 FS-Caches aufräumen.
 Siehe auch http://bugs.gluster.com/cgi-
bin/bugzilla3/show_bug.cgi?id=545 :
/etc/cron.d/drop_fs_caches (sync; echo 3
>/proc/sys/vm/drop_caches)

GlusterFS – Usage
Statistik
 io-stats-Translators generiert Server-Statistiken
volume iostats
type debug/io-stats
subvolumes posix
end-volume
 Die Statistik wird durch das Setzen eines Attributes über
einen mit dem Server verbundenen Client ausgelöst,
 aber in das Logfile des Servers geschrieben!
 setfattr -n io-stats-dump <client mount-point>

GlusterFS – Usage
Debugging
 Use
'option trace on'
 NICHT in Produktion!
 Performance!!!

GlusterFS – Usage
Cronjobs
 FS-Caches aufräumen.
 Siehe auch http://bugs.gluster.com/cgi-
bin/bugzilla3/show_bug.cgi?id=545 :
/etc/cron.d/drop_fs_caches (sync; echo 3
>/proc/sys/vm/drop_caches)

GlusterFS – Usage
Logfiles
 Server:
 /var/log/glusterfs/etc-glusterfs-glusterfsd.vol.log
 Client
 (der Name des Logfiles richtet sich nach dem
Mountpoint):
 /var/log/glusterfs/data.log

GlusterFS – FUSE vs Performance
 Beispiel:
GlusterFS (standalone) vs NFS
 Performance besser als NFS-Kernel-Space-
Daemon!
 100 Clients – 10Gbit-Link
 NFS: ~ 6 Gbit/s
 GlusterFS: ~8,7 Gbit/s

GlusterFS – Enterprise-Hints
 GlusterFS-Client verbindet sich mit einem
Port <=1023/TCP mit dem Server
→ Firewalling
 See:
 <glusterfs-src-dir>/xlators/protocol/client/src/client-
protocol.h:
 #define CLIENT_PORT_CEILING 1023

GlusterFS – Enterprise-Hints
 Remove Translators
 'quickread'
 'Statprefetch'
 Else random-IO über das komlette FS!!!

GlusterFS – Enterprise-Usage
 Mehrere PB (aktuell ~5)
 Mehrere Tausende Clients (> 6000)
 Bandwith (~28 Gbit/s)
 Throughput (~ 2.000.000 IOP/s)

GlusterFS – Fazit
 Absolut Enterprise-Ready
 Performance
 Skalierbarkeit
 Redundanz
 GPL v3
 Kommerzieller Support optional
 30 Tage+ Free Trial

GlusterFS – Community
 Developer-Liste:
gluster-devel@nongnu.org
 Archiv aller Releases unter
http://www.gluster.org/download/gluster-
source-code/
 Fehlerberichte an die Liste oder
http://bugs.gluster.com
 Dokumentation
http://gluster.com/community/documentation


GlusterFS – Community
 Build von Releases:
Source Tarball vom FTP-Server oder git-
Snapshot (ggf. aktuelle Fixes)
 http://ftp.gluster.com/pub/gluster/glusterfs/qa-
releases/
 http://git.gluster.com/?p=glusterfs.git;a=summary
cd ~/glusterfs-<version>
./autogen.sh
./configure --prefix=/usr --disable-ibverbs
dh_make --createorig -b && debuild

GlusterFS – Alternativen
 Hadoop DFS
 MogileFS
 CloudStore (Kosmos)
 Tahoe
 Ceph (RDB)
 Starfish
 Sheepdog
 ... und unzählige mehr

GlusterFS – Diskussion
 Fragen?

GlusterFS – Kontakt
 Wie können wir Ihnen helfen?
 So erreichen Sie uns:
 info@customsol.de
 thomas.halinka@customsol.de
 www.customsol.de
 07642 - 9180210

OSDC 2011 | GlusterFS by Thomas Halinka

Weitere ähnliche Inhalte

Was ist angesagt? (19)

Ähnlich wie OSDC 2011 | GlusterFS by Thomas Halinka (17)

OSDC 2011 | GlusterFS by Thomas Halinka