Experiencias con PostgreSQL en AWS

EXPERIENCIAS CON
POSTGRESQL EN AWS
PGCONF.EU 2014
Alejandro E. Brito Monedero @ae_bm

¿Quién soy y por qué estoy aquí?
Ya sabes mi nombre
Estudie ciencias de la computación
He trabajado como sysadmin por más
de 8 años
Más info en http://bit.ly/1sT7bLw
No sé

¿Quién soy y por qué estoy aquí?

Esquema de la historia
Antes de la nube®
Migrando a la nube®
Como operaba en la nube®
Mejoras a lo hecho en la nube®

Antes de la nube®
Conocimiento de postgresql
Instalar (apt-get install
postgresql-X.Y)
Arreglar shared_buffers
kernel.shmmax kernel.shmall
BD sobre servidor físico

Un par de conceptos
Pago por uso
Reservar instancias
Imagen de máquina virtual: AMI
Instance store
EBS backed

Un par de conceptos
Almacenamiento
Efímero: Instance Store
EBS y Snapshots
Objetos: S3

Un par de conceptos
Redes: VPC
Máquina virtual: instance
EBS-Optimized
<tipo><generación>.<tamaño> Ej:
r3.8xlarge

Un par de conceptos
Autenticación y autorización: IAM
Credentials & Roles
E/S garantizada: Provisioned
IOPS
Firewall: Security Groups

Receta de la abuela
Buscar un AMI base
Crear nueva AMI
Instalar postgres
Scripts de backups

Receta de la abuela
Crear rol o generar credenciales
Crear un Security Group y subredes
dentro de VPC
Elegir tipo de instancia

● Receta de la abuela
¿Qué instancia?
Discos rápidos
Y mucho ===>

Receta de la abuela
Ejecutar instancia con el AMI
personalizado
Crear volumen EBS y asociarlo a la
instancia
Poner LVM sobre el EBS

Receta de la abuela
Montar el LV (logical volume) como
directorio de datos de postgres
Poner en el crontab los scripts de
backup
Cargar un dump de la BD

Escalado vertical
Este es el procedimiento cuando se
usan instancias del tipo instance
store
Implica una parada del servicio

Escalado vertical
Iniciar la imagen con postgres en
una nueva instancia más grande
Detener postgres en la instancia
actual

Escalado vertical
Desmontar el volumen de postgres
Desactivar volume group
vgchange -an
<volume group>
Desconectar EBS de la instancia

Escalado vertical
Conectar EBS a la instancia nueva
Activar volume group
vgchange -ay
<volume group>
Montar volumen de postgres

Escalado vertical
Iniciar postgres
Hacer que los clientes sepan que
postgres esta en la instancia nueva
Poner a dormir a la instancia
antigua

Aumentar en caliente el tamaño del
volumen de datos
Crear EBS más grande
Conectar EBS a la instancia
pvcreate <nuevo ebs>
vgextend <volume group>
<nuevo ebs>

Aumentar en caliente el tamaño del volumen
de datos
pvmove <viejo ebs> <nuevo ebs>
vgreduce <volume group>
<viejo ebs>
pvremove <viejo ebs>
lvextend <logical volume>

Aumentar en caliente el tamaño del
volumen de datos
extender filesystem
Desconectar y eliminar EBS antiguo
Si, no es gratis (E/S) pero no sé
daban cuenta ^_^

Backups
Crear otro EBS donde guardar los
dumps
Conectar el EBS a la instancia
Montar y usar el EBS sin cosas
rebuscadas (LVM, etc)

Backups
Hacer un script que tenga 2 pasos
Hacer el dump de la BD que se
almacena en el EBS creado para
los backups
pg_dumpall –clean
--file=<fichero dump>

Backups
Hacer un script que tenga 2 pasos
Desmontar volumen EBS
Hacer un snapshot a S3 del EBS de
los backups
No olvidar siempre siempre siempre
revisar los códigos de error

Restaurar backups
Dependerá del cataclismo o prueba
que se haga
Si sigue funcional el EBS
psql -1 -f <fichero dump>
postgres

Restaurar backups
Si el EBS esta muerto
Crear un EBS del snapshot del
backup
Seguir los pasos de cuando el
EBS esta funcional

Puntos a mejorar
Al hacer escalado vertical el tener
que actualizar la dirección de la BD
Mientras más grande es la BD más
tardara en hacerse el dump y el
respectivo restore

Puntos a mejorar
Mejorar la frecuencia de los
respaldos
Usar PITR
Backups cuando se tiene RAID 1+0

Actualizar la dirección de la BD
Usar un servidor DNS interno
Usar un pooler / proxy como
pgbouncer

Querer impresionar y usar algo
como Consul o etcd
Aprovechar las funcionalidades de
VPC

Por ejemplo usando VPC se puede
Asignar direcciones IP secundarias
a la interfaz de red
Se usa IP aliasing
La IP primaria y secundaria
pueden estar en la misma subred

Otro ejemplo con VPC
Crear una subred para el servicio
Crear una interfaz que estará en la red de
servicio
Hay que usar el comando ip
La IP de servicio no puede estar en en el
mismo rango que la IP primaria

Ejemplo de la configuración cuando se usan
interfaces de red
ip rule add from <IP servicio>
table <id tabla>
ip addr add
<IP servicio>/<mascara> dev
<interfaz>

Ejemplo de la configuración cuando
se usan interfaces de red
ip link set dev
<interfaz> up

interfaces de red
ip route add
<subred servicio> dev
<interfaz> proto kernel scope
link src <ip servicio>
table <id tabla>

interfaces de red
ip route add default via
<gw subred servicio> dev
<interfaz> table <id tabla>

Backups
Ver http://goo.gl/cBrtEQ
Estrategia similar a la anterior, pero
usando el formato custom

Backups
Respaldar los globales
pg_dumpall -g -c
-f <fichero globales sql>
Por cada BD
pg_dump -f <dump bd> -Fc
<bd>

Backups
Restaurar
psql -1
-f <fichero globales sql>
Por cada BD
pg_restore -C -d postgres
<dump db>

Backups
Ahora, si queremos aprovechar las
snapshots de los EBS
archive_mode = on
wal_level = archive o
superior

Backups
Para archive_command
usar un comando que no sobrescriba
wal logs
Solo termine con código 0 si hizo la
copia

Backups
Para archive_command
El destino de los wal logs es un
volumen aparte

Backups
El procedimiento es queda
SELECT
pg_start_backup(<nombre>);
Hacer el snapshot de el / los EBS
que conforman el cluster
SELECT pg_stop_backup();

Backups
El procedimiento es queda
Desmontar EBS donde el
archive_command deja los wal logs
Hacer un snapshot de ese EBS
No olvidar revisar los códigos de error

Backups
Para restaurar
Recuperar las snapshot que
tienen los datos
Recuperar la snapshot del
volumen con los wal logs

Backups
Para restaurar
Crear el recovery.conf con un
restore_command
Iniciar la BD

Backups
Sobre el procedimiento
Aunque se use RAID0 en el
directorio de datos no es
necesario suspender el dispositivo
(según mis pruebas)

Backups
Si eres paranoico lo puedes hacer
pero recuerda reanudar la E/S
antes de hacer el pg_stop_backup

Backups
Si suspendes el dispositivo
bloquearas las operaciones de
E/S, así que haz los snapshots
rápido

Backups
Suspender Ej:
dmsetup suspend
<dispositivo>
Reanudar Ej:
dmsetup resume <dispositivo>

¿Performance?
Un tema para mucha discusión,
cada caso es distinto
Puedes usar SSDs, Provisioned
IOPS, da consistencia a cambio de
$$$

¿Performance?
Ver http://youtu.be/QkvNazjv_co
Ver http://youtu.be/3OH4-Hx3tlE

¿Performance?
Determinar el cuello de botella
Cualquier optimización que no sea
hecha sobre el cuello de botella no
tendrá efecto sobre el sistema
(Theory of Constraints)

¿Preguntas u objetos
contundentes?

Experiencias con PostgreSQL en AWS

Creditos
https://commons.wikimedia.org/wiki/File:Cloud_pattern1.jpg
http://knowyourmeme.com/photos/638208-i-have-no-idea-what-im-doing
http://static3.tudespensa.com/rep/7d72/imagenes/40471/4/chocolate-a-la-taza-tradicional-
ram-brik-1-lt.jpg
https://www.muralesyvinilos.com/murales/Madrid_skyline_muralesyvinilos_398
70095__Monthly_XXL.jpg
https://commons.wikimedia.org/wiki/File:Postgresql_elephant.svg
http://giphy.com/gifs/m4Kw0bz2tW9ws
http://www.memegenerator.es/meme/13014499
http://giphy.com/gifs/Pk17IeO00wxFe
http://i.giphy.com/wsEX8uMrTRDoI.gif
http://i.giphy.com/XSQUAevZhaROM.gif

Experiencias con PostgreSQL en AWS

Más contenido relacionado

Similar a Experiencias con PostgreSQL en AWS (20)

Más de Alejandro E Brito Monedero (13)

Último (20)

Experiencias con PostgreSQL en AWS

Notas del editor