Sácale el jugo a Varnish
1 recomendación901 vistas
Este documento proporciona una introducción a varias formas de mejorar el rendimiento y funcionalidad de Varnish mediante el uso de módulos (vmods). Algunos vmods descritos incluyen cURL para realizar peticiones HTTP, OpenDDR y dClass para la detección de dispositivos, y módulos para autenticación, ordenamiento de parámetros de consulta, reducción de E/S de disco, detección geográfica, firewalling y el uso de Memcached y Redis.
![cURL: autentificación
curl.fetch("http://authserver/validate?key=" +
regsub(req.url, ".*key=([a-z0-9]+), "1"));
if (curl.status() != 200) {
error 403 "Go away";
}
http://err.no/personal/blog/2011/Aug/03](https://image.slidesharecdn.com/varnishdrupalcamp13-131202142126-phpapp02/85/Sacale-el-jugo-a-Varnish-8-320.jpg)
![Longtail
sub vcl_fetch() {
if (req.url ~ "^/archivo/20(0[1-9]|1[0-2])"
&& beresp.ttl > 0s ) {
unset beresp.http.expires;
set beresp.http.cache-control = "max-age=604800";
set beresp.ttl = 2w; // varnish ttl
set beresp.storage = "disco";
} else {
set beresp.storage = "memoria";
}
}
https://www.varnish-cache.org/trac/wiki/VCLExampleLongerCaching](https://image.slidesharecdn.com/varnishdrupalcamp13-131202142126-phpapp02/85/Sacale-el-jugo-a-Varnish-35-320.jpg)
Sácale el jugo a Varnish
- 1. Sácale jugo a Varnish
- 2. ¿Quién soy? Responsable técnico de idealista/news @rodricels Curioso sin remedio
- 3. VARNISH
- 5. cURL • Petición curl.get(url) curl.post(url, data) curl.header_add() curl.header_remove() curl.set_connect_timeout() curl.set_timeout() • Devolución curl.header("foo") curl.status() curl.body() curl.error()
- 7. cURL: Calentar caché tras banear if (req.request == "BAN" && client.ip ~ purge_ban) { ban("obj.http.x-host == " + req.http.host + "&& obj.http.x-url == " + req.url); // ¡¡¡ AQUÍ VA LA MAGIA !!! curl.get(req.http.host + req.url); error 200 "Ban added"; } Spoiler: se puede hacer sin cURL
- 8. cURL: autentificación curl.fetch("http://authserver/validate?key=" + regsub(req.url, ".*key=([a-z0-9]+), "1")); if (curl.status() != 200) { error 403 "Go away"; } http://err.no/personal/blog/2011/Aug/03
- 9. cURL: actualizar contenido relacionado if (req.url ~ foo && obj.hits > 10000) { curl.get(req.http.host + bar); }
- 11. Calentar caché Otras formas • Varnishreplay –r log.txt • Curl/wget sitemap.xml #!/bin/bash URL='www.example.com' wget --quiet http://$URL/sitemap.xml --no-cache --no-cookies --output-document - | egrep -o "http://$URL/foo/bar" | while read line; do curl --user-agent 'Cache Warmer' --silent --location --max-time 10 $line > /dev/null 2>&1 sleep 5 done
- 12. Calentar caché • Purge + Restart sub vcl_hit { # y vcl_miss() if (req.request == "PURGE") { purge; set req.request = "GET"; set req.http.X-purger = "Purged"; error 800 "restart"; # set req-backend = SuperServer; # return(restart); } } https://www.varnish-software.com/static/book/Saving_a_request.html#solution-combinepurge-and-restart
- 13. Detección de dispositivos OpenDDR + dClass Open Device Description Repository Dtree Pattern Classification Engine https://www.varnish-cache.org/vmod/dclass-apache-devicemap https://github.com/OpenDDRdotORG/OpenDDR-Resources
- 14. Detección de dispositivos set req.http.dclass_openddr = dclass.classify(req.http.user-agent); if (dclass.get_field("is_tablet") == "true"){ set req.http.dclass_type = "tablet"; } else if ( dclass.get_field("is_wireless_device") == "true" && dclass.get_field("inputDevices") == "touchscreen"){ set req.http.dclass_type = "smartphone"; }
- 15. Detección de dispositivos sub vcl_recv() { if (req.http.Cookie ~ "^X-device=") { # do the magic } } sub vcl_fetch() { set obj.http.Set-Cookie = "X-device=" + req.http.dclass_type; domain=.example.com; path=/"; }
- 16. Detección de dispositivos Fabricante Modelo Ancho y alto de pantalla Inputs (táctil, teclado, etc) Soporte de Javascript Si es wireless / tablet / crawler / desktop Navegador, nombre y versión Sistema operativo
- 17. Geo IP Fijar conexión a servidores locales Estúpida ley de cookies europea Restricciones copyright por países Tres implementaciones La de Cosimo (Opera) permite nivel de ciudad https://github.com/leed25d/geoip-vmod https://github.com/lampeh/libvmod-geoip https://github.com/cosimo/varnish-geoip
- 18. Firewall varnish Usa otros vmods ParseReq Shield Throttle UrlEncode Basado en mod_security Backend-less: mejor no mezclar con la lógica de caché https://github.com/comotion/VSF
- 19. Firewall varnish • • • • • • Mitigación de DDoS Ataques SQL XSS URL malformadas Robots y arañas Vulnerabilidades https://github.com/comotion/VSF
- 20. Firewall varnish • Toma de decisiones • Solo log • Bloquear • Devolver html • Honey-trap • Redirect / image
- 21. Firewall varnish Te va a parar unos cuantos balones… pero no es Lev Yashin
- 23. Autentificación con ldap import ldap; if(req.url ~ "^/member/"){ if(!(req.http.Authorization && ldap.simple_auth( true, "cn=Manager,dc=ldap,dc=example,dc=com", "password", "ldap://192.168.1.1/ou=people,dc=ldap, dc=example,dc=com?uid?sub?(objectClass=*)", ldap.get_basicuser(), ldap.get_basicpass() ))){ error 401; }
- 24. Autentificación con htpassw Fichero con estructura htpassw usando md5 o sha1 (no es necesario apache) import basicauth; sub vcl_recv { if (!basicauth.match("/var/www/.htpasswd", req.http.Authorization)) { error 401 "Authentication required"; } }
- 25. Autentificación harcoded en vcl if(req.url ~ "^/protected/") { if(!authentication.match("admin", "test")) { error 401 "Authentication Required"; } }
- 26. Ordenar parámetros /video/480?title=0&byline=0&portrait=0&color=51a516 /video/480?byline=0&color=51a516&portrait=0&title=0 import boltsort; sub vcl_hash { set req.url = boltsort.sort(req.url); } Aumenta el ratio de hit Disminuye el uso de memoria https://www.varnish-cache.org/vmod/boltsort-querystring-params-sort https://github.com/Dridi/libvmod-querystring
- 27. Reducir I/O de disco “Si usas la RAM como almacén, todo Varnish funciona en memoria” SHM ¡NO!
- 28. Reducir I/O de disco Shared Memory Log en /var/lib/varnish Junto con los .so de los vcls que hayas cargado ~ 80 MB /etc/fstab tmpfs /var/lib/varnish tmpfs rw,size=128M 0 0 Si tienes SSDs no hace falta https://www.varnish-software.com/static/book/Tuning.html#the-shared-memory-log
- 29. TTL personalizada set beresp.ttl = 10m; if (beresp.http.X-TTL) { C{ char *ttl; ttl = VRT_GetHdr(sp, HDR_BERESP, "06X-TTL:"); VRT_l_beresp_ttl(sp, atoi(ttl)); }C } http://www.slideshare.net/MaximeTopolov/varnish-14329696
- 30. Proxys y Akamai Varnish 3 no transforma string en IP ipcast.clientip(req.http.X-Forwarded-For); ipcast.clientip(req.http.True-Client-IP); ipcast.clientip("192.168.0.10"); ipcast.clientip("2001:db8::1"); https://github.com/lkarsten/libvmod-ipcast
- 32. Imágenes
- 33. Imágenes Si tienes CDN ¿para qué cacheas los estáticos? Si no tienes CDN ¿para qué cacheas los estáticos? Apache 2.4 puede ser suficiente OMFG!!!11one!! Ban.nuke crece sin cesar
- 34. Longtail • • • • • Separar storages Diferentes TTLs TTLs por horas TTLs por tipos de ficheros TTLs por edad del contenido
- 35. Longtail sub vcl_fetch() { if (req.url ~ "^/archivo/20(0[1-9]|1[0-2])" && beresp.ttl > 0s ) { unset beresp.http.expires; set beresp.http.cache-control = "max-age=604800"; set beresp.ttl = 2w; // varnish ttl set beresp.storage = "disco"; } else { set beresp.storage = "memoria"; } } https://www.varnish-cache.org/trac/wiki/VCLExampleLongerCaching
- 36. Sitio en mantenimiento Poner el sitio en mantenimiento puede ser una locura, avisa a Varnish de ello. Dos acercamientos: • Devolver todo lo que aún en caché y dar mensaje en lo que no esté en caché. • Dar un mensaje de mantenimiento
- 37. Varnish Bans Manager Varnish Administration Console Gestor de bans libre Hecho en A Coruña por dot2code https://github.com/dot2code/varnish-bans-manager
- 38. Varnish Bans Manager Web-manager en django/*SQL con ACLs https://github.com/dot2code/varnish-bans-manager
- 39. Varnish Bans Manager Monitorización de bans actuales y pasados
- 40. Varnish Bans Manager Ban por nodo/grupo con expresiones regulares
- 41. Varnish Bans Manager Monitorización de bans actuales y pasados
- 42. Memcached y Redis Lectura y escritura en Memcached Lectura y escritura en Redis (soporte completo) https://www.varnish-cache.org/vmod/memcached https://github.com/zephirworks/libvmod-redis
- 43. Memcached y redis Estadísticas if (memcached.incr("node-1234", 1)) { // set(STRING key, STRING value, INT expiration, INT flags) memcached.set("node-1234", "1", 0, 0); } Recoger bloques set resp.http.block-123 = memcached.get("block-123");
- 46. ¿Preguntas?