Ceph: The Storage System of the Future
0 recomendaciones615 vistas
El documento describe las características y capacidades de Ceph, un sistema de almacenamiento de objetos distribuido de código abierto. Ceph puede escalar horizontalmente hasta el exabyte, no tiene puntos únicos de fallo, y funciona en hardware estándar. Utiliza un diseño descentralizado basado en objetos que puede exponer almacenamiento en forma de objetos, archivos o bloques.
Ceph: The Storage System of the Future
- 2. 1 2 3
- 3. 1. RAID y sus diferentes niveles
- 4. “RAID: Redundant Array of Independent Disks
- 5. RAID Y SUS NIVELES ○ Tradicionalmente se ha utilizado RAID como solución de almacenamiento
- 6. RAID Y SUS NIVELES ○ RAID utiliza diferentes niveles para obtener redundancia y/o rendimiento ○ RAID 0, 1, 5, 6...
- 7. RAID Y SUS NIVELES ○ RAID NO ESCALA ● Los tiempos de reconstrucción crecen cada vez más ● Las probabilidades de fallo aumentan drásticamente
- 8. RAID Y SUS NIVELES Fuente: ActualTech http://www.actualtech.io/real ly-outgrown-raid/
- 9. RAID Y SUS NIVELES Fuente: ActualTech http://www.actualtech.io/real ly-outgrown-raid/
- 10. RAID Y SUS NIVELES ○ ¿Qué alternativas tengo? ● Sistemas de ficheros distribuidos ● “Appliances” de diferentes fabricantes ● Ceph
- 11. 2. ¡Escalando hacia el exabyte!
- 12. “¡CEPH NO ES UN SISTEMA DE FICHEROS!
- 13. “¡CEPH ES UN SISTEMA DE ALMACENAMIENTO DE OBJETOS!
- 14. Ceph: ¡Escalando hacia el exabyte!
- 15. Ceph: ¡Escalando hacia el exabyte!
- 16. Ceph: ¡Escalando hacia el exabyte!
- 17. Ceph: ¡Escalando hacia el exabyte! ○ Objetos, bloques y ficheros ○ Escala horizontalmente ○ No tiene un punto único de fallo (SPOF) ○ Funciona en “commodity hardware” ○ Autogestionado ○ Open source (LGPL)
- 18. Ceph: ¡Escalando hacia el exabyte! ○ Objetos, ficheros y bloques. Ceph puede exponer todo ellos al exterior ○ Todo esto se consigue gracias a: “Reliable Autonomic Distributed Object Store (RADOS)
- 19. Ceph: ¡Escalando hacia el exabyte!
- 20. Ceph: ¡Escalando hacia el exabyte! Clientes Ceph: Se comunican directamente con los OSD’s. Ceph utiliza CRUSH para decidir dónde colocar los datos.
- 21. Ceph: ¡Escalando hacia el exabyte!
- 22. Ceph: ¡Escalando hacia el exabyte! ○ Estructura básica: Monitores y OSD’s
- 23. Ceph: ¡Escalando hacia el exabyte! ○ Monitores: Contienen una copia maestra del mapa del cluster ○ OSD’s: Actúan como dispositivos de almacenamiento
- 24. Ceph: ¡Escalando hacia el exabyte! El mapa del cluster contiene: ○ Mapa de los monitores ○ Mapa de los OSD’s ○ Mapa de los PG’s ○ Mapa CRUSH ○ Mapa MDS
- 25. Ceph: ¡Escalando hacia el exabyte! CephX como mecanismo de autenticación: ○ Similar a Kerberos ○ Sin punto único de fallo. Cada monitor puede crear y distribuir claves
- 26. Ceph: ¡Escalando hacia el exabyte!
- 27. Ceph: ¡Escalando hacia el exabyte!
- 28. Ceph: ¡Escalando hacia el exabyte! Los clientes y los OSD’s del cluster tienen conocimiento de la estructura del cluster Los clientes pueden hablar directamente con los OSD’s Los OSD’s pueden utilizar sus recursos, RAM y CPU, para realizar las réplicas y otras tareas.
- 29. Ceph: ¡Escalando hacia el exabyte! El cliente escribe un objeto en el OSD primario y es el OSD el que lo replica
- 30. Ceph: ¡Escalando hacia el exabyte! Ceph soporta el concepto de “pools” particiones lógicas para almacenar los objetos
- 31. Ceph: ¡Escalando hacia el exabyte! Ceph “mapea” cada escritura a un placement group (PG) y cada PG a un OSD
- 32. Ceph: ¡Escalando hacia el exabyte! Para calcular a que PG tiene que ir un objeto: ○ ID de la Pool y el objeto ○ hash(id_objeto) ○ modulo(hash(id_objeto)) ○ ID Pool.modulo(hash(id_objeto))
- 33. Ceph: ¡Escalando hacia el exabyte! Cuando se añade un nuevo OSD, el mapa del cluster cambia y Ceph PG’s
- 34. Ceph: ¡Escalando hacia el exabyte! Ceph soporta igualmente “Erasure Coding” donde cada objeto se guarda en “K” trozos de datos y “M” trozos de paridad”
- 35. Ceph: ¡Escalando hacia el exabyte! Utilizar la técnica del “erasure coding” permite utilizar de forma más eficiente el almacenamiento a costa del rendimiento Ejemplo: ○ N = k + m ○ 5 = 3 + 2 ○ Encoding Rate “R” = 3 / 5 = 0.6 ○ Almacenamiento requerido = 1 / r = 1.6
- 36. Ceph: ¡Escalando hacia el exabyte! Aún con todo, Ceph no es perfecto. Cada escritura implica dos escrituras.
- 37. Ceph: ¡Escalando hacia el exabyte! Para mejorar el rendimiento han desarrollado BlueStore Utilizando una pequeña partición para metadatos, permite utilizar el resto del dispositivo sin un sistema de ficheros (RAW) Mejorará el rendimiento de forma sustancial.
- 38. Ceph: ¡Escalando el exabyte!
- 39. Ceph: ¡Escalando hacia el exabyte! Casos de uso
- 40. Ceph: ¡Escalando hacia el exabyte! Ceph integrado en Atlantis (Cinder) Reducción de costes de almacenamiento y mayor rendimiento
- 41. Ceph: ¡Escalando hacia el exabyte! Totalmente integrado en OpenStack: VM’s, bloques, objetos y CephFS
- 42. Ceph: ¡Escalando hacia el exabyte!
- 43. Ceph: ¡Escalando hacia el exabyte! Opciones de monitorización: ○ Calamari ○ InkScope ○ Grafana
- 44. Ceph: ¡Escalando hacia el exabyte!
- 45. Ceph: ¡Escalando hacia el exabyte!
- 46. Ceph: ¡Escalando hacia el exabyte! And now...
- 47. 3. Pequeño tutorial sobre Ceph
- 48. Ceph: Tutorial Primeros pasos: ○ Instalar Vagrant y VirtualBox ○ Instalar Git (https://goo.gl/Xoj9FF) ○ Instalar los plugins de Vagrant: ● Vagrant-cachier ● Vagrant-hostmanager