Hyperdex
- 1. HyperDex Manuel Jesús Bazaga Fortes Master en Big Data Analytics Sistema de Gestión de Datos e Infraestructura
- 2. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 3. Introducción ¿Qué es HyperDex? ● BBDD NoSQL ● K/V ● Documental ● Búsquedas por todos los campos
- 4. Introducción ● Hyperspace Hashing ● Escalable ● Tiene una API con multitud de lenguajes: C, C++, Python, Ruby, Java, Go, and Rust ● Muy rápida
- 5. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 16. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 17. Particionado de datos ● La implementación de una “región” se realiza dividiendo esa región en “zonas”. ● Así se abstrae la dimensión. De forma que las zonas se asignan a los nodos. ● ¿Cuál es el problema?
- 18. Particionado de datos ● Si cada región la dividimos en 2 zonas: o Para el ejemplo anterior con 3 atributos tendremos 8 zonas. o ¿¿Con 9 atributos??
- 19. Particionado de datos ● Si cada región la dividimos en 2 zonas: o Para el ejemplo anterior con 3 atributos tendremos 8 zonas. o ¿¿Con 9 atributos?? tendremos 512 zonas.
- 20. Particionado de datos Agrupamos en sub-espacios. Crearemos N sub-espacios de M zonas cada uno de forma que bajemos el número de máquinas necesarias. Para el ejemplo anterior necesitaremos 24 zonas.
- 21. Particionado de datos ● Las búsquedas son eficientes ● Hyperspace son búsquedas hashing, en lugar de indexadas. ● Al no haber esquema, se guardan diferentes tipos que son distribuidos a sub-espacios diferentes.
- 22. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 24. Consistencia y replicación El put incluye un NODO de cada subespacio
- 25. Consistencia y replicación Cuando se actualiza, un objeto se guarda también el NODO donde estaba anteriormente
- 26. Consistencia y replicación Se eliminan todos los anteriores estados del objeto con el nuevo PUT
- 27. Consistencia y replicación Aunque sólo se guarda los nodos más cercanos.
- 28. Consistencia y replicación Replicación de servidores en cada región para la tolerancia a fallos.
- 29. Consistencia y replicación El mecanismo de guardado incluye a las replicas.
- 30. Consistencia y replicación Los nodos que han fallado son eliminados del camino.
- 31. Consistencia y replicación ● Hyperdex hashing permite operaciones rápidas. ● Mecanismo de guardado permite tener consistencia. ● Hay momentos en los que no se puede garantizar la consistencia de los datos
- 32. Consistencia y replicación ● ACID => HyperDex Warp ● Hyperdex Warp no es open source. ● Garantiza ACID con la linealización del orden de las ejecuciones.
- 33. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 34. Evaluación ● Yahoo! cloud Serving Benchmark ● MongoDB ● Cassandra ● Hyperdex
- 35. Evaluación
- 36. Evaluación - Latencia put/get Latencia para 10000 operaciones 5% PUT / 95 %GET
- 37. Evaluación - Latencia en búsqueda el 95% de las búsquedas las hace hyperdex en menos de 10 segundos
- 38. Evaluación - Latencia / nodos A medida que aumentamos el número de nodos, aumenta proporcionalmente el throughtput (mills ops /s)
- 39. Hyperdex ● Introducción ● Hyperspace Hashing ● Particionado de datos ● Consistencia y Replicación ● Evaluación ● Conclusiones
- 40. Conclusiones ● Es muy rápida. ● Misma filosofía que Bigtable o Dinamo añadiendo la búsqueda por cualquier atributo. ● Posee versión de pago que garantiza ACID: Warp.
- 41. Bibliografía ● http://hyperdex.org/ ● http://diyhpl.us/~bryan/papers2/distributed/distributed- systems/hyperdex.2011.pdf ● http://hyperdex.org/slides/2013-06-28-cloudphysics.pdf