Elasticsearch 101 (Part 1)
- 1. Elasticsearch 101 Training course (Part 1)
- 2. Training contents - Qué es Elasticsearch? - Introducción - Casos de uso típicos - Familia de Elastic: Kibana, Logstash, Beats, APM... - Qué hay que saber sobre Elasticsearch - Replicas, Shards y nodos - Trucos de configuración
- 3. Qué es Elasticsearch? - El objetivo de ElasticSearch era tener un buscador escalable. - Funciona sobre Lucene. - Creado en 2010 para competir con Apache Solr. - Arquitectura distribuida de saque en su diseño inicial - Fácil de usar desde cualquier lenguaje de programación vía REST APIs
- 4. Typical use-cases - Datos (relativamente) estáticos: un dataset grande (o pequeño) que puede crecer o cambiar lentamente como un catálogo de productos. - Series temporales: datos sobre eventos asociados a un momento particular en el tiempo que suelen crecer muy rápido tales como ficheros de log o métricas de performance.
- 5. Elastic family - Elasticsearch es un buscador diseñado para ser escalable y fácil de usar en cualquier lenguaje. - Logstash & Beats se usan para transformar datos de los logs y guardarlos en Elasticsearch. - Kibana es la plataforma de visualización de analíticas generadas desde Elasticsearch. - APM es el nuevo producto estrella de Elastic diseñado para el caso de uso de performance monitoring.
- 6. Primary shards and replica shards
- 7. Elastic node types - Master node: coordina la topología de los datos. Controla dónde están guardados los datos. - Data node: Guarda los datos. Tanto réplicas como shards. - Otros: Ingest node, machine learning node, transform node, etc...
- 8. Configuration tips: Cuántos shards? - Heavy indexing: + shards - Heavy search traffic: + réplicas - Large dataset: Ajusta el número de shards para que cada uno ocupe de 10 a 40 GB - Small dataset: Deja un único shard
- 9. Configuration tips: Health status - VERDE: Todos los shards - primarios y secundarios - están asignados correctamente. - AMARILLO: Los shards primarios están bien, pero alguna réplica secundaria no está asignada. - ROJO: Un shard primario no está asignado en el clúster
- 10. Configuration tips - Los shards deben tener un tamaño de entre 10GB - 40GB - Hay que escoger un número divisible de shards para usar la shrink y la rollover api. - Si tu clúster va a crecer, considera tener másters dedicados. Mínimo 3 para evitar split-brain. - Usar dynamic=strict para que no se puedan auto añadir campos en el índice.
- 11. Configuration tips - Setear la ram del data-nodo a la mitad -1 i.e. para 64GB de RAM, pondriamos 31GB para el proceso Java - Idealmente, data-nodes con 64GB de RAM y master-nodes con 16GB de RAM - No usar nunca kill -9 {process_id}, usar kill {process_id}. Los buffers no se cierran bien. - Usar Rally para tests de carga.