Solr and Elasticsearch in Action (at Breizhcamp)
3 j'aime2,118 vues
Le document présente une comparaison entre Solr et Elasticsearch, en mettant l'accent sur leurs architectures, outils et fonctionnalités d'indexation et de recherche. Il aborde également des cas d'utilisation concrets dans des domaines tels que l'e-commerce, les ressources humaines et les assurances. Des démonstrations pratiques sont incluses pour illustrer les capacités des deux technologies.
Solr and Elasticsearch in Action (at Breizhcamp)
- 1. Solr in Action ElasticSearch in Action @LucianPrecup @Breizhcamp 2012-06-14
- 2. Objectif • Patterns d’architecture • Outils pour démarrer et exploiter au mieux les technologies • Solr – Léger accent sur l’indexation • ElasticSearch – Léger accent sur la recherche • Démos
- 3. Historique - avant BDidx Appli Répertoire file file file < > < > < > www Browse Filter Sort Get
- 4. Historique - après BDidx Appli Répertoire file file file < > < > < > www Index Search Filter Sort Get
- 5. Technologies • Google Search Appliance • MS FAST Search • Apache Solr • Elastic Search • …
- 6. Fonctionnalités • Indexation – Données non-structurées (fichiers) – Données semi-structurées (email) – Analyse du texte • Recherche – Fulltext, multicritère, suggestion – Facettes, filtres, tris
- 7. Autres utilisations • Base de données • BI
- 8. Intégration Solr • Clustering : répartiteur de charge et redondance des SA • Indexation en masse : dizaine de millions de documents • Fonctions avancées d’analyse du texte
- 9. Démo Solr – alimenter l’index • Importer une BD • Join • Entités et référencement avec ${parent.ID} • GROUP_CONCAT • Indexer des fichiers binaires (Word, Excel, PDF)
- 10. Types de champs dans l’index • stored / not_stored • analyzed / not_analyzed • Champs de recherche • Champs de tri • Champs pour l’affichage • Champs pour les facettes • Champs mixtes
- 11. Démo Solr – auto-complétion
- 12. Analyzers / Tokenizers / Token filters Document entrée Indexation Recherche Id Nom 1 Céline Ascii folding Celine Lowercase celine EdgeNGram ce cel celi celin celine Clé Id document ce 1 cel 1 celi 1 celin 1 celine 1 Index Terme recherché Nom Céli Celi Ascii folding celi Lowercase
- 13. Solr – zoom sur les outils • Luke • Explain • Solr Admin (stats, query form, analysis) • Solr browse search UI
- 14. ElasticSearch - spécificités • Clustering • Schéma auto • « Rivers » et indexation en temps réel
- 15. Intégration – ElasticSearch • Clustering : p2p • Indexation au fil de l’eau
- 17. ElasticSearch – zoom sur les outils • curl • ESHead • "explain" : 1
- 18. Démo – Pertinence • Comment est calculé le score • Comment influencer le score
- 19. Démo - recherche • Analyse à la recherche, requêtes composés • Highlighting • Fuzzy • Facettes • Filtres
- 20. Use case métier • E-commerce – Beaucoup de critères de pertinence à implémenter • Ressources humaines – Recherche de personnes – Recherche full-texte (catalogues formation, CVs, compétences) • Assurances – Modèle métier personne-contrat-sinistre
Notes de l'éditeur
- #4: Comment sont apparus les moteurs de recherche Fonctions: indexation, recherche, analyse du texte!!! Avant : Information structurées par domaine applicatif ; base de données (table, colonne), FS (fichier, contenu), Site Web (Plan de site et pages) process d’accès a l’information : naviguer / parcourir puis filtrer/trier navigation dans tout l’espace recherché Apres : Information non structurée et héterogènes : Process : Search puis filtrer / trier : navigation dans le résultat
- #5: Comment sont apparus les moteurs de recherche Fonctions: indexation, recherche, analyse du texte!!! Avant : Information structurées par domaine applicatif ; base de données (table, colonne), FS (fichier, contenu), Site Web (Plan de site et pages) process d’accès a l’information : naviguer / parcourir puis filtrer/trier navigation dans tout l’espace recherché Apres : Information non structurée et héterogènes : Process : Search puis filtrer / trier : navigation dans le résultat
- #7: Que peut faire un moteur de recherche? BD – en complément ou en remplacement BI + navigation sur les sites web
- #8: Que peut faire un moteur de recherche? BD – en complément ou en remplacement BI + navigation sur les sites web
- #10: Autres possibilités : - Envoi des documents en HTTP (XML, JSON) - Importer une BD - Charger un fichier CSV - Indexer des fichiers binaires (Word, Excel, PDF) - Envoi des documents en Java (SolrJ) - Crawling des sites web
- #12: + highlighting ! Ne pas utiliser prefix query