Opensource Search Engines
1 gefällt mir334 aufrufe
Das Dokument präsentiert eine Übersicht über Open-Source-Suchmaschinen und deren Evaluierung durch Veit Schiele, Gründer der Cusy GmbH, mit Fokus auf datenschutzkonforme Plattformen. Es werden verschiedene Typen von Suchdienstleistungen diskutiert, einschließlich Self-Hosted und Third-Party Hosted Services, jeweils mit Vor- und Nachteilen aufgelistet. Zudem werden Integrationen mit Drittsystemen und Beispiele für deren Einsatz, wie im Fall von Fraunhofer ISE, thematisiert.
Opensource Search Engines
- 1. Open Source Search Engines Veit Schiele cusy GmbH, Berlin de.slideshare.net/cusyio/open-source-search-engines
- 2. Veit Schiele • Gründer und Geschäftsführer der Cusy GmbH, einer datenschutzkonformen Entwicklungs- und Betriebsplattform • Enge Zusammenarbeit mit der Gesellschaft für Datenschutz und Datensicherheit e.V. (GDD) you + me + cusy
- 3. Agenda • Evaluation • Search Appliances • Third-party hosted services • Self-hosted services • Anbindung von Drittsystemen • collective.elasticindex • Zusammenfassung und Diskussion
- 4. Alternative Search Appliance Alternative Search Appliance MaxxCAT Mindbreeze InSpire Thunderstone
- 5. Search Appliances Alternative Search Appliances Pros und Cons + Einfach und schnell bereitgestellt + Geringe Wartungs- und Pflegeaufwände - Keine Redundanz, kein Backup - Häufig sind Konfigurationsänderungen nur produktiv zu testen - Monitoring der Lizenzauslastung erforderlich
- 6. Third-party hosted services Third-party hosted services Beispiele SearchBloxN2SM OSS Elastic Cloud
- 7. Third-party hosted services Third-party hosted services Pros und Cons + Einfach und schnell bereitgestellt für öffentlich zugängliche Informationen + Keine Wartungs- und Pflegeaufwände - Einbindung von internen Services, Dateisystemen etc. schwierig bis unmöglich - Monitoring der Lizenzauslastung erforderlich
- 9. Self-hosted services Self-hosted services Pros und Cons + Einbindung von internen Services, Dateisystemen etc. möglich - Erhöhte Aufwände in Installation, Konfiguration und Pflege - Erweiterbar, wenn auch meist mit erheblichem Aufwand
- 10. Self-hosted services 1. Suchmaschine auf Basis von Apache Lucene 1. Elasticsearch 2. Solr Search Appliances bestehen im Wesentlichen aus zwei Komponenten:
- 11. Self-hosted services 2. Crawler Hierfür bieten sich z.B. folgende Lösungen an: 1. Scrapy 1. scrapy-elasticsearch 2. Apache Nutch 3. Elasticsearch River Web Search Appliances bestehen im Wesentlichen aus zwei Komponenten:
- 12. Anbindung von Drittsystemen Self-hosted services: Enhancements z.B. mit Apache ManifoldCF • Microsoft Sharepoint • EMC Documentum • DropBox • RSS-Feeds • E-Mail …
- 13. Anbindung von Drittsystemen Self-hosted services: Enhancements oder für Elasticsearch 5.2 • FS Crawler • IMAP/POP3/Mail importer • … • s.a. Elasticsearch Plugins and Integrations
- 14. Anbindung von Drittsystemen Self-hosted services: Enhancements -Pack: • Security (vorm. Shield) • Alerting (vorm. Watcher) • Monitoring (vorm. Marvel) • Reporting • Graph • Machine Learning
- 15. Beispiel: Fraunhofer ISE – 1. Indizierung Fraunhofer ISE – 1. Indizierung • Durchsuchen verschiedener Quellen • Projekt-Websites • Aufgabenverwaltung • Dateisystem • … • Berechtigungen indizieren
- 16. Beispiel: Fraunhofer ISE – 2. Datenhaltung Fraunhofer ISE – 2. Datenhaltung • Jedes Repository besitzt eigenes Datenmodell • Gemeinsame Abfragen über Wildcards • Aliasses / Pipelines
- 17. Beispiel: Fraunhofer ISE – 3. Sicherheit Fraunhofer ISE – 3. Autorisierung • Jedes Repository besitzt eigenes Authorisierungsmodell • Informationen z.T. aus dem Certification Authority Server • Security Proxy überprüft Autorisierung vor dem Ausliefern
- 18. Completeness of Vision AbilitytoExecute As of August 2015 Challangers Niche Players Leaders Visionaries LucidworksLucidworks Expert System Recommind BA Insight IBM IHS Coveo Sinequa HP Mindbreeze Google Dassault Systèmes Attivio Lexmark Squiz Positionierung Gartner. Magic Quadrant
- 19. What we can do for you What we can do for you • datenschutzkonform Hosten auf der Cusy-Plattform • Installation, Wartung und Pflege auf ihren Maschinen • Beratung, Anpassung und individuelle Weiterentwicklung
- 21. Bildnachweise • Portrait; Ingo Kniest • Icons; André Henze; © Cusy GmbH • Michael Gernhardt in space during STS-69 in 1995; PUBLIC DOMAIN: NASA