Solr & Cassandra: Searching Cassandra with DataStax Enterprise
6 gefällt mir5,401 aufrufe
Das Dokument bietet eine technische Einführung in Datastax Enterprise Search und behandelt die Integration von Cassandra mit Solr, einschließlich Funktionen wie Hochverfügbarkeit und Skalierbarkeit. Es enthält Informationen zur Struktur von Daten und Abfragen, sowie zu praktischen Beispielen für die Implementierung von Solr in einer Cassandra-Umgebung. Abschließend werden Schritte zur Erstellung und Überprüfung einer Cassandra-Datenbank mit aktivierter Suche beschrieben.
![Confidential 4
The bright blue butterfly hangs on the breeze.
[the] [bright] [blue] [butterfly] [hangs] [on] [the] [breeze]
Tokens](https://image.slidesharecdn.com/searchingcassandrakn-150805184146-lva1-app6891/85/Solr-Cassandra-Searching-Cassandra-with-DataStax-Enterprise-4-320.jpg)
Solr & Cassandra: Searching Cassandra with DataStax Enterprise
- 1. Searching Cassandra with Solr Rachel Pedreschi Lead Technical Evangelist- Datastax Enterprise @rachelpedreschi An Introductory Technical Overview of Datastax Enterprise Search
- 4. Confidential 4 The bright blue butterfly hangs on the breeze. [the] [bright] [blue] [butterfly] [hangs] [on] [the] [breeze] Tokens
- 6. Confidential It can be lonely for Solr 6
- 7. Confidential Cassandra 7 ✓ Highly available ✓ Linear scalability ✓ Low latency OLTP queries C*
- 10. Data Partitioning Application Data Center 1 hash(key) => token(43) 80 10 3050 70 60 40 20
- 11. Application Data Center 1 Replication hash(key) => token(43) replication factor = 3 80 10 3050 70 60 40 20
- 12. Multi-Data Center Replication Application Data Center 1 hash(key) => token(43) replication factor = 3 80 10 3050 70 60 40 20 Data Center 2 replication factor = 3 81 11 3151 71 61 41 21
- 13. Confidential How does DSE integrate Solr? 13 C* C*/ S O L R
- 14. Confidential 14
- 15. Confidential 15 SELECT * FROM killrvideo.videos WHERE solr_query='{ "q": "{! edismax qf="name^2 tags^1 description"}datastax" }'; SELECT id, value FROM keyspace.table WHERE token(id) >= -3074457345618258601 AND token(id) <= 3074457345618258603 AND solr_query='id:*'
- 16. Confidential Vocab 16 Cassandra term Solr term Column Family /Table Core Row Document Column Field SSTable Index
- 17. … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 17 Node memory Node file system Client partition key1 first:Oscar last:Orange level:42 partition key2 first:Ricky last:Red Memtable (corresponds to a CQL table) Coordinator CommitLog AppendOnly … … … … … … … … … … … … SSTables Flush current state to SSTable Compact related SSTables W rite <3, Betty, Blue, 63> Acknowledge partition key3 first:Betty last:Blue level:63 Compaction Each write request … Periodically … Periodically …
- 18. … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 18 Node memory Node file system Client 1 best 1 2 bright 2,3 Ram Buffer Coordinator … … … … … … … … … … … … Segments Flushes current state to Segment (Softcommit) Write <1,blue, 2,3> 3 blue 2,3 Merge (STW) Each write request … Periodically … On C* Memtable Flush, In memory segments hard commit to disk Shard Router … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
- 19. … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … 19 Node memory Node file system 1 best 1 2 bright 2,3 Ram Buffer … … … … … … … … … … … … Segments 3 blue 2,3 Not Searchable Searchable Coordinator Shard Router … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … … …
- 25. Confidential 25 Standard Solr Indexing DSE Search Live Indexing
- 26. Confidential 26
- 27. Confidential Let’s go code diving! 27
- 28. Confidential Behind the scenes… 28 // Videos by id CREATE TABLE videos ( videoid uuid, userid uuid, name text, description text, location text, location_type int, preview_image_location text, tags set<text>, added_date timestamp, PRIMARY KEY (videoid) ); // Index for tag keywords CREATE TABLE videos_by_tag ( tag text, videoid uuid, added_date timestamp, userid uuid, name text, preview_image_location text, tagged_date timestamp, PRIMARY KEY (tag, videoid) ); Not a great idea Possible Index
- 29. Confidential 29 //Videos by id CREATE TABLE videos ( videoid uuid, userid uuid, name text, description text, location text, location_type int, preview_image_location text, tags set<text>, added_date timestamp, PRIMARY KEY (videoid) And this? This? This?
- 30. Confidential 30
- 31. Confidential 31 1) Spin up a new C* Cluster with search enabled using the DSE installer. $ sudo service dse cassandra -s 2) Run your schema DDL to create the C* keyspace and tables. 3) Run dse_tool on the videos table $ dsetool create_core killrvideo.videos generateResources=true 4) Use the Solr Admin to check sanity and make sure you have a core. 5) Write a CQL query with a Solr Search in it. SELECT * FROM killrvideo.videos WHERE solr_query='{ "q": "{!edismax qf="name^2 tags^1 description "}datastax" }';
- 32. Confidential Search all of the things in 5 easy steps… 32
- 35. 35 50% off Priorty Pass: RachelP50 25% Certification: RachelPCert