Elasticsearch nie tylko dla Wielkodanowców

Elasticsearch
nie tylko dla Wielkodanowców
Łukasz Kuczyński

Ja
● Łukasz i inne
● developer
● autofirma
● elastycznie
● gram w nogę

Agenda
● motywacja
● pierwsze uruchomienie
● troszkę teorii
● demo 1 : tekst
● demo 2 : agregacje
● pytania i odpowiedzi

Motywacja
● Po co nam dane
– Gdzie są
– Kto ich szuka
– Dane a informacje
● Co gdy brak informacji
– Support team jest męczony
– Leczymy skutki
– Nie widzisz

Opcje
● On premises – hostuj sobie sam
– instalki (Winda i Linuch)
– Docker-owy obrazek
● Hostingi
– AWS
– Bonsai.io
– usługa albo Linuxbox

minidemo: Pierwsze uruchomienie
● cel
– pokazać że skomplikowany silnik wyszukiwania da się uruchomić na Twoim
kompie
– pokazać że to żyje
● kamenie milowe
– Linux + Docker
– Health
– Any REST
● curl
● Kibana devtools

Pokaż kotku co masz w środku
● Elasticsearch to
– Search engine
– Biblioteka Lucene
– RESTowe narzędzie
● Pojęcia
– index > type > document
– cluster > node > shard
– replica

Podstawowe operacje
● Cel
– Zindeksujemy dokument i zobaczymy co automatycznie stworzył
nam silnik ES
● Kamienie milowe:
– Otwieram Kibana (K z ELK)
– Tworzę indeks
– Wrzucam dokument
– Indeks ma mapowanie
– Szukam i znajduję

ES to .. bogactwo API
● REST
● Language-specific
– Java
● official ES library
– Spring
● SpringData Repository
– Python
● pokażmy kod

Elasticsearch to „baza”
● Nie zawsze jako podstawa
– Świetny cache
– Aplikacje zorientowane na search
● Security
– X-Pack to dodatek
● Transakcje
– Wersjonowanie dokumentów

Demo #1 : twitter
● Cel: o czym piszą fani Java
● Zindeksowana historia
– pokaz
● Live: L z ELK
– konfiguracja
– output
● konsola
● ES
● Query to nie Select
– Search Lite vs DSL

Relewantna informacja
● URI : index/typ/_search
● Search
– Score
– TF-IDF
– Vector Space Model
● Jak a nie Czy pasuje

Filtr czy Query
● Filtr zwraca rezultaty
– constant_score
● Zalety
– Szybkość
– Cache
● Filter + Query
– bool

Analiza jest z pudełka
● text vs keyword
● analiza
– char filter (np. HTML strip)
– tokenizer (np. whitespace)
– token filter (np. stopwords)
● search korzysta z tego
– index time
– fraza szukana
● dopasowanie
– wbudowane
– stwórz sobie sam

Nie-pełnotekstowo
● Mapowanie
– różne typy danych
● Agregacje
– Pojęcia
● Bucket, Metric
● Zależne od typu
– Tekst
● Popularne frazy
– Liczby
● Histogram, zakresy

Demo #2, trzesięnia ziemi
● Zdarzenia
– Miejsce, ile ofiar, gdzie
● Technicznie
– Logstash
– Kibana
● Pokazujemy
– Kiedy ludzie ginęli
– Geo punkty

Tworzenie jest proste
● Kibana
– search
– wizualizacja
● Elasticsearch
– bucket
– bucket + metric

Mapowanie
● Nie ma DDL
● Auto
– Coś powstało
● Możesz zdefiniować
– Put mapping

Dashboard = agregacje + czas
● dashboard to zbiór wizualizacji
● przypadki użycia
– nieustanny monitoring logów
– trzymaj rękę na pulsie social-media
● events dashboard
– przefiltrujmy go razem

opcjonalne
● Jest Stempel
● Jest też chiński
● Filebeat jest na topie w ELK
● typo = Fuzzy
● sugestie = Tokenizuj mądrze

in touch
● Twitter : @panlukaszk
● blog : lukcreates.pl

Oni już to mają
● Github
– kod
● Stackoverflow
– pytania i odpowiedzi
● Symantec
– zdarzenia od klientów
● ...
● twój zespół?

Historie sukcesu
● Instalacja i uruchomienie
– Docker
– REST jest łatwo konsumowalny
● Reakcje sa nagrodą
– Namierzenie botów
– Błędy po wdrożeniu
– Automatyczne alerty – zdążyć przed ticketem
– Wąskie gardła

Twój Devops doceni!
● Powtarzalne
– łatwo daje się zdockeryzować
● Skalowalne
– replica
– status zielony gdy 1 replica
● Chmurowe i znane
– sporo providerów – PaaS
– community

Elasticsearch nie tylko dla Wielkodanowców

More Related Content

Featured (20)

Elasticsearch nie tylko dla Wielkodanowców

Editor's Notes