TDC2017 | São Paulo - Trilha NOSQL How we figured out we had a SRE team at - Elasticsearch: O poder das buscas full-text

El ast i csear ch
O poder das buscas f ul l - t ext

Tópicos da Apresentação

Sobre o Elasticsearch

Conceitos

Instalação

Mapping & Analyzers

Aplicação

CRUD

Documentação

SDKs

Backup

Elastic Stack


É um motor de buscas distribuído;

Alta disponibilidade;

Facilmente escalável;

Desenvolvido em Java;

Baseado no Apache Lucene;

Open Source;

Comunicação API Rest (Json/HTTP);

Armazenamento de Documentos;

SDK para diversas linguagens;


Recuperação rápida de documentos;

Análise de Logs;

Buscas full-text / geolocation;

Aggregations & Analytics;

Alerta e Classificação;

Score Functions;

Autocomplete e highlight;

Documentação bem completa;

Curva de aprendizado fácil;

Documentos

É armazenado sob um Id único;

Documentos são objetos Json;

Tipos de Dados:

String (text / keyword);

Number;

Geopoint;

Geoshape;

Bool;

Date;

Ipv4;

Array;

Object;

Indíce e Tipos
Banco Relacional Elasticsearch
Banco Índice
Tabela Tipo
Índice Token, Indíce
 Um índice é um container de dados. Cada nó pode hospedar diversos índices;
 Um tipo representa uma classe de documentos semelhantes, mesma estrutura;
 Um tipo possui seus campos definidos e seus campos possuem tokens
(índices) que fazem referência ao documento;
Analogia com banco relacional para facilitar o entendimento:

Cluster, Nós e Shards

Cluster é um conjunto de nós trabalhando juntos;

Todos os nós se comunicam entre si;

Shard é um “pedaço” único de um índice, que pode estar em quaquer nó;

Um shard também pode (e deve) possuir réplicas espalhadas em outros nós;

Linux (Ubuntu)
> sudo add-apt-repository ppa:webupd8team/java
> sudo apt-get update
> sudo apt-get install oracle-java7-installer
Instalando o Java
> wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.3.2.deb
> sudo dpkg -i elasticsearch-5.3.2.deb
Instalando o ElasticSearch
> sudo service elasticsearch start
Iniciando o serviço

Windows
Instalando o Java
Download:
https://java.com/pt_BR/download/
Após a instalação, definir variável de ambiente do windows
JAVA_HOME com o caminho da instalação do JRE.
Instalando o ElasticSearch

Download ZIP https://www.elastic.co/downloads/elasticsearch

Descomprimir arquivo, acessar o diretório /bin
> .elasticsearch-service.bat install
> .elasticsearch-service.bat start

Verificando a Instalação
Acesse: http://localhost:9200

Mapping

É o processo de definição de como um documento e
seus campos são armazenados e indexados;

Define os tipos de dados dos campos (text, keyword,
date, integer, etc);

É possível definir o tipo da string entre text
(analisável) e keyword (não-analisável);

Permite a criação de sub campos;

Permite a definição de templates para campos
adicionados dinamicamente;

Analyzer

São responsáveis por tratar os dados e
gerar os índices associados a eles;

O dado é quebrado em diversos tokens a
partir dos Tokenizers e Token Filters;

Os tokens são normalizados;

Esse processo é aplicado tanto na
indexação dos documentos quanto na
busca;

Existem diversos tipos de analisadores,
para idiomas específicos, etc, e com
possibilidade de customização;

Índice Invertido

Projetado para permitir uma busca full-text
extremamente rápida;

Consiste em uma lista única com todas as palavras que
aparecem nos documentos e para cada palavra uma
lista de documentos que ela aparece;
Exemplo:

The quick brown fox jumped over the lazy dog

Quick brown foxes leap over lazy dogs in summer

Índice Invertido
Exemplo:

The quick brown fox jumped over the lazy dog

Quick brown foxes leap over lazy dogs in summer
Uma busca por “quick brown”

Índice Invertido
Normalização

Backup
PUT /_snapshot/meu_repo
{
"type":"fs",
"settings": {
"location":"C:es-bkp"
}
}
CRIAR REPOSITÓRIO
PUT /_snapshot/meu_repo/meu_snap
CRIAR SNAPSHOT
GET /_snapshot/meu_repo/_all
LISTAR SNAPSHOTS
POST /_snapshot/meu_repo/meu_snap/_restore
RESTAURAR SNAPSHOT

Logstash
“Collect, Enrich & Data Transport”

Processa quaisquer dado, de diversas fontes;

Centralizar o processamento de dados de todos os tipos;

Normalizar variando esquema e formatos;

Customização rápida para formatos de log;

Permite facilmente adicionar plugins para fontes de dados personalizados;

Beats
“Lightweight Data Shippers”

Carrega dados com um único propósito;

Agentes leves para tarefas específicas;

Alta capacidade de processamento e carga;

Customização rápida para formatos de log;

Arquivos de log, métricas, dados da rede, registros de eventos do
windows, monitoramento de tempo de atividade;

Kibana
“Explore & Visualize Your Data”

Dashboard para visualização de dados;

Flexibilidade de análise e plataforma para visualização;

Resumo em real-time e gráficos de streaming de dados;

Interface intuitiva para uma variedade de usuários;

Compartilhamento instantâneo e incorporação de dashboards;

X-Pack
“One Pack. Loads of Possibilities”

Segurança;

Alerta e notificação;

Monitoramento;

Relatórios;

Grafos;

Machine Learning;

Alerting
“Alerting for Elasticsearch”

Alerta e notificação;

Analisar histórico de eventos e dados;

Definição de condições, cronograma, ações;

Integração com diversas ferramentas como JIRA, HipChat e Slack;

Security
“Security for Elasticsearch”

Provedor de segurança avançada ao seu cluster;

Acesso autenticado para diversos usuários;

Recursos avançados de criptografia;

Acesso com base em funções/permissões, IP;

Pode ser integrado ao AD /LDAP;

Logs de auditoria com acessos e sessões (HIPAA, PCI DSS, FISMA, ISO);

THIAGO BARRADAS
EMAIL: TBARRADAS@MUNDIPAGG.COM
TELEFONE: (21) 99329-9143
LINKEDIN: THIAGOBARRADAS

TDC2017 | São Paulo - Trilha NOSQL How we figured out we had a SRE team at - Elasticsearch: O poder das buscas full-text

Mais conteúdo relacionado

Semelhante a TDC2017 | São Paulo - Trilha NOSQL How we figured out we had a SRE team at - Elasticsearch: O poder das buscas full-text (20)

Mais de tdc-globalcode (20)

Último (20)

TDC2017 | São Paulo - Trilha NOSQL How we figured out we had a SRE team at - Elasticsearch: O poder das buscas full-text