Elasticsearch

ElasticSearch 简介
 构建在 Apache Lucene 之上的的搜索引擎服务，开源（ Apache2 协议）
 分布式索引，分布式搜索，自动负载均衡
 海量数据实时索引、实时分析
 高可靠性，开源社区比较活跃
 JSON 格式的文档型数据
 并非是只一个全文检索系统，正蜕变为一个完整的数据分析平台

ElasticSearch 典型用户
 Github 在 2013 年 1 月升级了他们的代码搜索， Solr->Elasticsearch
 20TB 的数据， 13 亿的文件， 1300 亿行的代码
 26 个索引存储节点和 8 个客户端节点（负责处理搜索请求）

Elasticsearch 与关系数据库对比
Relational DB Databases Tables Rows Columns
Elasticsearch Indices Types Documents Fields

颗粒度问题
 最难的问题 . 颗粒度的大小很难把握
 颗粒度越小歧义越高 , 歧义多召回率高
 颗粒度越大 , 准确率越低 , 召回率低
 系统不同需要的平衡点不同
 Example: 中国银行知春路分行
 NLP 语法分析 : 中国银行 / 知春路分行
 搜索 :[ 中国 / 银行 ][ 中国银行 ][ 知春路 / 分行 ][ 知春路分行 ]

一些有趣的 case
 他说的确实在理
 结婚的和尚未结婚的
 上海大学城书店
 北京大学生前来应聘
 学习近平和李克强将成为一种风尚
 发展中国家庭养猪事业
 门把手坏了 , 门把手夹了
 两毛五一斤 . 一斤八两
 一次性交多少钱

ElasticSearch + Logstash + Kibana 实时日志收集
、查询和分析系统
 Logstash 是一个完全开源的工具，可以对你的日志进行收集、分析，并
将其存储供以后使用。
 kibana 是一个功能强大的 elasticsearch 数据显示客户端，最新版的
kibana3 是纯 html+js 客户端，可以很方便的部署到 Apache 、 Nginx 等
Http 服务器。

ELK 日志分析与监控应用场景
 根据关键字查询日志详情
 监控系统的运行状况
 统计分析，比如接口的调用次数、执行时间、成功率等
 异常数据自动触发消息通知
 基于日志的数据挖掘

splunk
功能强大的日志管理工具
可以用多种方式来添加日志
生产图形化报表
最厉害的是它的搜索功能 - 被称为“ Google for IT”
个人永久免费——每天最大索引量 500MB

Elasticsearch

More Related Content

What's hot (20)

Viewers also liked (20)

Elasticsearch

Editor's Notes