twMVC#24 | 別讓資料庫不開心！有些工作讓 Elasticsearch 來代勞
2 likes1,233 views
本文介绍了如何使用Elasticsearch进行数据搜索和日志处理，包括安装配置步骤、关键概念和相关插件使用。强调了Elasticsearch在处理大量日志和独立于关系型数据库搜索方面的优势。报告还推荐了Kibana用于可视化和汇总日志数据的强大功能。
twMVC#24 | 別讓資料庫不開心！有些工作讓 Elasticsearch 來代勞
- 2. http://mvc.tw 任職某投資理財網站攻城獅 懂得後端也略懂前端 敏捷會一些也會一點 Infra 還知道一點點 UX https://dotblogs.com.tw/supershowwei https://www.facebook.com/softkitchen 2 軟體主廚（莊志弘）
- 9. 9 LIKE ‘%%’ Microsoft Index Service Full-Text Indexing 過去我如何做資料搜索？ HP Autonomy
- 13. 13 圖片來源：http://wccftech.com/windows-10-editions https://en.wikipedia.org/wiki/Linux or Windows 跨足 CentOS 心得文（一） Windows 跨足 CentOS 心得文（二）
- 14. http://mvc.tw 建議 JDK v1.8.0 在防火牆挖 9200、9300 的洞 14 環境
- 16. http://mvc.tw 16 啟動 sudo systemctl daemon-reload sudo systemctl enable elasticsearch.service sudo systemctl start elasticsearch.service
- 17. 17 ...裝完 了！？
- 19. 19 不過 我們還需要做兩件事
- 20. http://mvc.tw 設定 network.host: _site_ /etc/elasticsearch/elasticsearch.yml 20 第一件事
- 21. http://mvc.tw 安裝 kopf Plugin https://www.elastic.co/guide/en/elasticsearch/plugins /current/index.html 21 第二件事 /usr/share/elasticsearch/bin/./plugin install lmenezes/elasticsearch-kopf
- 22. 22 一點點基本觀念
- 23. http://mvc.tw Index Document type Document Field 23 資料的存放結構 ≒ Database ≒ Table ≒ Record ≒ Column
- 24. 24 來種點碼
- 25. http://mvc.tw 官方提供的 Elasticsearch .NET Client 支援強型別 簡潔的 API 操作方式 25 NEST
- 27. http://mvc.tw 安裝 delete-by-query Plugin 重啟 Elasticsearch 服務 27 DeleteByQuery Plugin /usr/share/elasticsearch/bin/./plugin install delete-by-query sudo systemctl restart elasticsearch.service
- 30. http://mvc.tw Node：單個 ES 服務 Cluster：一群 ES 服務 Shard：將一個 Index 分成若干部分（Shard）儲存在相 同或不同的 Node 上，是 ES 執行分散式任務的基礎。 Replica：Index 的備份（備幾份的意思） 30 Cluster ES預設1個Index是 5Shards、1Replica=總共10Shards
- 34. 34 過去我如何搜尋及彙總日誌？ Ctrl + F SQL Query 圖片來源：https://commons.wikimedia.org https://azure.microsoft.com
- 39. http://mvc.tw 設定檔（Pipeline） https://www.elastic.co/guide/en/logstash/current/index.html 39 Logstash input { } filter { } output { }
- 43. http://mvc.tw 43 可以這樣做 log4net UdpAppender NLog Network target File logstash file input plugin SQL Database logstash jdbc input plugin
- 44. http://mvc.tw 打通防火牆 5601 埠號 安裝 指定 ES Url /opt/kibana/config/kibana.yml 44 Kibana rpm -ivh https://download.elastic.co/kibana/kibana/kibana- 4.6.1-x86_64.rpm
- 45. http://mvc.tw 啟動 設定資料來源：logstash-*（預設值） 45 Kibana systemctl daemon-reload systemctl enable kibana.service systemctl start kibana.service
- 46. 46 讓老闆不來煩你的強大圖表
- 48. http://mvc.tw Elasticsearch 將搜索的工作從關聯式資料庫中獨立出來 上手 Linux 不是一件很難的事情 Elasticsearch 的高用性讓人驚豔 ELK 幫助我們輕鬆地就處理掉大量的日誌 Kibana 的圖表讓我們很簡單地就可以處理日誌彙總的工作 範例程式原始碼在這兒 https://github.com/supershowwei/do-not-make-db-unhappy 48 今天我們瞭解了什麼？
- 49. 49
- 55. 謝謝各位 • 本投影片所包含的商標與文字皆屬原著作者所有。 • 本投影片使用的圖片皆從網路搜尋。 • 本著作係採用姓名標示-非商業性-相同方式分享 3.0 台灣授權。閱讀本授權條款，請到 http://creativecommons.org/licenses/by-nc-sa/3.0/tw/，或寫信至Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA. h t t p : / / m v c . t w