Sentralisasi Log dan Monitoring Node Pada OpenStack Menggunakan Elastic Stack.pptx
- 1. Robi Setia Permadi XIII SIJA A 181113923 SMK Negeri 1 Cimahi
- 2. PT Boer Technology PT Boer Technology (Btech) merupakan perusahaan yang bergerak di bidang Cloud, DevOps, dan security. Btech berkomitmen untuk memberikan solusi optimal dengan layanan profesional yang diberikan oleh tim btech yang berpengalaman dalam spesialisasi Cloud, DevOps, dan Keamanan.
- 3. Sentralisasi Log dan Monitoring Node Pada OpenStack Menggunakan Elastic Stack
- 5. Latar Belakang Masalah PT Boer Technology merupakan perusahaan yang menyediakan layanan jasa di bidang Cloud Computing. Cloud Computing adalah sebuah model komputasi yang memungkinkan untuk : - Dapat diakses di mana saja - Kemudahan untuk mengakses ke kumpulan sumber daya komputasi (networks, servers, storages, applications, dan services) - Dapat dengan cepat disediakan dan dirilis tanpa adanya banyak interaksi dengan penyedia layanan
- 6. Latar Belakang Masalah Private cloud adalah salah satu model penyebaran komputasi awan yang menawarkan lingkungan kepemilikan yang didedikasikan untuk keperluan dan kebutuhan satu entitas bisnis secara terintegrasi. - Memiliki Kontrol Penuh terhadap Data Perusahaan - Dapat Dikustomisasi Sendiri - Dapat diintegrasikan dengan Public Cloud
- 7. Latar Belakang Masalah OpenStack merupakan salah satu platform open source terkemuka untuk public maupun private cloud yang terdiri dari serangkaian proyek yang digabungkan dan berkembang pesat sehingga mendukung serangkaian teknologi dan opsi konfigurasi yang luas.
- 9. Latar Belakang Masalah Semakin banyaknya penggunaan private cloud oleh kalangan perusahaan membuat OpenStack menjadi salah satu platform private cloud yang banyak diminati.
- 10. Latar Belakang Masalah : masalah ke-1 Ada error di OpenStack cluster? gak masalah, cari aja di log :’((( Service Controller Node Compute Node Horizon 3 Keystone 2 Nova 5 2 Neutron 6 2 Glance 1 Placement 1 Cinder 5 2 Total 23 6 (3 controller x 23 File Log) + (3 compute x 6 File Log) = 87 File Log
- 11. Latar Belakang Masalah : masalah ke-2 Team leader said : “OpenStack cluster kita penggunaan sumber dayanya masih cukup gak? Coba cek di setiap node-nya” Cloud Engineer : . . . . . .
- 12. Rumusan Masalah 1. Susahnya mencari letak error di OpenStack cluster pada sekian banyak file log yang dihasilkan oleh OpenStack Cluster 2. Susahnya mengetahui penggunaan sumber daya yang digunakan oleh OpenStack Cluster secara real time
- 13. Solusi : Monitoring Node dan Log Tersentralisasi Biasa dikenal dengan ELK Stack : - Elasticsearch - Logstash - Kibana Modul baru sehingga disebut Elastic Stack : - Beats : - Filebeat - Metricbeat - dan lain-lain
- 14. Mengimplementasikan sentralisasi log dan monitoring pada OpenStack Cluster sehingga hanya perlu masuk ke dashboard Kibana untuk mencari error maupun monitoring pada OpenStack cluster. Tujuan
- 15. - Hanya mengambil log dari OpenStack Services yang umum digunakan (Nova, Cinder, Glance, Neutron, Heat, Horizon, dan Keystone), - Hanya mengambil metrics yang ada pada OpenStack cluster nodes (controller node, compute node). Batasan Masalah
- 16. Beats, Data Shipper Beats adalah tool yang berfungsi untuk mengumpulkan data dan mengirimkannya ke pengolah data. - Filebeat - Metricbeat - Winlogbeat - Packetbeat
- 17. Logstash, Data Collector & Log Parser Logstash adalah sebuah tool open source yang berfungsi sebagai mesin pengumpulan data. Logstash dapat secara dinamis menyatukan data dari sumber yang berbeda dan mengolah data kemudian dikirim ke tujuan pilihan.
- 18. Elasticsearch, search engine & analysis tool Elasticsearch adalah sebuah tool open source yang berfungsi sebagai mesin pencarian dan analisis yang dibangun menggunakan bahasa pemrograman Java. Semua entri data yang masuk ke Elasticsearch disimpan dalam dokumen JSON dan semua field dapat diindeks menggunakan query.
- 19. Kibana Dashboard Kibana adalah sebuah dashboard yang berfungsi untuk memvisualisasikan data dan menavigasi Elastic Stack. Kibana dapat juga digunakan sebagai alat untuk mencari, dan monitoring. Dengan Kibana dapat menemukan data hingga menganalisis log sampai menemukan kerentanan keamanan.
- 21. Deskripsi Umum Sistem Sistem Sentralisasi Log dan Monitoring Node Pada OpenStack Menggunakan Elastic Stack adalah sebuah sistem yang menyediakan pengelolaan log dan monitoring tersentralisasi pada sebuah OpenStack cluster. Sistem ini dapat membantu untuk pencarian error saat proses troubleshooting dan monitoring resources(pemakaian CPU dan Memory) oleh engineer.
- 22. Analisis Kebutuhan Perangkat Lunak - OpenStack - Kolla-ansible - Elastic Stack : - Beats (Metricbeat dan Filebeat) - Logstash - Elasticsearch - Kibana
- 23. Analisis Kebutuhan Perangkat Keras - 3 VM untuk OpenStack Cluster dengan spesifikasi : - Ubuntu 18.04 LTS - 8GB RAM - 4 Cores CPU - Disk : - /dev/vda 20 GB untuk root (/) - /dev/vdb 15 GB untuk layanan Cinder - 1 VM untuk Elasticsearch, Logstash, dan Kibana dengan spesifikasi : - Ubuntu 18.04 LTS - 8GB RAM - 4 Cores CPU - Disk /dev/vda 25 GB untuk root
- 24. Analisis Kebutuhan Perangkat Keras - Laptop untuk mengakses dan mengkonfigurasi virtual machines dengan spesifikasi minimal : - 4GB RAM - 2 Cores CPU
- 25. Perencanaan
- 26. Topologi
- 28. Implementasi
- 29. Persiapan Environment 1. Mengubah hostname pada semua node sehingga sesuai dengan topologi 2. Pembuatan user yang memiliki akses sudo di semua node
- 30. Persiapan Environment 3. Memetakan host pada /etc/hosts di setiap node 3. Membuat SSH key-pair pada setiap node
- 31. Persiapan Environment 3. Memetakan host pada /etc/hosts di setiap node 3. Membuat SSH key-pair pada node controller
- 32. Persiapan Environment 5. Mendistribusikan SSH public key dari node controller ke semua node
- 33. Deploy OpenStack 1. Memperbaharui repositori pada node controller 2. Install dependensi yang diperlukan di node controller
- 34. Deploy OpenStack 3. Membuat virtual environment python pada node controller 3. Menginstal pip pada node controller
- 35. Deploy OpenStack 5. Menginstal Ansible, kolla-ansible, dan openstackclient menggunakan pip pada node controller
- 36. Deploy OpenStack 6. Membuat direktori /etc/kolla pada node controller dan mengganti pemilik direktorinya 7. Konfigurasi file multinode pada node controller
- 37. Deploy OpenStack 8. Membuat kata sandi untuk OpenStack menggunakan perintah kolla-genpwd pada node controller 9. Konfigurasi file /etc/kolla/globals.yml
- 38. Deploy OpenStack 10.Membuat volume group untuk Cinder 10.Deploy OpenStack mengunakan kolla-ansible
- 39. Instalasi dan konfigurasi Elasticsearch pada node elastic 1. Memperbaharui repositori 2. Menginstal dependensi yang dibutuhkan 1. Mengunduh dan memasangkan GPG key repositori Elastic dan menambahkan repositori Elastic
- 40. Instalasi dan konfigurasi Elasticsearch pada node elastic 4. Instalasi Elasticsearch 4. Menjalankan service Elasticsearch 4. Konfigurasi Elasticsearch
- 41. Instalasi dan konfigurasi Elasticsearch pada node elastic 7. Mengatur kata sandi untuk built-in user pada Elasticsearch
- 42. Instalasi dan konfigurasi Elasticsearch pada node elastic 8. Restart layanan Elasticsearch 8. Verifikasi Elasticsearch sudah menggunakan kata sandi
- 43. Instalasi dan konfigurasi Kibana pada node elastic 1. Instalasi Kibana 1. Menjalankan layanan Kibana 1. Konfigurasi Kibana
- 44. Instalasi dan konfigurasi Kibana pada node elastic 4. Atur kibana-keystore agar menggunakan kata sandi 4. Restart Kibana
- 45. Instalasi Logstash pada node elastic 1. Penambahan repositori Elastic versi 8.x 1. Instalasi Logstash versi 8.0.0
- 46. Instalasi Logstash pada node elastic 3. Menjalankan layanan Logstash
- 47. Instalasi Beats (Filebeat dan Metricbeat) pada node controller, compute1, dan compute2 1. Mengunduh dan memasangkan GPG key repositori Elastic kemudian menambahkan repositori Elastic
- 48. Instalasi Beats (Filebeat dan Metricbeat) pada node controller, compute1, dan compute2 2. Pembaharuan repositori dan instalasi Filebeat 2. Instalasi Metricbeat
- 49. Mengamankan komunikasi antara Beats dan Logstash 1. Membuat CA certificate dan server certificate pada node elastic
- 50. Mengamankan komunikasi antara Beats dan Logstash 2. Ekstrak file zip hasil dari tahapan sebelumnya 2. Konversi kunci privat ke format standar Elastic Beats PKCS#8
- 51. Mengamankan komunikasi antara Beats dan Logstash 4. Konfigurasi Logstash pada node elastic agar input dari Beats menggunakan koneksi SSL/TLS
- 52. Mengamankan komunikasi antara Beats dan Logstash 5. Mentransfer file ca.crt dari node elastic ke node controller, compute1, dan compute2 lalu pindahkan ke direktori /etc/metricbeat dan /etc/filebeat 6. Konfigurasi output metricbeat dan filebeat pada node controller, compute1, dan compute2
- 53. Pembuatan script dari Python untuk monitoring stats layanan Nova pada OpenStack
- 54. Konfigurasi Input Filebeat di /etc/filebeat/filebeat.yml
- 56. Konfigurasi Logstash 1. Mengunduh precision timestamp Ruby filter plugin 2. Konfigurasi input Logstash
- 57. Konfigurasi Logstash 3. Konfigurasi filter Logstash pada file /etc/logstash/conf.d/30.filter-auth-logstash.conf
- 58. Konfigurasi Logstash 3. Konfigurasi output Logstash 3. Restart Logstash
- 59. Konfigurasi dashboard pada Kibana 1. Pembuatan role untuk user logstash_internal
- 60. Konfigurasi dashboard pada Kibana 1. Pembuatan role untuk user logstash_internal
- 61. Konfigurasi dashboard pada Kibana 2. Pembuatan user logstash_internal
- 62. Konfigurasi dashboard pada Kibana 2. Pembuatan user logstash_internal
- 63. Konfigurasi dashboard pada Kibana 3. Penambahan Index patterns
- 64. Konfigurasi dashboard pada Kibana 4. Pembuatan dashboard pada Kibana
- 65. Konfigurasi dashboard pada Kibana 5. Pembuatan visualisasi untuk Jumlah Nova instances yang telah dibuat
- 66. Konfigurasi dashboard pada Kibana 6. Pembuatan visualisasi untuk Jumlah vCPUs yang dipakai oleh Nova instances
- 67. Konfigurasi dashboard pada Kibana 7. Pembuatan visualisasi untuk Jumlah vCPUs yang belum dipakai oleh Nova instances
- 68. Konfigurasi dashboard pada Kibana 8. Pembuatan visualisasi untuk Jumlah penyimpanan yang dipakai oleh Nova instances
- 69. Konfigurasi dashboard pada Kibana 9. Pembuatan visualisasi untuk Jumlah penyimpanan yang belum dipakai oleh Nova instances
- 70. Konfigurasi dashboard pada Kibana 10. Pembuatan visualisasi untuk Jumlah RAM yang dipakai oleh Nova instances
- 71. Konfigurasi dashboard pada Kibana 11. Pembuatan visualisasi untuk Jumlah RAM yang belum dipakai oleh Nova instances
- 72. Konfigurasi dashboard pada Kibana 12. Pembuatan visualisasi untuk Penggunaan CPU pada OpenStack cluster nodes
- 73. Konfigurasi dashboard pada Kibana 13. Pembuatan visualisasi untuk Penggunaan RAM pada OpenStack cluster nodes
- 74. Konfigurasi dashboard pada Kibana 14. Pembuatan visualisasi untuk Percobaan login pada layanan Horizon dashboard
- 75. Konfigurasi dashboard pada Kibana 15. Pembuatan visualisasi untuk Detail percobaan login pada layanan Horizon dashboard
- 76. Konfigurasi dashboard pada Kibana 16. Pembuatan visualisasi untuk Log dari status instances pada layanan Nova openstack.nova.compute-*
- 77. Konfigurasi dashboard pada Kibana 17. Pembuatan visualisasi untuk Jumlah error pada setiap layanan di OpenStack
- 78. Pengujian
- 80. Menampilkan jumlah error pada setiap layanan OpenStack
- 81. Pencarian error pada OpenStack dengan Elastic Stack
- 82. Monitoring penggunaan CPU pada OpenStack Cluster Nodes
- 83. Monitoring penggunaan RAM pada OpenStack Cluster Nodes
- 84. Mengetahui sumber daya yang tersedia dan telah digunakan oleh layanan nova
- 85. Melihat riwayat status pada Nova instance
- 86. Melihat riwayat proses autentikasi pada layanan Horizon di OpenStack
- 87. Thank You