DACHNUG50 CNX3 Monitoring.pdf

Monitoring auf
Kubernetes
Verwende Prometheus um
deine Connections
Infrastruktur zu überwachen
Martin Schmidt
+49 162 2626401
martin.schmidt@skaylink.com

Martin Schmidt
• Senior IT Architect at Skaylink GmbH.
– IBM / HCL Connections since 2007
• Experience in
– Deployment, Migration, Operation and
Customization
– Kubernetes EKS and AWS, Container
• Focusing on
– enhancing with own containers
– make the most out of customizer
• More and more
– DevOps, Automation
14.06.2023 Aufbau einer HCL Connections Umgebung in der AWS Cloud
2

Inhalt
14.06.2023 Monitoring auf Kubernetes
3
1. Warum
2. Technologie Stack
3. Installation
4. Dashboards

• Prometheus ein Standard Monitoring Tool auf und für
Kubernetes
• Fertiges Helm Chart verfügbar
• Vielfältige Dokumentation
4
Warum Prometheus?

• Grafana ein Standard Visualisierung Tool auch für
Prometheus
• Fertiges Helm Chart verfügbar
• Vielfältige Dokumentation
• Reichhaltiges Angebot an vorgefertigten Dashboards
5
Warum Grafana?

Technologie Stack
6

• Prometheus is an open-source systems monitoring and
alerting toolkit originally built at SoundCloud.
• Prometheus ist zuständig die Metriken zu sammeln und in
einer internen Datenstruktur abzulegen.
• Das sammeln der Daten erfolgt über einen einfachen HTTP
Request.
• Zu überwachende Zeile können über Autodiscovery
gefunden werden.
7
Prometheus

Architektur
8

• Quelle: https://github.com/prometheus-
community/helm-charts/tree/main/charts/kube-
prometheus-stack
• helm repo add prometheus-community
https://prometheus-community.github.io/helm-
charts
• helm install [RELEASE_NAME] prometheus-
community/kube-prometheus-stack
• Per default werden auch kube-state-metics, prometheus-
node-exporter und grafana installiert.
9
Installation

• Das Prometheus Dashboard wird nicht über einen
Ingress Controller veröffentlicht.
• kubectl port-forward -n monitoring
pod/prometheus-kube-prometheus-stack-
prometheus-0 9090:9090
• Dann Browser: http://localhost:9090
10
Zugriff auf das Prometheus
Dashboard

Prometheus UI
11

Prometheus UI
12

• Loki is a horizontally scalable, highly available, multi-tenant
log aggregation system inspired by Prometheus. It is
designed to be very cost effective and easy to operate. It
does not index the contents of the logs, but rather a set of
labels for each log stream.
• Loki indiziert log Dateien und speichert sie als stark
komprimierte Objekte in S3, GCS oder lokal.
• Damit sind Alerts und Auswertungen der Log Dateien der
Pods möglich.
13
Grafana Loki

Komponenten
14

• Theoretisch können die WebSphere SystemOut bzw.
SystemErr logs auch mit Loki indiziert und gespeichert
werden.
• Bisher nicht getestet.
15
Grafana Loki - WebSphere

• Quelle: https://github.com/grafana/helm-
charts/blob/main/charts/loki-
stack/README.md
• helm repo add grafana
https://grafana.github.io/helm-charts
• helm install loki grafana/loki-stack
16
Installation
loki grafana/loki-stack

• Open source, highly available Prometheus setup with
long term storage capabilities.
• Hier als Langzeitspeicher der Prometheus Daten
verwendet.
17
Thanos

Architektur
18

• Query, visualize, alert on, and understand your data no
matter where it’s stored. With Grafana you can create,
explore, and share all of your data through beautiful,
flexible dashboards.
• Visualisierung und Alerting der durch Prometheus
gesammelten Daten.
• Wird im Prometheus Stack mit installiert.
19
Grafana

Example Dashboard
20

• Über den Prometheus Node Exporter
• Verfügbar als Binary
• Installation Linux: https://devopscube.com/monitor-linux-
servers-prometheus-node-exporter/
• Basic Authentication:
https://www.stackhero.io/en/services/Prometheus/document
ations/Using-Node-Exporter/Add-authentication-to-
Prometheus-Node-Exporter
• Achtung: Port 9100 von Dmgr besetzt. Verwende 9110.
21
Linux / Windows

• Prometheus Exporter verwendet das Statistik Modul
• Die Daten werden in das Prometheus Format übersetzte.
• Quelle: https://github.com/Lusitaniae/apache_exporter
• Installation: https://computingforgeeks.com/monitor-apache-
web-server-prometheus-grafana/
• Achtung: Port 9100 von Dmgr besetzt. Verwende 9117.
22
IHS / Apache

• Übersetzt die WebSphere PMI Metrics in Prometheus
Format
• IBM :
https://www.ibm.com/docs/en/was/8.5.5?topic=mosh-
displaying-pmi-metrics-in-prometheus-format-metrics-
app
• Singele WebSphere Server in Domain -> Neuer Node
mit einem Server. Kein Cluster.
23
WebSphere

• Neues Node Profile auf Dmgr
• ./manageprofiles.sh -create -profileName $localprofilename -profilePath
$localappnodeprofile -templatePath
$rootDirectory/WebSpheree/AppServer/profileTemplates/managed -hostName $HOSTNAME -
nodeName $localappnodename -federateLater false -dmgrHost $DMGRHOST -dmgrPort
$DMGRPORT -dmgrAdminUserName "$adminuser" -dmgrAdminPassword "$adminpwd"
• Neuer Server:
• node = AdminConfig.getid('/Node:node_name/‘)
AdminConfig.create('Server', node, ['name', 'MonServer1‘])
AdminConfig.save()
24
Installation

• Installation metrics.ear – Installations EAR nicht in
app_server_root/installableApps gefunden.
• Suche im WebSphere Fixpack Verzeichnis:
grep -r metrics * | grep "server_„
unzip -l files/xxxx.file
• Richtiges Ergebnis:
Archiv enthält metrics.jar / metrics.war
• FP23:
cp
files/com.ibm.websphere.WAS.server_542_all.all_8.
5.5023.202301161739.file ~/metrics.ear
25
Installation

• Deploy metrics.ear in neuen MonServer1
• Ändere Context Root von /metrics nach /monitoring
/metrics wird bereits von Connections verwendet.
• Mappe User zur Admin Rolle
• Veröffentliche Anwendung über Webserver
• Prometheus Konfiguration:
- job_name: 'was-backend'
basic_auth:
username: ${WASMonUser}
password: ${WASMonPassword}
metrics_path: /monitoring
scheme: https
static_configs:
- targets: ['${WASHost}']
26
Installation

• WebShpere: 14151
• IHS / Apache: 3984
• Linux Server: 1860
• Nginx: 9614
27
Dashboards

WebSphere (14151)
28

IHS / Apache (3984)
29

Linux Full (1860)
30

Nginx (9614)
31

• Prometheus: https://prometheus.io/
• Grafana Loki: https://grafana.com/oss/loki/
• Grafana: https://grafana.com/oss/grafana/
• Prometheus / Grafana Helm Chart:
https://github.com/prometheus-community/helm-
charts/tree/main/charts/kube-prometheus-stack
• Thanos: https://thanos.io/
• Dashboards: https://grafana.com/grafana/dashboards/
• CNX on EKS Blog: https://skaylink.github.io/skaylink-cnx-cloud/
32
References

DNUG e.V.
Goldenbergstrasse 1
50354 Hürth
Telefon: +49 30 20898805 0
Telefax: +49 30 20898805 1
E-Mail: info@dnug.de
Web: http://www.dnug.de
33

DACHNUG50 CNX3 Monitoring.pdf

Weitere ähnliche Inhalte

Ähnlich wie DACHNUG50 CNX3 Monitoring.pdf (20)

Mehr von DNUG e.V. (20)

DACHNUG50 CNX3 Monitoring.pdf