SlideShare a Scribd company logo
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 1/31
Kubernetes Logging
Introduction
1 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 2/31
Kyohei Mizumoto(@kyohmizu)
C# Software Engineer
Interests
Docker/Kubernetes
Go
Security
whoami
2 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 3/31
Required
Kubernetesの概要程度の知識
Targets
Kubernetes Logging未経験者
3 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 4/31
Contents
1. Logging Overview
2. Fluentd
3. Get Started with GKE
4. Demo
5. Other Services
4 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 5/31
Logging Overview
5 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 6/316 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 7/31
Logging
標準出⼒と標準エラー出⼒にログを出⼒
"kubectl logs"コマンドで表⽰
安定保存のため、ログを集約して外部に転送
7 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 8/31
kubectl logs
$ kubectl logs kube-dns-[num] -c kubedns -n kube-system
8 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 9/31
Landscape
9 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 10/31
Fluentd
10 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 11/31
CNCFがホストするプロジェクト
DaemonSetを利⽤
標準出⼒ログを読み出して転送
Fluentd
11 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 12/31
Before Fluentd
12 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 13/31
After Fluentd
13 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 14/31
Architecture
Unified Logging with JSON
プロセス(収集、フィルタリング、出⼒)の統⼀
Pluggable Architecture
フレキシブルな⼊出⼒プラグイン
Minimum Resources Required
Built-in Reliability
バッファ、フェイルオーバーによるHA構成
14 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 15/31
Forward To
CloudWatch
Elasticsearch
Google Cloud Storage(GCS)
Graylog
Kafka
Kinesis
Amazon S3
Stackdriver
Syslog
etc...
15 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 16/31
Get Started
公式イメージ
16 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 17/31
Get Started with GKE
17 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 18/31
Get Started with GKE
GKEではリソース作成済み
$ kubectl get po -n kube-system | grep fluentd
// 結果は⼀部省略
fluentd-gcp-scaler-8b674f786-jc4wk 1/1 Running
fluentd-gcp-v3.2.0-4hqm6 2/2 Running
fluentd-gcp-v3.2.0-m5p49 2/2 Running
fluentd-gcp-v3.2.0-x6rlq 2/2 Running
18 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 19/31
Stackdriver
Real-time Log Management and Analysis
Seamlessly Resolve Issues
Scalable and Fully Managed
All Your Cloud Logs In One Place
Real Time Insights
19 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 20/31
Stackdriver Monitoring
20 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 21/31
Stackdriver Logs Viewer
21 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 22/31
Demo
22 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 23/31
Other Services
23 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 24/31
SaaS型の監視&解析ツール
課⾦制
様々なサービスのメトリクスをシー
ムレスに集約
Datadog
24 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 25/31
Log Explorer
25 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 26/31
Log Management
Datadog Agent がログを収集
DaemonSet for Kubernetes
暗号化通信を使⽤してデータを送信
ログのFiltering、Monitoring、Alert機能
Custom Logs
26 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 27/31
Fluent Bit
シンプルかつ軽量なFluentd
既存のプラグインは使⽤不可
27 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 28/31
Books
28 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 29/31
Links
The Twelve-Factor App
https://12factor.net/
Fluentd
https://www.fluentd.org/
Fluent Bit
https://fluentbit.io/
Stackdriver Logging
https://cloud.google.com/logging/
Datadog
https://www.datadoghq.com/
29 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 30/31
Others
fluentd-gcp-scaler のコードについて調べたので、
Qiita記事を投稿しました。
https://qiita.com/kyohmizu/items/cbf9cca76a826d8eb130
30 / 31
2019/3/28 Kubernetes Logging Introduction
127.0.0.1:5500/#4 31/31
Thank you!
31 / 31

More Related Content

PPTX
Kubernetes etc.. & rancher 2.0 technical preview “Let’s import GKE/Bluemix/AK...
PPTX
TypeScriptでCLIアプリケーション開発
PPTX
Whats service mesh & istio ?
PDF
Kubernetesクラスタバージョンアップを支える技術
PPTX
Jenkins X on GKE & Rancher2.0 on ORACLE Cloud
PDF
LIFULLの全社アプリケーション実行基盤 KEEL について
PDF
Kubernetesセキュリティの歩き方
PPTX
話題のKubernetesをRancher2.0で 便利に使う!
Kubernetes etc.. & rancher 2.0 technical preview “Let’s import GKE/Bluemix/AK...
TypeScriptでCLIアプリケーション開発
Whats service mesh & istio ?
Kubernetesクラスタバージョンアップを支える技術
Jenkins X on GKE & Rancher2.0 on ORACLE Cloud
LIFULLの全社アプリケーション実行基盤 KEEL について
Kubernetesセキュリティの歩き方
話題のKubernetesをRancher2.0で 便利に使う!

Similar to Kubernetes logging introduction (20)

PDF
Kubernetes、Flannel、CNIでWindows Container Clusterオーケストレーション
PDF
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
PDF
最近良く聞く Kubernetes を体験してみた イントロ + 活用編
PDF
[Cloud OnAir] Google Cloud 主催イベント Anthos Day 情報 2020 年 2 月 13 日放送
PDF
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
PDF
Kubernetes ingress controller for kong demo
PDF
Kuberneteの運用を支えるGitOps
PDF
kube-system落としてみました
PDF
マイクロサービス開発が捗る Project Tye
PPTX
Running Kubernetes on Azure
PDF
CI/CD Pipeline を考える 〜KubeCon 2017 + CyberAgent の最大公倍数〜
PDF
BuildKitの概要と最近の機能
PDF
AKS+KEDAで実現!Container Functions Pipeline
PPTX
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
PDF
.NET アプリを改善して実践する継続的インテグレーション
PPTX
What's new Azure DevOps in //Build 2019
PDF
もっとも簡単なKubernetes構築 on Raspberry pi (July tech festa winter 2021)
PPTX
ニフクラでも できる!Kubernetes。
PDF
Kubernetes1.9でWindowsコンテナーをクラスタ化
PDF
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Kubernetes、Flannel、CNIでWindows Container Clusterオーケストレーション
独断と偏見で選んだ Kubernetes 1.24 の注目機能と今後! / Kubernetes Meetup Tokyo 50
最近良く聞く Kubernetes を体験してみた イントロ + 活用編
[Cloud OnAir] Google Cloud 主催イベント Anthos Day 情報 2020 年 2 月 13 日放送
Kubernetes + containerd で cgroup v2 に移行したら "failed to create fsnotify watcher...
Kubernetes ingress controller for kong demo
Kuberneteの運用を支えるGitOps
kube-system落としてみました
マイクロサービス開発が捗る Project Tye
Running Kubernetes on Azure
CI/CD Pipeline を考える 〜KubeCon 2017 + CyberAgent の最大公倍数〜
BuildKitの概要と最近の機能
AKS+KEDAで実現!Container Functions Pipeline
Kubernetes Meetup Tokyo #8 Self-hosted Kubernetes を調べてみた
.NET アプリを改善して実践する継続的インテグレーション
What's new Azure DevOps in //Build 2019
もっとも簡単なKubernetes構築 on Raspberry pi (July tech festa winter 2021)
ニフクラでも できる!Kubernetes。
Kubernetes1.9でWindowsコンテナーをクラスタ化
Kubernetes Meetup Tokyo #35_GitOps Toolkit による Kubernetes マニフェスト CD
Ad

More from Kyohei Mizumoto (10)

PDF
Introduction to telepresence
PDF
Windowsコンテナ入門
PDF
Introduction of cloud native CI/CD on kubernetes
PDF
Deploy Mattermost on AKS
PDF
Recap of de code 2019
PDF
Running k3s on raspberry pi
PDF
Kubernetes monitoring introduction
PDF
Git入門
PDF
Istio service mesh introduction
PDF
Multi cluster management with rancher
Introduction to telepresence
Windowsコンテナ入門
Introduction of cloud native CI/CD on kubernetes
Deploy Mattermost on AKS
Recap of de code 2019
Running k3s on raspberry pi
Kubernetes monitoring introduction
Git入門
Istio service mesh introduction
Multi cluster management with rancher
Ad

Kubernetes logging introduction

  • 1. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 1/31 Kubernetes Logging Introduction 1 / 31
  • 2. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 2/31 Kyohei Mizumoto(@kyohmizu) C# Software Engineer Interests Docker/Kubernetes Go Security whoami 2 / 31
  • 3. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 3/31 Required Kubernetesの概要程度の知識 Targets Kubernetes Logging未経験者 3 / 31
  • 4. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 4/31 Contents 1. Logging Overview 2. Fluentd 3. Get Started with GKE 4. Demo 5. Other Services 4 / 31
  • 5. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 5/31 Logging Overview 5 / 31
  • 6. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 6/316 / 31
  • 7. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 7/31 Logging 標準出⼒と標準エラー出⼒にログを出⼒ "kubectl logs"コマンドで表⽰ 安定保存のため、ログを集約して外部に転送 7 / 31
  • 8. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 8/31 kubectl logs $ kubectl logs kube-dns-[num] -c kubedns -n kube-system 8 / 31
  • 9. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 9/31 Landscape 9 / 31
  • 10. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 10/31 Fluentd 10 / 31
  • 11. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 11/31 CNCFがホストするプロジェクト DaemonSetを利⽤ 標準出⼒ログを読み出して転送 Fluentd 11 / 31
  • 12. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 12/31 Before Fluentd 12 / 31
  • 13. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 13/31 After Fluentd 13 / 31
  • 14. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 14/31 Architecture Unified Logging with JSON プロセス(収集、フィルタリング、出⼒)の統⼀ Pluggable Architecture フレキシブルな⼊出⼒プラグイン Minimum Resources Required Built-in Reliability バッファ、フェイルオーバーによるHA構成 14 / 31
  • 15. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 15/31 Forward To CloudWatch Elasticsearch Google Cloud Storage(GCS) Graylog Kafka Kinesis Amazon S3 Stackdriver Syslog etc... 15 / 31
  • 16. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 16/31 Get Started 公式イメージ 16 / 31
  • 17. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 17/31 Get Started with GKE 17 / 31
  • 18. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 18/31 Get Started with GKE GKEではリソース作成済み $ kubectl get po -n kube-system | grep fluentd // 結果は⼀部省略 fluentd-gcp-scaler-8b674f786-jc4wk 1/1 Running fluentd-gcp-v3.2.0-4hqm6 2/2 Running fluentd-gcp-v3.2.0-m5p49 2/2 Running fluentd-gcp-v3.2.0-x6rlq 2/2 Running 18 / 31
  • 19. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 19/31 Stackdriver Real-time Log Management and Analysis Seamlessly Resolve Issues Scalable and Fully Managed All Your Cloud Logs In One Place Real Time Insights 19 / 31
  • 20. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 20/31 Stackdriver Monitoring 20 / 31
  • 21. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 21/31 Stackdriver Logs Viewer 21 / 31
  • 22. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 22/31 Demo 22 / 31
  • 23. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 23/31 Other Services 23 / 31
  • 24. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 24/31 SaaS型の監視&解析ツール 課⾦制 様々なサービスのメトリクスをシー ムレスに集約 Datadog 24 / 31
  • 25. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 25/31 Log Explorer 25 / 31
  • 26. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 26/31 Log Management Datadog Agent がログを収集 DaemonSet for Kubernetes 暗号化通信を使⽤してデータを送信 ログのFiltering、Monitoring、Alert機能 Custom Logs 26 / 31
  • 27. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 27/31 Fluent Bit シンプルかつ軽量なFluentd 既存のプラグインは使⽤不可 27 / 31
  • 28. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 28/31 Books 28 / 31
  • 29. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 29/31 Links The Twelve-Factor App https://12factor.net/ Fluentd https://www.fluentd.org/ Fluent Bit https://fluentbit.io/ Stackdriver Logging https://cloud.google.com/logging/ Datadog https://www.datadoghq.com/ 29 / 31
  • 30. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 30/31 Others fluentd-gcp-scaler のコードについて調べたので、 Qiita記事を投稿しました。 https://qiita.com/kyohmizu/items/cbf9cca76a826d8eb130 30 / 31
  • 31. 2019/3/28 Kubernetes Logging Introduction 127.0.0.1:5500/#4 31/31 Thank you! 31 / 31