SlideShare a Scribd company logo
HyClops for Zabbix
TIS株式会社
コーポレート本部戦略技術センター
池田 大輔
2013/07/19 OSS運用管理勉強会
■ 背景・課題の共有
■ HyClops for Zabbixの概要
■ HyClops for Zabbixの技術解説
■ HyClops for Zabbixデモ
■ HyClops for Zabbixの今後
About me
名前:池田 大輔
所属:TIS株式会社 戦略技術センター
Twitter:@ike_dai
Facebook:https://www.facebook.com/ikedai
興味:Zabbix,AWS,fluentd,Chef,JobScheduler...
Zabbix Conference 2012 @Rigaike-daiの日記 (http://d.hatena.ne.jp/ike-dai/)
ちゃんと管理できてますか?
仮想化・クラウド化
進めたはいいが・・・
管理台数が激増...
IaaSだとやっぱり
自分でもちゃんと管
理しないと...
オートスケールやChef
を使ったりで構築は簡
単だけど...
マシンの増減が激しく
て辛い...
変更が発生する度に
運用作業が発生する
のもちょっと...
頑張って作り込めば
なんとか自動化できる
か?...
お悩みじゃないですか?
以前はこんなことしてました...①
仮想マシンの
追加・削除したら
変更大変
あの障害が発生し
た時どんな状態
だったっけ?
エクセルで随時手で管理。。。
以前はこんなことしてました...②
いろんなツールで管理。。。
AWSの管理は
AWS管理コンソールで
VMwareは
vShpereClientで
SSHクライアントも
沢山のサーバを
管理すると大変な
ことに
Zabbixにはいろんな情報が集まってくる
Zabbixを活用してもっと効率良く運用できるように
作ってみました!
この集まってくる情報を活用しない手はない
サーバの構成情報 サーバの稼働状況 サーバの障害状況
ハイブリッドクラウド環境
監視・管理向けZabbixプラグイン
『HyClops for Zabbix』
HyClops for Zabbixとは?
運用を少しでも効率良くできるようにするため、Zabbixでの
監視設定を自動化したり、運用作業の入り口を統合化する
ためのツール。
今のところ以下を実現 (詳しくはデモで)
- AWS,vSphere環境の監視設定自動化
- マシン操作(起動/停止/再起動)実行インタフェースの統合
- EC2インスタンスやVMwareVMへのSSH接続の統合
・少しでもOpsの担当者が楽になれるように
・もっとインテリジェントな仕事に力を注げるように
・Zabbixをもっと使えるツールになるように
アーキテクチャ 3つのコンポーネントで構成
既存のZabbixに影響を与えることがないよう、各コンポーネントは別サーバで稼働させることが可能
アーキテクチャ Zabbix Server
- ダッシュボードを拡張し、AWS,vSphereのマシン一覧をダッシュボードに表示
- 各ホストに対する操作・SSH接続が実施できるよう拡張(Zabbixグローバルスクリプトの機能を活用)
- 標準で割り当てる必須アイテム情報をテンプレート化
 - vSphereESXi・AWS Accountテンプレートに定期的に各環境APIと連携するアイテムを登録
 - 連携結果を格納するZabbixトラッパーアイテムを登録
- マクロに各種設定
 - HyClopsサーバの情報、GateOneサーバの情報(Global Macro)
 - AWSアカウント認証情報、vSphereESXi認証情報(Template/Host Macro)
 - 仮想マシン用ホスト登録時に自動割当するテンプレート、グループ情報(Template/Host Macro)
アーキテクチャ
HyClops Server
- 各環境のAPIと連携処理するためのバックエンド処理コンポーネント
- メッセージキューを備え、Zabbixからのメッセージを処理
 - Zabbixにはリクエストを投げた時点で結果を返答(Zabbix側のタイムアウト制約から解放)
 - 各環境とのAPI連携処理に時間がかかる場合等HyClops側で重複実行制御等実施
- 各環境のAPIとの連携はメタクラウドAPIであるlibcloudを経由して実施
 - メタクラウドAPIを利用することで今後のサポート環境拡張をしやすく
- 各環境のAPIから取得後、Zabbixに情報連携
 - Zabbix APIを使ってホスト登録・更新を実施
 - ホストマシン情報、仮想マシン情報等をZabbix senderで送付
アーキテクチャ
- Webブラウザ上でSSH接続を実現するためのコンポーネント
- Zabbixに登録されたインタフェース情報をもとにSSH接続を実行
- 公開鍵認証にも対応済み
 - あらかじめGateOne Serverに鍵を登録することで実現可能
- 接続元制限機能、API認証機能があるため、セキュリティ的にも安
心
GateOne Server
Zabbix API
■ Zabbix1.8から実装された外部ツールとZabbixとのインタフェース
 - Zabbixに対する操作(設定変更、ホスト追加、グループ作成等)実施
 - Zabbixで管理している監視結果の取得(history,event,IT service情報)
■ JSON-RPC形式のAPI
 - URL: http://<zabbix-server>/zabbix/api_jsonrpc.php
 - メソッド: host.create、host.update、item.get、history.getなど
 - パラメータ: メソッド毎に必要なパラメータを渡す
host.getの例
レスポンス
{
"auth": "xxxxxxx",
"method": "host.get",
"params": {
"output": "extend",
"filter": {"host":"Zabbix server"}
},
"jsonrpc": "2.0",
"id": 1
}
{
"jsonrpc":"2.0",
"result":[{
"maintenances":[],
"hostid":"10084",
"proxy_hostid":"0",
"host":"Zabbix server",
・・・略
}],
"id":1
}
リクエストパラメータ
HyClopsではZabbix API操作Pythonライブラリ『python-zabbix-api』経由で実行
Zabbix Sender
Zabbix Server
DB
監視結果情報
設定情報
Zabbix
Trapper
Zabbix
API
Zabbix
Sender
set
Zabbix
API
library
set
get
■ 外部から監視結果を登録するためのプログラム
 - Zabbixに事前に登録されているZabbix Trapperアイテムに対して値を登録可能
 - 何らかのトリガーをきっかけに監視結果をプッシュ型で送付したい場合等に有効
 - Zabbix Agentが稼働していなくてもzabbix_senderコマンドを実行するだけで実現可能
$ zabbix_sender -z <zabbix-server> -s "Zabbix server" -k "sender.test" -o 100
Zabbix sender実行例
ホスト: Zabbix server
アイテムキー: sender.test に100という数値を送る例
Zabbix ディスカバリ・自動登録
ディスカバリ(ポーリング型) 自動登録(プッシュ型)
Zabbix Server
or
Zabbix Proxy
Target
Server
Target
Server
Target
Server
Target
Server
Zabbix Server
or
Zabbix Proxy
Target
Server
Target
Server
Target
Server
Target
Server
指定したNW宛に定期ポーリング
Zabbix
Agent
Zabbix
Agent
Zabbix
Agent
Zabbix
Agent
起動時にプッシュ通知
■ NWのIPrange指定をしてポーリング
■ 検知条件が豊富
 - Zabbix Agent
 - SNMP
 - ICMP ping
 - TCP
 - HTTP 等
■ Agent起動時にZabbixServerに通知
 →無駄なパケットが発生しない(効率的)
■ 通知される情報が少ない
 - Hostname
 - ListenIP
 - ListenPort
HyClopsではAWS,vSphereに特化し、
より効率良く・高度な自動化ができるようZabbix APIを使って実現する方式を選択
libcloud
■ OSSメタクラウドAPI
 - ApacheトップレベルPJの1つ
 - Python実装のAPI
 - 最新ver.0.13.0
■ サポートAPI(http://libcloud.apache.org/supported_providers.html)
 - Compute
  EC2,OpenStack,CloudStack,
  Rackspace,GoGrid,Eucalyptus,
  VMware vCloud等
 - Storage
  S3,OpenStack Swift,CloudStack,
  Google Cloud Storage,
  Azure Blob Storage等
 - Load-Balancer
  ELB,CloudStack,Rackspace等
 - DNS
  Route53,Rackspace Cloud DNS等
  
#!/bin/env python
from libcloud.compute.types import Provider
from libcloud.compute.providers import get_driver
ACCESS_KEY_ID = 'アクセスキー'
SECRET_ACCESS_KEY = 'シークレットキー'
Driver = get_driver(Provider.EC2_AP_NORTHEAST)
conn = Driver(ACCESS_KEY_ID,SECRET_ACCESS_KEY)
nodes = conn.list_nodes()
print nodes
EC2インスタンスリスト取得サンプルコード
HyClops for Zabbixを使うには?
1. HyClops for Zabbix各コンポーネントのインストール
 詳しくは公式サイトをご覧下さい(http://tech-sketch.github.io/hyclops)
2. HyClops、GateOne情報をグローバルマクロに登録
3. AWSアカウント/vSphereESXiホスト情報をホスト登録
 - AWSアカウント:
  ・認証情報をマクロに登録
 - vSphereESXi:
  ・管理ネットワーク情報をSNMPインタフェースとして登録
  ・認証情報をマクロに登録
4. 上記ホストにテンプレート割当
 - AWSアカウント: AWSAccountテンプレート
 - vSphereESXi: vSphereESXiテンプレート
デ モ
今後の方向性
■ サポート環境の範囲が狭いのでlibcloudを活用して拡張
 - CloudStack,OpenStackへの対応を検討中
■ 運用自動化、省力化に必要な監視項目拡充
 - CloudWatchとの連携強化等
■ バックエンド処理負荷の軽減
 - 特にvSphereAPI連携部分の負荷軽減
自動化で運用コストを省く!
その一歩としてZabbix+HyClopsを
ご清聴ありがとうございました
HyClops for Zabbix
Official site http://tech-sketch.github.io/hyclops
GitHub repository https://github.com/tech-sketch/hyclops.git
Chef-repo https://github.com/tech-sketch/hyclops-chef-repo.git
e-mail hyclops@ml.tis.co.jp

More Related Content

PDF
Zabbixを使ったクラウド環境監視のオートメーション化@JulyTechFesta2013
PDF
Zabbixを徹底活用してみよう ~4.2の最新情報もご紹介~
PDF
6製品1サービスの開発にPortfolio for JIRAを使ってみた
PPTX
DevLOVE関西2016.2.5 地道にAWS構築自動化に取り組んでいるお話し
PDF
クラウドを超えた先の企業システム像 20091008 JJUG CCC
PDF
クラウドで消耗してませんか?
 
PDF
OpenWhisk Serverless への期待
PPTX
161218 cybozu SRE
Zabbixを使ったクラウド環境監視のオートメーション化@JulyTechFesta2013
Zabbixを徹底活用してみよう ~4.2の最新情報もご紹介~
6製品1サービスの開発にPortfolio for JIRAを使ってみた
DevLOVE関西2016.2.5 地道にAWS構築自動化に取り組んでいるお話し
クラウドを超えた先の企業システム像 20091008 JJUG CCC
クラウドで消耗してませんか?
 
OpenWhisk Serverless への期待
161218 cybozu SRE

What's hot (20)

PDF
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
PPTX
5分で出来る!イケてるconfluenceページ
PDF
2013年08月 夏サミ2013-A5「DevOpsってどうなのよ?」
PPTX
MariaDB+GaleraClusterの運用事例(MySQL勉強会2016-01-28)
PPTX
OSS運用管理勉強会 cockpit
PPTX
kintoneの開発プロセスとプロジェクト管理ツール
PDF
俺も受託開発〜準委任契約によるふつうのソフトウェア開発〜
PDF
Kubernetesのない世界 すべてがサーバーレスになる
PDF
2019/4/18 Zabbix勉強会 徹底活用本の改訂の話
PPTX
ぱぱっと理解するSpring Cloudの基本
PPTX
Azure Api Management 俺的マニュアル 2020年3月版
PPTX
JIRA / Confluence の 必須プラグインはこれだ
PDF
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
PPTX
Zabbix概論2018
PDF
モバイルファースト時代のクラウドネイティブアーキテクチャ JAWS DAYS 2015
PDF
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
PDF
Microservicesを実現するために、インフラエンジニアと開発者がすべきこと
PDF
Javaとコミュニティの歩み 2020
PDF
Agile japan2016 a 2 ricksoft
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
5分で出来る!イケてるconfluenceページ
2013年08月 夏サミ2013-A5「DevOpsってどうなのよ?」
MariaDB+GaleraClusterの運用事例(MySQL勉強会2016-01-28)
OSS運用管理勉強会 cockpit
kintoneの開発プロセスとプロジェクト管理ツール
俺も受託開発〜準委任契約によるふつうのソフトウェア開発〜
Kubernetesのない世界 すべてがサーバーレスになる
2019/4/18 Zabbix勉強会 徹底活用本の改訂の話
ぱぱっと理解するSpring Cloudの基本
Azure Api Management 俺的マニュアル 2020年3月版
JIRA / Confluence の 必須プラグインはこれだ
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
Zabbix概論2018
モバイルファースト時代のクラウドネイティブアーキテクチャ JAWS DAYS 2015
[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...
Microservicesを実現するために、インフラエンジニアと開発者がすべきこと
Javaとコミュニティの歩み 2020
Agile japan2016 a 2 ricksoft
Ad

Viewers also liked (17)

PDF
No Monitoring, No Life on AWS
PDF
2014-07-26 jawsug-chiba ドキュメントを書こう! 運用自動化時代のドキュメンテーション
PDF
20140717 awssummit2014-cloud-operation
PDF
Using LXC on Production
PPTX
Jtfハンズオン資料(公開版)
PDF
AWSを含めたハイブリッド環境の監視の実現 ~zabbixのクラウド対応モジュールHyClops~
PPTX
SendGridサンプルの紹介
PDF
第4回コンテナ型仮想化勉強会@東京 Oracle Solaris のコンテナ技術「Solaris Zones」
PDF
VagrantユーザのためのDocker入門
PDF
20140726 jaws-ug chiba AWS operation best practice
PDF
コンテナ型仮想化とはなんだったのか
PDF
CoreOSによるDockerコンテナのクラスタリング
PPTX
コンテナ基盤であるLXC/LXDを 本番環境で運用する話
PDF
オンプレミスから AWS への劇的ビフォーアフター
PDF
Dockerを使ったローカルでの開発から本番環境へのデプロイまで
PDF
Dockerクイックツアー
PDF
ご注文は監視自動化ですか?
No Monitoring, No Life on AWS
2014-07-26 jawsug-chiba ドキュメントを書こう! 運用自動化時代のドキュメンテーション
20140717 awssummit2014-cloud-operation
Using LXC on Production
Jtfハンズオン資料(公開版)
AWSを含めたハイブリッド環境の監視の実現 ~zabbixのクラウド対応モジュールHyClops~
SendGridサンプルの紹介
第4回コンテナ型仮想化勉強会@東京 Oracle Solaris のコンテナ技術「Solaris Zones」
VagrantユーザのためのDocker入門
20140726 jaws-ug chiba AWS operation best practice
コンテナ型仮想化とはなんだったのか
CoreOSによるDockerコンテナのクラスタリング
コンテナ基盤であるLXC/LXDを 本番環境で運用する話
オンプレミスから AWS への劇的ビフォーアフター
Dockerを使ったローカルでの開発から本番環境へのデプロイまで
Dockerクイックツアー
ご注文は監視自動化ですか?
Ad

Similar to HyClops for Zabbix紹介資料 (20)

PDF
第6回zabbix jp勉強会資料
PDF
第5回oss運用管理勉強会 zabbix徹底活用術の紹介
PDF
手作業なしの安定環境実現に向けたZabbix活用方法紹介+Zabbix2.4最新機能紹介
PDF
オープンに活動することと現場の改善~Zabbix導入による改善物語~
PDF
2.0~2.2~2.4~3.0 zabbixの進化を紐解く zabbix便利機能紹介-
PPTX
鹿駆動勉強会 青江発表資料
PDF
第8回oss運用管理勉強会 Zabbix入門&Zabbix3.0先取り紹介
PDF
Zabbixを使った効果的な運用管理の実現
PDF
Chefのエンタープライズ事例 ossミドルウェアスタックishigakiテンプレートにおける事例-
PDF
20191112_VUI開発で最も大切なデザインのお話
PPTX
Ansible・Serverspecベースの自動化フレームワークSHIFT wareの紹介
PDF
Azure DevOps Management in Organization
PDF
Japan it 20160707short
PPTX
IaC化の3つのポイント
KEY
JavaScript on GitHub (#kyotojs)
PDF
Osc2013 kansai@kyoto ZABBIX-JP クラウド環境監視効率化
PDF
スタートアップで培ったアーキテクチャ設計ノウハウ
PDF
Mroongaを社内クラウド的なMySQLプラットフォームに標準搭載している話 #groonga
PDF
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
PDF
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ
第6回zabbix jp勉強会資料
第5回oss運用管理勉強会 zabbix徹底活用術の紹介
手作業なしの安定環境実現に向けたZabbix活用方法紹介+Zabbix2.4最新機能紹介
オープンに活動することと現場の改善~Zabbix導入による改善物語~
2.0~2.2~2.4~3.0 zabbixの進化を紐解く zabbix便利機能紹介-
鹿駆動勉強会 青江発表資料
第8回oss運用管理勉強会 Zabbix入門&Zabbix3.0先取り紹介
Zabbixを使った効果的な運用管理の実現
Chefのエンタープライズ事例 ossミドルウェアスタックishigakiテンプレートにおける事例-
20191112_VUI開発で最も大切なデザインのお話
Ansible・Serverspecベースの自動化フレームワークSHIFT wareの紹介
Azure DevOps Management in Organization
Japan it 20160707short
IaC化の3つのポイント
JavaScript on GitHub (#kyotojs)
Osc2013 kansai@kyoto ZABBIX-JP クラウド環境監視効率化
スタートアップで培ったアーキテクチャ設計ノウハウ
Mroongaを社内クラウド的なMySQLプラットフォームに標準搭載している話 #groonga
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
SORACOM UG Explorer 2018 - IoTxAIを活用した小売業向け店舗解析サービスの仕組みとノウハウ

More from Daisuke Ikeda (20)

PDF
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
PDF
Osc 2021 fall_tis_変化に強いチーム育成のための取り組み紹介
PDF
OSC 2020 Fukuoka IT運用自動化を支援する「運用レコメンドプラットフォーム」実現の舞台裏
PPTX
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
PDF
OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介)
PDF
Jtf2018 自律的運用に向けた第一歩
PDF
保守運用現場の課題共有しませんか?-OSC2018LT-
PDF
Serverspecを自分好みにアレンジ スクリーンショットで証跡保存を撲滅-
PDF
AWS Ops系サービスが更に便利になる中、それでもなおZabbixとセットで考えたほうが良いのか?
PDF
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
PDF
Tech circle bot x zabbix オペレータbot lt
PDF
インフラ運用管理ツールとGolang OSS運用管理勉強会LT
PDF
Tech circle#13 zabbix3.0ハンズオン lld
PDF
Zabbix超入門
PDF
Serverspecの活用tips紹介
PDF
Osc2016 tokyo sprint-jobschedulerを活用したoperations as codeの世界
PDF
Job schedulerを活用したoperations as codeの世界
PDF
Zabbix conference2015 daisukeikeda
PDF
Tech circle#2 Vagrant+Docker handson
PDF
TISMatsuriLT MackerelとZabbix
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
Osc 2021 fall_tis_変化に強いチーム育成のための取り組み紹介
OSC 2020 Fukuoka IT運用自動化を支援する「運用レコメンドプラットフォーム」実現の舞台裏
OSC2019 LT 運用レコメンドプラットフォーム開発におけるマイクロサービス構成の実現
OSC2018Tokyo/Fall 自律的運用に向けた第一歩(OpsBear取り組み紹介)
Jtf2018 自律的運用に向けた第一歩
保守運用現場の課題共有しませんか?-OSC2018LT-
Serverspecを自分好みにアレンジ スクリーンショットで証跡保存を撲滅-
AWS Ops系サービスが更に便利になる中、それでもなおZabbixとセットで考えたほうが良いのか?
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
Tech circle bot x zabbix オペレータbot lt
インフラ運用管理ツールとGolang OSS運用管理勉強会LT
Tech circle#13 zabbix3.0ハンズオン lld
Zabbix超入門
Serverspecの活用tips紹介
Osc2016 tokyo sprint-jobschedulerを活用したoperations as codeの世界
Job schedulerを活用したoperations as codeの世界
Zabbix conference2015 daisukeikeda
Tech circle#2 Vagrant+Docker handson
TISMatsuriLT MackerelとZabbix

HyClops for Zabbix紹介資料