Mackerelではじめるお手軽サーバー監視

Copyright 2017 Hiroyuki Onaka
Mackerelではじめる
お手軽サーバー監視
2017/12/23 合同勉強会 in 大都会岡山 -2017 Winter-
大中浩行(@setoazusa)
この作品はクリエイティブ・コモンズ表示 4.0 国際ライセンスの下に提供されています。

みなさまへのお願い
• このスライドはslideshareで公開します
• 感想はハッシュタグ #gbdaitokai まで

アジェンダ(1)
Mackerel(マカレル)は(株)はてなが提供する、
直感的な設定とユーザーインターフェースを特
徴とするサーバー監視サービスです。
その特徴と、現場で活用する上でのノウハウに
ついて取り上げます。

アジェンダ(2)
• 監視あるある
• Mackerelについて
• MackerelによるWebシステム監視
• Mackerelによる監視ノウハウ
• まとめ

わたし(@setoazusa)
• 横浜から来ました神奈川から来たとは言わない
• アプリケーションエンジニア(主にJava)とイ
ンフラエンジニアの二刀流
• CIとかBlue-Green Deploymentとかやってたら
いつのまにかこういうことになった

監視あるある

モニタリングはなぜ必要なのか
• 「完璧なサイジング」というものの幻想
• Yahoo!砲
• WBS砲
• ユーザーは増える、データは貯まる、アプリ
ケーションの規模は膨らむ

今はクラウドというものがありますが
「開発チームに法人カード預けてください」
というのもまた非現実的

「計測なくして科学なし」
チューニングとはエンジニアリングです。「勘
と経験」で行うものではない。
足りなければ増やせばいいというものでもない

誰のためのモニタリング
• 開発
• インフラ構築
• インフラ運用

運用のミッション
「システムを安定して運用させること」

運用にとっては理想的なシステム
「カットオーバーしたけどユーザーがいないシ
ステム」

「ユーザーがいないシステムは障害を起こさない」
タスクが溢れているインフラ運用者というのは、
「システムをいかに使用させないか」という思
考に陥ることがある。

「システムは使われてナンボ」
アラームが鳴るというのはシステムが使われて
世の中の役に立っていることの証し

「10+ Deploys Per Day」から
「Opsの仕事は、ビジネスを実現することだ」
(Ops' Jobs is to enable the business)
10+ Deploys Per Day: Dev and Ops Cooperation at Flickr
https://www.slideshare.net/jallspaw/10-deploys-per-day-dev-and-ops-cooperation-at-flickr

運用のジレンマ
我々(インフラ)はシステムを作る側でなく預か
る側。
運用(インフラ)が仕事がないのはいいこと

• 「システムの使用を促進する」
• 「自分の仕事を減らす」
→この二つを両立することは難しい

監視しだしたらキリがない。発生確率が一定な
ら、監視項目が増えるということはアラームが
発生する回数が増えるということ。
そのアラームを受けるのは夜勤をしている運用
メンバーそして始まるDevとOpsの対立

監視は目的でなく手段
我々がやりたいのはサービスの監視であって、
OSの監視ではない

以上のことを踏まえた、監視に求められる要件
• 最小限度のカスタマイズで使うことができる
• 機能と学習コストのバランス
• 「ほどよい」既定値であること

Mackerelにつ
いて

https://mackerel.io/ja/

Mackerel(マカレル)は(株)はてなが提供する、
直感的な設定とユーザーインターフェースを特
徴とするサーバー監視サービスです。
Mackerel=英語で「鯖」

Mackerelのセットアップ(1)

Mackerelのセットアップ(CentOS/RHEL7の場合)
curl -fsSL
https://mackerel.io/file/script/setup-all-
yum-v2.sh | MACKEREL_APIKEY=‘APIキー'
sh

Mackerelの特徴
• ホストにエージェントをインストールするス
タイル
• Push型のアーキテクチャー

Mackerelによ
るWebシステ
ム監視

監視項目のカスタマイズは、/etc/mackerel-
agent/mackerel-agent.conf で行います。

公式プラグイン集の導入
sudo yum -y install mackerel-agent-plugins

jvmの監視
[plugin.metrics.jvm]
command = "mackerel-plugin-jvm -
javaname=Bootstrap"

(おまけ)javanameとは
[vagrant@jira ~]$ sudo jps
2215 Jstat
2203 Jps
4604 Bootstrap

PostgreSQLの監視
[plugin.metrics.postgres]
command = "mackerel-plugin-postgres -
user=jira -password=xxxx -database=jira"

プラグイン

Mackerelの一つの特徴
プラグインを開発することによる、カスタムメ
トリクスやチェック監視の項目追加が容易なこ
と

MackerelのAgentとPluginの間は、実行コマン
ドの返り値および標準出力によって結果の受け
渡しを行う仕様になっています。
このため、特定のプログラミング言語によらず
プラグインの実装を行うことができます。

特定のプログラミング言語によらないと何が嬉し
いか
インフラとか運用の現場は使用できる技術セッ
トに制約がある
• 「シェルスクリプトならできる」
• 「RubyならServerspec使っているからわか
る」

例:
CLOSE=$(ss -nat |grep 192.168.3.11:8080 |grep CLOSE-WAIT|wc -l)
EST=$(ss -nat |grep 192.168.3.11:8080 |grep ESTAB |wc -l)
TIME=$(ss -nat |grep 192.168.3.11:8080 |grep TIME-WAIT |wc -l)
EPOCH=$(date +'%s')
echo -e "jira.port.close¥t${CLOSE}¥t${EPOCH}"
echo -e "jira.port.establish¥t${EST}¥t${EPOCH}"
echo -e "jira.port.time¥t${TIME}¥t${EPOCH}

mackerel-agent.conf
[plugin.metrics.jiraport]
command = "/usr/local/bin/jiraport"

注意点
ローカルでプラグインを実行している時と、
Mackerel Agentが実行している場合で環境変数
に差分が出るため、プラグインの実行に失敗す
る場合があります。
(cronでスクリプトを実行した時に良くあるア
レ)

...と思っていたら
https://mackerel.io/ja/blog/entry/weekly/20171215

Mackerelは定期リリースで現場で実用的な機能
が持ち込まれることが結構あるので、毎週のリ
リース内容をチェックしておくと吉です。
https://mackerel.io/ja/blog/

Mackerelによ
る監視ノウハ
ウ

ディスク容量に対して、最適な閾値は変わる
8GBのディスクの残り10%→800MB
1TBのディスクの残り10%→100GB

アプリケーションエンジニアのみなさんに質問
...「警告」ログって本当に見るの？

WaringとCriticalの閾値を同じ設定にした上で、
「アラートが発生した場合は必ず対応を行う」
という方法もあります。

まとめ

Mackerelの課題
メトリクス監視によっているので、チェック監
視は枠組みがあわないところがある
APIキーをメインの設定ファイル(mackerel-
agent.conf)に記述するため、Infrastrucure as
Codeに組み込む時に一工夫必要

Mackerel最大の問題点
ターミナル上で "mackerel"って空で打てないw
例: "sudo systemctl restart mackerel-agent"

Mackerelのいいところ
セットアップがお手軽、すぐ始められる
プラグインの仕組みが特定プログラミング言語
に依存しない
課金形態的に検証が行いやすい
→個人で試しやすい

Mackerelを使って今日からお手軽サーバー監視
https://mackerel.io/ja/

ありがとうございました！
• 大中浩行(Onaka,Hiroyuki)
• @setoazusa
• グロースエクスパートナーズ株式会社
アーキテクチャソリューション部
テクニカルリード
• http://hiroyuki.fieldnotes.jp/

Mackerelではじめるお手軽サーバー監視

More Related Content

What's hot (20)

Similar to Mackerelではじめるお手軽サーバー監視 (20)

More from Hiroyuki Ohnaka (20)