Serf2Excel - Serf を実運用に活かす話 + Consul もあるよ
42 likes13,002 views
www.zusaar.com/event/4897004
![基本動作 serf2excel.pl
serf members の結果でホスト一覧取得
Spreadsheet::WriteExce で Excel 出力
定期的にメールを送ることも
$ uuencode ./hostlist.xls hostlist.xls | mail -s hostlist user@example.com
$ serf members -format json | jq -c -r '.members[] | {addr, name}'
{"name":"manager.pocketstudio.net","addr":"192.168.39.3:7946"}
{"name":"node1.pocketstudio.net","addr":"192.168.39.11:7946"}
{"name":"node2.pocketstudio.net","addr":"192.168.39.12:7946"}
{"name":"node3.pocketstudio.net","addr":"192.168.39.13:7946"}](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-21-320.jpg)
![サービス検出
Service Discovery
‘api’ や ‘mysql’ という service 名を定義
検出は、consul ノードで自動的に開始
HTTP API または DNS で結果を返す
$ curl -s http://192.168.39.5:8500/v1/catalog/nodes | jq '.'
[
{
"Address": "192.168.39.5",
"Node": "consul1.pocketstudio.net“
},
{
"Address": "192.168.39.6",
"Node": "consul2.pocketstudio.net“
}
]](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-32-320.jpg)
![障害検知
Failure Detection
サービスやノードのヘルスチェック
‘ping’ や ‘curl’ 等、コマンドレベルで指定
任意の監視間隔 (秒単位 )
HTTP API または DNS で結果を返す
$ curl http://192.168.39.5:8500/v1/health/state/critical | jq '.'
[
{
"ServiceName": "web",
"ServiceID": "web",
"Notes": "",
"Status": "critical",
"Name": "Service 'web' check",
"CheckID": "service:web",
"Node": "consul1"
}
]](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-35-320.jpg)
![障害検知
Failure Detection
サービスやノードのヘルスチェック
‘ping’ や ‘curl’ 等、コマンドレベルで指定
任意の監視間隔 (秒単位 )
HTTP API または DNS で結果を返す
スクリプト実行可＝監視用プログラムのデプロイにも…？
# mkdir /etc/consul.d/
# echo ‘{“service”: {“name”: “web”, “tags”: ["rails"], “port”:
80, “check”: {“script”: “curl localhost:80 >/dev/null 2>&1″,
“interval”: “10s”}}}’ >/etc/consul.d/web.json](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-36-320.jpg)
![キーバリューストレージ
Key/Value Storage
HTTP API を通して RESTful に操作
Consul server 間でデータを複製・保全
Consel システム機能が内部で利用
ユーザによる任意データの利用も可能
$ curl -XPUT -d 'hello, world!‘ ¥
http://192.168.39.5:8500/v1/kv/hello/key
true
# curl -s http://192.168.39.5:8500/v1/kv/hello/?recurse | jq '.'
[
{
"Value": "b3BlbiB0aGUgbmV4dA==",
"Flags": 0,
"Key": "hello/key2",
"ModifyIndex": 16,
"CreateIndex": 16
},
]](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-38-320.jpg)
![キーバリューストレージ
Key/Value Storage
HTTP API を通して RESTful に操作
Consul server 間でデータを複製・保全
Consel システム機能が内部で利用
ユーザによる任意データの利用も可能
$ curl -s http://192.168.39.5:8500/v1/kv/hello/key | ¥
jq '.[].Value | .' -r | base64 -d
hello, world!](https://image.slidesharecdn.com/serftoexcelandconsulqpstudy-140419085242-phpapp01/85/Serf2Excel-Serf-Consul-39-320.jpg)
Serf2Excel - Serf を実運用に活かす話 + Consul もあるよ
- 1. Serf toExcelSerf を実運用に活かす話 + Consul もあるよ @zembutsu Apr 19, 2014, Tokyo Ginza #qpstudy LightningTalks
- 2. This is your last chance. After this, there is no turning back.
- 4. qpstudy もうすぐ4周年おめでとうございます！ 新人さんようこそ、この業界へ！ 今の自分があるのも qpstudy のおかげ です。この場を借りて、リーダーほか スタッフの皆さんに御礼申しあげます。
- 9. Serf を基に Excel を生成する話
- 10. Serf とは 軽量なオーケストレーションツール メンバ一覧とイベントの発生を管理 障害検知、フェイルオーバー 秒単位で全ノード上でイベント同期 serfdom = 農奴的な意味です。
- 11. ※参考 http://www.serfdom.io/intro/ メンバーシップ • エージェント間で相互通信 • 高速・軽量 • 非中央集権型 • 情報が直ぐに伝わる 障害検知 • 標準で実装済み • 障害情報は直ぐに全体に伝わる カスタムイベント • メンバーシップ管理 • イベントやクエリを一斉実行 （デプロイやプロセス再起動） • フレキシブルかつ軽量
- 16. ハンドサイン画像ジェネレーター http://bzmm.jp/hs_gene/ やっぱり Serf ! 100 ノード同時実行でも大丈夫！ ※理論値 1秒で 95% 、2秒でほぼ100%伝播 物置かな？
- 20. 基本動作 serf2excel.pl serf members の結果でホスト一覧取得 Spreadsheet::WriteExce で Excel 出力 定期的にメールを送ることも $ uuencode ./hostlist.xls hostlist.xls | mail -s hostlist user@example.com
- 21. 基本動作 serf2excel.pl serf members の結果でホスト一覧取得 Spreadsheet::WriteExce で Excel 出力 定期的にメールを送ることも $ uuencode ./hostlist.xls hostlist.xls | mail -s hostlist user@example.com $ serf members -format json | jq -c -r '.members[] | {addr, name}' {"name":"manager.pocketstudio.net","addr":"192.168.39.3:7946"} {"name":"node1.pocketstudio.net","addr":"192.168.39.11:7946"} {"name":"node2.pocketstudio.net","addr":"192.168.39.12:7946"} {"name":"node3.pocketstudio.net","addr":"192.168.39.13:7946"}
- 24. 使いどころ Ansible 向けのインベントリを動的作成 ServerSpecと連携して role 毎に適用 …ホスト情報等が動的に変化する場面
- 27. !?
- 31. サービス検出 Service Discovery ‘api’ や ‘mysql’ という service 名を定義 検出は、consul ノードで自動的に開始 HTTP API または DNS で結果を返す
- 32. サービス検出 Service Discovery ‘api’ や ‘mysql’ という service 名を定義 検出は、consul ノードで自動的に開始 HTTP API または DNS で結果を返す $ curl -s http://192.168.39.5:8500/v1/catalog/nodes | jq '.' [ { "Address": "192.168.39.5", "Node": "consul1.pocketstudio.net“ }, { "Address": "192.168.39.6", "Node": "consul2.pocketstudio.net“ } ]
- 33. サービス検出 Service Discovery ‘api’ や ‘mysql’ という service 名を定義 検出は、consul ノードで自動的に開始 HTTP API または DNS で結果を返す $ dig @192.168.39.5 -p 8600 consul1.node.consul any ; <<>> DiG 9.8.2rc1-RedHat-9.8.2-0.23.rc1.el6_5.1 <<>> @192.168.39.5 -p 8600 consul1.node.consul any (snip) ;; WARNING: recursion requested but not available ;; QUESTION SECTION: ;consul1.node.consul. IN ANY ;; ANSWER SECTION: consul1.node.consul. 0 IN A 192.168.39.5
- 34. 障害検知 Failure Detection サービスやノードのヘルスチェック ‘ping’ や ‘curl’ 等、コマンドレベルで指定 任意の監視間隔 (秒単位 ) HTTP API または DNS で結果を返す
- 35. 障害検知 Failure Detection サービスやノードのヘルスチェック ‘ping’ や ‘curl’ 等、コマンドレベルで指定 任意の監視間隔 (秒単位 ) HTTP API または DNS で結果を返す $ curl http://192.168.39.5:8500/v1/health/state/critical | jq '.' [ { "ServiceName": "web", "ServiceID": "web", "Notes": "", "Status": "critical", "Name": "Service 'web' check", "CheckID": "service:web", "Node": "consul1" } ]
- 36. 障害検知 Failure Detection サービスやノードのヘルスチェック ‘ping’ や ‘curl’ 等、コマンドレベルで指定 任意の監視間隔 (秒単位 ) HTTP API または DNS で結果を返す スクリプト実行可＝監視用プログラムのデプロイにも…？ # mkdir /etc/consul.d/ # echo ‘{“service”: {“name”: “web”, “tags”: ["rails"], “port”: 80, “check”: {“script”: “curl localhost:80 >/dev/null 2>&1″, “interval”: “10s”}}}’ >/etc/consul.d/web.json
- 37. キーバリューストレージ Key/Value Storage HTTP API を通して RESTful に操作 Consul server 間でデータを複製・保全 Consel システム機能が内部で利用 ユーザによる任意データの利用も可能
- 38. キーバリューストレージ Key/Value Storage HTTP API を通して RESTful に操作 Consul server 間でデータを複製・保全 Consel システム機能が内部で利用 ユーザによる任意データの利用も可能 $ curl -XPUT -d 'hello, world!‘ ¥ http://192.168.39.5:8500/v1/kv/hello/key true # curl -s http://192.168.39.5:8500/v1/kv/hello/?recurse | jq '.' [ { "Value": "b3BlbiB0aGUgbmV4dA==", "Flags": 0, "Key": "hello/key2", "ModifyIndex": 16, "CreateIndex": 16 }, ]
- 39. キーバリューストレージ Key/Value Storage HTTP API を通して RESTful に操作 Consul server 間でデータを複製・保全 Consel システム機能が内部で利用 ユーザによる任意データの利用も可能 $ curl -s http://192.168.39.5:8500/v1/kv/hello/key | ¥ jq '.[].Value | .' -r | base64 -d hello, world!
- 40. マルチデータセンタ Multi Datacenter 複数のデータセンタにまたがって通信 LAN 側と WAN 側で別々のゴシッププール ローカルクラスタにない問い合わせは転送
- 41. Consul Architecture - Consul http://www.consul.io/docs/internals/architecture.html
- 42. Consul Architecture - Consul http://www.consul.io/docs/internals/architecture.html
- 43. Consul Architecture - Consul http://www.consul.io/docs/internals/architecture.html
- 44. 強い基礎技術 メッセージング ( Messageing ) … SWIM , Serf リーダー選出 ( Leader Election ) … Raft セキュリティ ( Security ) … TLS データストレージ ( Data Storage ) … UMDB
- 45. Serf との違い Serf vs. Consul http://www.serfdom.io/intro/vs-consul.html Serf Consul 目的 サービス検出とオーケストレーション サービス検出と設定 ヘルスチェック 低レベル（ノード死活監視） サービス単位で高度な調整 キーバリューストア なし あり メンバーシップ ノード単位 サービス単位 Web API なし あり DNS インターフェース なし あり アーキテクチャ AP 型 ( 一貫性重視、可用性を犠牲 ) CP 型 ( 可用性より一貫性重視 )
- 46. 試してみた RHEL6/CentOS6 は、そのままでNG ( glibc の version ) Serf に慣れていれば、ほぼ同じような捜査感 Serf のような Consul の振る舞いだけど、別モノ Consulを使ってみた | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/04/18/what_is_consul/
- 47. 利用方法 Consulを使ってみた | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/04/18/what_is_consul/ $ wget -O 0.1.0_linux_amd64.zip ¥ https://dl.bintray.com/mitchellh/consu/0.1.0_linux_amd64.zip $ unzip ./0.1.0_linux_amd64.zip # mv ./consul /usr/bin/ $ consul
- 48. 利用方法 Consulを使ってみた | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/04/18/what_is_consul/ $ wget -O 0.1.0_linux_amd64.zip ¥ https://dl.bintray.com/mitchellh/consu/0.1.0_linux_amd64.zip $ unzip ./0.1.0_linux_amd64.zip # mv ./consul /usr/bin/ $ consul $ consul agent -server -bootstrap -client=192.168.39.5 -dc=local ¥ -node=consul1 -data-dir=/tmp/consul -bind=192.168.39.5 $ consul agent -dc=local -node=consul2 -data-dir=/tmp/consul2 ¥ -bind=192.168.39.6 -join=192.168.39.5
- 49. ドキュメント 公式サイト http://www.consul.io/intro/index.html GitHub https://github.com/hashicorp/consul Consul関連文書の参考訳、Serfとの違い等 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/04/19/translation_consul_related_documents/
- 52. ?10,000ft view
- 55. おしまい。ありがとうございました。 よい子の皆も Consul を試してみよう！ お兄さんとの約束さ！ @zembutsu みんな～ Consul ためさなイカ