![苦労話
LANG=ja_JP.utf8しちゃうと嵌る
～中略～
def is_started?(host=nil)
os_vals = get_os_service_values(host)
status_res = execute_db_service_command( host , "status" )
(status_res =~ /#{os_vals[:mysql_started_tag1]}/ || status_res =~ /#{os_vals[:mysql_started_tag2]}/)
end
～中略～
if host_os == 'ubuntu'
{
:mysql_service => "mysql",
:mysql_started_tag1 => "Threads",
:mysql_started_tag2 => "start/running",
:mysql_stoped_tag1 => "MySQL is stopped",
:mysql_stoped_tag2 => "stop/waiting"
}
else
{
LANG=C前提で書かれている
:mysql_service => "mysql", # MySQL 5.0 used "mysqld"
:mysql_started_tag1 => "MySQL running",
:mysql_started_tag2 => "mysqld¥s.+is running",
:mysql_stoped_tag1 => "mysqld¥s.+is stopped",
:mysql_stoped_tag2 => "MySQL is stopped"
}
end
/opt/rightscale/sandbox/lib/ruby/gems/1.8/gems/rightscale_tools-1.1.24/lib/rightscale_tools/premium/db/common/d_b_utils_mysql.rb
31](https://image.slidesharecdn.com/rightscale-130407190616-phpapp01/85/Right-scale-31-320.jpg)
Right scaleの利用効果、苦労話 クラウドマネジメントツール勉強会
- 1. RightScaleの利用効果、苦労話 クラウドマネジメントツール勉強会 ソネットエンタテインメント株式会社 成田 宏和 2013/04/05(金)
- 2. 自己紹介 自己紹介：成田 宏和 所属 主務 ソネットエンタテインメント株式会社 兼務 株式会社ゲームポット ソネットメディアネットワークス株式会社 業務 2004年～ WEBアプリケーション開発(Perl, Ruby) 2010年1月～ CLIでAWSを使ったインフラ構築・運用 2010年6月～ オンプレミス環境インフラ構築・運用 2010年10月～ RightScaleでAWSを使ったインフラ構築・運用 2011年12月～ OSS Chefでオンプレミスインフラ構築・運用 2
- 3. Agenda Agenda 1. 利用状況 2. RightScaleとその効果 3. 苦労話 4. 注意どころ 5. 応用編 6. まとめ 3
- 4. 利用状況
- 5. 利用状況 利用対象 システム ソネット・メディア・ネットワークス株式会社 …広告配信基盤 Logicad 株式会社ゲームポット …ソーシャルゲーム 狩りとも 狩りともSP 蒼穹ドラゴンギルド 童話スピリッツ-海と空の島々- etc... サーバ台数 200～300台程度 5
- 6. 利用状況 RightScaleを使った業務と要求事項 1. 自動化のネタ作り…主体はインフラ担当者:3名 RightScaleの仕組把握 構築手順 構築手順をスクリプト(ex. shell, Ruby, Perl)化するスキル 2. システム構築…主体はインフラ担当者:2名 RightScaleの基本操作スキル システム設計 システム要素と自動化のネタとの対応情報 それ設定すべきパラメータ 3. サーバ単体構築…インフラ担当者、アプリ開発者:多数 RightScaleの基本操作スキル 自動化のネタに設定すべきパラメータ 4. 構築済システムのオペレーション…インフラ担当者、アプリ開発者:多数 RightScale上の定型処理 5. モニタリング…インフラ担当者、アプリ開発者、プロデューサ:多数 ネットサーフィンスキル 6
- 8. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 8
- 9. RightScaleとその効果＞MultiCloud Platform 稼働状況 Before After ダッシュボードでクラウド,サービ スを跨いだシステムの状況をリア ルタイム確認 9
- 10. RightScaleとその効果＞MultiCloud Platform サーバへ1クリックログイン ニックネームでサーバを探して1クリックログイン 10
- 11. RightScaleとその効果＞MultiCloud Platform クラウドアカウントの切り替え 複数アカウントをタブOpen,セレクトボックスで簡単切替 一人が複数のシステムを運用するのに便利 11
- 12. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 12
- 13. RightScaleとその効果＞MultiCloud Platform Server Template/Right Script, chef recipe Before After 構築情報を基に手動構築 構築情報から自動構築 自動化のネタ 13
- 14. RightScaleとその効果＞MultiCloud Platform サーバオペレーション Before After コンソールからコマンドライン実行 オペレーションにはRight Script, chef recipeが利用可能 RightScale上からサーバ1台ずつ or複数台に一括で実行 14
- 15. RightScaleとその効果＞MultiCloud Platform Credentials セキュア情報の管理機能 inputsにCredential名を設定 実行時に値をロード 15
- 16. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 16
- 17. RightScaleとその効果＞MultiCloud Marketplace ベストプラクティスの享受 Before After 自分たちで調べて運用 ベストプラクティスが詰まったテン プレートを利用 工数削減、問題回避 17
- 18. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 18
- 19. RightScaleとその効果＞Automation Engine モニタリング Before After Muninサーバを自前運用 値送信で自動グラフ化 監視システム自前運用不要 19
- 20. RightScaleとその効果＞Automation Engine Alert設定 グラフ名、値の名前、閾値をトリガにAlert Escalationを実行 メール送信、スクリプト実行、サーバ再起動... 20
- 21. RightScaleとその効果＞Automation Engine サーバ台数調整 Before After CLIで台数調整 Server Array ec2-run-instances・・・ スケジュール、モニタリング 情報を基に台数自動調整 21
- 22. RightScaleとその効果＞Automation Engine Macro お決まりのセキュリティグループ作成はMacroで実施 ミス回避、時間節約 22
- 23. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 23
- 24. RightScaleとその効果＞Governance Control アクセス権管理 Before After 権限絞ったアカウントなし 権限絞ってアカウント設定 開発者、プロデューサもインフラオペ インフラオペレーションはインフ レーション ラ担当者のみ アプリケーションデプロイ プロセス再起動 サーバ再起動 サーバ複製...etc http://support.rightscale.com/15-References/Tables/User_Role_Privileges 24
- 25. RightScaleとその効果＞Governance Control 履歴管理 Before After ドキュメントに手動記録 Auditに自動記録 サーバの起動/停止 作業履歴 スクリプトの実行 サーバログイン セキュリティグループ etc... 25
- 26. RightScaleとその効果 RightScaleとその効果 Overview 1. MultiCloud Platform 2. Configuration Framework 3. MultiCloud Marketplace RightScaleに情報集約 4. Automation Engine 5. Governance Control http://www.rightscale.com/products 26
- 27. 苦労話
- 28. 苦労話 大量のAlertメール Alert設定次第で1インシデントが大量メール送信 意図しないアラート 設定ミス RightScale側で保持しているServer Status値の予期しない変動 28
- 29. 苦労話 トラブルシューティング ****************************************************************************** ** inputsや設定の確認 *RS> Preparing boot bundle **** *ERROR> Failed to prepare boot bundle: Failed to retrieve boot scripts (Failed to 赤表示になっているところはないか build boot bundle (InputFormalValues::ResourceNotFound: Deployment ‘****’ ********************************************************************** contains no server or array named ‘****' in ********** /home/rails/right_api/releases/20130321190135/app/models/input_formal_value *RS> Preparing boot bundle **** Audit Entriesを確認 s/environment.rb:97:in `component_instance')) 16 metadata files removed 7 sqlite files removed 0 metadata files removed failedになっているところの詳細を開きError付近をじっくり読む 22:27:58: ERROR: S3 error: 403 (Forbidden): *RS> Tags discovered on startup: 'rs_launch:type=auto', 'rs_login:state=active' 22:27:59: Script exit status: 1 *RS> Missing inputs for Chef recipe < LB Application to HAProxy connect - Right Scriptの標準出力メッセージは控えめに 22:27:59: Script duration: 12.82543 *ERROR> Execution failed 11H1 *RS> v1 >, waiting... *ERROR> External command error: RightScript < APP setup execution *RS> Missing inputs for Chef recipe < LB Application to HAProxy connect - 出し過ぎる(数万行)とハンドリングできなくなる environment > exited with 1 *ERROR> Subprocess exited with 1 11H1 *RS> v1 >, waiting... *RS> Missing inputs for Chef recipe < LB Application to HAProxy connect - 計画メンテナンスの後は要注意 11H1 *RS> v1 >, waiting... インタフェース変更 不具合 RightScale上の表示を過信しない 最終的にはクラウド側のツールで確認 29
- 30. 苦労話 クラウド側のステータス取得遅延 ステータス同期方法 EC2インスタンス関係 query EC2 セキュリティグループ query EC2 EBS snapshot Snapshot sharingで ダミールールadd→revoke その他 ダミー作成→削除 それでもダメなら クラウド側ツールで確認 30
- 31. 苦労話 LANG=ja_JP.utf8しちゃうと嵌る ～中略～ def is_started?(host=nil) os_vals = get_os_service_values(host) status_res = execute_db_service_command( host , "status" ) (status_res =~ /#{os_vals[:mysql_started_tag1]}/ || status_res =~ /#{os_vals[:mysql_started_tag2]}/) end ～中略～ if host_os == 'ubuntu' { :mysql_service => "mysql", :mysql_started_tag1 => "Threads", :mysql_started_tag2 => "start/running", :mysql_stoped_tag1 => "MySQL is stopped", :mysql_stoped_tag2 => "stop/waiting" } else { LANG=C前提で書かれている :mysql_service => "mysql", # MySQL 5.0 used "mysqld" :mysql_started_tag1 => "MySQL running", :mysql_started_tag2 => "mysqld¥s.+is running", :mysql_stoped_tag1 => "mysqld¥s.+is stopped", :mysql_stoped_tag2 => "MySQL is stopped" } end /opt/rightscale/sandbox/lib/ruby/gems/1.8/gems/rightscale_tools-1.1.24/lib/rightscale_tools/premium/db/common/d_b_utils_mysql.rb 31
- 32. 注意どころ
- 33. 注意どころ メンテはJST金曜日の日中に実施 RightScaleを使った大事な作業はメンテナンス時間を考慮 33
- 35. 注意どころ MindTermがずれる Encoding=utf-8 Font=DialogInput に設定すると直る 35
- 36. 応用編
- 37. 応用編 Amazon VPCで利用 利用方法 起動時にEIP付与 ※Server Arrayでは不可 or NATサーバへルーティングされたサブネットで起動 EIP付与 NATサーバ利用 37
- 38. 応用編 モニタリングのカスタムプラグインが作成可能 オンプレミスサーバ監視 Create Custom Collectd Plug-ins for Linux http://support.rightscale.com/12- AWS Cloud Watch Guides/RightScale_Methodologies/Monitoring_System/Writing _custom_collectd_plugins/Custom_Collectd_Plug- ins_for_Linux インスタンス数変化 正常終了log etc… 38
- 39. 応用編 Alertの指定は小文字！ グラフでは大文字の項目も、Alertでは小文字で 設定しないと認識してくれない 39
- 40. 応用編 Right Scriptの実行時の確認有無 Settings->Account Settings->Preferences RightScript will appear on your task list until complete. RightScript will appear on your task list until complete. 40
- 41. 応用編 Alert Actions : run_right_script エラーログ行数をモニタリング 増加検知で末尾n行をメール送信 41
- 42. 応用編 状態が～分間続いたら という条件を書きたい 継続時間ではなく 平均値算出時間 １分ぐらいラグがある 空のScript ので9分に設定 42
- 43. 応用編 Server Array Scheduleでタイマー起動/停止 Max Count=1,Min Count=1に設定して起動 Min Count=0に設定,cpu-idleを監視して停止 43
- 44. 応用編 遊休リソース監視 RightScale APIでリソース監視 遊休リソースをメール通知 44
- 45. 応用編 capistrano連携 cap-rightscale https://github.com/roothybrid7/cap-rightscale デプロイ対象としてRightScaleから動的にサーバ情報取得 45
- 46. まとめ
- 47. まとめ まとめ RightScaleとは 自動化のためのプラットフォーム/フレームワーク 効果 構築・運用の自動化が実現 インフラ担当者以外もインフラオペレーション 監視システムの自前運用が不要 RightScaleに情報集約 苦労話、注意どころ RightScaleの表示を過信しない クラウド側提供ツールで最終確認 計画メンテナンスはJSTで金曜日の日中 その後は要注意 今後の展望 なんだかんだ言っても便利 使い続けたい オンプレミスとクラウドで同じchef recipeで構築したい 47
- 48. 日本語フォーラム 日本語フォーラム 日本語ドキュメント 48
- 49. ご清聴ありがとうございました RightScaleの利用効果、苦労話 クラウドマネジメントツール勉強会 ソネットエンタテインメント株式会社 成田 宏和 2013/04/05(金)