【Hpcstudy】みんな、ベンチマークどうやってるの？
- 1. みんな、 ベンチマークどうやってるの？ サーバ擬人化ユーザ会 @sechiro http://d.hatena.ne.jp/sechiro/
- 2. 自己紹介 ● Twitter ID: @sechiro ● サーバ擬人化ユーザ会 ● サーバ擬人化エバンジェリスト ● 主な仕事 ● ざびたん ● パスワードの擬人化 ● インフラエンジニア双六 ● 新人インフラエンジニア向け メイド喫茶紹介 ● 昼の仕事は便利屋SE ざびたん２ 護＆サチ
- 3. 本日のお題 ● みんな、ベンチマークどうやっ てるの？ ● ベンチマークはみんなやってる はずなのに、どうやってるのか という話を聞く機会が少ない ● 世の中のベンチマーク結果は玉 石混交… ● なので、自分が意識している点 をお話ししてみたい ● 今回は「計画と準備」を中心に
- 4. コンテンツ ● ベンチマークの計画を立てる ● ベンチマークの対象を知る ● 取得すべき情報を明確に ● ベンチマークツールの選定 ● 分析・レポート
- 5. ベンチマークの計画を立てる ● 何のベンチマークを取るの？ ● HW性能？ ● アプリ性能？ ● ボトルネック解析？ ● プロダクト比較？ ● 目的が違うと、やるべきこと が全然違ってくる
- 6. 目的別戦略 ● HW性能？ ● TPCとかほかと比較できる一般的な基準を採用 ● アプリ性能？ ● 基礎的なスコア？ – 応答性能 → 応答時間がちゃんと取れるツール – スループット → スループットをちゃんとカウントするツール – 処理時間 → 時間をちゃんと計測、timeコマンドでもおｋ – チューニングはせず、基本設定のみがベター ● 最大性能？ – チューニングの限界に挑戦 → 多少の無茶はおｋ ● ボトルネック解析？ ● 既存のログを解析して戦略を立てることから ● プロダクト比較？ ● 観点とベンチマークの条件を明確にする ● 内容次第では、一方的な結果になりがち ● いずれにしてもリソース使用状況は必ず取得する ● そうしないと結果の妥当性が担保できない
- 7. ベンチマーク対象を知る ● ベンチマーク対象のアーキテ クチャを把握する ● 何を計測しているのかを明確に ● 開始当初はおおざっぱでもよい – ベンチマークしてみてわかること もある – 少なくとも分析のたたき台は必須 ● アーキテクチャから最大性能を 概算できているとよい
- 8. 例：とあるHBaseのベンチマーク 負荷を掛けきれる？ 知りたいのは 基本性能 それぞれの操作 にかかった時間は どうやってわかる？ JVMヒープと OS管理メモリ ネットワーク通信 の使い分けは？ の回数は？ 実際にディスクに 書いてるの？ fsync? 1GbEだとスルー プットとRTTは？ http://www.slideshare.net/sechiro/osc2012-spring-hphbasereport
- 9. 取得すべき情報を明確に ● どの情報を取るのか？ ● 基本的には取れる情報はすべて取る – sar -A とか ps aumx？とか – あとからは取り返せない ● 情報取得のオーバーヘッドはほとんど性能 に影響を与えない ● 各部分の性能がどの性能情報から判断でき るかを確認して、網羅性を確認する ● 必要な情報収集はスクリプト化、ツール化 して自動化すべし – 実行後、結果をExcelに貼るだけの状態に – 設定含めエビデンスはすべて自動収集 – 人手が入ると時間がかかり、信頼性も落ちる
- 10. 例：とあるHBaseのベンチマーク 応答時間、スループット クライアントでもsarとか JVMヒープやGCは を一緒に取る メトリクスとログから HBaseレイヤは プロセスごとの値は HBaseの psやtopから メトリクス HDFSレイヤは Hadoopの メトリクス OSレイヤは sarや/procから http://www.slideshare.net/sechiro/osc2012-spring-hphbasereport
- 11. そんなツールで大丈夫か？ ● ベンチマークツールを疑う ● ベンチマークツールのソースを 読む ● ツールが何を測定しているのか 確認 ● それが自分のベンチマークの目 的に適っているのかを検討 ● ちゃんと見ないと求めていたも のと違う結果が出てしまう
- 12. 分析・レポート ● 分析・レポートはどうするの？ ● Excel万能説 – 一次集計をCSVで出力して貼り付け – あとからいろいろ解析できる ● 定形のグラフを出すだけでよいな ら”gnuplot”も便利 – 設定ファイルつくるのが手間 – 作ってしまえば、一気に大量のグラフを 作って、HTMLに埋め込んで閲覧・レポート 化まで自動化できる – 最新版を自分でビルドすべし ● sar のデータをみるなら”kSar”とかも よいらしい
- 13. まとめ ● ベンチマークは計画と準備が重要 ● ちゃんとやらないと使えないデータばか りになってしまう。 ● 性能値の正当性を感覚的に理解できてい ると、インフラエンジニア的にはかっこ いい ● ベンチのノウハウは聞く機会が少ない ので、みなさんがどのようにやってい るのか聞いてみたい
- 14. ありがとうございました！