Benchmarkspec

Benchmark Spec
Proprietary and Confidential to Ruby Development Co., LTD page1

• 自己紹介
• 氏名：柴田有一郎
• 所属：株式会社 Ruby開発
https://www.ruby-dev.jp
• 職業：Web系のプロマネ的なことをやってます

• ここから本題
• 元ネタあります。
• http://www.gladbills.com/help/development/benchmarking.md
• 2015/10/02にGitLabにマージされています
• Benchmark Specとは
= RSpec + benchmark-ips

• よくあるパフォーマンス上の問題？？
• 修正でパフォーマンス上問題のある処理を入れてしまった！！
• CIでの自動化テストでは検出できない
• QAで検出できても、複数の修正が入ってると特定に時間がかか
る

• 解決するために、こんなアプローチはどう？
• CIで自動テストのように、自動ベンチマークを行う
• パフォーマンス要求を設定できる

• 具体的にどんな感じ？
• describe でbenchmark を指定
• 「benchmark」が指定されたときだけ、benchmark
spec機能を有効にします。
describe User, benchmark: true do
end

• ユーザログイン処理のbenchmark Specを例に説明
describe ‘.by_login’ do
before do
create(:user, email: ‘alice@ruby-dev.jp’)
end
ユーザを作成
例は超適当です(_ _)

• パフォーマンス要求を設定
describe ‘.by_login’ do
before do
create(:user, email: ‘alice@ruby-dev.jp’)
end
let(:iterations) { 1000 }
1秒間に1000回以上で成功
（平均して１回のログイン処理
は1ミリ秒以内）

• subjectへ登録
let(:iterations) { 1000 }
describe ‘using a Email address’ do
subject{ -> { User.by_login(‘alice@ruby-dev.jp’)} }
テスト対象として、.by_loginを
Procオブジェクトとして登録

• エクスペクテーション(expectation)は？
describe ‘using a Email address’ do
subject{ -> { User.by_login(‘alice@ruby-dev.jp’)} }
it { is_expected.to iterate_per_second(iterations) }
end
end
end
カスタムマッチャ「iterate_per_second」
を作成し、使用します。
※いきなり出てきて申し訳ないです。
以降説明あります。

• カスタムマッチャー「iterate_per_second」
• 元ネタから説明用にかなり単純化しています。
module BenchmarkMatchers
extend RSpec::Matchers::DSL
matcher :iterate_per_second do |min_iterations|
match do |block|
report = Benchmark.ips(quiet: true) do |bench|
bench.report(&block)
end
内部で、Benchmark.ipsを実施
rails_helper.rbでinclude
config.include BenchmarkMatchers,
benchmark: true

まとめ
今後、benchmark specを導入して、性能を
落とす処理の混入をCIで検出できるか試し
て行きたいと考えています。

•最後に
• ありがとうございました！

Benchmarkspec

More Related Content

What's hot (20)

Similar to Benchmarkspec (6)

Benchmarkspec

Editor's Notes