QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

Киев 2017
Как вам кофе?
Как экономить время на анализе отчетов о нагрузочном тестировании

Киев 2017
Все рассказанное здесь является
результатом правды, полу-правды,
статистики или художественной
выдумки основанной на личном
опыте…
Все сказанное не несет в себе цели
кого-либо обидеть.
А всего лишь задуматься о том как
оптимизировать свою работу и
заниматься более приятными
делами.

Киев 2017
Первый в Украине фестиваль тестирования
Как
экономить время
на анализе отчетов
о нагрузочном
тестировании

Киев 2017
О себе: Кричко Никита
Самый большой лентяй и бездельник
В компаниях:

Киев 2017
О себе: Кричко Никита
Специалист по нагрузочному тестированию
В компаниях:
nik.krichko@gmail.com

Киев 2017
Классные доклады
Александр
Неделяев
Тестирование и мониторинг
производительности
фронтенда с помощью
sitespeed.io

Киев 2017
Эффективный поиск
невоспроизводимых ошибок
Андрей
Лазарев

Киев 2017
CLIENT
MS
SQL
IIS / APP
sitespeed.io
Самописный фреймворк
Core Craft, Pavlov Dogs

Киев 2017
Этонереклама

Киев 2017
Для кого этот доклад:
Для тех у кого на
анализ ошибок,
логов и графиков
уходит очень
много время
(Для тех кто ценит свое время)
<Тема доклада>

Киев 2017
О чём этот доклад:
О теоретическом
подходе к анализу
результатов
<Тема доклада>

Киев 2017
Показатели результатов:
тесты / атвотесты
PASSED FAILED

Киев 2017
Показатели результатов:
нагрузочное тестирование
Нагрузочное
AVG / MEDIAN / MODE
PERCENTILE / QUARTILE
MIN / MAX
MEMORY USAGE * КОЛ-ВО
СЕРВЕРОВ
CPU USAGE * КОЛ-ВО СЕРВЕРОВ
DISK I/O* КОЛ-ВО СЕРВЕРОВ
NETWORK USAGE
Много других
Корреляция между показателями

Киев 2017
ВИЗУАЛИЗАЦИЯ

Киев 2017
Цвета важнее
текста
Графики
важнее текста

Киев 2017Как экономить время на анализе отчетов о нагрузочном тестировании
test 1 passed
test 2 passed
test 3 passed
test 4 passed
test 5 passed
test 6 passed
test 7 passed
test 8 passed
test 9 passed
test 10 passed
test 11 passed
test 12 passed
test 13 passed
test 14 passed
test 15 passed
test 16 passed
test 17 passed
test 18 passed
test 19 passed
test 20 passed
test 21 failed
test 22 passed
test 23 passed
test 24 passed
test 25 passed
test 26 passed
test 27 passed
test 28 passed
test 29 passed
test 30 failed
test 31 passed
test 32 passed
test 33 passed

test 21 failed
test 30 failed

Киев 2017
Если вам задают вопрос
«Сколько в среднем у нас
время ответа от сервера?»
Никогда не используйте
СРЕДНЕЕ ЗНАЧЕНИЕ

Киев 2017
Далее абстрактные примеры
не привязанные к какому
либо конкретному
показателю.
Подход возможно
применить к любому
показателю и их любому
количеству количеству
показателей

Киев 2017
AVG = 593
500
300

Киев 2017
AVG = 593
MEDIAN = 293
300
500

Киев 2017
AVG = 296
MEDIAN = 292
500

Киев 2017
Не используйте
медианны
--
Ипользуйте
ящики с усами

Киев 2017
Ящик с усами
Выброс

Киев 2017
Что делать если
показателей много?

Киев 2017
Умножим на количество
снимаемых метрик

Киев 2017
Умножим на нагрузку

Киев 2017
Что делать если
показателей
ОЧЕНЬ много?

Киев 2017
серверов

Киев 2017
операций/сценариев

Киев 2017
операций/сценариев
СЛИШКОМ
МНОГО-
МНОГО-ГО
ГРАФИКОВ

Киев 2017
SLA для требований
Service Level
Agreement
SLA
соглашение
об уровне сервиса

Киев 2017
SLA
Без требований к
производительности
никуда не двигаться
нельзя.

Киев 2017
SLA
Не требования:
• Хотим что бы работало быстро
• Сраница должна вжух и
загрузиться
• Пользователь должен не
успеть моргнуть, а страница
уже должна быть загружена

Киев 2017
SLA
Требования:
• Система должна обрабатывать
не менее 100 запросов «такой-
то» операции не более чем за
500 мс для 95% запросов и не
более чем 750 мс для 99% все
х запросов с допустимым
количеством ошибок менее
1% на «таком-то железе»

Сцециалист по нагрузочному тестированию
узнает требования к производительности у
заказчика

Киев 2017
SLA
Для каждого
снимаемого показателя
для каждого условия
должны быть
требования

Таблица SLA для системы
Уровень SLA Значение (Пример)
9 Показатель ухудшен на 50%
6 Показатель ухудшен на 5 %
5 Система соответствует требованиям
4 Показатель улучшен на 5%

Киев 2017
SLA
Абстрактный пример:
Для такого-то сценария при нагрузке 10
потоков в секунду на протяжении 1 минуты
выполнения сценария должны выполняться
следующие условия:Показатель Значение
Response time median 500
CPU Usage median (S1) 20 %
RAM Usage median (S1) 200 mb

Киев 2017
SLA
ПРИСВАЕВАЕМ этим
показателям SLA - 5
Показатель Значение
Response time median 500 5
CPU Usage median (S1) 50 % 5
RAM Usage median (S1) 20 % 5
И после каждого прохождение кто-то или что-то
должен присвоить нашим результатам
наш SLA

Киев 2017
Автоматизация

Киев 2017
SLA
SLA for response time for Month

Киев 2017
SLA

Объединяем SLA в одно число
по формуле
𝑅𝑇𝑀𝐸𝐷 × 103
+ 𝐶𝑃𝑈 × 102
+ 𝑅𝐴𝑀 × 101

Общий показатель
производительности системы
для заданых условий
𝑅𝑇𝑀𝐸𝐷 × 103
+ 𝐶𝑃𝑈 × 102
+ 𝑅𝐴𝑀 × 101
=
5550

И ЗАЧЕМ НАМ ЭТОТ ПОКАЗАТЕЛЬ
5550

История показателя за месяц
555
550
560
500
600
1000
000
558
855
955
540
400

История показателя за месяц

Киев 2017
Недостатки
•Много показателей
очень мелкий масштаб
•Таких графиков может
быть много

Киев 2017
SLA
По томуже принципу
сводим все к одному
графику
другая формула

Объединяем SLA в одно число
по формуле
3
𝑅𝑇𝑀𝐸𝐷
3
+ 𝐶𝑃𝑈
3
+ 𝑅𝐴𝑀
3
= 7.2112
- Идеальное состояние системы

История показателя за период
7.2112

Киев 2017
Автоматизируйте

Киев 2017
Автоматизируйте
Ubuntu server
TeamCity server
JMeter
R
Shiny
Server
Shiny
Web - Report
System
Under TEST
Jmeter
Performance
monitor
Performance
Log DB
Jmeter
Log
Resource
log

Киев 2017
СПАСИБО ЗА ВНИМАНИЕ!!!
ВОПРОСЫ?

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании

More Related Content

What's hot (20)

Similar to QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании (20)

More from QAFest (20)

QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагрузочном тестировании