АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019
3 likes605 views
Документ описывает процессы и методологии производительного тестирования, включая основные этапы, такие как анализ системы, разработка тестового плана и стратегии, создание тестовых сценариев и анализ результатов. Делается акцент на использование инструментов, например, JMeter, для мониторинга и получения метрик, обеспечивающих понимание поведения приложения под нагрузкой. Также упоминаются важные метрики и характеристики нагрузки для успешного тестирования систем.
АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019
- 1. Start performance testing from scratch
- 2. Senior Performance Analyst в EPAM Systems Performance testing mentor at StartIT Training Center Mentor at ITKPI Winner of several TestUaStartups, Dev Challenge and UaWebChallenge competitions Anton Serputko
- 3. Перфоманс тестинг Нефункциональный тип тестирования, целью которого есть проверить поведение приложения/системы под нагрузкой
- 4. Перед вами задача Нужно сделать перфоманс
- 5. Что делать Прочитать пару книжек про перфоманс Проанализировать систему Подготовить тест план и тестовую стратегию Разработать профиль и модель нагрузки Подготовить тестовые сценарии и тестовые данные Подготовить енв для тестов Провести тесты Проанализировать результаты Подготовить отчеты
- 6. Сложна
- 8. Плюсы Jmeter Опен сорс Можно сделать все что придет в голову Наличие плагинов Низкий порог входа Большое комьюнити Возможность получать результаты в реальном времени и сохранять в БД
- 10. Минимальный ликбез Модели и профили нагрузки Метрики для анализа NFRs
- 11. Модели нагрузки ака типы тестов Модель нагрузки состоит из нескольких параметров: количество потоков время за которое все потоки становятся активными(рамп-ап) длительность теста
- 12. Модели нагрузки
- 13. Модели нагрузки Capacity Load Performance test Stress SOAK, endurance итд
- 14. Модели нагрузки
- 15. Профиль нагрузки Количество/частота действий пользователя во время теста
- 16. App-side метрики Респонс тайм средний-avg-mean медиана-median персентили-90,95,99 percentile мин макс
- 18. App-side метрики Пропускная способность - throughput Transactions per second Hits per second
- 19. App-side метрики Количество ошибок Количество активных юзеров
- 20. Серверные метрики CPU RAM DISK I/O Network Позволяют мониторить как себя чувствуют серверы во время тестов. Помогают видеть ботлнеки, связанные с конфигурацией и железом
- 21. NFRs Non-functional requirements Данные от бизнеса, которые скажут нам норм или нет Response time(median, percentile) Throughput Errors % 0-1 сек - быстро 1-2 сек - норм 2-5 сек - терпимо 5+ сек - такое
- 22. Анализ системы Найдите человека который шарит в систему Не стоит начинать с сложных сценариев Неплохо иметь схему, где базы, балансировщики, сервера..
- 24. Подготовить тест план и тест стратегию IEEE 829
- 25. Подготовить тест план и тест стратегию
- 26. Енв Prod-like environment Доступы к серверам Ресурсы для генераторов нагрузки и мониторинга
- 27. Разработка сценария и параметризация Пинайте людей, которые могут знать как пользователи используют или будут использовать систему Не гонитесь сразу за сложными сценариями Не забывайте о профиле нагрузки и параметризации
- 29. Ну, что-то есть. И что дальше?
- 30. Capacity тест Необходим для того чтобы найти максимальные возможности системы на текущей конфигурации Throughput / Number of users Важно то, что количество пользователей для других типов тестов берем по результатам capacity теста
- 32. Capacity тест
- 34. Модели нагрузки
- 35. Анализ результатов Для начала собираем необходимые метрики
- 36. Сбор метрик Агрегированная статистика типа табличек за все тест по app-side метрикам Тренды по метрикам Детали по ошибкам которые были во время теста Серверные метрики
- 38. Анализ результатов Думаем, находим зависимости и учимся Смотрим на тренды метрик Сравниваем Пропускная способность Медиана, персентиль Количество ошибок Серверные метрики
- 39. Сравниваем
- 44. Думаем и находим зависимости
- 57. Репортинг
- 58. Запуск тестов в CI
- 59. Получение результатов в реальном времени
- 60. Получение результатов в реальном времени
- 61. Все)