Сложности и практики тестирования производительности
Download as PPTX, PDF0 likes1,640 views
Документ рассматривает тестирование производительности систем, включая основные термины, метрики, и методы моделирования нагрузки. Обсуждаются выбор метрик, их оценка, а также сравнение различных платформ для тестирования. Также упоминаются недостатки облачных сервисов и архитектурные исследования для улучшения производительности.
Сложности и практики тестирования производительности
- 1. Сложности и практики тестирования производительности Владимир Вахлов, «Эксперт-система»
- 2. Производительность систем • Терминология • Метрики • Площадки для тестирования • Моделирование нагрузки • Performance-drop анализ • Обработка данных
- 3. Терминология Performance Testing (Тестирование Производительности) Load Stress Stability Configuration
- 4. Терминология • Не универсальна • Не все могут привыкнуть • Придется переводить на язык команды
- 5. Выбор метрик • Наличие SLA • Конкуренция однотипных систем • Реакция пользователей • Performance-drop анализ
- 6. Выбор метрик. Примеры • Roundtrip обработки запроса • Время загрузки данных после входа пользователя в систему • Задержки обработки данных внутри системы • Время, затраченное процессом на GC
- 7. Оценка метрик • Avg / Max / Min значения • Допустимое отклонение • Процентили
- 8. Оценка метрик. Avg / Max / Min значения • Базовые метрики • Просты в подсчетах • Не дают полного представления о поведении системы
- 9. Оценка метрик. Процентили Общий NIST (Excel 2007, …) 80 15 20 25 35 40 30 50 35 40 30 45 50 25 70 80 15
- 10. Оценка метрик. Процентили (пример) 90% percentile 95% percentile 96% percentile 97% percentile 98% percentile 99% percentile • Устойчивость к пиковым 400 значениям Отклик системы, мс • Гибкость 300 200 • Неизвестно количество и 100 размер пиковых значений 0 16:00 19:00 4:00 0:00 8:00 13:00 15:00 17:00 1:00 20:00 3:00 6:00 7:00 12:00 9:00 21:00 5:00 10:00 14:00 18:00 23:00 2:00 11:00 22:00 Время
- 11. Оценка метрик. Допустимое отклонение Кол-во Avg, мс Max, мс >1c >2с 57 31 Версия 4 180652 26.7 15398 (0.03%) (0.01%) 361 298 Транзакция N Версия 3 180334 28.78 17436 (0.20%) (0.17%) (отклик 367 306 системы) Версия 2 180057 32.23 14174 (0.20%) (0.17%) 423 358 Версия 1 180339 31.17 14301 (0.23%) (0.20%)
- 12. Оценка метрик. Допустимое отклонение • Дает оценку пиковых значений • Удобна на реальных системах • Даёт гибкую систему оценки
- 13. Площадки для тестирования Копия реальной площадки Логическая копия Произвольная реальной Cloud-сервисы конфигурация конфигурации Своё железо
- 14. Cloud-сервисы GoGrid Amazon EC2 Storm On Demand • Гибкость eApps • Конфигурируемость ElasticHosts e24Cloud.com • Защищенность OpSource Rackspace • Цена Terremark Gigenet VPS NET JoyentCloud dediserve
- 15. Amazon EC2 • Виртуализация XEN • Собственный API • Spot-instances • Запуск новых серверов по щелчку мыши • Набор настроенных ОС Red Hat Enterprise Linux Windows Server Oracle Enterprise Linux SUSE Linux Enterprise Amazon Linux AMI Ubuntu Linux Fedora Gentoo Linux Debian • Набор настроенного ПО IBM DB2 IBM WebSphere AS IBM Lotus ContentMgmt Oracle 11g Java Application Server Wowza Media Server Pro MySQL Enterprise Oracle WebLogic Server IIS/Asp.Net
- 16. Amazon EC2 • От 1 до 16 ядер (1-88 EC2 Compute Units) – AMD / Intel • До 68Gb RAM • Elastic Block Store (EBS) - RAID0 iostat: 16K blocks, 50/50 reads/writes, 50/50 random/seq access Standard volume 300 iops / 4.7 MBps EBS volume 870 iops / 13.5 MBps 2 avg SATA drives in RAID1 220 iops / 3.5 MBps • 8 различных зон Логин в систему Зона Пинг до системы, мс Отклик, мс (медиана) Northern Virginia 1.8 1 647 Northern California 85.6 3 998 Ireland 98.0 4 403 Oregon 98.7 4 390 Sao Paulo 150.2 7 917 Tokyo 188.0 7 255 Singapour 265.4 9 914
- 17. Amazon EC2 © Steve Jobs
- 18. Amazon EC2 Недостатки • Доступность 99.95% • Премиум-поддержка • Совместное использование ресурсов
- 19. Cloud-сервисы. No-Go • Тестирование Ёмкости • Абсолютные величины отклика • Экстраполяция
- 20. Cloud-сервисы. Применение • Тестирование стабильности • Исследование архитектуры • Сравнительные тесты
- 21. Исследование архитектуры. Закон Амдала «В случае, когда задача разделяется на несколько частей, суммарное время её выполнения на параллельной системе не может быть меньше времени выполнения самого длинного фрагмента». Пример: параллельно выполняется 90% кода
- 22. Исследование архитектуры • Многопоточность • Кластеризация • Шардинг • Зависимость компонент
- 23. Performance-drop анализ • Реализуем на любой платформе • Отслеживает изменения в производительности в течение длительного времени • Не зависит от конкретных метрик
- 24. Моделирование нагрузки • Реальный профиль • Комбинированный профиль • Минимальный профиль
- 25. Моделирование нагрузки Процент запросов, превышающих допустимый предел 90 80 70 60 Процент 50 40 30 20 10 0 4 8 12 16 20 24 30 Количество запросов в секунду
- 26. Обработка данных • Большое количество данных • Визуализация • Рассчеты • Высокая степень автоматизации Bash R-Project MS Excel gnuplot
- 27. R-Project • Кроссплатформенность • Скриптование • Визуализация данных • Работает с миллионами строк данных • Бесплатен ;-)
- 28. Вопросы?