Введение в performance management
1 like302 views
Документ представляет собой презентацию на 19-й международной конференции по вопросам качества, где Андрей Дмитриев делится своими знаниями о performance management. Он обучает аудиторию проводить performance-тестирование, включая подготовку и управление тестированием, а также обсуждает deliverables, такие как nfr документация и проектные планы. В заключение представлены примеры и стратегии для успешного тестирования и взаимодействия с заказчиками.
Введение в performance management
- 1. 19 Международная конференция по вопросам качества ПО sqadays.com Андрей Дмитриев Москва 2016 Введение в Performance Management
- 2. • разработчик, тимлид, груплид • лидер JUG.ru и CodeFreeze.ru Введение в Performance Management Кто я?
- 3. • разработчик, тимлид, груплид • лидер JUG.ru и CodeFreeze.ru Введение в Performance Management Кто я?
- 4. • разработчик, тимлид, груплид • лидер JUG.ru и CodeFreeze.ru Введение в Performance Management Кто я?
- 5. • Научить вас проводить performance- тестирование Введение в Performance Management Цель
- 6. • Научить вас проводить performance- тестирование Введение в Performance Management Цель
- 7. • Научить вас проводить performance- тестирование • Поделиться своим опытом Введение в Performance Management Цель
- 8. • Научить вас проводить performance- тестирование • Поделиться своим опытом Введение в Performance Management Цель
- 9. • Научить вас проводить performance- тестирование • Поделиться своим опытом • Научить вас задавать правильные вопросы при подготовке к тестированию у заказчика Введение в Performance Management Цель
- 10. • Научить вас проводить performance- тестирование • Поделиться своим опытом • Научить вас задавать правильные вопросы при подготовке к тестированию у заказчика Введение в Performance Management Цель
- 11. Введение в Performance Management Значение слова “Цель” А B
- 12. Введение в Performance Management Значение слова “Цель” А B C
- 13. • Чего не будет • Как проводить performance-замеры • Как управлять командой • Как общаться с заказчиком Введение в Performance Management План
- 14. • Чего не будет • Как проводить performance-замеры • Как управлять командой • Как общаться с заказчиком • Что будет • Как готовиться к тестированию у заказчика • Какие deliverables выдавать • Как готовить отчет Введение в Performance Management План
- 15. • Хорошее тестовое покрытие успешно “выполнилось” Введение в Performance Management Чего хочет заказчик?
- 16. • Хорошее тестовое покрытие успешно “выполнилось” • Быть уверенным в том, что решение выдержит требуемую нагрузку Введение в Performance Management Чего хочет заказчик?
- 17. Введение в Performance Management Deliverables
- 18. Введение в Performance Management Простой пример #1• В систему будет поступать в среднем 3000 запросов в сутки • Длительность теста - 1 час А. 375 C. 125 B. 3000 D. Неизвестно Сколько запросов должно быть выполнено за 1 час?
- 19. Введение в Performance Management Простой пример #1• В систему будет поступать в среднем 3000 запросов в сутки • Длительность теста - 1 час А. 375 (3000/8) C. 125 (3000/12) B. 3000 D. Неизвестно Сколько запросов должно быть выполнено за 1 час?
- 20. • В систему будет поступать в среднем 3000 запросов в сутки • Длительность теста - 1 час • Сколько запросов должно быть выполнено? • А: 375 • B: 125 • C: 3000 • D: Ответить невозможно Введение в Performance Management Простой пример #1 • КАРТИНКА с характером нагрузки
- 21. • NFR документ Введение в Performance Management Ладно, что за Deliverables?
- 22. • NFR документ • Strategy документ Введение в Performance Management Ладно, что за Deliverables?
- 23. • NFR документ • Strategy документ • Проектный план Введение в Performance Management Ладно, что за Deliverables?
- 24. • NFR документ • Strategy документ • Проектный план • Финальный отчет Введение в Performance Management Ладно, что за Deliverables?
- 25. • Кто готовит этот документ? • Что содержит этот документ? Введение в Performance Management NFR документ
- 26. • Снимаемые метрики: ο DB server host CPUmemory load ο DB instance Average Active Session ο DB server host IO load ο AWR report для каждого сервера ο App server host CPUmemory load ο App server threads usage для каждой ноды (active, waiting, available, total) ο App server JDBC pool usage (number of activeidle sessions) ο App server JVM GC log activity ο APP server JMS queues length, etc. Введение в Performance Management NFR документ
- 27. • Ожидаемые нагрузки (в год, день): 1 Scenario #1 10748 4 Scenario #2 18382 7 Scenario #3 3000 10 Scenario #4 6822 13 Scenario #5 5278 16 Scenario #6 7504 19 Scenario #7 4966 Total executions: 56700 Введение в Performance Management NFR документ
- 28. • Количество мигрированных данных: Введение в Performance Management NFR документ Phases Description Data volume Dates: P h a s e 1 preparation Set up datasources on onsite Test environment: 1. BORIS (Oracle) 2. ONPS (Oracle) 3. Cisco ISC (Sybase) 4. ProJEN (Oracle) 14.500 Engineerin g Orders XYZ P h a s e 1 execution Executing data migration on onsite Test environment 14.500 Engineerin g Orders XYZ P h a s e 2 preparation Set up all datasources on onsite Test environment: 1.BORIS (Oracle) 2.eDesigner Evolve VPN (MySQL) 3.eDesigner Evolve EWAN (MySQL) 4. ONPS (Oracle) 34.500 non- Engineerin g Orders XYZ P h a s e 2 Executing data migration on onsite Test environment 34.500 non- Engineerin XYZ
- 29. • Объем мигрированных данных: Введение в Performance Management NFR документ Legacy system S o u r c e d a t a volume Data volume after m i g r a t i o n i n t o Company Database Data type for both migration phases (total) System X (Oracle) 50 Gb 50 Gb 32mil records System X VPN (MySQL) 1 Gb 1 Gb 2 0 0 K r e c o r d s (service instances + service design) System X E1 (MySQL) 0,1 Gb 0,1 Gb 2K records (service instances + service design) System X1 (Oracle) 350 Gb 350 Gb 410mil records System X2 (Sybase) 0.5 Gb 0.5 Gb * 1,5 * 2,5 = 1.5 Gb at most 17K records System X3 (Oracle) 0.5 Gb 0.5 Gb * 1,5 * 2,5 = 1.5 Gb at most 1K records TOTAL SIZE 402 Gb 404 Gb 442mil records
- 30. • Бизнес-кейсы Введение в Performance Management NFR документ # A r e a Phase Description Report Criteria Tx/ h (av g) Respo nse time 1 FUF Phase 2 Order performance with respect to the order target date M o n t h l y o r Q u a r t e r l y performance 16 1min 2 FUF Phase 2 Order performance with respect to the Estimated Delivery Date -Commitment Date M o n t h l y o r Q u a r t e r l y performance 16 30min 3 FUF Phase 2 Order Volumes – Created M o n t h l y o r Q u a r t e r l y performance 16 5min 4 FUF Phase 2 Order Volumes – Delivered M o n t h l y o r Q u a r t e r l y performance 16 2min 5 RI Phase 2 Network Element report 16 5min
- 31. • UI tests Введение в Performance Management NFR документ # Home page User group Users i n group Openi n g s p e r hour 1 Design and Provisioning Home Page Design & Provisioning 1258 1258 2 Order Creation Home Page Order Creation 566 566 3 Project Management Home Page Project Management 6 6 4 Team Leader View Team Leader 100-7 00 700
- 32. • Нужно ли презентовать стратегию заказчику, а не только выдавать? Введение в Performance Management Strategy документ
- 33. • Диаграмма компонентов Введение в Performance Management Strategy документ
- 34. • Алгоритм маппинга результатов Введение в Performance Management Strategy документ
- 35. • Тесты • Данные • Маппинг результатов в продакшн-окружение • Длительности тестов • Ожидания от замеров Введение в Performance Management Strategy документ
- 36. Введение в Performance Management (Итоговый) Отчет
- 37. Введение в Performance Management Простой пример #1 А. 1 сентября C. 15 сентября B. 8 сентября D. 3 сентября Результаты за какой день нужно перепроверить? 1-Sep 8-Sep 15-Sep Test #1 4h/3mil obj/ Warn 12h/6mil obj/ Error 24h/8mil obj/ Ok
- 38. Введение в Performance Management Простой пример #1 А. 1 сентября C. 15 сентября B. 8 сентября D. 3 сентября В какой день произошла регрессия производительности Test #1? 1-Sep 8-Sep 15-Sep Test #1 4h/3mil obj/ Warn 12h/6mil obj/ Error 24h/8mil obj/ Ok
- 39. Введение в Performance Management Простой пример #1 А. 1 сентября C. 15 сентября B. 8 сентября D. во все дни 1-Sep 8-Sep 15-Sep Test #2 1h/3000obj/ Warn 1.5h/4000obj/ Warn 0.5h/4000obj/ Ok Результаты за какой день нужно перепроверить?
- 40. • Кто готовит шаблон отчета (мы или заказчик)? • Что будет, если не все тесты пройдены? • Указывать ли список тикетов в отчете? • Важность валидации отчета с проектной командой Введение в Performance Management Отчет - подготовка
- 41. • Общий скоуп тестов с результатами • Утилизация ресурсов (CPU, io, memory) • Графики • Количества обработанных запросов • Утилизации • Scalability таблицы Введение в Performance Management Отчет - содержание
- 42. • Миграция данных Введение в Performance Management Отчет - пример 1
- 43. • Бизнес-сценарии Введение в Performance Management Отчет - пример 2
- 44. • Несоблюдение NFR Введение в Performance Management Отчет - пример 3
- 45. • Количество исполнений Введение в Performance Management Отчет - пример 4
- 46. • CPU Введение в Performance Management Отчет - пример 5
- 47. • Memory Введение в Performance Management Отчет - пример 6
- 48. • GC logs Введение в Performance Management Отчет - пример 7
- 49. • Scalability throughput Введение в Performance Management Отчет - пример 8
- 50. • Scalability resource utilisation Введение в Performance Management Отчет - пример 9
- 51. • Количество пользователей • Миграции • Сценарии • Batch jobs • Отчеты • Поиски • Типы запросов к БД • third-party системы • Сущности в БД Введение в Performance Management Итоги Чеклист: вопросы заказчику (1/2)
- 52. • Кто за что отвечает у заказчика? ContactPerson, области ответственности, админы, PM. • Будет ли внешнее тестирование? Их целевые показатели отличаются? • Какие отличия офсайт и онсайт? Введение в Performance Management Итоги Чеклист: вопросы заказчику (2/2)
- 53. • Решение по плану тестирования должно приниматься быстро Введение в Performance Management Совсем итоги
- 54. • Решение по плану тестирования должно приниматься быстро • Чеклист позволяет существенно ускорить решение Введение в Performance Management Совсем итоги
- 55. • Решение по плану тестирования должно приниматься быстро • Чеклист позволяет существенно ускорить решение • Вам нужно иметь свой чеклист! Введение в Performance Management Совсем итоги
- 56. • https://twitter.com/it_improve • andrei-dmitriev@ya.ru Введение в Performance Management Q&A