Paper 51 (supplementary file) [sqa days]risk driven testing
Download as PPT, PDF0 likes275 views
Документ посвящен методологии risk driven testing, которая фокусируется на тестировании тех функциональностей, которые наиболее подвержены рискам. Описываются основные действия, такие как оценка рисков, создание тестовых сценариев на основе этих рисков и их важность для минимизации потерь для заказчика и разработчика. Методология включает в себя систематическую оценку вероятностей фейла и стоимости потерь для эффективного распределения ресурсов времени тестирования.
Paper 51 (supplementary file) [sqa days]risk driven testing
- 1. Анна Кербель, ведущий тестировщик http://vkontakte.ru/id8140823 akerbel@mail.ru Risk Driven Testing
- 2. Не хватает времени? Нужно найти важные ошибки как можно быстрее? Нужен критерий эффективности тест кейсов или тестовых сценариев?
- 3. Помните! Есть всего 1 час! Не бьются? Влагоустойчивые? Подзаводятся? Протестируем часы
- 4. Определения Риск – это возможное событие, влекущее за собой материальные или иные затраты. Подверженность Рискам (Risk Exposure) – оценка возможности фейла конкретной функциональности. Тестирование – основная защита от рисков. Risk Driven Testing – метод, при котором в первую очередь и/или более подробно тестируются те части функционала, которые более подвержены рискам.
- 5. Основные действия : • определить риски отдельных функциональных частей; • создать список функциональных частей, распределенных по подверженности рискам; • написать тест кейсы; • проходить максимальный набор тест кейсов за отведенное время.
- 6. Источники рисков: • Продукт (реализована неправильная логика, ошибки); • Проект (плохой процесс, сложность проекта); • Пользователи (могут использовать продукт «неправильно»);
- 7. Кто несёт потери? • Заказчик (потеря денег, потеря своего сегмента рынка ); • Разработчик (затраты ресурсов и времени на исправление проблем, затраты на поддержку продукта);
- 8. Вероятность возникновения проблемы? Оценка вероятность фейла по: • сложности функциональности, • опытности команды разработчиков, • опыту предыдущих релизов, • зная, был ли рефакторинг кода.
- 9. Вероятность использования функциональности? Задача Система создаёт отчёты. Отчёт критично необходим аналитику раз в неделю. Вероятность использования отчета: ?
- 10. Кладовщик и товар Какова вероятность использования списка товаров? Куда мог деться весь товар?
- 11. Risk Exposure: – подверженность риску (risk exposure) функциональности F; – вероятность использования F; – вероятность фейла F; – цена/последствия фейла функциональности F (на продакшн);
- 12. Курьерская служба Система со справочником медицинских препаратов. Справочник используется при 1/3 заказов. Нерабочий справочник – служба теряет заказ – 500т.р. Неверно работает – служба выплатит неустойку – 1 млн. р. Раз в месяц справочник проверяет фармацевт. Время фармацевта – 5 т.р.
- 13. Полная подверженность риску: • недоступность справочника – вероятность 10% • неверная работа – вероятность 20%. Полная подверженность риску : 83401,5
- 14. Стоимость потерь Стоимость можно разделить на два типа: – потери заказчика; – потери разработчика продукта;
- 15. Risk Driven подход: • оцениваются потери каждого тест кейса; • оценивается вероятность риска для каждого тест кейса; • рассчитывается Risk Exposure каждого тест кейса;
- 16. • оцениваются потери каждого тест кейса; • оценивается вероятность риска для каждого тест кейса; • рассчитывается Risk Exposure каждого тест кейса; • из тест кейсов составляются тестовые сценарии ориентированные на бизнес- процесс заказчика; Risk Driven подход:
- 17. • оцениваются потери каждого тест кейса; • оценивается вероятность риска для каждого кейса; • рассчитывается Risk Exposure каждого тест кейса; • из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика; • оценивается Risk Exposure для каждого тестового сценария; Risk Driven подход:
- 18. оцениваются потери каждого тест кейса; • оценивается вероятность риска для каждого кейса; • рассчитывается Risk Exposure каждого тест кейса; • из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика; • оценивается Risk Exposure каждого тестового сценария; • выбираются сценарии с наибольшей подверженностью рискам; Risk Driven подход:
- 19. Потери тест кейса • по шкале от 1 до 10 (самые малые – самые большие); • веса одинаковые;
- 20. Подверженность риску тест кейса • подсчитать количество найденных багов и средний показатель Severity багов; • вероятность фейла – произведение количества багов на средний Severity; • нормализовать вероятности фейла.
- 21. Тестовые сценарии: • должны моделировать обычное использование системы пользователем; • должны быть направлены на бизнес- процессы заказчика; • набор тестовых сценариев должен включать в себя весь набор тест кейсов;
- 23. Выбор тестовых сценариев Traceability Matrix тест кейсов и сценариев Выбираем тестовый сценарий Вычеркиваем лишнее из Traceability Matrix Есть время? Завершение Рассчитываем Risk Exposure
- 24. Смешная система Существует система отображения анекдотов. Как только приходит анекдот, срабатывает оповещение. Пользователь может прочитать анекдот и оценить. Появилась новая функциональность – пользователь может отправить свой анекдот.
- 25. Основные сценарии: оповещение отображение анекдота оценка анекдота закрытие оповещение отображение анекдота закрытие
- 27. Traceability Matrix TS1 TS2 TS3 TS4 1 1 1 1 1 1 1 1 1 1 1 1
- 28. Risk Exposure тест кейсов 10 0,02 0,2 8 0,2 1,6 5 0,3 1,5 3 0,1 0,3 5 0,5 2,5 5 1 5
- 29. Risk Exposure сценариев Scenarios TS1 3,6 TS2 2,1 TS3 1,8 TS4 7,8
- 30. Вычеркивание пройденного TS1 TS2 TS3 TS4 1 1 1 1 1 1 1 1 1 1 1 1
- 31. Risk Exposure сценариев Scenarios TS1 3,3 TS2 1,8 TS3 1,6
- 32. Почему Risk Driven тестирование? • Тестирование мотивировано рисками. Мы ищем высокоприоритетные баги. • Тестировщики постоянно используют Risk Driven тестирование, но в динамическом режиме, основываясь на субъективных оценках. Сделаем оценку объективной. • Нет ограничений для использования. • При Risk Driven подходе используются только непосредственные вычисления => можно автоматизировать.
- 33. Спасибо за Внимание! Анна Кербель, ведущий тестировщик http://vkontakte.ru/id81408238 akerbel@mail.ru