Анна Кербель -- Risk driven testing

Анна Кербель, ведущий тестировщик http://vkontakte.ru/id8140823 [email_address] Risk Driven Testing

Не хватает времени? Нужно найти важные ошибки как можно быстрее? Нужен критерий эффективности тест кейсов или тестовых сценариев?

Помните! Есть всего 1 час! Протестируем часы Не бьются? Влагоустойчивые? Подзаводятся?

Определения Риск – это возможное событие, влекущее за собой материальные или иные затраты. Подверженность Рискам ( Risk Exposure ) – оценка возможности фейла конкретной функциональности. Тестирование – основная защита от рисков . Risk Driven Testing – метод, при котором в первую очередь и/или более подробно тестируются те части функционала, которые более подвержены рискам.

Основные действия : определить риски отдельных функциональных частей; создать список функциональных частей, распределенных по подверженности рискам; написать тест кейсы; проходить максимальный набор тест кейсов за отведенное время.

Источники рисков: Продукт (реализована неправильная логика, ошибки); Проект (плохой процесс, сложность проекта); Пользователи (могут использовать продукт «неправильно»);

Кто несёт потери? Заказчик (потеря денег, потеря своего сегмента рынка ); Разработчик (затраты ресурсов и времени на исправление проблем, затраты на поддержку продукта);

Вероятность возникновения проблемы? Оценка вероятность фейла по: сложности функциональности, опытности команды разработчиков, опыту предыдущих релизов, зная, был ли рефакторинг кода. ?

Вероятность использования функциональности? Задача Система создаёт отчёты. Отчёт критично необходим аналитику раз в неделю. Вероятность использования отчета: ?

Кладовщик и товар Какова вероятность использования списка товаров? Куда мог деться весь товар?

Risk Exposure: – подверженность риску ( risk exposure ) функциональности F ; – вероятность использования F; – вероятность фейла F ; – цена/последствия фейла функциональности F (на продакшн);

Курьерская служба Система со справочником медицинских препаратов. Справочник используется при 1/3 заказов. Нерабочий справочник – служба теряет заказ – 500т.р. Неверно работает – служба выплатит неустойку – 1 млн. р. Раз в месяц справочник проверяет фармацевт. Время фармацевта – 5 т.р.

Полная подверженность риску: недоступность справочника – вероятность 10% неверная работа – вероятность 20%. Полная подверженность риску : 83401,5

Стоимость потерь Стоимость можно разделить на два типа: – потери заказчика; – потери разработчика продукта;

Risk Driven подход: оцениваются потери каждого тест кейса; оценивается вероятность риска для каждого тест кейса; рассчитывается Risk Exposure каждого тест кейса;

оцениваются потери каждого тест кейса ; оценивается вероятность риска для каждого тест кейса; рассчитывается Risk Exposure каждого тест кейса; из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика; Risk Driven подход:

оцениваются потери каждого тест кейса; оценивается вероятность риска для каждого кейса; рассчитывается Risk Exposure каждого тест кейса; из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика; оценивается Risk Exposure для каждого тестового сценария; Risk Driven подход:

оцениваются потери каждого тест кейса; оценивается вероятность риска для каждого кейса; рассчитывается Risk Exposure каждого тест кейса; из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика; оценивается Risk Exposure каждого тестового сценария; выбираются сценарии с наибольшей подверженностью рискам; Risk Driven подход:

Потери тест кейса по шкале от 1 до 10 (самые малые – самые большие); веса одинаковые;

Подверженность риску тест кейса подсчитать количество найденных багов и средний показатель Severity багов; вероятность фейла – произведение количества багов на средний Severity; нормализовать вероятности фейла.

Тестовые сценарии: должны моделировать обычное использование системы пользователем; должны быть направлены на бизнес-процессы заказчика; набор тестовых сценариев должен включать в себя весь набор тест кейсов;

Risk Exposure тестового сценария

Выбор тестовых сценариев Traceability Matrix тест кейсов и сценариев Выбираем тестовый сценарий Вычеркиваем лишнее из Traceability Matrix Есть время? Завершение Рассчитываем Risk Exposure

Смешная система Существует система отображения анекдотов. Как только приходит анекдот, срабатывает оповещение. Пользователь может прочитать анекдот и оценить. Появилась новая функциональность – пользователь может отправить свой анекдот .

Основные сценарии: оповещение отображение анекдота оценка анекдота закрытие оповещение отображение анекдота закрытие

Основные сценарии: оповещение закрытие создание анекдота закрытие отправка идея

Traceability Matrix TS1 TS2 TS3 TS4 1 1 1 1 1 1 1 1 1 1 1 1

Risk Exposure тест кейсов 10 0,02 0,2 8 0,2 1,6 5 0,3 1,5 3 0,1 0,3 5 0,5 2,5 5 1 5

Risk Exposure сценариев Scenarios TS1 3 ,6 TS2 2,1 TS3 1,8 TS4 7,8

Вычеркивание пройденного TS1 TS2 TS3 TS4 1 1 1 1 1 1 1 1 1 1 1 1

Risk Exposure сценариев Scenarios TS1 3,3 TS2 1,8 TS3 1,6

Почему Risk Driven тестирование? Тестирование мотивировано рисками. Мы ищем высокоприоритетные баги. Тестировщики постоянно используют Risk Driven тестирование, но в динамическом режиме, основываясь на субъективных оценках. Сделаем оценку объективной. Нет ограничений для использования. При Risk Driven подходе используются только непосредственные вычисления = > можно автоматизировать.

Спасибо за Внимание! Анна Кербель, ведущий тестировщик http://vkontakte.ru/id81408238 [email_address]

Анна Кербель -- Risk driven testing

More Related Content

Similar to Анна Кербель -- Risk driven testing (20)

More from sqadays8 (16)

Анна Кербель -- Risk driven testing