Test labs 2016. Пренебрежение лучшими практиками тестирования

1
©LuxoftTraining2012
Григорий Сенин
Нарушение
лучших практик
тестирования
Webinar Sep 24, 2016

2
 1969-1977 – МГУ, ВМК, к.ф.-м.н.
 1977-1990 – ВЦ АН СССР
 1996-2005 – IBS, Luxoft,
руководитель отдела подготовки
документации, отдела тестирования
 2006-2008 – Auriga, CDO
 2009-2014 –
менеджер/директор по качеству, начальник отдела тестирования
(Ritzio Entertainment Group, AnywayAnyday, Luxoft)
 C 2011 – Учебный Центр Luxoft, тренер/эксперт
О себе
GSenin@Luxoft.com
GregSenin@Gmail.com

4
 Иметь независимую группу
тестирования
 Оценивать трудозатраты
 Управлять требованиями:
 трассировка, изменения
 Рецензировать артефакты
Некоторые практики тестирования

5
«Схема убеждения»
практика
хорошая вещь 1
раннее
вовлечение
тестировщиков
• Требования более ясные и точные
• … анализируются и рецензируются
• … лучше понимаются тестерами
• … одинаково понимаются всеми
• Раньше начинается тест-дизайн
• …

6
Пол Джеррард. Аксиомы тестирования

7
 Знать, против чего тестировать (наличие требований)
 Аксиома #2: Testers need sources of knowledge to select things to test (база
тестирования)
 Знать, какое поведение системы «правильное» (ожидаемые
результаты тестирования)
 Аксиома #3: Testers need sources of knowledge to evaluate actual out-comes or
behaviours (оракул)
 Источники нашего знания небезупречны
 Аксиома #4: Our sources of knowledge are fallible and incomplete (изъяны в
артефактах)
 Уметь оценить полноту/тщательность тестирования
 Аксиома #7: Testing needs a coverage model or models (покрытие)
 Понимать, что момент завершения тестирования - компромисс
 Аксиома #13: The scope of testing and acceptance are always compromises (Good
Enough)
 Аксиома #14: Testing never finishes; it stops (неисчерпаемость)
Аксиомы универсальнее, чем практики

8
оценка
рисков
«Схема убеждения» (альтернатива)
практика риск
это мои текущие
проблемы? 
или для меня
не актуально?
На шаг дальше в оценке
данной практики

9
 Контекст (источники рисков):
1. Тестирование субъективно
2. Отсутствует «установка на разрушение»
3. У тех, кто тестирует, отсутствует представление о системе в
целом
4. Методики тест-проектирования не применяются
систематическим образом
5. Тесты не опираются непосредственно на требования
 Риски нарушения:
1. Недостоверны результаты тестирования
2. Многие функциональные области не протестированы
3. Многие дефекты не обнаружены
Практика: Независимая группа тестирования

10
 Контекст (источники рисков):
1. Тестеров не оценивают свои трудозатраты
2. Группа независимого тестирования отсутствует
1. Бюджет тестирования недооценен
2. Ресурсов тестирования (число тестировщиков)
недостаточно
3. Цели тестирования не достигнуты (не получена
достоверная информация о качестве продукта)
Практика: Оценка трудозатрат на тестирование

11
 Контекст (источник риска)
1. Только динамическое тестирование
1. Некоторые типы дефектов не обнаружены
2. Многие дефекты обнаружены слишком поздно
3. Не достигнуты цели разработки:
 Низкое качество продукта
 Поздний выпуск продукта
 Превышение бюджета
Практика: Рецензирование артефактов

12
 Установить процедуры выявления и анализа
требований
 Документировать требования
 Проводить рецензирование требований (ясность,
непротиворечивость, полнота, …)
 Управлять изменениями
 Утвердить требования у заказчика
Практика: Управление требованиями 1/2

13
1. Часть функций не реализована,
тем более не проверена
2. Найденные дефекты отклонены (время и труд
тестировщиков потеряны)
3. Ошибочное (с т.зр. Заказчика) поведение системы не
признано тестировщиками за дефект
4. Качество продукта низкое или сроки сорваны или бюджет
превышен
5. Продукт не принят в эксплуатацию
6. …
Практика: Управление требованиями 2/2

14
оценка
рисков
Можно по-разному реагировать на риски
практика риск
• Насколько они актуальны в моей организации?
• Можно ли ими пренебречь?
• Какова моя стратегия воздействия на риски?

15
Источник риска: запросы на изменение
 Риск: расширение рамок, сдвиг сроков, недооценка
трудозатрат
1. Смягчение: формальное управление изменениями
2. Устранение: мораторий на изменения в течение итерации
Варианты воздействия на риск 1

16
Источник риска: документы требований
 Риск: разная трактовка требований внутри команды
1. Смягчение: рецензирование
2. Устранение: эффективная коммуникация внутри команды

17
Источник риска: документы требований
 Риск: разная трактовка требований с заказчиком
1. Смягчение: утверждение у заказчика
2. Устранение: отсутствие документов; вовлечение заказчика в
разработку, постоянное присутствие его в команде

18
Источник риска: неявные требования
 Риск: ожидания заказчика не удовлетворяются на
приёмке
1. Смягчение: дополнительное время на процедуру приёмки
2. Передача: короткие итерации, регулярные демонстрации
продукта

19
Источник риска: слабая база оценки (или нет
процедуры!)
 Риск: неверная оценка трудозатрат
1. Смягчение: методики оценки (или ввести процедуру)
2. Принятие: ошибки не страшны - их становится меньше при
большом числе итераций
3. Принятие пассивное: заказчика не волнуют сроки (риск
ничтожен)

21
 Альтернативная работа с рисками вам
ничего не напоминает?
Agile?

22
 Эффективная устная коммуникация, встречи для обмена
информацией по требованиям и др.
-- а не документы требований
 Валидация требований путём вовлечения заказчика
– а не формальное утверждение
 Прототипирование – демо для заказчика в каждом спринте – а не
рецензирование
 Мораторий на изменения в ходе спринта
-- а не формальные запросы на изменение
 Постепенное наращивание функционала – итеративный выпуск
релизов
-- рефакторинг продукта, а не документации
Альтернативное нивелирование рисков в Agile

23
Позволяет:
 Оценить приемлемость или неприемлемость подхода к
тестированию
 Получить ясное представление об угрозах, связанных с
пренебрежением к тестированию
 «Лучшие практики» -- не аксиомы: можно нарушать при
понимании последствий
 Побудить к альтернативному реагированию на риски;
Вообще – применять аппарат управления рисками в целом
 Адекватно выстроить аудит процесса тестирования
 Использовать как инструмент для обучения
Прикладная ценность подхода

24
Благодарю за внимание!
Вопросы?

Test labs 2016. Пренебрежение лучшими практиками тестирования

More Related Content

What's hot (19)

Viewers also liked (18)

Similar to Test labs 2016. Пренебрежение лучшими практиками тестирования (20)

Test labs 2016. Пренебрежение лучшими практиками тестирования