Оценки тестирования - полезные и условные метрики
1 like2,818 views
Документ представляет собой материалы конференции по качеству программного обеспечения, состоявшейся в Москве в 2015 году. Основное внимание уделено оценке и метрикам тестирования, обсуждаются полезные и условные метрики, ситуации, которые могут демотивировать команды, и необходимость создания собственного набора метрик в зависимости от проектов. Также рассматриваются различия между коммерческими и государственными проектами и подходы к выбору метрик для каждого из них.
Оценки тестирования - полезные и условные метрики
- 1. Software quality assurance days 18 Международная конференция по вопросам качества ПО sqadays.com Москва. 27–28 ноября 2015 Таисия Толстунова НИЦ СПб ЭТУ, Санкт-Петербург, Россия Оценки тестирования полезные и условные метрики
- 2. Толстунова Таисия В тестировании - 9 лет В тест-менеджменте - 6 лет Коммерческие, гос.проекты Последние 5 лет в основном гос.проекты Оценки тестирования полезные и условные метрики Кто я?
- 3. Что такое метрики? Оценки тестирования полезные и условные метрики
- 4. Необходимы для: •оценки процесса •оценки результата тестирования Оценки тестирования полезные и условные метрики Что такое метрики?
- 5. Метрики, навязанные сверху • Количество дефектов / единица времени • Количество найденных дефектов / количество пофикшенных дефектов • Количество дефектов / тысяча строк кода Оценки тестирования полезные и условные метрики
- 6. Что может демотивировать? • % покрытия • таблица по функциям плотность дефектов / количество переоткрытых дефектов • время на настройку / время на тестирование в целом • время на ожидание версии / время на тестирование в целом Оценки тестирования полезные и условные метрики
- 7. Соревновательные “ноты” Важно: одинаковые условия (схожие продукты, похожие итерации, примерно одинаковый уровень групп разработки) Оценки тестирования полезные и условные метрики
- 8. Соревновательные “ноты” Важно: одинаковые условия (схожие продукты, похожие итерации, примерно одинаковый уровень групп разработки) Например: -время до первого дефекта -критичность найденных дефектов Оценки тестирования полезные и условные метрики
- 9. Зачем нужен свой набор метрик? Оценки тестирования полезные и условные метрики
- 10. Зачем нужен свой набор метрик? Определение цели ввода метрик -для корректировки процесса -для корректировки временных оценок -для анализа результата -для ответов на вопросы начальства в своем формате Оценки тестирования полезные и условные метрики
- 11. Примеры метрик для процессов тестирование требований Оценки тестирования полезные и условные метрики
- 12. Примеры метрик для процессов тестирование требований • соотношение дефектов в % с приоритетами; • соотношения временных затрат по итерациям, либо наборам требований; • соотношение запросов пользователей к требованиям по результатам разработки прототипа и самого программного продукта Оценки тестирования полезные и условные метрики
- 13. • разработка тестовой документации Оценки тестирования полезные и условные метрики
- 14. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации Оценки тестирования полезные и условные метрики
- 15. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО Оценки тестирования полезные и условные метрики
- 16. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми Оценки тестирования полезные и условные метрики
- 17. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми • тестирование пользовательской документации Оценки тестирования полезные и условные метрики
- 18. • разработка тестовой документации • % покрытия функций, юзкейсов, требований; • % согласованной архитектором / разработчиком тестовой документации • тестирование ПО • % покрытия функций, юзкейсов, требований; • затраченные фактические временные ресурсы в сравнении с плановыми • тестирование пользовательской документации • таблица приоритеты / % найденных вне отдела дефектов документации Оценки тестирования полезные и условные метрики
- 19. Оценки тестирования полезные и условные метрики • метрики в процессе тестирования • метрика личной эффективности (план / факт) • метрика количества параллельных задач или процессов (в том числе для расстановки приоритетов) • метрики для временных оценок (как правило считаются по отделам, от которых мы зависим)
- 20. • метрики в процессе тестирования • метрика личной эффективности (план / факт) • метрика количества параллельных задач или процессов (в том числе для расстановки приоритетов) • метрики для временных оценок (как правило считаются по отделам, от которых мы зависим) • для разных групп разработки: количество итераций с блокерами и инициативой к итерации от разработчиков (не в случае agile :) • для разных групп разработки отличие планируемых дат от фактической выдачи Оценки тестирования полезные и условные метрики
- 21. Коммерческие и гос.проекты Что такое коммерческий проект? - потребитель - заказчик - обратная связь от пользователей - что важно? - что можно менять? Оценки тестирования полезные и условные метрики
- 22. Коммерческие и гос.проекты Что такое коммерческий проект? - потребитель - заказчик - обратная связь от пользователей - что важно? - что можно менять? Что такое гос.проект? - ТЗ - приёмка госзаказа (заказчиком / ОТК / ВП) Оценки тестирования полезные и условные метрики
- 23. • что можно измерять в коммерческих проектах? Коммерческие и гос.проекты Оценки тестирования полезные и условные метрики
- 24. • что можно измерять в коммерческих проектах? • что можно измерять в гос.проектах? Коммерческие и гос.проекты Оценки тестирования полезные и условные метрики
- 25. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
- 26. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? • Почему же на самом деле это разные метрики? Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
- 27. • Обратная связь от пользователей и от ОТК+ВП. В чем сходство? • Почему же на самом деле это разные метрики? Выбор метрик: • Коммерческий проект – критичность / используемость в обратной связи от пользователей; • Гос.заказ - % соотношение типов и приоритетов дефектов от ОТК+ВП Оценки тестирования полезные и условные метрики Могут быть одинаковые метрики?
- 28. Работающие и неработающие метрики. Оценки тестирования полезные и условные метрики
- 29. Важные вопросы: • Соответствуют ли ваши метрики целям? • А спущенные сверху метрики? Оценки тестирования полезные и условные метрики Работающие и неработающие метрики.
- 30. Спущенные сверху метрики Выбранные в соответствии с целями метрики Количество дефектов в единицу времени Качественные соотношения приоритетов дефектов от ОТК Найденные / пофикшенные дефекты Соотношение типов пропущенных дефектов от ОТК Количество дефектов на тысячу строк кода % покрытия функционала Оценки тестирования полезные и условные метрики Работающие и неработающие метрики. Сравнение наборов метрик.
- 31. Посмотреть, какие еще бывают метрики: • Доклады с предыдущих SQA • SQA Days #17 – Monthly Operations Review • SQA Days #16 – Использование метрик в процессе обеспечения качества сложных систем • SQA Days #15 – Waterfall revisited: практические метрики тестирования • Доклад на BBST Testing Course Оценки тестирования полезные и условные метрики Нужны свои метрики
- 32. Skype: thaya.tt mailto: i@thaya.pro Оценки тестирования полезные и условные метрики