CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат
0 likes467 views
Документ описывает процесс автоматизации тестирования программного обеспечения в карантинной зоне для повышения стабильности и снижения трудозатрат. В нем перечислены основные требования к регрессионному тестированию, включая ежедневный запуск и покрытие всех конфигураций, а также приведены статистические данные о тестах и причинах их падений. Также указаны планы на будущее, включая тестовые планы для разработчиков и тестировщиков.
CodeFest 2012. Быстрых С. — Карантинная зона для автотестов: повышение стабильности и уменьшение трудозатрат
- 1. Карантинная зона для автотестов Карантинная зона для автотестов повышение стабильности и уменьшение трудозатрат Быстрых Сергей руководитель группы автоматизации
- 2. Семейство продуктов Plesk Parallels Plesk Panel Web Presence Builder Customer & Business Manager Поддержка более 15 операционных систем более 60 конфигураций 2
- 3. Регрессионное тестирование (требования) 1. Запускать каждый день. 2. Запускать все автоматизированные тесты. 3. Покрывать все доступные конфигурации. 4. Заводить все найденные баги. 5. Получать полное представление о качестве продукта. 3
- 4. Регрессионное тестирование (ежедневный цикл) Система автоматического Около 1000 Более 100 тестовых выполнения тестов VEs серверов Более 50000 результатов запусков планов Более 30 Более 7500 падений 15% не прошедших тестов Система хранения тестов • 1500 тест кейсов 4
- 5. Автоматический тест кейс Подготовительные BLOCKED действия Проверка FAILED функциональности Скрипт PASSED 5
- 6. Причины падений тест кейсов новые баги баги в тестах известные, но еще неисправленные баги ошибки сети перегрузка тестовых серверов рейс-кондишины нестабильность приложений 6
- 7. Причины падений тест кейсов Новые баги 15-20% Известные баги 30-35% Ложные падения 50% 7
- 8. Карантин – идем в обход Запуск тест Подготовка Установка Исполнение плана VE (s) продукта тестов Обычная схема выполнения тестов Проверка Исполнение Подготовка Установка условий упавших нового VE продукта карантина тестов Карантин 8
- 9. Карантин – пропускаем лишнее Подготовка Тест план Bug VE Bug Тест 1 Bug Тест 2 Запуск Bug Bug тестов Тест 3 Bug Bug Bug Тест N Bug Выполнение Пропуск теста теста TMS Bug Tracker 9
- 10. Старый друг лучше новых двух? FAILED BLOCKED SKIPPED ? BLOCKED SKIPPED 10
- 11. Что получили 100% PASSED FAILED FAILED 50-60% 20 человека/часов в неделю 11
- 12. Планы на будущее Тест план Bug • Для разработчика: Bug проверки при Тест 1 исправлении бага Bug Тест Тест 2 Bug • Для тестировщика: Тест Тест 3 дополнительная Bug информация Bug Тест для верификации бага Тест N TMS Bug Tracker 12
- 13. Вопросы Быстрых Сергей ? руководитель группы автоматизации || Parallels || sbystrykh@parallels.com || skype: sergey.bystrykh || tel: +7.952.942.51.15 || http://www.parallels.com 13