Стратегия тестирования крупного проекта в условиях Agile разработки v2
0 likes1,173 views
Документ описывает стратегию тестирования крупного проекта в условиях agile-разработки, с акцентом на разработку системы автоматизации регрессионного тестирования. Упоминаются сложности с unit и интеграционными тестами, а также предложены решения для повышения качества и скорости тестирования. В результате внедрения собственной системы интеграционного тестирования достигается полный контроль над процессом и сокращение времени прохождения тестов.
Стратегия тестирования крупного проекта в условиях Agile разработки v2
- 1. Стратегия тестирования крупного проекта в условиях agile разработки. Разработка и внедрение системы регрессионного тестирования Евгений Тян «Аскон» tyan@ascon.ru
- 3. Сложность 9!
- 4. Сложность 46 9! 10
- 5. Сложность ∞? 46 9! 10
- 6. Наш проект
- 7. Наш проект Наш проект Решение для архитектуры и строительства Срок разработки: 3-4 года CLOC > 120 000
- 10. Как начинали -Ручное тестирование UI - TDD, Покрытие тестами ~40% Integration Unit tests
- 11. Unit тестов не достаточно Сложно предусмотреть все возможные варианты использования модуля
- 12. Unit тестов не достаточно Сложно предусмотреть все возможные варианты использования модуля
- 13. Unit тестов не достаточно Сложно перейти от условий ошибки к Unit-тесту
- 14. Unit тестов не достаточно Сложно воспроизвести ошибку
- 15. Unit тестов не достаточно Интеграционные тесты работают с приложением на более высоком уровне
- 16. Unit тестов не достаточно Интеграционные тесты работают с приложением на более высоком уровне
- 17. Unit тестов не достаточно Интеграционные тесты работают с приложением на более высоком уровне
- 19. Проект буксует 1 итерация 2 итерация
- 20. Проект буксует 1 итерация 2 итерация 3 итерация 1
- 21. Проект буксует 1 итерация 2 итерация 3 итерация 1 Итерация 4 Итерация 5 1 2 1 3
- 22. Проект буксует 1 итерация 2 итерация 3 итерация 1 Итерация 4 Итерация 5 Итерация 6 1 2 1 3 1 2 3
- 24. Что еще хуже
- 25. Что еще хуже
- 26. Что еще хуже
- 28. Тестировать руками? У нас нет столько тестеров
- 30. Автоматизация? Выяснили: Существуют риски с поддержкой технологий Зависимость от GUI Медленно
- 31. Автоматизация? Решение: собственная система автоматизации тестирования
- 35. Что такое тест?
- 38. Решение. DoD Unit test-ы написаны Code Review проведен Код слит в основную ветку Старые тесты работают Приемочные тесты написаны
- 39. Автоматизация
- 40. Проблемы внедрения Хрупкость тестов на раннем этапе разработки Сложность анализа причин поломки теста Долго не могли привыкнуть поддерживать тесты
- 41. Проблемы внедрения Хрупкость тестов на раннем этапе разработки
- 42. Проблемы внедрения Хрупкость тестов на раннем этапе разработки
- 44. Поддержка тестов
- 45. Поддержка тестов • Каждый ответственен за то, что его commit не ломает тесты • Если тест нужно исправить, то этим занимается разработчик, который внес изменение
- 46. Что получили Собственная система интеграционного тестирования. Полный контроль Скорость. За счет возможности отвязаться от GUI и запустить интеграционные тесты в несколько потоков. Прохождение 500 тестов ~ 3-4 мин. Возможность запускать тесты на каждый commit Система записи сценария встроена в приложение – любой пользователь может записать ошибку и отправить нам
- 47. 300 250 200 150 Собственная утилита Testcomplete 100 50 0 Время прохождения 500 сценариев, мин
- 48. Что получили Затратили времени ~ 2 командо-месяца (5 человек) Есть ошибки в самом инструменте тестирования Поддержка. Любые хотелки делаем сами (форматы вывода результатов, интерфейсные удобства, средства анализа)
- 49. Как сейчас - Ручное тестирование - Автоматизированное тестирование, UI ~500 сценариев UI - TDD, более 1500 unit-тестов Integration Покрытие ~60% tests Unit tests
- 50. Как сейчас UI Integration UI Unit UI Integration tests Unit tests
- 51. Как сейчас 1 итерация 2 итерация 3 итерация 1
- 52. Как сейчас 1 итерация 2 итерация 3 итерация 1 Итерация 4 Итерация 5 Итерация 6 2 3
- 53. Не нужно оглядываться, смотрим вперед, движемся уверенней
- 54. Кому это надо?