Организация автоматического тестирования в схеме непрерывной интеграции
0 likes982 views
Документ описывает процесс автоматизированного тестирования в компании Badoo, выделяя ключевые этапы контроля качества, такие как code review и различные виды тестирования на различных серверах. Он также включает в себя данные о рабочей нагрузке разработчиков и QA инженеров, а также информацию о масштабах проекта, включая количество пользователей. В дополнение к этому, упоминается использование автоматического тестирования для релизов и инструментов для деплоя задач.
Организация автоматического тестирования в схеме непрерывной интеграции
- 1. ОрганизацияОрганизация автоматизированного тестированияавтоматизированного тестирования в схеме непрерывной интеграциив схеме непрерывной интеграции Кудинов Илья, Badoo Development
- 2. Не автоматизированное тестированиеНе автоматизированное тестирование
- 4. Немного цифр:Немного цифр: ● 2 релиза в день ● >40 задач в день ● ≈70 разработчиков ● 22 QA инженера ● ≈180 миллионов пользователей ● 600 тысяч пользователей онлайн
- 5. Этапы контроля качестваЭтапы контроля качества 1. ??? 2. ??? 3. ??? 4. ??? 5. ???
- 6. 1. Code Review 2. ??? 3. ??? 4. ??? 5. ??? Этапы контроля качестваЭтапы контроля качества
- 7. 1. Code Review 2. Тестирование на девелоперском сервере 3. ??? 4. ??? 5. ??? Этапы контроля качестваЭтапы контроля качества
- 8. 1. Code Review 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. ??? 5. ??? Этапы контроля качестваЭтапы контроля качества
- 9. 1. Code Review 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. ??? Этапы контроля качестваЭтапы контроля качества
- 10. 1. Code Review 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 14. 1. Code Review 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 16. Коммит-хуки gitКоммит-хуки git ● Корректность имени ветки ● Проверка валидности кода (phpcf!) ● Проверка прав на мерж ● Обновление тикетов ● … и многое другое, всего около 40
- 18. 1. Code Review 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 19. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 20. Автоматическое тестирование веткиАвтоматическое тестирование ветки
- 21. Многопоточная ПускалкаМногопоточная Пускалка ● Сбор статистики по тестам ● Оптимальное распределение по потокам ● Красивый вывод в консоль ● Формирование отчёта для TeamCity ● 17'000 юнит-тестов за 3-4 минуты! ● Going OpenSource — stay tuned!
- 22. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 23. ● 2 платформы — эмуляция продакшна ● Собственная база данных ● Свой sandbox для каждого девелопера ● Общие для всех sandbox'ов демоны Девелоперское окружениеДевелоперское окружение
- 24. Ручной запуск юнит-тестов иРучной запуск юнит-тестов и интеграционных тестовинтеграционных тестов
- 25. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 26. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 27. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 3.5 Автоматическое тестирование релиза 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 29. Automated Interactive Deploy AssistantAutomated Interactive Deploy Assistant ● Деплой задач на препродакшн ● Automerge ● Запуск автоматических тестов ● Рассылка уведомлений (jira, mail, jabber...) ● … и многое другое!
- 30. Автоматическое тестирование релизаАвтоматическое тестирование релиза ● Smoke-тесты при мерже ветки ● Юнит-тесты ● Интеграционные тесты ● Selenium-тесты
- 31. А если в новом релизе падают тесты?А если в новом релизе падают тесты?
- 32. Deploy DashboardDeploy Dashboard ● Список текущих релизов ● Список задач в каждом релизе ● Список активных шотов ● Патчи к текущему релизу!
- 33. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 3.5 Автоматическое тестирование релиза 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества
- 34. Р Е Л И З !
- 35. 1. Code Review 1.5 Автоматическое тестирование ветки 2. Тестирование на девелоперском сервере 3. Тестирование в шоте 3.5 Автоматическое тестирование релиза 4. Тестирование на препродакшене 5. Тестирование на продакшене Этапы контроля качестваЭтапы контроля качества