Speeding up UI tests, profiling of UI tests
- 1. Разгоняем UI автоматизированные тесты. Профилирование UI тестов. Балахонов Павел QA Automation Engineer Mail.Ru Group
- 2. Немного обо мне • Работаю в автоматизации тестирования более 6 лет • Увлекаюсь современными технологиями • Мечтаю автоматизировать весь мир =)
- 3. Суть проблемы • Большое время прогона UI тестов • Нечестная балансировка нагрузки в инфраструктуре • Нечестное распараллеливание тестов • Отсутствие стабильности системы прогона тестов • Сложность поддержки инфраструктуры • Медленные тесты
- 5. Зависимость времени прогона от размера test suite
- 7. Замедление прогона на уровне теста • Использование статических таймаутов • Выставление precondition через UI интерфейс • Использование только положительных условий ожидания • Неоправданные обращения к браузеру • Начало теста с главной страницы
- 9. Выставление precondition через UI интерфейс
- 10. Использование только положительных условий ожидания public boolean isButtonPresent() { return waitForElementPresent(By.xpath(buttonLocator)); } @Step public void buttonShouldNotBePresent() { assertFalse(“Кнопка отображается на странице”, isButtonPresent()); } @Step public void buttonShouldBePresent() { assertTrue(“Кнопка не отображается на странице”, isButtonPresent()); }
- 11. Неоправданные обращения к браузеру private WebElement getInputField(FieldData field) { String locator = String.format(inputFieldLocator, field.getType); return getDriver().findElement(By.xpath(locator)); } public void enterValueAndEnter(FieldData field, String value) { getInputField(field).sendKeys(value); getInputField(field).sendKeys(Keys.ENTER); }
- 12. Начало теста с главной страницы
- 13. Пути решения
- 14. Динамические таймауты и слушатели ожидания
- 15. Выставление precondition теста через API
- 16. Целесообразное использование нужных условий ожидания public boolean isButtonPresent() { return waitForElementPresent(By.xpath(buttonLocator)); } public boolean isButtonNotPresent() { return waitForElementNotPresent(By.xpath(buttonLocator)); } @Step public void buttonShouldBePresent() { assertTrue(“Кнопка не отображается”, isButtonPresent()); } @Step public void buttonShouldNotBePresent() { assertTrue(“Кнопка отображается”, isButtonNotPresent()); }
- 17. Уменьшение взаимодействия с браузером private WebElement getInputField(FieldData field) { String locator = String.format(inputFieldLocator, field.getType); return getDriver().findElement(By.xpath(locator)); } public void enterValueAndEnter(FieldData field, String value) { WebElement field = getInputField(field); field.sendKeys(value); field.sendKeys(Keys.ENTER); }
- 18. Система запуска UI тестов. Selenium GRID.
- 19. Selenium GRID + Docker
- 21. Разбиение прогона на Batches
- 23. Структура системы параллельного запуска UI тестов на проектах Почта, Cloud и Media (нагрузка >3000 тестов)
- 24. Сравнение зависимостей времен прогона от размера test suite