Вирусное тестирование. Что-то новое в конфигурационном тестировании
Download as PPTX, PDF0 likes591 views
Документ описывает вирусное тестирование как новый подход к конфигурационному тестированию для Android-приложений, предназначенный для автоматизированного и незаметного тестирования на реальных устройствах пользователей. Он содержит информацию о методах тестирования, сценариях подготовки и взаимодействии между разработчиками и пользователями, а также о преимуществах и проблемах, связанных с использованием пользовательских устройств. В результате, эта методология предлагает масштабируемый способ выявления ошибок и повышения качества приложений.
Вирусное тестирование. Что-то новое в конфигурационном тестировании
- 1. Вирусное тестирование: что-то новое в конфигурационном тестировании Илья Фомин Align Technology, Inc.
- 2. О себе • Илья Фомин • Руковожу автоматизацией в Align Technology • 5 лет в тестировании • Доклад не про работу ilya@4min.org
- 4. Зачем тестировать? VS. • 500K+ приложений • 200M+ устройств • 10K+ разработчиков • 100ни моделей • Средняя оценка 3,9* • 10ки производителей • 10ки операторов * Примерно
- 5. Фрагментация Версии ОС x Экраны x Процессоры x Модемы x Производители x Прошивки x Лончеры x Браузеры x Приложения! x…
- 7. Что делать?
- 8. Есть ответ!
- 9. Вирусное тестирование • Конфигурационное • Автоматизированное • На устройствах конечных пользователей • Незаметное • Добровольное
- 10. Конфигурационное • Простые тесты на базовую функциональность • Специфичные тесты (виджеты, нотификации) • Взаимодействие между устройствами • Выявление падений • Сбор данных о конфигурации
- 11. Автотестирование • Автоматизированное всё: – Тесты – Планирование запусков – Запуски – Сбор отчетов – Выявление проблем
- 12. На конечных пользователях • 100% покрытие конфигураций * • Свой зоопарк не нужен! ** • Настоящие устройства • Настоящие проблемы * Потенциально **Почти
- 13. Незаметное • Запуск по ночам • По расписанию • При бездействии • По триггеру • При наличии зарядки/wifi • Настраиваемое пользователем • Очистка после выполнения • Главное – ничего не сломать!
- 14. Добровольное • Совмещение с бета-тестированием • Внутри команды разработки • Комьюнити • Testing@Home • Доступ к новым версиям • Бесплатное использование сервиса
- 15. Сценарий Подготовка-1 • Регистрация устройства/пользователя • Сбор данных о конфигурации – Необходимые для принятия решений о запуске
- 16. Сценарий Подготовка-2 • Сборка нового билда • Локальное тестирование – Приложения – Тестов • Ранжирование тестов • Ранжирование конфигураций • Выкладование/деплоймент новой сборки • Раздача заданий на запуск тестов
- 17. Сценарий На устройстве • Установить новую сборку/убедиться в ее наличии/доступности • Собрать исчерпывающие данные о конфигурации • ... • Запуск теста • Отсылка результатов «домой»
- 18. Сценарий На сервере • Оценить покрытие запусками, дозапустить • Агрегировать • Выявить проблемные конфигурации • Запомнить «интересные» устройства • Починить, запустить следующий этап тестов • Раздать пользователям слонов
- 19. Сценарий Loop
- 20. Кому полезно? • Разработчикам – Корпорациям – Маленьким командам • Пользователям
- 21. Корпорации Разработчики Пользователи – Широкий охват – Ранний доступ к конфигураций новым фичам – Специфические – Бесплатный доступ проблемы настоящих – Совмещение с бета- устройств тестированием – Отслеживание статистики
- 22. Маленькие группы Разработчики Пользователи – Использование – Комьюнити собственных – Новые фичи устройств – Автоматизированное – Тестовая лаборатория заведение ошибок отсуствует как класс – Быстрее фиксы – Распределенно – Удобно
- 23. Проблемы • Это не ваши устройства – Нет 100% контроля за запусками – Возможно вмешательство пользователя • Это устройства пользователей – Т.е. людей, которых вы не знаете и которые вам ничего не должны • Сохранность личных данных (!)
- 24. Профиты • Это не ваши устройства – Не нужно их покупать и поддерживать • Это устройства пользователей – Вам не нужно их специально загрязнять • Масштабируемость
- 25. Что еще? - Что угодно!
- 26. Слово экспертам • Тимур Хайруллин, • Алексей Лянгузов,
- 27. Слово экспертам • Тимур Хайруллин, • Алексей Лянгузов,
- 28. Слово экспертам • Тимур Хайруллин, • Алексей Лянгузов,
- 29. Всем спасибо! ilya@4min.org