SlideShare a Scribd company logo
Тестирование в стиле «heavy metal*»
              Часть 2

                      * Хэви метал


                       Роман Ивлиев
Если это все-таки случилось, то

    как же быть?




                                  2
Как же быть?




                Во-первых,




               посчитаем



                             3
Как будем считать


•Учет ограничений бюджета или
 сроков.
•Аналогия с предыдущими проектами.
•Экспертная оценка.
•Декомпозиция работ.
•Эмпирические оценки.

                                 4
Что будем учитывать, чтобы не промахнуться

• Неполноту требований.
• Непредусмотренные проблемы,
  связанные с изменением оборудования.
• Непредусмотренные проблемы,
  связанные с использованием 3rd party.
• Условное время выполнения задачи.
• Время на интеграцию.
• Время на подготовку персонала.
                                             5
Как же быть?




               Во-вторых,




       добавим гибкости


                            6
Тестирование спешит на помощь




                                7
Two test or not too test


Тестируем только то, что необходимо

Тестер: «Я нашел баг, самолет
 не умеет летать задом на
 перед»
PM: «А с чего ты взял, что он
 должен это делать?»



                                      8
О пользе и вреде Unit-тестов


      Польза                   Вред
•Unit-тест показал,   •Unit-тест показал,
что код работает.     что код работает
•Unit-тест – верный   именно там, где его
путь к                выполнили;
автоматизации.        поэтому...



                                            9
Трассировка всего на все


 Трассируем:
 • код на требования,
 • код на железо,
 • код на тесты,
 • тесты на железо,
 • софт на железо,
 • софт на код,
  и т.д.


                           10
Конфигурационное тестирование



        И
  уделяем кучу
     внимания
конфигурационному
   тестированию


                                11
Чистота – залог успеха - 1



Ищем сразу, иначе:

• сложнее искать,
• сложнее исправлять,
• сложнее
 перепроверить.


                             12
Чистота – залог успеха - 2


Перепроверяем сразу после
 исправления, иначе:
• сложнее искать,
• сложнее перепроверить,
• «а был ли мальчик?» (с)




                             13
Готово = сделано + протестированно


То, что сделано, но не
 проверено:

• портит статистику,
• вводит в заблуждение,
• это неправда .



                                     14
Как же быть?




               В-третьих,

«повторение – мать учения»




                             15
Автоматизация всего, что можно
автоматизировать



Обширное ручное тестирование для
встраиваемых проектов достаточно
сложно, если вообще возможно, поэтому:
•ручное тестирование только для того,
чтобы потом его автоматизировать;
•ручное тестирование только там, где нет
возможности его автоматизировать.

                                           16
Два типа тестирования



Пакетный запуск




                 До первого падения


                                 17
Тестовые лаборатории

  Пример архитектуры тестовой лаборатории




                                            18
В результате…




                19
В результате-1



•Тратим время, чтобы оценить
 заранее и не тратить время потом.
•Следим за «чистотой».
•Думаем и тщательно выбираем,
 перед тем, как броситься нажимать
 кнопки.

                                     20
В результате-2


• Трассируем все на все.
• Пробуем построить атоматизированный
  стенд.
• Накапливаем и расширяем автотесты.
• Если удалось автоматизировать -95+% -
  очень хорошо.
• Гоняем автотесты в двух режимах.

                                          21
В результате-3




       Надеемся и верим




                           22
Спасибо за внимание!




              С уважением,
             Роман Ивлиев
     E-почта: Roman.ivliev@mail.ru
      http://dumtest.livejournal.com




                                       23

More Related Content

PDF
GithubFlow. Тестировщики против тестирования.
PDF
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
PPTX
CI для тестировщиков или как отказаться от релизов
PPTX
Как мы тестировали ситуационный центр Центральной ППК
PDF
Agile.by Gathering – 23 января 2016
PPT
Вавилонское тестировтворение - Алекскей Лупан
PPTX
Самоопределяйся технологично!
PPTX
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...
GithubFlow. Тестировщики против тестирования.
Делимся опытом: как мы оптимизировали тестирование крупного проекта за 3 месяца
CI для тестировщиков или как отказаться от релизов
Как мы тестировали ситуационный центр Центральной ППК
Agile.by Gathering – 23 января 2016
Вавилонское тестировтворение - Алекскей Лупан
Самоопределяйся технологично!
DaKiRY_BAQ2016_QADay_Круглий стіл: "Чи помре ручне тестування з часом" Учасни...

What's hot (20)

PPTX
Первый шаг на пути к тестированию белого ящика для сложных систем
PPT
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
PPT
Внедрение измениений. Рефакторинг Vs реинжиниринг
PPTX
Автотесты и образ мышления
PPTX
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
PDF
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
PPTX
Темная сторона метрик
PDF
“Обезьянье тестирование” в мобильных проектах
PPTX
Lean для автоматизаторов
PDF
Марина Широчкина: Тестирование
PDF
Фреймворк для регрессионного тестирования на основе WebDriver
PDF
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
PPTX
Как добывать правду из пользователя и сок из менеджера. Михаил Фролов
PPTX
A1QA Summer 2014 - Alien bugs
PDF
Марина Широчкина - Тестирование
PPTX
ROCS 2 - advanced platform for automated test execution in clustered environm...
PDF
Грабли автоматизации. Учимся на чужих ошибках
PDF
QA Club Kiev #2 Vision of TL and PM
PDF
Test Automation Canvas - не наступайте на глабли автоматизации
PDF
Первый шаг на пути к тестированию белого ящика для сложных систем
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
Внедрение измениений. Рефакторинг Vs реинжиниринг
Автотесты и образ мышления
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Темная сторона метрик
“Обезьянье тестирование” в мобильных проектах
Lean для автоматизаторов
Марина Широчкина: Тестирование
Фреймворк для регрессионного тестирования на основе WebDriver
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
Как добывать правду из пользователя и сок из менеджера. Михаил Фролов
A1QA Summer 2014 - Alien bugs
Марина Широчкина - Тестирование
ROCS 2 - advanced platform for automated test execution in clustered environm...
Грабли автоматизации. Учимся на чужих ошибках
QA Club Kiev #2 Vision of TL and PM
Test Automation Canvas - не наступайте на глабли автоматизации
Ad

Viewers also liked (9)

PDF
Heavy metal testing Part 1 and 2
PPTX
Аквариум своими руками
PPTX
Тестирование для программистов
PPT
Внедрение изменений: рефакторинг Vs реинжиниринг
PPTX
О фреймворках Backend conf 2016
PPT
Бывает так, что вас нет рядом
PPTX
Как мы помогаем тестировщикам делать их работу лучше
PPTX
Как мы делаем Banki.ru
PPTX
Soa tester view
Heavy metal testing Part 1 and 2
Аквариум своими руками
Тестирование для программистов
Внедрение изменений: рефакторинг Vs реинжиниринг
О фреймворках Backend conf 2016
Бывает так, что вас нет рядом
Как мы помогаем тестировщикам делать их работу лучше
Как мы делаем Banki.ru
Soa tester view
Ad

Similar to Heavy metal testing Part 3 (20)

ODP
The fast and the continuous - SQA Days 16
ODP
The fast and the continuous
PDF
Марина Широчкина — «Тестирование»
PPTX
Ольга Лужецька - Exploratory testing: Love it or Leave it?
PDF
тестирование
PPTX
Наталья Руколь (Лаборатория Качества)
PPTX
Экономически эффективный процесс тестирования (Codefest 2015)
PDF
Экономически эффективный процесс тестирования
PPTX
Roman Marinsky "Ретроспектива вивчення UI автоматизації"
PDF
Testing schools overview
ODP
The fast and the continuous (SeleniumCamp 2014)
PPTX
AgileCamp’11 Новосибирск - Test Driven Development (TDD)
PDF
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организацию
PDF
«Я спросил у сервера...», Илья Пастушков
PPT
Асхат Уразбаев, Руководство по организации тестирования в Agile
PPTX
Cовременный контроль качества: давай сделаем это по-быстрому...
PDF
Автоматизация сборки и тестирования в разрезе эффективного производства
PPTX
Полезные "фишки" для построения успешного процесса тестирования
PPTX
SQA Days 10: Фишки просветлённых тест-менеджеров
PPT
Виталий Стрелюк
The fast and the continuous - SQA Days 16
The fast and the continuous
Марина Широчкина — «Тестирование»
Ольга Лужецька - Exploratory testing: Love it or Leave it?
тестирование
Наталья Руколь (Лаборатория Качества)
Экономически эффективный процесс тестирования (Codefest 2015)
Экономически эффективный процесс тестирования
Roman Marinsky "Ретроспектива вивчення UI автоматизації"
Testing schools overview
The fast and the continuous (SeleniumCamp 2014)
AgileCamp’11 Новосибирск - Test Driven Development (TDD)
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организацию
«Я спросил у сервера...», Илья Пастушков
Асхат Уразбаев, Руководство по организации тестирования в Agile
Cовременный контроль качества: давай сделаем это по-быстрому...
Автоматизация сборки и тестирования в разрезе эффективного производства
Полезные "фишки" для построения успешного процесса тестирования
SQA Days 10: Фишки просветлённых тест-менеджеров
Виталий Стрелюк

More from Roman Ivliev (8)

PDF
Точка кипения: проектирование крупных веб-систем
PPTX
Всему своё время Highload Junior 2016
PPTX
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
PPTX
Почему почта плохо работает
PPTX
Тренеры и тренинги.
PPTX
Про построение нагруженных систем
PPTX
Про тестирование миграций
PPTX
Qualitative battle for the quantity final
Точка кипения: проектирование крупных веб-систем
Всему своё время Highload Junior 2016
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Почему почта плохо работает
Тренеры и тренинги.
Про построение нагруженных систем
Про тестирование миграций
Qualitative battle for the quantity final

Heavy metal testing Part 3

  • 1. Тестирование в стиле «heavy metal*» Часть 2 * Хэви метал Роман Ивлиев
  • 2. Если это все-таки случилось, то как же быть? 2
  • 3. Как же быть? Во-первых, посчитаем 3
  • 4. Как будем считать •Учет ограничений бюджета или сроков. •Аналогия с предыдущими проектами. •Экспертная оценка. •Декомпозиция работ. •Эмпирические оценки. 4
  • 5. Что будем учитывать, чтобы не промахнуться • Неполноту требований. • Непредусмотренные проблемы, связанные с изменением оборудования. • Непредусмотренные проблемы, связанные с использованием 3rd party. • Условное время выполнения задачи. • Время на интеграцию. • Время на подготовку персонала. 5
  • 6. Как же быть? Во-вторых, добавим гибкости 6
  • 8. Two test or not too test Тестируем только то, что необходимо Тестер: «Я нашел баг, самолет не умеет летать задом на перед» PM: «А с чего ты взял, что он должен это делать?» 8
  • 9. О пользе и вреде Unit-тестов Польза Вред •Unit-тест показал, •Unit-тест показал, что код работает. что код работает •Unit-тест – верный именно там, где его путь к выполнили; автоматизации. поэтому... 9
  • 10. Трассировка всего на все Трассируем: • код на требования, • код на железо, • код на тесты, • тесты на железо, • софт на железо, • софт на код,  и т.д. 10
  • 11. Конфигурационное тестирование И уделяем кучу внимания конфигурационному тестированию 11
  • 12. Чистота – залог успеха - 1 Ищем сразу, иначе: • сложнее искать, • сложнее исправлять, • сложнее перепроверить. 12
  • 13. Чистота – залог успеха - 2 Перепроверяем сразу после исправления, иначе: • сложнее искать, • сложнее перепроверить, • «а был ли мальчик?» (с) 13
  • 14. Готово = сделано + протестированно То, что сделано, но не проверено: • портит статистику, • вводит в заблуждение, • это неправда . 14
  • 15. Как же быть? В-третьих, «повторение – мать учения» 15
  • 16. Автоматизация всего, что можно автоматизировать Обширное ручное тестирование для встраиваемых проектов достаточно сложно, если вообще возможно, поэтому: •ручное тестирование только для того, чтобы потом его автоматизировать; •ручное тестирование только там, где нет возможности его автоматизировать. 16
  • 17. Два типа тестирования Пакетный запуск До первого падения 17
  • 18. Тестовые лаборатории Пример архитектуры тестовой лаборатории 18
  • 20. В результате-1 •Тратим время, чтобы оценить заранее и не тратить время потом. •Следим за «чистотой». •Думаем и тщательно выбираем, перед тем, как броситься нажимать кнопки. 20
  • 21. В результате-2 • Трассируем все на все. • Пробуем построить атоматизированный стенд. • Накапливаем и расширяем автотесты. • Если удалось автоматизировать -95+% - очень хорошо. • Гоняем автотесты в двух режимах. 21
  • 22. В результате-3 Надеемся и верим 22
  • 23. Спасибо за внимание! С уважением, Роман Ивлиев E-почта: Roman.ivliev@mail.ru http://dumtest.livejournal.com 23