How to Calculate Test Automation ROI
Download as PPTX, PDF6 likes13,062 views
Документ обсуждает понятие ROI (возврат на инвестиции) в контексте автоматизации тестирования и необходимость его использования для обоснования затрат на проект. Автор подчеркивает, что ROI является инструментом для демонстрации ценности автоматизации заказчику и описывает сложность его расчета, особенно в условиях неопределенности. В заключение, документ указывает на то, что ROI не требует точных вычислений, а скорее служит средством для обмана и убедительного общения с заказчиком.
How to Calculate Test Automation ROI
- 2. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Иногда попадаются прижимистые заказчики, которые не соглашаются тупо отслюнявить названную им сумму на содержание команды лоботрясов автоматизаторов. «Почему столько много? Какие ваши доказательства?» – кричат они. – «У нас вот есть парочка бизнес-аналитиков, они и сами все нормально протестируют. Зачем нам ваша сраная автоматизация?» Господи, ну как можно быть такими жадными? «Вам жалко, что ли?» – хочется спросить нам. Но мы этого не делаем, потому что мы – профессионалы. Вместо этого мы прибегаем к помощи такого полезного инструмента как ROI.
- 3. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Бывает и немного по-другому. Заказчик является с чемоданом денег и говорит: «Хочу, чтобы у меня все было по-богатому, чтобы там автоматизация туда-сюда и вообще. Но я хочу знать, какой мне с этого будет навар. А ну, посчитайте-ка, во что мне все это выльется». «Навар? Ахаха! Он сказал, навар? Ололол, держите меня семеро!» – хочется сказать нам в ответ на это признание в собственной алчности. Но, будучи профессионалами, мы поступаем иначе: мы прибегаем к помощи такого важного инструмента как ROI.
- 4. ЧТО ТАКОЕ ROI И ЗАЧЕМ ЭТО НУЖНО Ну а что если заказчик уже заплатил, и теперь, по окончании первой фазы разработки, желает услышать, как он грамотно все распланировал и как вовсю идет к успеху? «Значит так, пацаны, у меня тут немного свободных деньжат нарисовалось – вот, думаю, то ли яхту себе купить, то ли в автоматизацию вложиться. Как она там у нас, кстати, поживает?» «Да у нас тут пиздец полный, ни черта не работает», – хочется ответить нам. Конечно, мы ведь честные люди, а не какое-то там жулье. Но при всем при этом мы еще и профессионалы, а потому мы прибегаем к помощи такого безотказного инструмента как ROI.
- 5. КАНОНИЧЕСКИЙ ПОДХОД К ПОДСЧЕТУ ROI Собственно говоря, каноническая формула придумана давным-давно и по сути сводится к соотношению между прибылью и тратами: 𝑹𝑶𝑰 = 𝑵 𝒂𝒗𝒂𝒓 − 𝑻 𝒓𝒂𝒕𝒚 𝑻 𝒓𝒂𝒕𝒚 Казалось бы, все просто. Бери да считай. Но не тут-то было.
- 6. ЧТО НЕ ТАК? Тут-то и начинаются вопросы. Как подсчитать прибыль? Из чего она состоит? Обычно полагается, что прибыль от автоматизации – это деньги, которые больше не нужно платить тестировщикам. Иначе говоря, когда в автоматизацию вложились и ее кое-как, помолясь, сделали, можно поувольнять нахер всех тестировщиков – как ручников, так и автоматизаторов – после чего закинуть ноги на стол и наблюдать за тем, как лихо тесты жмут на кнопки и ходят по ссылкам.
- 7. ВО-ПЕРВЫХ... Думаю, многие уже поняли, в чем дело. Но я все равно распишу подробно, потому что надо наваять хоть сколько-нибудь приличное число слайдов. Во-первых, такие расклады нас с вами никак не устраивают. У нас тут не финансовая пирамида а-ля «МММ», где жулик норовит прикарманить бабло и резко свалить. Мы же, как профессионалы, норовим прикарманивать бабло на перманентной основе, никуда при этом не валя. Иными словами, увольнять автоматизаторов нам вообще ни разу не катит.
- 8. ВО-ВТОРЫХ... Во-вторых, мануальщиков мы тоже не хотим увольнять. И дело даже не в том, что заказчик должен оплатить также и их, с позволения сказать, труд: нам-то из этих денег все равно едва ли что-нибудь перепадет. Но кто-то же должен заниматься анализом наших, с позволения сказать, автотестов? Уж не хотите ли вы сказать, что это тоже будем делать мы? Стояночка, на такое мы не подписывались! Нам еще вон код писать надо и архитектуру наворачивать!
- 9. ИТАК... Итак, команду мы ни распускать, ни даже сокращать, не намерены, а это значит, что, даже если тестировщики будут просто протирать штаны в офисе, с точки зрения оплаты их работы все будет выглядеть так, будто они в поте лица тестируют приложение. Откуда же здесь взяться прибыли для заказчика? Прибыль в данном случае – это не деньги. Прибыль – это мера счастья закачика от осознания того, как умно он распорядился средствами, а также мера чувства его защищенности от багов.
- 10. ОКСТИТЕСЬ! Теперь-то каждому должно быть понятно, что, если автоматизация уже однажды начата, в нее нужно либо продолжать вкладывать деньги до бесконечности, либо в какой-то момент зафиксировать убытки, выгнав всю команду и смыв все эти ее автотесты в унитаз. Это, кстати, один из подводных камней автоматизации, о котором заказчику говорить не принято. Поддержку автотестов, фреймворка и CI-джобов в рабочем состоянии, а также анализ результатов если и упоминают при эстимациях, то примерно в таком ключе: «Ну и заложим еще 10% на maintenance и result analysis». Люди, окститесь! Эта активность – она как газ, занимает весь доступный ей объем.
- 11. ХМ, «ИТАК» УЖЕ БЫЛО... Итак, как мы уже убедились, если прибыль – величина эфемерная, то траты вполне себе материальны и выражаются конкретными цифрами (которые, однако, не всегда поддаются вычислению). Как можно одно отнимать от другого, да потом еще и на что-то делить? У нас тут строгая типизация, детка!
- 12. ЧТО ЖЕ ДЕЛАТЬ?? Решение существует! Истинный* ROI описывается следующей формулой: 𝑹𝑶𝑰 = 𝒆 𝑵 − 𝟏 * то есть такой, который не стыдно показать стейкхолдерам.
- 13. ОПИСАНИЕ ИСТИННОЙ ФОРМУЛЫ! Выглядит неплохо, а? Вроде все понятно, но что еще за N? N – это эмпирический показатель наглости. Что значит, вы не знаете, как его вычислить? Я что, все подряд вам должен разжевывать? Ну хоть про e-то вы слышали? Не «ето», блять, а e!!! e!!!
- 14. ПОКАЗАТЕЛЬ НАГЛОСТИ N вычисляется очень просто. Выбирается произвольное стартовое значение показателя, при помощи которого находится соответствующее ему значение ROI. Если первой вашей мыслью является «Что-то многовато вышло» или «Да ну, не проканает», показатель корректируется в меньшую сторону, после чего процедура повторяется. N можно считать определенным достаточно точно, когда вы начинаете думать «А что, может выгореть». Если после этого вы продолжите итерации с декрементированием N, то вскоре должны попасть в зону «Да мне глаз на жопу натянут!». Это послужит сигналом, что вы пропустили правильное значение. Вероятно, был выбран слишком большой шаг декремента.
- 15. ОТРИЦАТЕЛЬНАЯ НАГЛОСТЬ У кого-то может возникнуть вопрос, а что же на этом графике олицетворяет отрицательная часть оси абсцисс. Эта область известна под названием области отрицательной наглости. Не следует путать отрицательную наглость с отсутствием таковой (для этого существует нулевая точка). Отрицательная наглость – это объем наглости, необходимой для того, чтобы сообщить стейкхолдеру, что: • вы не заработали для него денег • вы потратили его деньги • и сделали это намеренно • все 43 миллиона долларов
- 16. ВОЗРАЖЕНИЯ? Особо въедливые могут возразить, что в описанном процессе мы искали зависимость не ROI от N, а скорее N от ROI, и будут отчасти правы. Так оно и получилось бы, если бы мы были неопытными и желторотыми юнцами в мире автоматизационных эстимаций. Однако же мы – профессионалы, и вся эта утомительная канитель с блужданием по оси абсцисс нам ни к чему. Мы сразу видим, какое значение ROI имеет смысл озвучить, а о каком лучше умолчать. А всякие там формулы – для слабаков. Да и вообще, зачем грузить заказчика какими-то цифрами. Просто скажите ему «Траст ми, айм эн энженир».
- 17. И В ЗАКЛЮЧЕНИЕ... «Так как же все-таки подсчитать ROI автоматизации тестирования?» – может спросить кто-то из вас. Постойте-ка, дайте угадаю: вы – один из тех балбесов, которые не знали, что такое e. Объясняю. ROI подсчитывать НЕ надо. ROI есть инструмент Запудривания, Вешания и Втирательства и как таковой точной численной оценки не требует. Выберите значение, которое устроит и вас, и вашего заказчика, и не дурите себе голову. А наглость надо тренировать, да.
- 18. ВОПРОСЫ? =)