«Metrics and KPIs – measuring project, process, team» by Sergey Stefurak
- 1. Метрики и KPI – измеряем проект, процесс, команду Сергей Стефурак @stfods
- 2. Let’s start • 11+ лет в SW Development • 9 лет опыт управления в QA and Dev • Сейчас: STL + CPE Program manager • Я люблю числа и метрики
- 3. Метрики, показатели, измерения • Измерения – даем качественную или количественную характеристику наблюдениям • Метрика – функция, а показатель - результат применения метрики • Часто называют метрикой именно результат измерений
- 5. Зачем нужны метрики? • Вопросы для менеджера: • Какой статус в твоем подразделении / с твоим проектом? • Откуда ты это знаешь? • Улучшается ли ситуация? • Откуда ты это знаешь?
- 6. Управление через измерение и улучшение • Measurement is the first step that leads to control and eventually to improvement. If you can’t measure something, you can’t understand it. If you can’t understand it, you can’t control it. If you can’t control it, you can’t improve it. - H. James Harrington • You cannot control what you cannot measure - Tom DeMarco
- 7. Зачем нужны метрики? •Не можешь измерить – не можешь управлять (На самом деле, не всегда, но часто в нашей индустрии)
- 8. Метрики и их виды Метрики могут быть полезны, но • Как выбрать метрики? • Могут ли метрики вредить?
- 9. Выбор метрик: некоторые примеры • Для гибкой разработки • Качество, код, релиз критерии, … • Индивидуальные метрики
- 10. Sprint Burndown Помогает отследить • Оценки завышены, занижены • «ступеньки» • Изменения scope
- 11. Epic/Release/version Burndown Помогает отследить • Прогнозы релиза не обновляются по мере работы • Прогресс в итерации не делается • Scope растет быстрее чем команда способна его выполнять
- 12. Velocity Помогает отследить • Проблемы с эстимированием • Стабильность команды • Внешние факторы, влияющие на работу команды
- 13. Cycle Time Помогает отследить • Скорость с которой команда может реагировать на изменения приоритетов
- 14. Cumulative Flow Diagram Помогает отследить • Проблемы на отдельных этапах
- 15. Метрики для кода • Наиболее применимо к новым проектам • Удобно собирать их автоматически • SonarQube • Покрытие тестами (line, branch) • Документированность • Копи-паст дривен девелопмент • Цикломатическая сложность • Замечания
- 16. Метрики для качества • Сколько найдено дефектов (и каких) • Регрессии? • В процессе разработки • После релиза сотрудниками организации? • После релиза кастомерами? • ADR • Релиз критерии • Напр: Count(секьюрити + регрессии + High/Urgent) = 0
- 17. Почему бы не ввести оплату по метрикам? • Частый вопрос
- 19. Джек-пот • Lines of code • Bugs fixed • Среднее время телефонного звонка
- 20. Метрики для оплаты • Применимы тем хуже, чем сложнее задачи и выше квалификация • Подменяют внутреннюю мотивацию внешней • Могут работать на уровне команды для распределения бонусов • Подвержены всем проблемам метрик и KPI
- 21. Введем понятие KPI • Key Performance Indicator • Любой KPI– Метрика, но не наоборот! • KPI нужны для трансляции стратегии топ-менеджмента • Определяются Line of Business owner / VP / C* -executives
- 22. KPI vs метрики • Свойства KPI • Отражает цели организации • Определяется менеджментом (идет сверху) • KPI обладает контекстом • KPI имеет значение на каждом уровне организации • Базируется на реальных данных • Легок к пониманию • Мотивирует к действию • Многие предпочитают SMART- критерий
- 23. KPI – примеры – SaaS стартап • Посетители в месяц • Новые и утраченные подписки в месяц • Конверсия • MRR, CAC, ARPA
- 24. KPI – enterprise Реальный пример KPI для enterprise • Демонстрировал, как определенный выбор KPI приводит не к тем изменениям в поведении команд и департаментов, которые ожидались • Пример организационной дисфункции Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности
- 25. KPI – enterprise - развитие • KPI спускается на уровень групп и команд • Менеджеры добавляют метрики специфичные для своих подразделений • Цели для отдельных инженеров становятся частью PE Пример KPI для enterprise – как изменились KPI с прошлого слайда после нескольких лет для того чтобы избежать негативных последствий в поведении Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности
- 26. KPI / метрики - опасности • Подмена понятий • Манипуляции и игры • Метрика меняет систему; организационная дисфункция • Потеря фокуса
- 27. Если вы вводите метрики • Определитесь с вашими проблемами и целями • Выберите метрики • Оптимизируйте стоимость и полезность • Продумайте их фальсифицируемость • Уберите лишние метрики
- 28. Если меряют вас • Считаете ли вы метрики хорошими? • Если да, то вам повезло • Можете ли вы их изменить? • Если нет, ищите слабые места (игры) • Защищайте команду от плохих метрик
- 30. Thank you!