Продуктовая аналитика Карго культ в современных компаниях
0 likes369 views
Документ обсуждает концепцию продуктовой аналитики и связанные с ней вызовы, включая эффекты изменений воронок и необходимость тщательного тестирования с использованием A/B-тестов. Приводятся примеры распространенных ошибок в процессе аналитики и тестирования, а также рекомендации по улучшению процессов для достижения более точных выводов. Подчеркивается важность критического подхода к аналитическим данным и правильного проектирования экспериментов.
Продуктовая аналитика Карго культ в современных компаниях
- 1. Продуктовая аналитика Евгений Курышев Островок.ру Карго культ в современных компаниях
- 2. ЧТО ТАКОЕ ПРОДУКТОВАЯ АНАЛИТИКА?
- 5. Дата поинты Воронки Сегменты Когорты Атрибуция Поведенческий анализ A/B тесты Кластеризация CLTV Анализ RFM Анализ
- 7. ЧТО ТАКОЕ КУЛЬТ КАРГО?
- 8. ПОЧЕМУ ПРОДУКТОВАЯ АНАЛИТИКА — ЭТО СЕГОДНЯШНИЙ КУЛЬТ КАРГО?
- 9. ПРОЦЕССЫ люди имитируют процессы, приводящие к результату
- 10. ИНСТРУМЕНТЫ компании создают инструменты, похожие на то, что нужно для решения задач
- 11. ДАННЫЕ мы собираем и храним их почти как “настоящие сварщики”
- 12. ЖДЁМ ГУЛА САМОЛЁТОВ несущих недополученную выручку и квартальные бонусы
- 14. А ОНИ ВСЁ НЕ ЛЕТЯТ
- 15. ПРИМЕРЫ
- 18. 1. поставим Google Analytics 2. построим воронки 3. найдем и исправим узкие места 4. … 5. PROFIT!!!!
- 19. КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
- 23. ЗАСАДА №1 ИЗМЕНЕНИЯ НА ОДНОМ ШАГЕ ВОРОНКИ МЕНЯЮТ ПОВЕДЕНИЕ И НА ПОСЛЕДУЮЩИХ
- 24. ВНЕЗАПНО ИЗМЕНИЛАСЬ ФОРМА ВОРОНКИ, НО ПРОДУКТ НЕ ИЗМЕНЯЛСЯ? вчера Посетители сегодня
- 26. ВОЗМОЖНО ИЗМЕНИЛСЯ ИНВЕНТАРЬ И ПРОДАЖИ ПЕРЕРАСПРЕДЕЛИЛИСЬ вчера Ботинки 12 % Носки 13 % Колготки 34 % Трусы 41 % сегодня Сумки 23 % Ботинки 11 % Носки 37 % Колготки 17 % Трусы 13 %
- 27. ЗАСАДА №2 ИЗМЕНЕНИЕ ВОРОНКИ НЕ ГОВОРИТ ОБ ИЗМЕНЕНИИ ПРОДУКТА
- 28. Посетители лэндинг форма регистрации письмо с подтверждением финиш 14 120 220 550 ДЛЯ ХОРОШИХ ВЫВОДОВ ЧАСТО НЕ ХВАТАЕТ ДАННЫХ
- 29. РАЗМЕР ИМЕЕТ ЗНАЧЕНИЕ ЗАСАДА №3
- 30. КАК НАДО?
- 31. 1. ИЩИТЕ УЗКИЕ МЕСТА Посетители Лэндинг СЕРП Страница отеля Страница бронирования Ваучер 1 776 22 412 50 102 82 340 96 242
- 32. 2. ДОБАВЛЯЙТЕ НОВЫЕ ШАГИ Посетители Страница отеля Страница бронирования Ваучер Посетители Страница отеля Страница бронирования Логин или создание аккаунта Ввод кредитной карты Ваучер
- 33. 3. ОТСЛЕЖИВАЙТЕ ДИНАМИКУ ВОРОНОК С ИЗМЕНЕНИЕМ ПРОДУКТА до релиза Посетители после релиза
- 34. Воронка здорового человека Воронка курильщика 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ
- 35. 4. СОБИРАЙТЕ ВСЮ ИНФОРМАЦИЮ О ПРОТЕЧКАХ Посетители Страница отеля Страница бронирования Ваучер
- 36. Нажимают "Back" Закрывают вкладку Нажимают на лого Нажимают "Справка" Остальное
- 37. 5. СЕГМЕНТИРУЙТЕ! Общая воронка Посетители Лэндинг Форма регистрации Письмо подтверждения Финиш 1 776 22 412 50 102 82 340
- 38. ATV 0…80 $ Посетители ATV 81…250 $ ATV 251…600 $ ATV 601+ $ Воронки по среднему чеку 5. СЕГМЕНТИРУЙТЕ!
- 39. • по маркетинговому каналу • по среднему чеку • по когортам • по демографии • по повторным продажам 5. СЕГМЕНТИРУЙТЕ!
- 40. 6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
- 41. 6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
- 42. 6. БУДЬТЕ ОСТОРОЖНЕЕ В УСЛОВИЯХ НЕХВАТКИ ДАННЫХ Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 45 740 4 312 10 690
- 43. 7. ПОСТОЯННО СЛЕДИТЕ ЗА СОСТОЯНИЕМ ВОРОНОК Воронка регистрации Посетители Лэндинг Страница регистрации Отправка письма Создание аккаунта 00 6 711 11 020
- 44. A/B ТЕСТИРОВАНИЕ
- 46. 1. интегрируем инструмент для A/B тестирования 2. будем тестировать по 5 маленьких изменений в день 3. если каждый A/B тест покажет пусть 5% прироста конверсии 4. через полгода конверсия достигнет 146% 5. … 6. PROFIT!!!!
- 47. КАК ПОЛУЧАЕТСЯ НА САМОМ ДЕЛЕ?
- 48. ПЕРВЫМ ДЕЛОМ, РАЗУМЕЕТСЯ, ПОИГРАЕМ ШРИФТАМИ
- 52. ТЕПЕРЬ ТЕ ЖЕ САМЫЕ ДАННЫЕ ВЫГЛЯДЯТ НЕ ТАК ХОРОШО – СТАТИСТИЧЕСКОЙ РАЗНИЦЫ МЕЖДУ ГРУППАМИ НЕТ
- 53. ЗАСАДА №1 НЕ ВСЕГДА ОЧЕВИДНО, КАКОЙ ВАРИАНТ ВЫИГРЫВАЕТ
- 54. ОСТАВЛЯЕМ ЭКСПЕРИМЕНТ ЕЩЕ НА ПАРУ ДНЕЙ COMIC SANS ДОЛЖЕН ПОБЕДИТЬ!
- 57. ЗАСАДА №2 СЛОЖНО ПОНЯТЬ, КОГДА ЭКСПЕРИМЕНТ МОЖНО ЗАВЕРШИТЬ
- 58. ПРОВЕРИМ ЛУЧШЕ ВЛИЯНИЕ ОТЗЫВОВ ОТЕЛЕЙ НА КОНВЕРСИЮ
- 59. У КОНТРОЛЬНОЙ ГРУППЫ ОСТАВИМ ВСЁ КАК ЕСТЬ У ТЕСТОВОЙ ГРУППЫ ОТКЛЮЧИМ ОТОБРАЖЕНИЕ ОТЗЫВОВ НА СТРАНИЦЕ ОТЕЛЯ
- 60. ДА ПОЧЕМУ ОПЯТЬ ВСЁ ПОЧТИ ОДИНАКОВО? Визиты 10 540 10 000 Отзывы у отелей показываются Отзывы у отелей скрываются Бронирования 200 220 Конверсия 1,9 % 2,2 %
- 61. НА САМОМ ДЕЛЕ У ЗНАЧИТЕЛЬНОГО ЧИСЛА ОТЕЛЕЙ И РАНЬШЕ НЕ БЫЛО ОТЗЫВОВ ! МЫ НЕПРАВИЛЬНО ЗАСЕТАПИЛИ ЭКСПЕРИМЕНТ И ПОЛУЧИЛИ OMITTEDVARIABLE BIAS
- 62. ЗАСАДА №3 СЕТАП ЭКСПЕРИМЕНТОВ — ДЕЛО ТОНКОЕ
- 64. МЫ РЕШИЛИ СДЕЛАТЬ НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ С ТЕКСТАМИ CALLTO ACTION КНОПОК НА КАЖДОЙ СТРАНИЦЕ В ОСНОВНОЙ ВОРОНКЕ
- 65. НА СТРАНИЦЕ ГОРОДА БУДЕТ ТЕСТ VS A НА СТРАНИЦЕ ОТЕЛЯ ПРОТЕСТИРУЕМ VS
- 66. Конверсия 2,1 % 2,0 % “Выбрать” “19 000 руб. за 2 ночи” Конверсия 2,1 % 2,0 % “Забронировать” “19 000 рублей” страница города страница отеля ВТОРЫЕ ВАРИАНТЫ ПОБЕДИЛИ С ХОРОШИМ CONFIDENCE
- 67. НО НА САМОМ ДЕЛЕ БЫЛО НЕ 2, А 4 ЭКСПЕРИМЕНТА
- 69. И ПОЛУЧЕННЫЕ ДАННЫЕ СИЛЬНО ИСКАЖЕНЫ И ИМ НЕЛЬЗЯ ДОВЕРЯТЬ
- 70. ЗАСАДА №4 ЭКСПЕРИМЕНТЫ СИЛЬНО ВЛИЯЮТ ДРУГ НА ДРУГА
- 71. КАК НАДО НА САМОМ ДЕЛЕ?
- 72. 1. НЕ ТЕСТИРУЙТЕ МЕЛОЧИ
- 73. ПО НАШИМ (И НЕ ТОЛЬКО НАШИМ) ПРИКИДКАМ – 8 ИЗ 10 ТЕСТОВ НЕ ПОКАЗЫВАЮТ ЗНАЧИМЫХ РЕЗУЛЬТАТОВ
- 74. 2. НЕ ТЕСТИРУЙТЕ ТО ЧТО НЕ ВЛИЯЕТ НА ПОВЕДЕНИЕ ПОЛЬЗОВАТЕЛЕЙ
- 75. ВОТ ТУТ РЕБЯТА СДЕЛАЛИ ДВА СОВЕРШЕННО РАЗНЫХ ДИЗАЙНА ДЛЯ ЛЕНДИНГА
- 78. СТАТИСТИЧЕСКИ ЗНАЧИМОЙ РАЗНИЦЫ ОБНАРУЖИТЬ НЕ УДАЛОСЬ
- 79. 3. НЕ ТЕСТИРУЙТЕ ТАМ ГДЕ НЕТ ДАННЫХ
- 80. ВОЗМОЖНО ЛУЧШЕ ПОДНЯТЬСЯ ЧУТЬ ВЫШЕ ПО ВОРОНКЕ
- 81. 4. ПОМНИТЕ О КОРРЕЛЯЦИИ ЭКСПЕРИМЕНТОВ
- 82. ИСКЛЮЧАЙТЕ ПОЛЬЗОВАТЕЛЯ, УЧАСТВУЮЩЕГО В ОДНОМ ЭКСПЕРИМЕНТЕ, ИЗ УЧАСТИЯ В ДРУГИХ
- 83. ЛИБО ВООБЩЕ НЕ ПРОВОДИТЕ ОДНОВРЕМЕННО НЕСКОЛЬКО ЭКСПЕРИМЕНТОВ
- 84. 5. ТЕСТИРУЙТЕ НЕ ТОЛЬКО НА КОНВЕРСИЮ. ТЕСТИРУЙТЕ НА ВЫРУЧКУ, СРЕДНИЙ ЧЕК, ПРИБЫЛЬ, ЧТО УГОДНО ЕЩЕ
- 85. Конверсия 2,1 % 2,0 % Средний чек 300 $ 330 $ выигрыш на 5% потеря на 10% ТЕСТ РАЗНЫХ АЛГОРИТМОВ СОРТИРОВКИ
- 86. 6. ТЩАТЕЛЬНО ПРОВЕРЯЙТЕ СЕТАП ЭКСПЕРИМЕНТА
- 87. ДУМАЮ, МЫ ПОТЕРЯЛИ МЕСЯЦЫ ВРЕМЕНИ, СОБИРАЯ БЕССМЫСЛЕННЫЕ ДАННЫЕ
- 88. 7. ВВЕДИТЕ ПОНЯТИЕ ОПТИМАЛЬНОГО РАЗМЕРА ВЫБОРКИ
- 91. СМЫСЛ В ТОМ, ЧТО ДАННЫХ ВСЕГДА НЕ ХВАТАЕТ, НО НАДО УМЕТЬ ПОЛЬЗОВАТЬСЯ ТЕМ, ЧТО ЕСТЬ
- 92. МОЖНО ОСТАНАВЛИВАТЬ ЭКСПЕРИМЕНТ И РАНЬШЕ, НО НУЖНО ВНИМАТЕЛЬНО ОЦЕНИВАТЬ СВОИ ШАНСЫ
- 93. 7. СЧИТАЙТЕ ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ КАЖДОЙ ГРУППЫ
- 95. 8. ИСПОЛЬЗУЙТЕ A/B ТЕСТЫ ДЛЯ КОНТРОЛИРУЕМОЙ РАСКАТКИ И ДЛЯ БЫСТРОГО ОТКЛЮЧЕНИЯ ОПАСНЫХ ФИЧ
- 96. ВЫВОДЫ
- 97. ПОДХОД К СНАРЯДУ “В ЛОБ” ПРЕВРАТИТ ВАС В КУЛЬТИСТОВ КАРГО
- 100. ПОДВЕРГАЙТЕ СОМНЕНИЮ ВСЁ, ЧТО ВЫ ВИДИТЕ
- 101. ИСПОЛЬЗУЙТЕ КАЖДЫЙ ИНСТРУМЕНТ ДЛЯ СВОЕЙ ЦЕЛИ
- 103. ТАК ПОБЕДИМ!
- 104. ВОПРОСЫ?
- 105. ПОЛЕЗНЫЕ ССЫЛОЧКИ The GA funnel survival guide – https://blog.kissmetrics.com/conversion-funnel-survival-guide/ The fallacy of funnels – http://insideintercom.io/the-fallacy-of-funnels/ The guide to optimizing funnels – http://blog.kissmetrics.com/guide-to-optimizing-funnels/ Most AB tests will fail –http://www.jitbit.com/news/185-most-of-your-abtests-will-fail/ On determining sample sizes –https://signalvnoise.com/posts/3004-ab-testing-tech-note-determining-sample-size How not to do AB tests – http://www.evanmiller.org/how-not-to-run-an-ab-test.html Speed vs Certainty in AB – http://20bits.com/article/speed-vs-certainty-in-ab-testing