5 уроĸов из провальных АБ тестов / Сергей Гилев (Playkot)
Download as PPTX, PDF0 likes45 views
Документ представляет собой выступление Сергея Гилева, директора аналитики Playkot, в котором он делится уроками из проваленных A/B-тестов в игровой аналитике. Он подчеркивает проблемы, связанные с независимостью групп, сложностями воспроизводимости результатов и долговременными эффектами изменений. Также приведены рекомендации по улучшению процесса принятия решений на основе данных в рамках A/B-тестирования.
5 уроĸов из провальных АБ тестов / Сергей Гилев (Playkot)
- 1. Сергей Гилев Director of Analytics, Playkot 5 уроков из проваленных АБ-тестов
- 2. Про меня Сергей Гилев 8 лет опыта в аналитике Director of Analytics
- 3. сотрудников Это на 224 человека больше, чем было в 2009 году 226 Кто мы лет опыта в создании успешных игровых проектов 11 SuperCity — наш супер-хит, самый успешный в мире ситибилдер на Facebook, запущен в 2014 году. Age of Magic — наш первый большой мобильный релиз, запущен в 2018 году. проектов 5 успешно запущены. Еще 3 находятся в активной разработке Playkot — студия игровой разработки, которая за десять лет прошла путь от браузерных игр к топам мобильного рынка.
- 5. Age of Magic Age of Magic — это игра об эпичных героях, которые сражаются на захватывающих дух аренах ● 60+ различных героев с уникальными способностями ● 15 режимов в фэнтези мире ● переведена на 14 языков ● средний рейтинг 4.8 ● DAU ≈100k игроков
- 6. Как построить процесс принятия решений? Data-driven АБ-тесты
- 7. На первый взгляд кажется, что АБ-тесты решат все проблемы с принятием решений
- 8. В реальности работа с АБ-тестами имеет свои сложности
- 10. Дизайн системы АБ-тестирования на первый взгляд выглядит крайне просто Механизм разделения по группам Результат в группе А Результат в группе B Вариант А Вариант B
- 11. Самая популярная ошибка — когда в реальности игроки видят какой-то другой вариант Механизм разделения по группам Результат в группе А Результат в группе B Вариант А Вариант C
- 12. Другой пример ошибки — это разные механизмы разделения по группам Механизм разделения по группам 1 Механизм разделения по группам 2 Результат в группе А Результат в группе B Вариант А Вариант B
- 13. Группы А и Б бывают зависимы Урок 2
- 14. Зачастую предположение о независимости групп не выполняется Механизм разделения по группам Результат в группе А Результат в группе B Вариант А Вариант B
- 15. Зачастую предположение о независимости групп не выполняется Механизм разделения по группам Результат в группе А Результат в группе B Вариант А Вариант B
- 16. Взаимосвязи между группами — это обычное явление ● Игроки общаются между собой, поэтому информацию нельзя изолировать полностью ● В многих механиках действия игроков в одной группе влияют на другую (кланы, рейтинги, прямой PvP…) ● Скорее всего, обе группы пересекаются на техническом уровне (системы одни и те же)
- 18. На результат, кроме самой фичи, влияет множество других факторов ● Cостояние продукта (другие фичи) ● Пользовательские привычки ● Профиль аудитории (география, культура, поведение и пр.) ● Внешняя обстановка (сезонность, действия конкурентов, глобальные события)
- 19. В результате становится сложно переиспользовать результаты прошлых тестов
- 20. Углубленная аналитика чаще приводит к ошибочным выводам Урок 4
- 21. Очень частый паттерн в анализе результатов — итеративное закапывание вглубь PPU A 3,0% B 3,2%
- 22. Очень частый паттерн в анализе результатов — итеративное закапывание вглубь PPU A 3,0% B 3,2% PPU A 3,0% organic 3,2% paid 2,0% B 3,2% organic 3,2% paid 2,1%
- 23. Очень частый паттерн в анализе результатов — итеративное закапывание вглубь PPU A 3,0% B 3,2% PPU A 3,0% organic 3,2% paid 2,0% B 3,2% organic 3,2% paid 2,1% PPU A 3,0% organic 3,2% US 3,3% non-US 3,2% paid 2,0% ... B 3,2% ...
- 24. Очень частый паттерн в анализе результатов — итеративное закапывание вглубь PPU A 3,0% B 3,2% PPU A 3,0% organic 3,2% US 3,3% non-US 3,2% paid 2,0% ... B 3,2% ... PPU A 3,0% organic 3,2% paid 2,0% B 3,2% organic 3,2% paid 2,1%
- 25. Наверняка все слушатели знакомы с понятием ошибок первого и второго рода Верная гипотеза Н0 Н1 Результат применения критерия Н0 Н0 верно принята Н0 неверно принята (ошибка второго рода) Н1 Н0 неверно отвергнута (ошибка первого рода) Н0 верно отвергнута
- 26. При увеличении числа сравнений вероятность совершить ошибку первого рода сильно растет 1 сравнение: 5% 10 сравнений: 40% 50 сравнений: 92%
- 28. Долгосрочные эффекты в тестах возникают постоянно ● Изменение пользовательских привычек занимает время ● Эффект новизны («А что это за кнопочка?..») ● Некоторые фичи могут ускорять покупки, но не увеличивать их объем
- 29. А при оценке результатов возникает множество проблем ● Проводить эксперименты долго — непрактично ● Растет число внешних факторов, влияющих на результат (другие фичи или тесты, внешние эффекты) ● При анализе динамики возникает ошибка выжившего
- 30. Итог 1 2 3 4 5 Системы АБ-тестирования врут Группы А и Б зависимы Воспроизводимость результата не гарантируется Углубленная аналитика чаще всего приводит к ошибочным выводам Невозможно оценить долгосрочные эффекты
- 31. И как же с этим жить?
- 32. При работе с системой для проведения АБ-тестов... Относиться к результатам со здравым скептицизмом Валидировать систему через АА-тесты и мониторинг метрик, которые не должны меняться Исследовать странности в результатах тестов, привлекать разработчиков 1 2 3
- 33. Во время проведения тестов... Формулировать гипотезы и критерии приемки результатов Проверять ключевые предположения, которые могут повлиять на валидность эксперимента Ограничиваться небольшим числом метрик или собрать «метаметрику» 1 2 3
- 34. При принятии решений... Избегать множественных сравнений По необходимости использовать другие методы для оценки изменений и принятия решений Не перекладывать ответственность на систему 1 2 3
Editor's Notes
- #2: Всем привет! Сегодня мы поговорим с вами про АБ тесты. Это очень актуальная тема, и кажется что многие компании стремятся начать как можно плотнее с ними работать, но при этом кажется что довольно мало говорят о некоторых сложностях этого подхода к принятию решений. Я хотел рассказать о некоторых новых проблемах, которые появляются из-за использования АБ тестов, а также о некоторых старых проблемах, которые не удаётся решить.
- #3: Для начала, хотел бы представиться. Меня зовут Сергей, фамилия моя - Гилев. Я отвечаю за аналитику в Playkot, это моё первое место работы в геймдеве, так что со многими я могу быть не знаком. Я уже давно работаю в аналитике, последние 5 лет работаю руководителем разных аналитических команд, долгое время провёл в е-коммерс компании Ламода. Для начала я хотел рассказать пару слов про компанию, если кто-то с нами не знаком.
- #6: На данный момент наш флагманский продукт - это мобильная пошаговая RPG Age of Magic. А теперь перейдем к теме - поговорим про АБ тесты.
- #7: Всех волнует вопрос, как оценивать те или иные фичи. Хочется знать, насколько продукт движется в правильном направлении. Кажется, что рынок сейчас находится в состоянии, когда очень многие компании проявляют большой интерес к опоре на данные. Нам всем кажется разумной идея опираться на данные, и в этот момент возникает идея АБ тестов.
- #8: Кажется, что АБ тесты решают проблему. Сходу этот фреймворк обещает точные результаты внедрения любой фичи с хирургической точностью, без влияния человеческой иррациональности. В жизни всё происходит немного иначе.
- #9: Именно этот мем вдохновил меня на подготовку этого материала. И только при более плотной работе с тестами становится понятно, что проблемы не совсем решаются. Моё выступление не претендует на полноценный гайд по работе с АБ тестами, я не буду рассказывать про их плюсы, потому что об этом и так достаточно много известно. Я подчеркну некоторые из сложностей, с которыми приходится постоянно сталкиваться в работе. И потом я расскажу, как можно действовать, чтобы эти сложности обходить.
- #11: Сходу вообще не очень понятно, что может пойти не так.
- #12: Самый частый кейс - когда по факту игроки видят какой-то другой вариант, не тот, который планировался изначально. Пример - тестирование оферов, и мы заметили, что неравномерно показываются другие оферы.
- #13: Такая ситуация может возникнуть по нескольким причинам Использование разных версий механизма разделения по группам Механизм разделения по группам как-то взаимосвязан с фичой, которая тестируется.
- #16: Происходящее в одной группе влияет на другую, и поэтому такой тест не получится обобщить.
- #17: Пример - во время тестирования некоторых оферов игроки обращаются к нам в поддержку и просят добавить их в тестовую группу. Получается, что какие-то радикальные вещи тестировать не получится.
- #20: Практические примеры: Фичи, которые могут иметь разные эффекты на западе и в Азии (неравномерность по географии) Инициативы на стыке маркетинга и продукта (тест мог попасть на какие-то существенные изменения в закупке)
- #21: Про следующую проблему говорят довольно много, но тем не менее жить с ней довольно сложно
- #25: во-первых, взрывается мозг у аналитика, которому нужно постоянно что-то доанализировать, но самое важное в другом. взрывается вероятность ошибки первого рода.
- #26: Ошибка первого рода - это “ложная тревога”, когда по данным мы видим, что какой-то эффект есть, а на самом деле его нет и такие данные получились случайно.
- #27: В случае использования стандартного уровня значимости в 5%, вероятность сделать ошибку достигает 90% при 50 сравнениях. получить 50 сравнений не сложно, достаточно иметь 8 метрик в 4 разрезах (платный / бесплатный траффик и США/не-США)
- #31: Не
- #32: Давайте вернемся к мему, с которого началась презентация. Всё-таки, стоит ли ввязываться в АБ тесты, если с ними столько проблем? Или есть какие-то способы эти проблемы избежать?
- #33: Не верьте на слово. Равномерность распределения по группам и конверсия в тритмент. Обязательно исследуйте.
- #34: До проведения
- #35: Не бойтесь сказать, что для какого-то конкретного случая АБ тесты не подходят. Если интересно узнать, какие есть методы для оценки эффекта без АБ тестов - это хорошая тема для общения в кулуарах) И самое важное - не надо думать, что вот сейчас мы сделаем супер систему и она будет принимать решения за нас. Не перекладывайте ответственность, потому что в методологии есть пробелы и сложности.