Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
0 likes460 views
Документ описывает особенности и сложности A/B-тестирования, включая недостатки системы бакетов и влияние на целевую метрику. Приводятся примеры неправильного подхода к проведению тестов, а также рекомендуемые методы для отслеживания эффективности. Основное внимание уделяется важности корректной интерпретации результатов и вниманию к деталям в ходе экспериментов.
Малоизвестные грабли A/B-тестирования и роль контрольных экспериментов / Роман Поборчий (self-employed)
- 4. Миллион раз по сто попыток 0 1 2 3 4 5 6 7 8 9 366K 369K 185K 61K 15K 2.8K 456 54 4 1
- 6. A/B тестинг в одном слайде Разбить юзеров Показать каждому своё Обсчитать результат
- 10. ?? Система бакетов ?? ?? ?? K ?? ?? ??
- 11. Легенда: exp vs. prod Хуже Не отличается Лучше Хуже Лучше
- 12. Система бакетов ?? K ?? ?? ??
- 13. ?? Система бакетов ?? ?? K
- 17. ?? Вред от обиженного бакета ?? ?? ?? K ?? ??
- 18. ?? Вред от обиженного бакета ?? ?? ?? K ?? ??
- 19. ?? Вред от обиженного бакета ?? ?? ?? ?? K ?? ??
- 20. Вред от обиженного бакета K
- 22. Помешивайте кашу
- 23. Помешивайте кашу
- 24. Помешивайте кашу
- 25. Помешивайте кашу
- 26. Помешивайте кашу
- 29. Юзеры Два ДЦ
- 30. Амазон: 100мс стоят 1% продаж
- 37. Зависимые действия в жизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить
- 39. Зависимые действия в жизни автомат калашникова купить автомат калашникова настоящий купить автомат калашникова не макет купить нанять киллера
- 40. Teh drama K
- 45. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 46. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 47. Так делать не надо Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 48. В реальности будет иначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 49. В реальности будет иначе Бакет # 1 2 3 4 5 6 7 8 9 10 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X
- 50. Silver bullet… …it is not
- 51. Проводите A/A тесты, следите за Целевой метрикой Количеством пользователей Временем ответа (хотя бы на сервере) Долей несовпадающих метрик Количеством успешных экспериментов
- 52. Ну вы держи́тесь там Роман Поборчий prs@poborchy.ru http://poborchy.ru/ https://www.facebook.com/roman.poborchy