Олександр Дзюба та Євгеній Тур "Майстер-клас “Вивчення гравців. DIY” Ми реально навчимо робити найкращі ігри в світі через аналіз гравців" GameDev Conference 2018
0 likes245 views
Документ описывает процесс и значение плейтестов в индустрии видеоигр, включая их отличия от QA и аналитики, а также этапы организации. Плейтесты помогают оценить играбельность, управление и удержание игроков, что приводит к увеличению бюджета на разработку и повышению коммерческой выгоды. Также обсуждаются методы поиска респондентов и сбора данных для дальнейшего анализа и улучшения игр.
Олександр Дзюба та Євгеній Тур "Майстер-клас “Вивчення гравців. DIY” Ми реально навчимо робити найкращі ігри в світі через аналіз гравців" GameDev Conference 2018
- 1. Изучение игроков. DIY Как делать лучшие в мире игры через анализ игроков
- 2. Евгений Тур Head of Analytics/Product в Sense.Vision Больше 6 лет опыта в исследованиях и аналитике Фанат индустрии видеоигр 2 Обо мне
- 3. 3 ● Проводим плейтесты по всему миру ● Команда работает почти 5 лет ● Нам доверяют лидеры рынка видеоигр Sense.Vision. Кто мы?
- 4. 4 О чем будем говорить? ● Что такое плейтест и зачем их проводить? ● Отличия плейтестов от QA и аналитики ● Форматы и этапы организации плейтеста ● Поиск респондентов ● Методы сбора данных WORKSHOP PLAN
- 5. $24,5 млрд объем рынка видеоигр США Общий объем в мире более $100 млрд 5 Индустрия видеоигр
- 6. ● Попасть в магазин никогда не было так легко ● Получить внимание никогда не было так сложно ● В 2017 году на Steam вышло 7672 игры (+40% к 2016) ● Это больше игр, чем за весь период 2005-2015 (!) ● Десятки новых игр на всех платформах каждый день ● У игры есть только один шанс привлечь аудиторию 6 Рост конкуренции
- 8. Что мы знаем Сколько? - попыток на уровне - длится игровая сессия - retention 7го дня - CPI, ARPU, MAU, DAU
- 9. - создать фан в игре - выбирают игру в жанре - воспринимают мою игру - строят стратегию игры - описывают игру другу Как? Что нужно знать
- 10. Как ≠ Сколько Как увеличить ретеншн? Сколько % составляет ретеншн?
- 12. Плейтест — это пользовательское тестирование игры, проводимое с целью оценить играбельность, управление, введение игрока в игру, общее впечатление, потенциал по удержанию игроков и монетизации. 12 Что такое плейтест?
- 13. 13 Что дают плейтесты? - понимание ЦА - правильные решения - видеть проблемы заранее - знать, как изменять игру - сделать игроков счастливыми
- 14. ● Экономия бюджета на переделки ● Становятся выше ретеншн, LTV, виральность, NPS ● Органический трафик ● PR Коммерческая выгода плейтестов 14
- 16. 16 Типичные задачи плейтеста ● Изучить конкурентов или игры/референсы ● Оценка/сравнение прототипов игры ● Привлечение игроков в игру (Acquisition) ● Удержание игроков (Retention) ● Потенциал монетизации (Monetization) ● Оценка различных составляющих игры: ○ обучение (формат и понятность); ○ управление и интерфейс ○ игровые механики, ○ игровой мир (сеттинг); ○ графика и звук.
- 17. 17 Не путать роли Не ожидать готовых идей Оценивать то, что есть в игре Игровая сессия до 2 часов Не использовать одних и тех же игроков Ограничения плейтестов
- 18. 18 QA и плейтесты ● QA тестирование (англ. quality assurance) ● Пользовательское тестирование (плейтесты)
- 19. Плейтест: ● позволяет увидеть впечатления и эмоции игрока от игры; ● дает информацию о проблемах, с которыми сталкивается игрок; ● можно проводить задолго до релиза (не требуют активной базы игроков в игре); ● не дает точных метрик, но позволяет лучше понимать их. 19 Игровая аналитика: ● работает с большими массивами данных; ● ориентирована на точные метрики (ARPU, Retention%, DAU, WAU, MAU и т.п.); ● не дает инсайтов о причинах поведения игрока; ● не дает информации об эмоциях и проблемах, с которыми сталкивается игрок
- 20. 20 Этапы разработки игры Идея Прототип Альфа Бета Софт-лонч Апдейт
- 21. 21 Задачи исследований Идея Прототип Альфа Выбор ЦА игры Когда, как долго, где, с кем и для чего играют Лучшие каналы промо игры По каким критериям игроки оценивают и выбирают игры Драйверы, триггеры, барьеры Видение идеальной игры Идея игры Основная механика Игровые цели Модель управления Идея сеттинга Вызванные эмоции Манера взаимодействия
- 22. 22 Задачи исследований Бета Софт-лонч Апдейт Геймплей Графика, звук Навигация Управление и UI Сеттинг Баланс Ретеншн (расчет и увеличение) Монетизация (модель, цены т.д.)
- 23. Процесс организации плейтеста 1. Постановка задачи 2. Уточнение параметров ЦА 3. Определение кол-ва участников 4. Подготовка методологии 5. Рекрутинг участников 6. Игровая сессия 7. Сбор данных 8. Анализ данных 9. Воплощение результатов Playtesting The difference between cake and evil robots 23
- 24. Постановка задачи 24 Без ТЗ — результат ХЗ
- 25. Постановка задачи 25 ● Насколько туториал справляется со своими задачами ● Эмоции и впечатления от основного геймплея ● Оценка графики, эстетики, игрового мира ● Оценка сюжета, персонажей ● Оценка баланса сложности ● Оценка системы прогресса в игре ● Драйверы и барьеры ретеншна 7 дня ● Драйверы и барьеры монетизации
- 26. Пол, возраст Платформа и устройства Опыт игры в референсы Любимые жанры Хардкорность Кто ваши игроки? 26
- 27. Поиск игроков 27 Места потенциального скопления Какие есть интересы? Где бывают? Где и с кем общаются?
- 28. ВАЖНО!!! Отборочный скринер Вознаграждение - лучше не деньгами Источники поиска респондентов: ● Аудитория предыдущих проектов ● Сайты ● Сообщества, форумы ● Соцсети ● Мероприятия ● Сайты поиска работы ● Сарафанное радио Поиск подходящих игроков 28
- 29. Преимущества профильной компании: ● наличие базы респондентов ● строгий контроль респондентов в базе (данные, когда последний раз участвовали); ● профессиональные рекрутеры в разных странах мира (США, Германия, Великобритания, Нидерланды, Китай, Япония) ● подписание NDA со всеми респондентами. Поиск подходящих игроков 29
- 30. ● Тест юзабилити - 5 человек для выявления 80% проблем ● Стандартный плейтест - 10-25 человек ● Если нужно сравнивать варианты - нужно хотя бы 50 ● Многодневный плейтест - учитывайте отвал респондентов Определение количества игроков 30 Количество игроков Погрешность измерений (P=95%*) Количество игроков Погрешность измерений (P=95%*) 25 19,5% 200 6,9% 50 13,8% 300 5,7% 75 11,3% 400 4,9% 100 9,8% 800 3,5% 150 8,0% 1000 3,1%
- 32. 32 Логика сбора данных Кол-во игрового времени Этапы формирования игрового опыта О чем спрашиваем 0 минут Отсутствует Данные респондента (фамилия, имя, пол, возраст, предпочитаемые игры, прочее). 0 минут Ожидания, сформированные маркетинговыми материалами Впечатления от иконки, названия, описания в сторе, скриншотов, видео. Ожидания от игры, для кого игра. Желание установить игру, начать играть. 2 минуты Первое впечатление Первое впечатление от игры (что за игра). Разобрался ли игрок с целями на уровне и управлением, есть ли желание продолжить игру 10 минут Первый опыт Разобрался ли игрок с игровыми целями, привык ли к управлению. Оценка туториала (доступность, полнота, удобство). 30 минут Значительный опыт Качество реализации замысла. Освоение основных игровых механик. Оценка понимания системы прогресса в игре. Комфорт в возрастании сложности. Удобство реализации меню и интерфейса, приемов управления. Желание играть дальше. 60 минут Полный опыт Общая оценка игры, насколько оправдались ожидания. Сильные и слабые стороны игры. Оценка игрового процесса. Баланс сложности. Темп прогресса. Оценка графики и звука. Оценка сюжета, положительных и отрицательных героев, главного героя. Готовность рекомендовать друзьям, соревноваться, делиться в соцсетях. Общие пожелания, идеи. Желание вернуться в игру.
- 33. 33 ● Анкетирование ● Наблюдение ● Видеозапись ● Индивидуальное интервью ● Групповое интервью (фокус-группа) ● Экспертное интервью ● Мысли вслух Основные методы сбора данных
- 34. 34 Анкетирование ● Данные собирают с помощью анкеты ● Вопросы в анкете могут быть закрытые и открытые ● Цель - сбор основных впечатлений, оценок на различных этапах тестирования
- 35. Закрытые вопросы — дают возможность получить количественную оценку определенному свойству изучаемого объекта. ● Номинальные шкалы: - с выбором одной альтернативы; - с множественным выбором альтернатив; ● Порядковые (или ранговые) шкалы ● Метрические шкалы (семантический дифференциал) Открытые вопросы — место для развернутого комментария; хороший способ получить интересные мысли, идеи, лучше понять игрока. Типы вопросов в анкете 35
- 36. 36 Только открытые вопросы - ЗЛО Игрок не ограничен в высказываниях Легче готовить инструментарий Тяжело обрабатывать данные Тяжело получить количественные показатели Тяжело сравнивать ответы разных респондентов Много игроков ленятся писать, ответы из одного слова
- 37. Однозначность прочтения Один вопрос за раз Нейтрально заданные вопросы Уточняющие вопросы (лучше в интервью) Формулируйте вопросы правильно
- 38. 38 Анализ данных анкет Excel и SPSS Визуализация закрытых вопросов (диаграммы) Кодировка и визуализация открытых вопросов Нахождение зависимостей
- 39. 39 Позволяет проследить поведение игроков в определенных ситуациях, отклонение от заложенного сценария поведения. Наблюдение Что важно: - нестандартное поведение - сильные эмоции и реплики - уточняющие вопросы
- 40. Четкие цели Ничего не отвлекает Прямой фидбэк Постоянное напряжение с расчетом на победу Состояние “потока”
- 41. Видеозапись ● Геймплей ● Лицо ● Руки 41
- 42. 42 Интервью Индивидуальное интервью - это структурированная беседа с игроком на определенном этапе знакомства с продуктом с целью выявления мотивов игрока (главное - ответ на вопрос “почему?”).
- 43. Один вопрос за раз Нейтральность вопросов Однозначность формулировки Уточняющие вопросы Как задавать вопросы
- 44. Правильно Открытые вопросы Что Вы думаете об этом? Как бы Вы описали систему прогресса в игре? Уточняющие вопросы Что именно в интерфейсе Вам непонятно?
- 45. НЕправильно Закрытые вопросы Вам понравилась игра? Наводящие вопросы Понятно ли, что цель игры состоит в наборе максимального количества очков? Вопросы о будущем Будете играть, если добавят метагейм?
- 46. Видеозапись и транскрипт Общие тенденции и разногласия Причины поведения Смыслы, идеи, а не количество Гипотезы 46 Анализ интервью
- 47. ФГИ - одновременное интервьюирование 6-10 человек в формате дискуссии. Продолжительность - 1-2 часа. Типичные задачи для ФГИ: - отношение к играм подобного жанра - изучение предпочтений ЦА - тестирование маркетинговых материалов Групповое интервью (фокус-группа) 47
- 48. Мысли вслух 48
- 49. Экспертное интервью 49 Концентрат знаний Помогает сделать ОК
- 50. In-house плейтест 50 Преимущества: ● полный контроль за проведением; ● самостоятельный подбор респондентов; ● изменение методологии на лету. Недостатки: ● временные затраты; ● трудности с поиском подходящих респондентов; ● организационные сложности; ● большой риск ошибок при проведении; ● трудности с донесением результатов до команды.