Data driven UX - Um case do VivaReal
1 gostou317 visualizações
O documento discute a importância de uma abordagem data-driven em design de UX, desmistificando conceitos e enfatizando que dados qualitativos e quantitativos são essenciais para entender usuários e validar decisões de design. Apresenta um estudo de caso do Vivareal, detalhando métodos de coleta de dados, testes de usabilidade e análises de conversão. A conclusão sugere que testes pequenos e focados são mais eficazes do que grandes experimentos.
Data driven UX - Um case do VivaReal
- 1. Data-driven UX Um case do VivaReal Petrus Gomes Product Manager - VivaReal petrus.gomes@vivareal.com
- 2. Ser data-driven não é uma metodologia e muito menos uma técnica jedi que você aplica para conseguir resultados infalíveis. Funciona mais como um mindset. Caio Gama, UX - VivaReal
- 3. Motivação ● Você (Designer, Engenheiro, PM) não é usuário do seu sistema ○ Bias ○ Experiência ○ Paciência ● Design e desenvolvimento custam caro ● Erros custam ainda mais caro ○ Usuários insatisfeitos ○ Redesign, mais desenvolvimento ○ Tempo
- 4. Mitos 1. Data Means Numbers 2. Data Is the Objective Truth 3. Bigger Is Always Better 4. Data Is for Managers, Not Designers 5. Data Kills Innovation Pamela Pavliscak https://uxmag.com/articles/six-myths-about-data-driven-design
- 5. Que dados? ● Qualitativos ○ Testes de usabilidade ○ Entrevista com usuários ○ Personas ○ Comentários da App Store ● Quantitativos ○ Data Analytics ○ Pesquisa com usuários (email, telefone, in-app,…) ○ Testes A/B ○ NPS ○ Notas da App Store
- 6. Qualitativos ● Em geral, são direcionadores ○ Quais são meu usuários "principais"? (Personas) ○ Essa tela funciona como esperado? (testes de usabilidade) ○ Como os usuários resolvem esse problema sem meu produto? (entrevistas) ● Não servem para conclusões estatísticas ○ 20% dos usuários vão ter problema nessa tela ● Podem ser suficientes para validar ou invalidar um protótipo ● Podem explicar dados quantitativos ○ Usuários não enxergam o novo botão, por isso a conversão baixou
- 7. Teste de Usabilidade ● 5 usuários bastam ● Testes pequenos e objetivos ● Identifica a maioria dos problemas ● Ótimo para protótipos ● Cuidado com bias ● Monte um roteiro antes www.nngroup.com/articles/why-you-only-need-to-test-with-5-users
- 8. Quantitativos ● Validam insights qualitativos ○ Quantas pessoas resolvem esse problema dessa forma? (pesquisas) ○ Quanto essa Persona gasta no produto? (data analytics) ● Tem relevância estatística ○ 60% dos usuários chegam à segunda fase do jogo (data analytics) ○ Essa nova tela teve queda de 10% na conversão (A/B tests) ● Não respondem porquês. ○ O novo botão derrubou a conversão ○ Mas ajudam muito na mineração das respostas
- 9. Teste A/B ● Isola fatores externos ● Estatisticamente relevante ● Precisa de grande volume de usuários ● Ferramentas: ○ Apptimize ○ Firebase Remote Config ○ Optimizely ○ Mixpanel ○ ...
- 10. ● Observar fatores externos ○ Impacto de Marketing ○ Tendências (dias/horários de pico) ○ Funis de Conversão ● Detectar problemas ou bugs ● Fontes ● GA, Firebase Analytics, Amplitude, Localytics, Mixpanel ● DB Interno Data Analytics
- 11. Case: Agendamento de Visitas
- 13. Flow inicial
- 14. Pontos de entrada do usuário
- 15. Impacto: Volume de pessoas interessadas em agendar visita Visibilidade diminui Opção escolhida para alcançar maior impacto no MVP
- 17. Como medir? Pedidos de Visita Total de contatos Pedidos de Visita Cliques no CTA
- 18. Riscos ● Queda na conversão ○ 2 botões podem ser piores do que apenas um ○ Processo mais custoso do que contato normal ○ KPI: WAU e Contatos/Usuário ● Frustração do usuário ○ Expectativa alta de resposta ○ KPI: NPS
- 19. Proposta após alguns rascunhos
- 20. Data Analytics - Mensagens * Os dados foram alterados e NÃO retratam valores reais
- 21. Triamos manualmente 1000 mensagens sobre Visita: ● 30% tinham data especifica ● 10% tinham um horário ou período específico (manhã/tarde). Também compilamos mensagens de visita entre setembro e novembro de 2016 (29k mensagens de visita): ● 10% citam "hoje" ou "amanhã" (setembro a novembro 2016) ● 14% citam "hoje" ou "amanhã" nas sextas-feiras ● 5% dos pedidos ocorreram entre as 23:00 e as 02:00 * Os dados foram alterados e NÃO retratam valores reais Data analytics - Mensagens
- 22. 1. Horário deveria ser opcional? 2. Indicador de "Hoje" na interface para pessoas que acessam a noite. 3. Para agendamentos hoje/amanhã, precisamos enfatizar de que é bom ligar para o corretor para confirmar 4. Precisamos de um campo aberto para observações.
- 23. Teste de usabilidade (sala espelho) ● Alguns não estavam "prontos" para agendar ainda. Preferiam perguntar algo primeiro. ● A nova opção "Agendar Visita" não pareceu tão óbvia. ● O picker de horário estava aberto, o que abria espaço para horários de madrugada, por exemplo. ● Usuário não entendeu a label "Venda" do filtro!
- 24. 1. Tooltip apresentando a nova feature no segundo imóvel visualizado 2. Horário era setado com a hora atual do device. Mudamos para 12:00 sempre 3. Botão fechar ficou menor no último dialog
- 26. Teste A/B ● 50% dos usuários Android ● Erro: 2.5% (em pontos percentuais) ● Confiança: 95% ● Amostragem de 12.293 por variação ● KPIs para validação: ○ Conversão (usuários que enviam um contato) ○ Contatos/Usuário *Valores devem ser levantados ANTES do teste começar
- 27. Próximos passos ● Pesquisa com usuários da feature ○ Consumidores e anunciantes ● Data analytics mais detalhado
- 28. Dicas rápidas ● Qual o objetivo do teste? ● Calcule o tamanho amostral antes do A/B ● Período mínimo para o teste ● Não teste tudo. ● Testes pequenos > Um teste grande ● 5 usuários são o bastante p/ teste de usabilidade ● Não esqueça dos eventos de analytics
- 29. Obrigado! Data-driven design? - Caio Gama https://www.nngroup.com/articles/quantitative-studies-how-many-users/ https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/ https://www.usability.gov/how-to-and-tools/methods/usability-testing.html https://www.nngroup.com/articles/task-scenarios-usability-testing/ http://blog.invisionapp.com/data-driven-design/ https://uxmag.com/articles/six-myths-about-data-driven-design http://nerds.airbnb.com/experiments-at-airbnb/ Hooked - How to Build Habit-Forming Products Contatos Petrus Gomes / PM - Consumer Apps petrus.gomes@vivareal.com Henrique Blefari / UX - Consumer Apps henrique.blefari@vivareal.com