Experiencias en investigación con usuarios. Aprender de los errores
Descargar como PPTX, PDF5 recomendaciones3,602 vistas
El documento describe las experiencias de una investigadora al realizar estudios de usabilidad con usuarios, destacando los errores cometidos en las distintas fases del proceso de investigación como la planificación, preparación, ejecución, análisis, publicación y presentación. La investigadora explica cómo pequeños errores en cualquier etapa, como no simplificar el enfoque del estudio, no rotar adecuadamente las tareas o no elegir los tests estadísticos apropiados, pueden afectar negativamente los resultados. El objetivo es enseñar a apre
Experiencias en investigación con usuarios. Aprender de los errores
- 1. Os voy a contar lo que nunca se cuenta Espero que os sirva Experiencias en investigación con usuarios Aprender de los errores Mari-Carmen Marcos Universitat Pompeu Fabra mcmarcos.com @mcmarcos
- 2. ¡Ah, eres investigadora ¿Y qué investigas? Estudio el comportamiento de las personas con la tecnología con el fin de proponer mejoras en sus interfaces.
- 3. ¿En serio? ¿Eso se estudia? Interacción Persona-Ordenador (HCI) Arquitectura de la información Usabilidad … Mejorar la Experiencia de Usuario ¡Claro! Forma parte de la disciplina llamada HCI, y hay muchos profesionales que se dedican a ello
- 4. ¿Y cómo se puede saber cómo se comportan las personas Hay distintas técnicas: • Observacionales: sin manipulación de las variables Ej. Estudios etnográficos • Experimentales: controlamos todas las variables Ej. Tests entornos médicos • Quasi-experimentales: controlamos las variables dependientes pero no todas las independientes Ej. Estudios de usabilidad
- 5. ¿Y hay que saber muchas matemáticas para hacer esos estudios? Depende del tipo de datos que recojas y de lo que pretendas hacer con ellos Cualitativos • No implican cálculos estadísticos • Requieren tiempo • A menudo son exploratorios, como base de un estudio cuantitativo Cuantitativos • Responden a preguntas muy concretas • Aplican cálculos estadísticos • Requieren un alto control en el diseño del experimento
- 6. No sé si lo he entendido … Cualitativos Cuantitativos Heurística Rec. Cognit. Encuesta Test de usuarios Analítica (Logs) Entrevista Focus group Observ. Etnogr. Mejor te hago un esquema
- 7. ¿Y cuál es tu técnica preferida? Cualitativos Cuantitativos Heurística Rec. Cognit. Encuesta Test de usuarios Analítica (Logs) Entrevista Focus group Observ. Etnogr. + Eye tracking No sé si preferida, pero la que más he utilizado es el test de usuarios. Y de eso voy a hablar
- 8. Bueno… yo me he equivocado muchas veces… de hecho eso es lo que hoy os voy a contar. ¿Y hacer estos tests con usuarios es difícil?
- 9. ¡Buenos días! Experiencias en investigación con usuarios Aprender de los errores
- 10. Fases de investigación • Planificación • Preparación • Ejecución • Análisis • Publicación • Presentación Las posibilidades de equivocarnos están en cada paso de la investigación
- 11. Planificar bien el estudio es básico. Lo que ahora se haga mal, repercutirá en los resultados Planificación
- 12. Planificación 1. Centrarse en el foco, simplificar el estudio
- 13. Planificación 1. Centrarse en el foco, simplificar el estudio Test Google Barcelona-Dubai 1. Cultura de los usuarios 2. Tipos de resultados 3. Tipos de snippets 4. Posición 5. Relevancia 6. Temática 7. Éxito
- 14. Planificación 1. Centrarse en el foco, simplificar el estudio Test Google Barcelona/Dubai
- 15. Planificación 1. Centrarse en el foco, simplificar el estudio Test Google Barcelona/Dubai ¿Hacían falta tantas variables?
- 16. Planificación 2. Objetos de estudio comparables
- 17. Planificación 2. Objetos de estudio comparables Test Google Barcelona-Dubai Idioma de la interfaz ¡Testear en inglés en Barcelona!
- 18. Planificación 3. Muestra comparable Test Google Barcelona-Dubai
- 19. Planificación 3. Muestra comparable Test Google Barcelona-Dubai Hombres / Mujeres ¡Ampliar la muestra de hombres en Dubai!
- 20. Planificación 4. Aleatoriedad y/o rotación
- 21. Planificación 4. Aleatoriedad y/o rotación Test Legibilidad Texto Inicio Texto Final
- 22. Planificación 4. Aleatoriedad y/o rotación Test Legibilidad Texto Inicio Texto Final Rotar las tareas ¡La atención decae!
- 23. Planificación 4. Aleatoriedad y/o rotación Test Legibilidad y layout
- 24. Planificación 4. Aleatoriedad y/o rotación Test Legibilidad y layout Orden de variables en cada página ¡Repetir los tests!
- 25. Planificación 5. Redacción de las tareas
- 26. Planificación 5. Redacción de las tareas
- 27. Planificación 6. Recursos técnicos necesarios Test TV Conectada La planificación del test requiere un gran control de todo en el laboratorio No podemos arriesgarnos a perder usuarios
- 28. Planificación 6. Recursos técnicos necesarios Test TV Conectada El campus no tiene antenaTV ¡Comprar antena exterior!
- 29. Planificación 7. Imprevistos en la tecnología Test TV Conectada
- 30. Planificación 7. Imprevistos en la tecnología Test TV Conectada Infrarrojos interfieren ¡Aislar los rayos!
- 31. Planificación 8. Usuarios que nos dejan plantados Usuarios en reserva Tareas: revisar, pasar a limpio, backup…
- 32. AnálisisEl análisis de los datos recogidos es un momento clave que requiere rigurosidad y meticulosidad para que los resultados sean válidos científicamente.
- 33. Análisis 1. Requerimientos técnicos Test TV Conectada - Tarjeta gráfica - Disco duro - RAM
- 34. Análisis 2. Calcular el tiempo Test TV Conectada Ficheros pesados Marcado manual …
- 35. Análisis 3. Escoger el test estadístico apropiado
- 36. Análisis 3. Escoger el test estadístico apropiado ¿Cómo son los datos? Frecuencias o valores - Frecuencias: ej. tasa de éxito en resolver una tarea (eficacia) - Valores: tiempo invertido para terminar la tarea (eficiencia)
- 37. Análisis 3. Escoger el test estadístico apropiado ¿Cuántas variables manejas? 1, 2 o más
- 38. Análisis 3. Escoger el test estadístico apropiado ¿Qué diseño has aplicado? Correlacional o Experimental - Correlacional: cuando una variable aumenta la otra también o al revés, ej. Tiempo en SERP y ratio de éxito - Experimental: testear dos condiciones, ej. iOS y Android
- 39. Análisis 3. Escoger el test estadístico apropiado ¿Los datos siguen una distribución normal? Paramétricos o no
- 40. Análisis 3. Escoger el test estadístico apropiado ¿Los mismos usuarios están sometidos a dos entornos? Medidas repetidas o independientes - Repetidas: el mismo usuario hace el test en PC y en móvil - Independientes: unos usuarios hacen el test con PC y otros con móvil
- 41. Análisis 3. Escoger el test estadístico apropiado Jeff Sauro - http://www.measuringusability.com/ - A Practical Guide to Measuring Usability (2010) - Calculadora Excel Jeff Sauro y Jim Lewis - Quantifying the User Experience: Practical Statistics for User Research (2012)
- 42. Publicación y presentación Finalmente, la forma de presentar el estudio debe ser adecuada al público al que se dirige
- 43. Publicación y presentación 1. Estilo adecuado al medio y al público Test TV Conectada - Workshop sobre Eye tracking - Workshop sobre UX y TV - Seminario UPF metodologías - Artículo de revista - Blog
- 44. Presentación y difusión 2. Escritura adaptada Test TV Conectada
- 45. Presentación y difusión 2. Escritura adaptada
- 46. Y estos son los errores que me han hecho aprender… Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
- 47. Y estos son los errores que me han hecho aprender… Equivocarse es de sabios ¿no? Incluso los grandes se equivocan
- 48. ¿Y puedo leer algunos de estos estudios? Sí, claro, te paso los últimos, de 2010 a 2013. Casi todos están en mi web
- 49. MULTICULTURALIDAD • Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify Cultural Differences in Information Seeking Behavior. Workshop “Many People, Many Eyes”. CHI'13, April 27-May 2, 2013, Paris, France. LEGIBILIDAD • Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference. LA-Web 2012 (Cartagena, Colombia, October 2012). TV CONECTADA • Marcos, Mari-Carmen; Mansilla, Verónica. Video on Demand: Usability Challenges for Connected TV. Workshop Living Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris, France. • Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking Conference on User Experience (Barcelona, 25-26 April 2012). • Mansilla, Verónica; Marcos, Mari-Carmen. User experience en Televisión Conectada: un estudio con usuarios. El Profesional de la Información, 22:2, marzo-abril 2013. BUSCADORES • Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267. • Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 - Tobii Eye Tracking Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published) • González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In: King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining (Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research) • Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010, 348-358.
- 50. ¿Preguntas?
- 51. ¡Muchas gracias! Mari-Carmen Marcos Universitat Pompeu Fabra mcmarcos.com @mcmarcos