Computacion Afectiva, Aplicacion Educativa para TVDI - Sandra Baldassarri
0 recomendaciones1,814 vistas
Este documento describe una aplicación educativa para la televisión digital interactiva que utiliza la computación afectiva. La aplicación, llamada T-EDUCO, permite a un tutor a distancia obtener información académica y emocional de los estudiantes mediante el reconocimiento de expresiones faciales. El tutor puede adaptar los contenidos de aprendizaje en función del progreso y estado emocional del estudiante. La aplicación se evaluó positivamente en un estudio piloto con 30 estudiantes y 5 tutores.
Computacion Afectiva, Aplicacion Educativa para TVDI - Sandra Baldassarri
- 1. Computación Afectiva. Aplicación educativa para TVDi “There can be no knowledge without emotion. We may be aware of a truth, yet until we have felt its force, it is not ours. To the cognition of the brain must be added the experience of the soul.” Arnold Bennett (1867-1931) Dra. Sandra Baldassarri sandra@unizar.es jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 2. Resumen La computación afectiva es el área que se centra en investigar cómo se usan las emociones en los sistemas informáticos. Para ello abordaremos los siguientes temas: – ¿Qué son las emociones? – ¿Qué papel tienen las emociones? ¿son importantes? ¿para qué? – ¿Qué es la computación afectiva? – ¿Es útil la computación afectiva? Algunos ejemplos... – Uso de la Computación afectiva en una aplicación educativa en TVDi. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 3. ¿Qué son las emociones? • Emociones comunes: alegría, tristeza, miedo, enfado, sorpresa, disgusto • Las emociones son reacciones psicofisiológicas que representan modos de adaptación a ciertos estímulos: – – – – – Sentimientos subjetivos (la emoción a la que nos referimos) Tendencia a hacer algo (preparación de una acción) Expresión de la emoción (facial, corporal,…) Evaluación de la situación (evaluación congitiva, pensada) Activación fisiológica (ritmo cardíaco, ritmo respiratorio) jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 4. ¿Qué son las emociones? • Sin embargo, no hay consenso sobre muchas de las cuestiones relacionadas con las emociones: – ¿Es la sorpresa una emoción? • Algunos piensan que siempre, otros que sólo a veces – ¿Se puede sentir una emoción sin ser consciente de ella? • Ej: celos, encaprichamiento – ¿Debe tener una emoción, para serlo, alguna manifestación fisiológica medible? jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 5. ¿Qué son las emociones? Expresión de las emociones: • A pesar de la diversidad de teorías sobre las emociones, en lo que hay consenso es en las propiedades observables de las emociones. Evidentes para los demás: No tan evidentes para los demás: • Expresión facial • Entonación de voz • Gestos • Movimientos • Postura • Dilatación de pupilas • Color de la piel • Respiración • Latidos, pulso • Temperatura • Sudoración • Potenciales de acción de músculos • Presión sanguínea jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 6. ¿Son importantes las emociones? • Emociones e Inteligencia: Frente a la contraposición tradicional entre emoción e intelecto, las teorías más recientes indican la importante influencia de las emociones en los mecanismos del pensamiento racional. • En particular las emociones parecen jugar un esencial en: • • • El aprendizaje La memoria a largo plazo La toma de decisiones jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 7. Computación Afectiva • “If we want computers to be genuinely intelligent and to interact naturally with us, we must give computers the ability to recognize, understand and even to have and express emotions” Rosalind Picard (MIT) Affective Computing MIT Press 1997 jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 8. Computación Afectiva La Computación Afectiva es un campo emergente cuyo objetivo es el desarrollo de sistemas inteligentes capaces de dotar a un ordenador con la habilidad de reconocer, interpretar, procesar y expresar emociones. Expresión de las emociones a través diferentes canales, visibles o no visibles: expresiones faciales, gestos, voz, señales biológicas… Computación afectiva: capturar la información afectiva y analizarla para mejorar la interacción con el usuario. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 9. Computación Afectiva Concretamente, un ordenador con capacidades afectivas debería ser capaz de: • Reconocer emociones • Expresar emociones • Sentir emociones • Poseer inteligencia emocional jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 10. Reconocer emociones La captura y reconocimiento de las emociones se suele basar en: – La voz (modulación, tono, volumen) – Las expresiones faciales o corporales – Señales biológicas: – resistencia galvánica de la piel – electromiogramas – temperatura – pulso –… jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 11. Reconocer emociones jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 12. Reconocer emociones • Captura y reconocimiento del estado afectivo del usuario jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 13. Reconocer emociones • Captura y reconocimiento del estado afectivo del usuario en tiempo real Clasificación emocional facial jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 14. Reconocer emociones • Aplicación a los videojuegos: Proyecto NeuroGame jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 15. Expresar emociones ¿Cómo demostramos las emociones? – El requerimiento básico es tener canales de comunicación que permitan comunicar las emociones a través de ellos: • voz (entonación, velocidad) • imagen (cuerpo, cara, movimiento) jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 16. Expresar emociones • La forma más usual de expresar (y reconocer) emociones es a través de las expresiones faciales. Expresión de emociones en actores virtuales jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 17. Sentir emociones • R. Picard propuso un modelo de cinco componentes, todas ellas necesarias en un sistema que “tenga” emociones: – Emociones emergentes (Mac sonriendo al arrancar) – Emociones primarias (innatas, reactivas) – Emociones cognitivas (satisfacción por un logro) – Experiencia emocional – Consciencia de las propias emociones – Manifestaciones fisiológicas – Interacciones cuerpo-mente – Las emociones afectan a la cognición jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva Kismet
- 18. Inteligencia emocional • Un ordenador con inteligencia emocional debería ser capaz de: • Entender y expresar sus emociones • Regular sus emociones • Reconocer las emociones en otros (cuáles son sus motivaciones, preferencias, etc..) • Utilizar las emociones con uno mismo y con los demás para generar comportamientos adaptativos y plantear objetivos cognitivos avanzados (aprendizaje, creatividad, motivación, etc.) jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 19. Aplicaciones • Tutores “afectivos” (MIT, USA) jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 20. Aplicaciones • Aplicaciones adaptables para personas con autismo jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 21. Aplicaciones Kismet (C. Breazel) • Uso de una cabeza robótica humanoide que expresa emociones para estudiar: – El efecto de las emociones en la IPO – Aprendizaje de comportamientos sociales de los robots durante juegos entre humanos y robots jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 22. Aplicaciones Robots de compañía • Aibo (Sony, Japón) • I-Cat (Philips, NL) • Paro (Wanda et al, Japón) • Huggable (MIT, USA) jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 23. Aplicaciones SIMS 2 • Entretenimiento: las emociones se utilizan para dar más realismo a los videojuegos jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 24. Aplicaciones http://giga.cps.unizar.es/affectivelab Juegos para niños Presentadores virtuales Tutores virtuales Intérprete virtual de Español a LSE jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 25. Computación Afectiva. Aplicación educativa para TVDi jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 26. Introduction Aplicación educativa para TVDi • “T-learning”: Aprendizaje interactivo basado en TV – Ventajas: medio masivo, conocido por todos los usuarios, fácil acceso por parte de los usuarios. – Desventaja: STBs tienen menor potencia que los PCs. • En la mayor parte de las aplicaciones existentes, el aprendizaje via TVDi se centra más en entretenimiento que en enseñanza formal. • Para lograr un aprendizaje eficiente, es necesario desarrollar aplicaciones de t–learning “inteligentes”. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 27. Introduction Aplicación educativa para TVDi: T-EDUCO El sistema permite que un tutor a distancia pueda obtener información académica y emocional de los estudiantes. USER En la aplicación se integra un método novedoso de reconocimiento de expresiones faciales. Router IDTV set-top-box · · La interacción tutor/estudiante es similar a la enseñanza tradicional: El tutor puede adaptar los contenidos de aprendizaje dependiendo del progreso académico y del estado emocional del usuario. Feedback from the user Personalized learning contents Internet BROADCASTER jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 28. T-EDUCO. Arquitectura general • ESTUDIANTE: – Accede a la aplicación broadcast de aprendizaje a través de un STB con capacidad de comunicación IP . – La aplicación controla a una cámara IP. – Los videos del estudiante se guardan para procesarlos posteriomente en un servidor de video externo y extraer el estado emocional. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 29. A t-learning tutoring tool that cares T-EDUCO. Arquitectura general • TUTOR: – Accede a la información del estudiante a través de la plataforma Moodle. – Puede ver el progreso del estudiante en el curso (nº de lecciones que ha completado, módulos y ejercicios realizados, etc.) y la información emocional capturada por medio de los videos. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 30. A method for continuous facial affect recognition T-EDUCO: Procesamiento de la información emocional • Paso 1: Las entradas de video grabadas de los estudiantes se analizan, frame a frame, por un sistema automático de reconocimiento emocional continuo. • Paso 2: La salida del sistema representa emociones en una localización específica (x;y) en el espacio emocional (espacio de Whissell). • Paso 3: Se construye un log emocional relacionando las emociones experimentadas y las tareas realizadas en el sistema. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 31. T-EDUCO: Procesamiento de la información emocional t Video stream VIDEO SERVER 2D EMOTIONAL RECOGNITION “EMOTIONAL KINEMATICS” FILTERING tk Emotional log for the tutor jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 32. A method for continuous facial affect recognition T-EDUCO: Evaluación • La aplicación se ha evaluado con usuarios reales en un estudio piloto emitido en Sevilla por la RTVA (Radio Televisión de Andalucía). • Curso de “Asistencia en el hogar” de 28 horas. • Participaron 30 estudiantes, trabajadores en el sector de la salud (que accedían desde sus hogares) y 5 tutores. • Los resultados del uso de la aplicación, y en particular, del seguimiento afectivo, fueron altamente satisfactorios. jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva
- 33. ¡Gracias por vuestra atención! Dra. Sandra Baldassarri sandra@unizar.es jAUTI 2012: I Jornadas de Aplicaciones y Usabilidad de la Televisión Digital Interactiva