Evaluación centrada en el usuario de herramientas de creación de bibliotecas digitales: Greenstone
1 recomendación1,038 vistas
Este documento presenta un modelo de evaluación centrado en el usuario para herramientas de creación de bibliotecas digitales. El modelo se aplicó a Greenstone durante 4 años con estudiantes. Los resultados mostraron debilidades en la interfaz de Greenstone que era poco intuitiva y carecía de documentación. También identificó que los usuarios tienden a usar opciones simples y un enfoque de prueba y error al crear colecciones con menos recursos dedicados con el tiempo.
Evaluación centrada en el usuario de herramientas de creación de bibliotecas digitales: Greenstone
- 1. Evaluación centrada en el usuario de herramientas de creación de bibliotecas digitales: Greenstone Jesús Tramullas*, Ana I. Sánchez-Casabón*, Piedad Garrido-Picazo** *Departamento de Ciencias de la Documentación **Departamento de Informática e Ingeniería de Sistemas Universidad de Zaragoza
- 2. 1. Bibliotecas digitales, evaluación y usuarios Producto de información digital cuya finalidad es satisfacer necesidades de los usuarios. Abundante bibliografía sobre evaluación y sobre usuarios de las mismas. Comprender las necesidades y comportamientos de los usuarios.
- 3. 2. Evaluación centrada en el usuario Métodos centrados en el usuario. Evalúan aspectos del producto final. Se centran en los procesos de recuperación y acceso. No suelen prestara tención a los procesos de diseño, creación e implementación de las colecciones.
- 4. 3. Objetivo Establecer un modelo contextual de evaluación de funcionalidades para la creación de colecciones digitales, centro en el usuario, que pueda aplicarse a las herramientas existentes para la implementación de bibliotecas digitales.
- 5. 4. Modelo Se propone un modelo centrado en las acciones del usuario. Define estructura de análisis y parámetros de valoración. Se lleva a cabo por grupos de usuarios finales.
- 6. 5. Planteamiento Selección de herramienta: Greenstone. Evaluar los procesos de creación e implementación de colecciones. Determinar la secuencia y acciones teóricas a ejecutar y valorar (experimento). Establecer las herramientas de toma de datos.
- 7. 6. Experimento Cuatro iteraciones anuales consecutivas: 2009 a 2012. Desarrollado por estudiantes de Información y Documentación con formación básica previa. Trabajo en modo proyecto en grupo. Autoevaluación general. Evaluación con grupo de enfoque.
- 8. 7. Resultados Criterios 2008 2009 2010 2011 1. Uso de documentación de referencia 3,2 3,3 3,1 2,8 2. Nivel de conocimiento de Greenstone 3,4 4,0 3,6 3,2 3. Valoración del trabajo propio 4,5 3,9 4,2 4,2 4. Valoración del soporte disponible 2,1 2,2 2,0 1,9 5. Estimación del potencial de Greenstone 4,5 4,3 3,8 3,6 6. Facilidad de uso 2,2 2,1 1,8 1,6 7. Fiabilidad 2,0 1,9 1,6 1,8 8. Horas dedicadas al proyecto 22,6 32,5 25,3 14,5
- 9. Criterios 2008 2009 2010 2011 1. Valoración de los manuales de usuario 2,0 1,4 1,2 1,0 2. Valoración del wiki de referencia 3,2 3,0 2,6 2,6 3. Valoración de la ayuda de la aplicación 1,0 1,0 1,0 1,0 4. Facilidad para crear la colección 5,0 5,0 5,0 5,0 5, Facilidad para reunir documentos 4 3,8 3,6 3,8 6. Facilidad para gestionar esquemas de metadatos 1 1,8 2,0 1,6 7. Facilidad para asignar y gestionar metadatos 4,0 4,2 4,2 4,4 8. Facilidad para configurar plugins 1,4 1,6 1,4 1,2 9. Facilidad para crear índices 3,2 3,3 3,8 3,6 10. Facilidad para crear interfaces complejos de interrogación. 1,2 1,5 1,2 1,0 11. Facilidad para crear clasificadores simples 4,0 4,2 4,0 4,0 12. Facilidad para crear clasificadores complejos 2,2 2,9 2,3 2,0 13. Facilidad para formatear salidas 2,4 2,4 2,0 2,2 14. Facilidad para formatear documentos 2,0 1,8 1,8 1,6 15. Comprensión de mensajes de error en la construcción de colecc. 1,1 1,2 1,0 1,2 16. Comprensión de los mensajes de error en la ejecución 1.0 1,0 1,2 1,0
- 10. 8. Conclusiones El modelo e instrumento ha ofrecido resultados válidos. Ha identificado debilidades en la herramienta: Interfaz poco intuitiva, confusa, problemas de usabilidad. Falta de información y documentación de referencia. Ha identificado comportamientos en los usuarios: Tendencia a usar las opciones más simples. Comportamiento de “prueba y error”, dedicación de menos recursos. Las limitaciones vienen derivadas del contexto en el cual se ha llevado a cabo, que puede introducir cierto sesgo.