Instrumentos para medir la satisfacción y aprendizaje con iniciativas de alfabetización informativa

Dr. Juan D. Machin Mastromatteo
Facultad de Filosofía y Letras
Universidad Autónoma de Chihuahua
Instrumentos
paramedirlasatisfacciónyaprendizaje
coniniciativasdealfabetizacióninformativa
IV Foro Virtual DGBSDI-UNAM:
La alfabetización informativa: estrategias e innovación
en bibliotecas para una nueva ciudadanía global.
1 de septiembre de 2020

No estamos limitados a un espacio… y si lo estábamos,
la pandemia nos ha llevado a innovar.

Somos expertos en
responder preguntas y
somos conocedores de
nuestras colecciones
(¿y las de los demás?).

Somos enlaces a recursos y servicios
(ecosistemas tecnológicos, de información y publicación).

Actividad 1.
¿Cuáles palabras asocias con
l@s ALFINer@s?
Una palabra por casilla, puedes
escribir hasta 5 palabras.
Resultados en la siguiente diapositiva

Instrumentos para medir la satisfacción y aprendizaje con iniciativas de alfabetización informativa

¿Qué buscamos con
ALFIN?
▪ Promover la lectura.
▪ Incrementar el uso de recursos informativos.
▪ Fomentar el pensamiento crítico.
▪ Contribuir en actividades académicas y de
investigación.
▪ Desarrollar usuarios independientes.

El trabajo de
ALFIN va más allá
▪ Trabajo colaborativo.
▪ Alianzas con otros actores para fortalecer
la iniciativa y posicionar la biblioteca.
▪ Integrar ALFIN a otros servicios y procesos
bibliotecarios.
▪ Implementar estrategias de comunicación
(redes, boletines, audiovisual).
▪ Evaluar e investigar ALFIN.

Los procesos detrás de ALFIN
▪ Planeación, piloteo, implementación y evaluación.
▪ Aseguran que ALFIN:
✓Sea útil para todos los tipos de usuarios.
✓Mejore otros procesos (ej.: colecciones, formar personal).
✓Cumplir sus objetivos (mejora de la comunidad, desarrollo
de usuarios independientes).
✓Se incorpore a la organización.

Actividad 2.
¿Qué deseamos mejorar
en nuestras actividades
de ALFIN?
Una palabra por casilla,
puedes escribir hasta 5
palabras.
Resultados en la
siguiente diapositiva

Planeación de ALFIN
▪ Escribir documento fundacional para el programa ALFIN
(ejes de acción, definición de actividades, fundamentación).
▪ Justificación: buen inicio (definir actores y beneficios).
▪ Determinar necesidades (usuarios-institución-comunidad).
▪ Responder: qué, quién, para quién, cómo, para qué,
cuándo, de qué maneras y con cuáles recursos.
▪ Un FODA es muy útil.

Planeación de ALFIN
▪ Instrumentos de apoyo: estudios de usuarios,
estadísticas de uso, preguntas frecuentes,
entrevistas con actores.
▪ Entrevistar permite:
✓ Determinar necesidades.
✓ Implicar actores como aliados.
▪ Analizar documentos institucionales permite
enmarcar la iniciativa de ALFIN e ‘infiltrarla’.
▪ Posicionar la biblioteca a través de ALFIN.

¿Cómo enseñar ALFIN?
▪ Sesiones individuales, cursos de varios módulos, días de inducción.
▪ Incorporar en el currículum.
▪ El tiempo y capacidad de recursos lo determinarán.
▪ Demostraciones, prácticas, cursos, materiales audiovisuales en línea.
▪ Conectar capacitación con necesidades de información de los usuarios.
▪ Adquirir herramientas, metodologías y estrategias educativas.

Desarrollo de ALFIN en la biblioteca (propuesta en cuatro ejes)
▪ Apoyo informativo para el desarrollo de cursos, programas académicos, talleres y cursos en línea.
▪ Intervenir en el desarrollo de colecciones (física y digital) y en la evaluación de ofertas.
▪ Desarrollo de productos promocionales y estrategia comunicacional para redes sociales.
Apoyo curricular y al aprendizaje.
▪ Desarrollo de tutoriales sobre uso de recursos de información.
▪ Desarrollo de talleres y otras actividades de capacitación.
Desarrollo de Competencias Informativas y Digitales.
▪ Referencia digital, provisión documental, diseminación selectiva de la información.
▪ Revisión y asesoría a proyectos de investigación y publicación científica (acompañamiento a la investigación).
Soporte a la investigación y comunicación científica.
▪ Registro de estadísticas de servicios y recursos. Desarrollo de nuevos indicadores. Uso de pruebas estandarizadas.
▪ Capacitación profesional del personal. Formalización de manuales de procedimientos.
▪ Apoyo en acreditaciones y en el registro, análisis y potenciamiento de indicadores institucionales.
Evaluación y comunicación de resultados.

¿Por qué evaluar?
▪ Determinar que la iniciativa funciona y cumple sus propósitos.
▪ Queremos que los usuarios aprendan, estén satisfechos y se
vuelvan independientes.
▪ Reunir datos y evidencias del trabajo para propósitos
institucionales, acreditaciones, investigación y mejora.
▪ Desarrollar indicadores institucionales.
▪ Distinguir entre percepción de habilidad y habilidad objetiva.

Mitos
▪ El usuario: “me van a hacer el trabajo”.
▪ La institución tiene todos los recursos de
información del mundo a su alcance.
▪ Pueden usarse las claves y recursos de otras
instituciones.
▪ No hay retorno de la inversión con los
servicios y recursos de información.

Retos
▪ Conocer los tipos de necesidades y registrarlas sistemáticamente, ofrecer capacitación y servicios acordes.
▪ Ofrecer capacitación en distintos espacios, medios, formatos y niveles de dificultad.
▪ Brindar el mismo apoyo al mismo usuario, sin tratar que sea independiente.
▪ Tener presencia en todos los espacios donde estén nuestros usuarios.
▪ Desarrollar contenidos propios para capacitación y promoción.
▪ Extender el uso de los vocabularios correctos.
▪ Manuales de estilo: “la historia sin fin”.

Para evaluar,
necesitamos
instrumentos.

Instrumentos de evaluación: Encuestas y cuestionarios
Tipo ¿Qué mide? Aplicación
Cuestionario o encuesta aplicada antes de iniciar el taller (diagnóstico/pre-test). Cuantitativo / Cualitativo Aprendizaje y satisfacción. Individual
Cuestionario o encuesta de seguimiento después de terminar el taller (post-test). Cuantitativo / Cualitativo Aprendizaje y satisfacción. Individual
Cuestionario o encuesta única después de terminar el taller. Cuantitativo / Cualitativo
Aprendizaje y satisfacción. Es menos
cansado para el usuario completar un
único instrumento. Si es el caso, elegir
este instrumento.
Individual

Ejemplo instrumento 1: Cuestionario pre-test
Instrumento 1: Cuestionario diagnóstico previo al taller
Medida de
aprendizaje
1. ¿Cómo sueles… (hacer, buscar, investigar, citar, etc.)?
Pregunta abierta. Utilizar un verbo relacionado con la habilidad o actividad principal con la que se relaciona el contenido del taller.
2. ¿Qué usos piensas que puedas darle a… (APA, Nombre base de datos…)?
Pregunta abierta. Utilizar el nombre del recurso, servicio o aplicación informática de la que trata el contenido del taller.
Medida de
satisfacción
3. ¿Has utilizado… (APA, Nombre base de datos…)?
Respuesta binaria (Sí/No). Utilizar el nombre del recurso, servicio o aplicación informática de la que trata el contenido del taller.
4. ¿Cuál ha sido tu experiencia con… (APA, Nombre base de datos…)?
Pregunta abierta, está condicionada a recibir un sí como respuesta a la anterior. Utilizar el nombre del recurso, servicio o aplicación
informática de la que trata el contenido del taller.

Ejemplo instrumento 2: Cuestionario post-test
Instrumento 2: Cuestionario de seguimiento, posterior al taller
Medida de aprendizaje
1. ¿Qué has aprendido en este taller?
Pregunta abierta.
2. ¿Qué usos piensas que puedes darle a este aprendizaje?
Pregunta abierta.
Medida de satisfacción
3. Por favor califica del 1 al 5 los siguientes aspectos del taller, siendo 1 deficiente y 5 excelente
Pregunta cerrada, escala de tipo Likert del 1 al 5 de las siguientes variables:
Recursos y equipos utilizados; Contenidos; Componente práctico o ejercicios; Estrategias de aprendizaje; Desempeño
del facilitador; Su originalidad; Su utilidad para tus labores
Indicación para adaptar a los talleres: eliminar o agregar variables, según convenga por las características de cada taller.
4. Señala al menos un aspecto positivo y uno negativo del taller
Pregunta abierta.
5. ¿Este taller cumplió tus expectativas? Indica por qué o por qué no
Pregunta abierta.

El dilema de las preguntas abiertas
▪ Las respuestas de los participantes pueden no ser exhaustivas.
▪ Sus respuestas serán determinadas por lo que les fue más
memorable y lo que desean comentar.
▪ Depende de su disposición de escribir respuestas.
▪ A menudo no obtendremos respuestas significativas.
▪ Toman más tiempo en responderse y analizarse.

Instrumentos de evaluación: Evidencias o portafolios
Evidencias de aprendizaje / portafolios de los estudiantes. Métodos mixtos
Aprendizaje, habilidades, resultados, comprensión. Son productos que
permiten identificar el aprendizaje de los participantes y puede consistir en
ensayos, presentaciones, capturas de pantallas, video o audio. Es más difícil
recolectar datos de ellos, pero puede valer la pena.
Individual

Instrumentos de evaluación cualitativos
Entrevistas Cualitativo
Aprendizaje y satisfacción de los estudiantes. Las entrevistas también permiten recolectar datos sobre el desarrollo
y mejora de habilidades, así como sentimientos, opiniones y percepciones. Iniciamos con un guion de preguntas,
sobre el cual podemos hacer preguntas adicionales.
Individual
Grupos focales Cualitativo
Aprendizaje, satisfacción, nivel de mejora, sentimientos, opiniones y percepciones. Pueden combinarse con una
encuesta, cuestionario o actividad. Podrían dar mejores resultados si los participantes van conociendo más sobre
ALFIN y las intenciones de la iniciativa.
Grupal

Ejemplo instrumento 3: Entrevista
Instrumento 3: Entrevistas con estudiantes/profesores
Miden
aprendizaje y
satisfacción
1. ¿De qué maneras le ha apoyado la iniciativa ALFIN a sus actividades (enseñanza, aprendizaje, investigación o actividad que apoye biblioteca)?
2. ¿Cuáles cambios ha notado en la biblioteca (servicios, plataformas, cursos, materiales promocionales)?
3. ¿Cuáles cambios ha notado en sus estudiantes (rendimiento académico/proyectos/tareas)?
4. ¿Cómo considera que las iniciativas de ALFIN están apoyando las actividades de la institución?
5. ¿Dónde considera que debemos incrementar esfuerzos? ¿Cuáles acciones o estrategias desearía que realizara la biblioteca?

Instrumentos de evaluación: Grabaciones
Grabar la pantalla de la computadora/reacciones
del usuario durante las sesiones de ALFIN.
Métodos mixtos
Aprendizaje, procedimiento para resolver un problema, errores comunes del
usuario, concentración, interés en la actividad, seguimiento de instrucciones. Su
empleo debe realizarse con el consentimiento de los participantes y autoridades,
además de seguir directrices éticas. Su análisis consume mucho tiempo, pero
puede generarse un protocolo de observación que lo facilite.
Individual

Instrumentos de evaluación: Pruebas estandarizadas
Pruebas
estandarizadas
Cuantitativo
Aprendizaje, nivel de competencia y procedimiento para resolver un problema. Hay pocas pruebas
estandarizadas, pero son un excelente complemento para los otros instrumentos. Algunos vendedores
ofrecen reportes comparativos de resultados entre instituciones/países. Pudiera aplicarse en dos
momentos: antes de iniciar la iniciativa ALFIN y al menos un año después (ejemplo: estudio de cohorte).
Individual

Instrumentos de evaluación: Rúbricas
Rúbricas Cuantitativo
Aprendizaje, resolución de problemas, seguimiento de instrucciones y aplicación de conocimiento.
Instrumento objetivo aplicado sobre el trabajo de los estudiantes. Debe incluir la provisión de directrices de lo
que se espera de ellos, enseñar a cumplir sus requisitos y la rúbrica mide qué tan bien manejaron los
requisitos relevantes. Reto: puede no ser posible evaluar por qué no pudieron cumplir con algunos de los
objetivos, si no planeamos preguntarles acerca de esto. Las rúbricas y pruebas estandarizadas cubren las
debilidades de otros instrumentos subjetivos; por ejemplo, la limitación de preguntarles a los estudiantes
sobre sus habilidades y recibir respuestas sobre lo que ellos consideran que son sus habilidades.
Individual

Experiencia ALFIN como profesor
Programa del curso y conceptos.
Gestor de referencias.
Manual de publicaciones de APA.
Índices.
Bases de datos comerciales y de acceso abierto.
Redacción y publicación científica.

Ejemplo instrumento 4: Cuestionario único al final (como profesor)
Instrumento 4. Único cuestionario después del curso
Medida de
aprendizaje
¿Cómo describirías tu conocimiento previo del contenido visto en clase? ¿Cuál consideras que era menos familiar para ti?
¿Todavía tienes dificultades con los contenidos? ¿Con cuáles? ¿Cuáles son las dificultades?
Menciona dos o tres cosas que hayas aprendido en las sesiones de ALFIN.
Medida de
satisfacción
Califica los siguientes contenidos vistos en clase, dependiendo de su utilidad para tu trabajo y estudios (ejemplo tesis).
¿En cuáles contenidos nos deberíamos enfocar más y por qué?
¿Cuáles aspectos de las sesiones de ALFIN consideras que pudieran mejorarse?
Según tus experiencias, ¿qué tan importante consideras ALFIN para la formación de nuevos investigadores?

Ejemplo instrumento 5: Rúbrica (como profesor)
Instrumento 5. Rúbrica para evaluar un texto científico (ejemplo: avances de artículo o tesis).
Mide aprendizaje,
solución de
problemas y
aplicación de
aprendizajes
Aspectos formales: el trabajo se divide en secciones temáticas; alterna entre citas de las fuentes y las contribuciones del autor, evitando
centrarse en una única fuente a lo largo de secciones extensas; las oraciones y párrafos son de extensión apropiada y la sintaxis empleada
facilita la lectura; las abreviaturas y signos de puntuación se utilizan apropiadamente; no hay títulos consecutivos; cada sección incluye al
menos un párrafo; no hay errores ortográficos o de gramática.
Aspectos de contenido: se declara explícitamente el planteamiento del problema; especifica el vacío de conocimiento sobre el cual se trabaja y
cómo procedió el trabajo; incluye la justificación y declara la utilidad del trabajo para los distintos actores; hay coherencia a lo largo del
contenido; asume una postura crítica que se fundamenta en las fuentes y datos disponibles; la redacción es clara y directa.
Uso de fuentes de información: el trabajo es original (se usará software antiplagio); el trabajo utiliza el Manual de publicaciones de APA,
especialmente en cuanto a citas y referencias; utiliza una variedad de fuentes (una buena proporción de publicaciones internacionales, la
mayoría debe ser arbitrada, más de la mitad proviene de fuentes indizadas [Scopus y/o WoS] y más de la mitad deben ser en inglés y ser
recientes [entre los últimos cinco y diez años]).
Describe brevemente la utilidad del contenido de ALFIN para desarrollar tu trabajo, cómo las habilidades y conocimientos adquiridos
contribuyeron a tu tesis y cómo pueden apoyar tus actividades futuras; menciona cualquier reto que aún tengas con los elementos evaluados
(esto ultimo facilita un espacio para que los estudiantes provean sus razones por las cuales no pudieron cumplir con los requisitos, aunque no
es usual en una rúbrica incluir tales preguntas abiertas, se puede hacer para obtener estos datos, ejemplo: entender cuáles dificultades están
teniendo los estudiantes y por qué, para que hagamos algo al respecto).

Actividad 3.
¿Qué instrumento usarías?
Puedes votar por dos.
Resultados en la siguiente
diapositiva
¡Cuéntame el por qué de
tu elección en el chat!

Resultados
obtenidos con estos
instrumentos.

Resultados
obtenidos
(profesores, cuestionario
pre-test, biblioteca ALFIN)
▪ 53% usa la Web para recuperar información académica.
▪ 44% ha usado alguna vez las bases de datos suscritas.
▪ 10% usa consistentemente las bases de datos.
▪ 9% no puede encontrar lo que buscan en las bases de datos.
▪ 9% usa libros impresos.
▪ 8% usa Google Académico.
▪ 6% considera que las bases de datos son difíciles de usar.
▪ 2% usa el catálogo de biblioteca y gestores de referencias.
▪ Sus proyectos: mejorar redacción, uso e integración de fuentes
adecuadas, estilo de citación.

Resultados
obtenidos
(profesores, cuestionario
post-test, biblioteca ALFIN)
▪ 40% dijo que fue su primer curso de biblioteca.
▪ 26% dijo que fue mejor que cursos anteriores, 17% similar, 17% peor.
▪ Áreas de mejora:
✓ Más práctica, trabajo colaborativo, lecturas y sesiones de asesoría.
✓ Revisar horarios.
✓ Dividir los grupos de acuerdo a sus habilidades (TIC, principalmente).
✓ Resaltar más la utilidad de las herramientas.
▪ Las herramientas permiten mejorar sus prácticas docentes (26%) y
hacer investigación (17%).

Resultados obtenidos
(profesores, entrevistas, biblioteca ALFIN)
▪ Recibieron apoyo en búsquedas y bibliografía.
▪ Entienden más sobre sistemas de información digitales.
▪ Actualizados en adquisiciones y disponibilidad gracias a la promoción.
▪ Biblioteca mejoró su posicionamiento en la academia.
▪ Los cursos de ALFIN mejoraron.
▪ Sus estudiantes mejoraron en cuanto al uso y citado de fuentes y les
hicieron menos preguntas sobre dónde y cómo buscar información.
▪ Manifestaron su deseo de incrementar la colaboración
academia/biblioteca.
▪ Reconocen que ‘heredan’ sus prácticas informativas a sus estudiantes.

Resultados
obtenidos
(estudiantes, cuestionario
pre-test, biblioteca ALFIN)
▪ 69% ha usado alguna vez las bases de datos suscritas.
▪ 63% usa exclusivamente la Web para recuperar información académica.
▪ 57% no sabe utilizar el Manual de publicaciones de APA.
▪ 39% sabe que hay información confiable en las bases de datos.
▪ 17% usa consistentemente las bases de datos.
▪ 15% considera que la navegación en las bases de datos es complicada.
▪ 13% no encuentra lo que necesita en las bases de datos.
▪ 12% usa libros impresos.
▪ 1% usa el catálogo de biblioteca.

Resultados
obtenidos
(estudiantes, cuestionario
post-test, biblioteca ALFIN)
▪ 75% aprendió sobre redacción.
▪ 50% reconoció que las bases de datos y APA permiten mejorar su
rendimiento académico.
▪ 39% mejoró sus búsquedas en las bases de datos suscritas.
▪ 24% aprendió a usar el APA correctamente.
▪ 23% pudo recuperar y descargar documentos útiles.
▪ 14% creó cuentas personales en las bases de datos.
▪ Desean más prácticas en las sesiones.

Resultados como profesor (cuestionario único)
▪ La utilidad percibida de los temas puede depender de qué tanto identifiquen su necesidad de
saber más sobre el tema a lo largo de sus estudios.
▪ Si los profesores resaltan la importancia de los temas, incrementará el interés de los estudiantes.
▪ Por ejemplo, si no se enfrentan a la necesidad de publicar, no verán la importancia de saber más
sobre redacción de artículos y revistas científicas.
▪ Pocos estudiantes tienen buen nivel en los temas.
▪ Los grandes pendientes: búsqueda, citado, redacción y familiaridad con los recursos por área.

▪ Cuando los estudiantes tienen la
expectativa de publicar, crece su
interés en estos temas.
▪ Al avanzar en tesis, reconocen la
necesidad de mejorar el uso de APA
y Word y la búsqueda para
recuperar mejores fuentes.
▪ Interés en fuentes de acceso
abierto, quizás por retos de oferta
en recursos comerciales.

Actividad 4.
En una palabra, ¿cómo
mejorarías tus actividades
de ALFIN?
Una palabra por casilla,
puedes escribir hasta 5
palabras.
Resultados en la siguiente
diapositiva

Retos
Evitar dar mucha
información y
demostración.
Necesitamos decir
mucho en sesiones
cortas y/o únicas.
Conocer temas
educativos: diseño
curricular, planeación,
estrategias.
Los bibliotecarios
somos buenos
autodidactas.
Cuanto más numeroso
el grupo, mayor el
reto.
Tecnología educativa
dinamiza y permite
aprendizaje
significativo.
Es clave disfrutar
enseñar a los demás.
Algunos no
compartirán el
optimismo hacia ALFIN
o su utilidad.
El tiempo dedicado a
ALFIN es poco.
Ayuda en redacción,
edición, citado,
búsqueda y gestión de
la información.
Puede ser necesario
dividir los grupos por
sus habilidades.

Oportunidades
Ver la academia como
socios educativos.
ALFIN potencia nuestro
alcance, no todos
visitan la biblioteca.
ALFIN promueve y
reinventa la biblioteca,
nos ‘infiltra’ en la
institución.
Enmarcar ALFIN en la
metodología de
investigación acción.
Incluir experiencias y
observaciones de los
bibliotecarios en el
análisis de resultados.
Basar la iniciativa de
ALFIN en la visión,
valores y modelo
educativo de la
institución.
Posicionar la biblioteca
en la institución como
eje dinámico.
Apoyar otros servicios y
procesos bibliotecarios.

¡Gracias!
¡Escribe tus preguntas en el chat!
¿Cuáles lecciones te llevas del taller?
Juan D. Machin-Mastromatteo, PhD
#Juantífico
Sígueme en
@judamasmas | facebook.com/machinmastromatteo
es.slideshare.net/judamasmas | youtube.com/juantífico
instagram.com/juantifico | judamasmas.com
Apóyame en patreon.com/juantifico

Instrumentos para medir la satisfacción y aprendizaje con iniciativas de alfabetización informativa

Más contenido relacionado

La actualidad más candente (17)

Similar a Instrumentos para medir la satisfacción y aprendizaje con iniciativas de alfabetización informativa (20)

Más de Juan D. Machin-Mastromatteo #Juantífico (20)

Último (20)

Instrumentos para medir la satisfacción y aprendizaje con iniciativas de alfabetización informativa