03 overview of test development

Desarrollo de pruebas:
visión general y especificaciones
ID7756 Evaluación del Aprendizaje de Idiomas
Enero-Marzo 2014
Prof. Yris Casart
ycasart@usb.ve

Objetivos de la sesión
 Brindar una visión general del proceso de
desarrollo de pruebas.
 Discutir la noción de especificaciones.
 Elaborar un borrador de las especificaciones del
instrumento de evaluación del proyecto
individual.

Desarrollo de pruebas
1. Diseño • Declaración del diseño
• Estructura de la prueba
• Especificaciones de las tareas
2. Operacionalización
• Retroinformación sobre utilidad
• Puntaje de las pruebas
3. Administración
(Bachman y Palmer, 1996)

Diseño de pruebas
Determinar el
propósito de la
prueba
Decidir los
objetivos a
evaluar
Distribuir los
objetivos en
una estructura
Seleccionar
tareas que
cumplan con
las cualidades
Establecer
ponderación,
puntuación y
feedback
(Brown, 2004)

Desarrollo de la prueba
Describa los objetivos
Seleccione el tipo de tareas apropiadas
Diseñe y organice las tareas
Diseñe un sistema de puntuación
(Genesee y Upshur, 1996)

Definición
Tipos y contenido
Enfoques para su elaboración

Especificaciones de la prueba
 Pauta que guía la elaboración de las preguntas
y la construcción de la prueba.
 Documento que sirve para establecer la validez
de constructo de la prueba.
 Declaración oficial sobre lo que la prueba
evalúa y cómo lo evalúa.
(Alderson, Clapham & Wall, 1995)

Tipos de especificaciones
1. Especificaciones para los escritores:
Contiene información detallada que guiará la
escritura de la prueba.
2. Especificaciones para los validadores:
Contiene la justificación teórica del contenido
de la prueba, para establecer su validez.
3. Especificaciones para los usuarios de la
prueba: Contiene información relevante para
profesores, editoriales, etc.

Especificaciones para escritores
 Propósito de la prueba
 Tipo de aprendiz
 Número de secciones
 Situación de la lengua
meta
 Tipo de textos
 Longitud del texto
 Habilidades
 Elementos del lenguaje
 Tipo de tarea
 Número total de
preguntas
 Número de preguntas por
sección
 Formato de preguntas
 Instrucciones
 Criterios para la
corrección

Especificaciones para validadores
 Habilidades que se intentan medir.
(Definición del constructo)
 Interrelaciones entre dichas habilidades.
 Métodos de evaluación utilizados.
(¿Cómo afectan la medición de las habilidades?)
 Criterios de valoración.

Especificaciones para usuarios
Versión simplificada y pública (syllabus)
 Características
 Utilidad y limitaciones
 Descripción de la población
 Modelos de preguntas y de pruebas
 Instrucciones completas
 Ejemplos de respuestas y su puntuación según
criterios de corrección
 Cómo prepararse

Especificaciones del profesor
Esquema simple, práctico e informal de la prueba
que indique:
 Temas, objetivos y destrezas a evaluar.
 Formato de preguntas y respuestas.
 Número de secciones y de preguntas por
sección.
 Tiempo asignado para cada parte.
 Ponderación y criterios de corrección.
(Brown, 2000)

Factores a considerar
Objetivos a
evaluar Importancia
Especificaciones
(peso asignado a
cada objetivo)
Tipos de tarea
realizadas en el
aula
Asuntos
prácticos
Tipo de
washback
(Brown, 2000)

Enfoque para el diseño de pruebas
de Lenguas con Fines Específicos
Identificar a los
interesados
Reunirlos para
discutir la situación
Formar grupos
pequeños
Cada grupo elabora
un borrador de las
especificaciones
Intercambian
especificaciones
Cada grupo escribe
ítems o tareas
usando
especificaciones
Todos evalúan
efectividad de
especificaciones y
ajustes necesarios
Repiten el proceso
Resultado:
especificaciones
útiles
(Douglas, 2000)

Ventajas de este enfoque
1) El diseño de pruebas se realiza mejor en
grupos.
2) Se necesita una amplia gama de experticia en
el desarrollo de pruebas de LFE.
3) La elaboración de las especificaciones es un
proceso iterativo
4) Las especificaciones evolucionan y cambian
en la medida que se incorpora más
información, experiencia y experticia.
(Douglas, 2000)

Resumen
“…the production of the test specifications
document is an indispensable part of the test
development process. It not only helps the test
development team to focus on important
considerations in test development, but also the
process of producing the document requires the
developers to be very precise about why they are
producing the test and what is it they wish to
measure. The finished document will serve as a …

Resumen
…guide for the construction of the test: it provides
item writers with parameters for the production of
items and tasks, and it provides scorers and raters
with guidelines for their work. The specifications
document is also a source of information for test
users on the objective of the test and the
limitations on what it measures and interpretations
of test performance that may appropriately be
made.” (Douglas, 2000)

Borrador de las especificaciones
 Propósito de la prueba
 Tipo de aprendiz
 Número de secciones
 Situación de la lengua
meta
 Tipo de textos
 Longitud del texto
 Habilidades
 Elementos del lenguaje
 Tipo de tarea
 Número total de
preguntas
 Número de preguntas por
sección
 Formato de preguntas
 Instrucciones
 Criterios para la
corrección

Referencias
Alderson, J. C., Clapham, C. & Wall, D. (1995). Language
Test Construction and Evaluation. Cambridge, U.K.:
Cambridge University Press.
Bachman, L. & Palmer, A. (1996). Language Testing in
Practice: Designing and Developing Useful Language
Tests. Oxford, UK: Oxford University Press.
Douglas, D. (2000). Assessing Languages for Specific
Purposes. Cambridge, U.K.: Cambridge University
Press.
Genesee, F. & Upshur, J. (1996). Classroom-Based
Evaluations in Second Language Education. Cambridge,
U.K.: Cambridge University Press.

03 overview of test development

Más contenido relacionado

Destacado (6)

Similar a 03 overview of test development (20)

Más de Y Casart (7)

Último (20)

03 overview of test development