Sistema de evaluacion 01

Charo Repáraz |creparaz@unav.es
La construcción de
pruebas objetivas
Carlota Pérez Sancho |cpsancho@unav.es

Introducción| La medida del rendimiento académico
Introducción
LA MEDIDA DEL RENDIMIENTO ACADÉMICO
• Medir (v. contínuas) ≠ contar (v. discontínuas)
• Distancia entre la medida y lo medido
(> cuanto más abstracto sea lo medido)
• Teoría Clásica de los Test (TCT):
X (puntuación) = V (puntuación verdadera) +e (error)
•El mismo rasgo puede dar distintas
medidas
•Contar con el error de nuestra
medida
•Prudencia, es una orientación…
En consecuencia:

Construcción del test | Paso 1: Contenidos a evaluar
Conocer bien la estructura de los contenidos (especificar
los distintos apartados del programa de la asignatura)
nos permitirá:
1. CONOCER LOS CONTENIDOS A EVALUAR
No olvidar ningún aspecto importante.
Prescindir de lo anecdótico.
Ponderar cada apartado en función de su relevancia
intrínseca y relativa. Llegar a un aprueba equilibrada y
coherente
Ofrecer puntuaciones o diagnósticos diferenciados
¿Cómo construir un buen test?: Paso 1
Estimar la duración de la prueba

2. DETERMINAR LOS OBJETIVOS
T
a
x
o
n
o
m
í
a
B
l
o
o
m
CONOCIMIENTO
Recuerdo de material aprendido
anteriormente
COMPRENSIÓN
Percepción del significado del
material
APLICACIÓN
Utilización de la información en situaciones
concretas
ANÁLISIS
Fraccionamiento del material en sus
elementos constitutivos
SÍNTESIS
Reunión de los elementos en un
todo
EVALUACIÓN
Formulación de juicios sobre el valor de una cosa
para un determinado propósito, utilizando ciertos
criterios.
La diferencia principal entre…
El método más empleado para…
Las principales características…
El mejor ejemplo del principio…
¿Cuál es el significado de la fórmula….?
¿Cuál es la teoría que esta implícita en …?
Después de analizar los datos que se
presentan….
¿Qué definición es aplicable para….?
¿Cuál es el procedimiento experimental
más adecuado para …?
¿Qué aplicación ejemplifica el principio de
la….?
En el texto presentado ¿qué parte es la
conclusión?
¿Qué elementos de la siguiente comunicación…
pueden considerarse factuales?
¿Cuál es el error lógico del siguiente argumento?
¿Qué conclusión se puede extraer de…?
¿Cuál es la hipótesis de…?
¿Qué procedimiento es el más fiable
para… ¿Cuál es el error lógico del
siguiente argumento?
Construcción del test | Paso 2: Determinar los objetivos

3. RELACIONAR
CONTENIDOS Y
OBJETIVOS
Qué objetivos deben
cubrir los distintos
contenidos y viceversa.
No serán incluidos en el
instrumento aquellos
contenidos referidos a los
objetivos para los que no
se haya marcado X.
Tabla de especificaciones
Construcción del test | Paso 3: Relacionar contenidos y objetivos

4. SELECCIONAR EL CONTENIDO DEL TEST
Imposibilidad de incluir todos los elementos
SUFICIENCI
A
REPRESENTATIVID
AD
El número de elementos debe ser al menos aquel que
permita incluir a todos los grandes bloques de
contenidos y objetivos.
Ejemplo: Si tenemos 3 grandes apartados de
contenidos y trabajamos con 5 objetivos, debería haber,
al menos, 3x5= 15 elementos.
VALIDEZ DE CONTENIDO. No todos los
objetivos ni los contenidos son igualmente
relevantes:
•Atribuir a los grandes bloques un mayor numero
de elementos (dando a todos igual valoración).
•Valorar más los elementos referidos a tales
objetivos y contenidos.
MUESTR
A
Construcción del test | Paso 4: Seleccionar el contenido del test

Pero…
¿Cuántos ítems
debe tener un
test?
Prueba diagnóstica 20-30
Prueba sumativa > 50
Cálculo: Minuto por ítem
no exceder de 90 ítems
(hora y media de duración)
Construcción del test | Paso 4: Seleccionar el contenido del test

5. REDACTAR LOS ITEMS
 RESPUESTA ÚNICA
De las siguientes afirmaciones, ¿cuáles son correctas respecto a la literatura medieval portuguesa?
I. Un poema que narre el sufrimiento de una campesina, abandonada por el hidalgo que amaba por
causa de otra mujer, es una “cantiga de amor”.
II. Un poema que narre la desdicha de un hidalgo empobrecido que ama a una dama inaccesible es una
“cantiga de amigo”.
III. “Cantiga de amor” y “cantiga de amigo” son “poesías trovadorescas”.
IV. “Cantiga de amor” y “cantiga de amigo” eran cantadas con acompañamiento musical.
A) I, II, III y IV.
B) I, II y III.
C) I, II y IV.
D) I y II.
E) III y IV.
EL USB fue creado en 1996:
a) verdadero
b) falso
 RESPUESTA
MÚLTIPLE
El conocimiento científico es:
1) Un conocimiento fruto del pensar
espontáneo
2) Una forma de conocimiento práctico
3) El único capaz de resolver nuestros
problemas
4) Un conocimiento demostrado
Máximo 5 alternativas
Construcción del test | Paso 5: Redactar los ítems | tipos de ítems

Elige la frase que presenta la forma correcta de redacción
a) Esté dicho: sólo sé que no se nada.
b) Este dicho: sólo se que no se nada.
c) Éste dicho: solo sé que no sé nada.
d) Este dicho: sólo sé que no sé nada.
e) Éste dicho: solo se que no se nada.
Anotar en los paréntesis de la columna A (países), los números de los elementos de
la columna B (capitales) que correspondan:
Columna A Columna B
( ) Japón (1) Pekín
( ) India (2) Tel Aviv
( ) China (3) Katmandú
( ) Nepal (4) Nueva Delhi
( ) Israel (5) Tokio
(6) Jerusalem

SUSTITUCIÓN
 ASOCIACIÓN,
EMPAREJAMIENTO
O
CORRESPONDENCI
A
 AFIRMACIÓN INCOMPLETA
El número de átomos de oxígeno que existen en 0,10
moles de nitrato de bario es:
a) 0,6
b) 6,0
c) 3,6 x 1022
d) 6,0 x 1022
e) 3,6 x 1023
 LAGUNA
El “gorjeo” es propio del bebe de ….
meses:
a) uno
b) dos
c) tres
d) cuatro

El gráfico siguiente muestra la duración, en días, del desarrollo embrionario del lepidóptero Ephestia
kühniella en función de la temperatura. De su examen concluimos que:
1) el desarrollo más rápido se produce cerca de los 30ºC
2) cuanto más alta es la temperatura, más rápido es el desarrollo
3) el desarrollo sigue una curva logarítmica
4) el animal sólo se encuentra en lugares tropicales
5) a temperaturas inferiores a 10ºC el huevo se muere.
 INTERPRETACIÓN
IDENTIFICACIÓN O LOCALIZACIÓN
Identifica en ésta célula el núcleo ( ), el citoplasma ( ) y la membrana ( ).
1
2
3

⇒ Cuestiones generales a tener en cuenta
⇒Ofrecer en lo que se denomina el pie del elemento toda la información
necesaria pero de forma breve y concisa.
⇒Claridad en la formulación. Vocabulario correcto.
⇒Brevedad del enunciado.
⇒Corrección gramatical, ortográfica y sintáctica de los enunciados.
⇒Redactar de forma afirmativa, evitando las dobles negaciones.
Ejemplo: La media no es una medida de variabilidad. SI-NO
⇒Todas las alternativas deben ser plausibles.
⇒Evitar situar la respuesta correcta en una posición preferente.
⇒Evitar asociaciones entre el tronco del elemento y la respuesta correcta
⇒Contar con un banco de preguntas lo suficientemente amplio para no
repetir de un curso a otro.
Construcción del test | Paso 5: Redactar los ítems | cuestiones generales

⇒ La independencia de los ítems
⇒Difícil asegurarla: cualquier palabra en un ítem puede servir de pista o ayuda para
resolver otro u otros.
⇒Procurar no incluir elementos en cadena, la forma de responder, o no, a uno de
ellos permita contestar, o no, a varios que le siguen.
⇒EJEMPLO:1. El “gorjeo” es propio del bebe de …. meses:
a) uno
b) dos
c) tres
d) cuatro
2. ¿Cuál de las siguientes afirmaciones es propia de la misma edad?
a) Sólo me despierto y lloro si tengo hambre o estoy incómodo
b) Boca abajo estoy tranquilo y me sostengo apoyado sobre las manos.
c) Si me pones un objeto en la mano seré capaz de sostenerlo y me lo llevaré a
la boca.
d) Soy capaz de sostenerme un ratito sentado pero necesito apoyarme delante
con las manos para no caerme.
Construcción del test | Paso 5: Redactar los ítems | la independencia de los ítems

6. ORDENAR LOS ITEMS
⇒ Por tipos de elementos
⇒Para presentar al principio de cada bloque instrucciones necesarias para resolverlo.
⇒Facilitar la corrección ya que cada tipo de elemento puede tener reglas específicas.
⇒ Por orden de dificultad
⇒Situar los elementos más fáciles al principio da ánimos para seguir adelante.
⇒ Lógica o cronológica
⇒Seguir el orden que la estructura de la materia exige puede facilitar las
contestaciones.
⇒ Al azar
⇒Presenta más dificultades que ventajas.
Construcción del test | Paso 6: Ordenar los ítems

7. VALORAR LOS ÍTEMS
⇒ A través de las siguientes fórmulas
⇒La tendencia natural puede ser atribuir un punto a la respuesta correcta y cero
para la incorrecta.
⇒Pero la posibilidad de respuestas correctas por azar lleva a la necesidad de valorar
los elementos de forma diferente para disuadir de contestarlos cuando se sabe que esa
contestación es puramente al azar.
Pruebas verdadero-falso
Resultado (R) =Aciertos (A) –
Errores (E)
Pruebas elección múltiple
Donde na es el numero de respuestas que se ofrecen.
1-n
E
-AR
a
=
Construcción del test | Paso 7: Valorar los ítems

8. VALORAR LA PRUEBA
⇒ Según los diferentes tipos de objetivos evaluados
⇒En ocasiones conviene que junto a la puntuación global obtengamos puntuaciones
diferenciadas al menos en dos niveles:
⇒Se trata de apreciar si hay objetivos
claramente superados y otros
deficientes, si el nivel es uniforme en
sentido positivo o negativo. 0
10
20
30
40
50
60
70
80
90
100
Conocimiento
Comprensión
Cálculo
Aplicación
Valoración
Total
Puntuación
diferenciada
⇒ Según las diversas unidades importantes de contenido
⇒Un alumno puede obtener un valor
global suficiente pero con
determinadas unidades con
puntuación elevada y otras muy bajas. 0
10
20
30
40
50
60
70
80
Concepto
estadística
Organización
datos
Medidas
individuales
Correlación
Puntuación
diferenciada
Construcción del test | Paso 8: Valorar la prueba

9. ELEGIR LA MODALIDAD DE EVALUACIÓN
⇒ Evaluación referida a la norma
⇒Comparación de la realización del alumno con la realización del grupo,
muestra o población a la que pertenece.
⇒Por ejemplo: MIR
⇒ Evaluación referida al criterio
⇒Comparación entre la realización del alumno y la realización objetiva
previamente establecida. Comparación con un criterio objetivo.
⇒Por ejemplo: TOEFL
Construcción del test | Paso 9: Elegir la modalidad de evaluación

Características de un test | Fiabilidad y validez
1. FIABILIDAD
Características de un test
⇒Mide el error (la distancia entre la medida y lo medido).
⇒A menor error, mayor fiabilidad.
⇒Indica hasta qué punto las diferencias entre puntuaciones de dos
alumnos son atribuibles a diferencias reales entre ellos o a errores de
medida del test.
⇒Ejemplo: una fiabilidad rxx= 0.85 significa que el 85% varianza
verdadera y 15% varianza error
⇒No se deben admitir tests con fiabilidad menor de 0.80
⇒CONDICIÓN NECESARIA PERO NO SUFICIENTE
2. VALIDEZ
⇒Qué medimos? ¿Medimos lo que queremos medir?
⇒Ninguna prueba es válida y fiable para todos los sujetos y ocasiones
LA MAQUINA DE CORRECCIÓN DE CIENCIAS NO CALCULA

3. ANÁLISIS DE ÍTEMS
Estima la contribución de cada ítem a la fiabilidad y validez del test
1.- Índice de dificultad / facilidad: cociente entre quienes aciertan el ítem y
quienes lo intentan.
Muy difíciles: ID<0.25 (10%)
Difíciles: ID >0.25 y <0.45 (20%)
Normales: ID >0.44 y <0.55 (40%)
Fáciles: ID >0.54 y <0.75 (20%)
Muy fáciles: ID >0.74 (10%)
2.- Índice de discriminación: indica la capacidad del ítem para distinguir entre los
sujetos de mayor conocimiento y los de menor. Cálculo: la diferencia entre el %
del grupo superior que acierta el ítem y el % del grupo inferior que también lo acierta
D> 0.39 Excelente Conservar
D entre 0.30 y 0.39 Buena Mejorar
D entre 0.20 - 0.29 Regular Revisar
D entre 0.00 - 0.20 Pobre Descartar
D< -0.01 Pésima Descartar definitivamente
IDmax= 1
Idmin= 0
Dmax= 1
Dmin= -1
Características de un test | Análisis de ítems

Características de un test | Análisis de distractores
4. ANÁLISIS DE LOS DISTRACTORES
Nos informa del nº de alumnos del grupo superior (27%) y del grupo inferior
(27%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan
y cuántos se distraen.
•¿Qué significa que un distractor sea elegido por un gran nº de alumno del
grupo superior?:?:
•ítem mal redactado o confuso
•problema generalizado de comprensión
•
¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo
inferior? (mínimo un 10%):
•disminuye la fiabilidad y la validez del test pues aumenta el acierto
por azar
•no cumple su función

Informe de resultados de los alumnos
Puntuación (29) % Rendim iento
O RDEN EXPEDIENTE NO M BRE Rendim iento sobre 10
1 27 95995
APELLIDOS , NOMBRE
13,75 47,40 4,74
2 42 96123
APELLIDOS , NOMBRE
15,75 54,30 5,43
3 21 99844 APELLIDO S,NO M BRE 10,75 37,00 3,70

Num .ITEM DISTRACTO RES Num Porcentaje
Omisiones
Num DO BLES ACIERTO S INDICE FACILIDAD INDICE DISCRIM INACIO N
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %
2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21
8 (23) 0 2 0 1 0 67,65 %
3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56
7 (6) 11 2 0 8 0 17,65 %
4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32
6 0 5 (19) 0 4 0 55,88 %
5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50
(11) 7 2 10 0 4 0 32,35 %
6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44
2 3 (9) 16 0 4 0 26,47 %
7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35
3 13 6 (5) 0 7 0 14,71 %
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %
10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03
8 (2) 7 6 0 11 0 5,88 %
Informe ordenado por número de ítem

Omisiones
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %
2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21
8 (23) 0 2 0 1 0 67,65 %
3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56
7 (6) 11 2 0 8 0 17,65 %
4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32
6 0 5 (19) 0 4 0 55,88 %
5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50
(11) 7 2 10 0 4 0 32,35 %
6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44
2 3 (9) 16 0 4 0 26,47 %
7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35
3 13 6 (5) 0 7 0 14,71 %
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %
10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03
8 (2) 7 6 0 11 0 5,88 %
Índice de dificultad / facilidad --- Índice
discriminación
muy
fácil
Regula
r
INDICE DISCRIMINACIÓN
D> 0.39 Excelente Conservar
D entre 0.30 y 0.39 Buena Mejorar
D entre 0.20 - 0.29 Regular Revisar
D entre 0.00 - 0.20 Pobre Descartar
D< -0.01 Pésima Descartar definitivamente
INDICE FACILIDAD
Muy difíciles: ID<0.25 (10%)
Difíciles: ID >0.25 y <0.45 (20%)
Normales: ID >0.44 y <0.55 (40%)
Fáciles: ID >0.54 y <0.75 (20%)
Muy fáciles: ID >0.74 (10%)
norma
l
Muy difícil
Excelente
Pobre

Omisiones
1 2 3 4 5
1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56
(8) 12 10 4 0 0 0 23,53 %
2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21
8 (23) 0 2 0 1 0 67,65 %
3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56
7 (6) 11 2 0 8 0 17,65 %
4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32
6 0 5 (19) 0 4 0 55,88 %
5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50
(11) 7 2 10 0 4 0 32,35 %
6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44
2 3 (9) 16 0 4 0 26,47 %
7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35
3 13 6 (5) 0 7 0 14,71 %
8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35
5 (6) 12 2 0 9 0 17,65 %
9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53
14 (7) 2 6 0 5 0 20,59 %
10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03
8 (2) 7 6 0 11 0 5,88 %
Análisis de los distractores
muy
fácil
¿Qué significa que un distractor sea
elegido por un gran nº de alumno
del grupo superior?
•ítem mal redactado o confuso
•problema en la enseñanza
¿Qué pasa si algún distractor no es elegido
por ningún alumno del grupo inferior?
(mínimo un 10%):
•< la fiabilidad y la validez pues > el acierto
por azar (0.25, 0.33, 0.50)
•no cumple su función

Sistema de evaluacion 01

Más contenido relacionado

Destacado (16)

Similar a Sistema de evaluacion 01 (20)

Más de Adalberto (20)

Último (20)

Sistema de evaluacion 01