Evaluacion - Mario Posso
- 1. LA CONFIABILIDAD DE LAS EVALUACIONES INTERNACIONALES. MÁS ALLÁ DE PISA Mario Posso Rojas marposroj@hotmail.commarposroj@hotmail.com
- 2. EN QUE CONSISTE LA EVALUACIÓN EDUCACIONAL. NECESIDADES Y RETOS
- 4. ¿POR QUÉ Y QUÉ EVALUAMOS? Más allá de la Mente-Cerebro
- 6. MEDICIONMEDICION EDUCATIVAEDUCATIVA Se puede medir las facultades mentales y predecir Comportamientos INDIRECTA:INDIRECTA: C.I, R.E o A o M Medir:Medir: Asignar Numerales a objetos o eventos de acuerdo a reglas - Indicadores: Prom, Capac. - Escalas: N, O, R, I - Validez - Confiabilidad Hacia un instrumento invariable y confiable
- 7. Pruebas Orales Escritas Elaborar Respuestas Elegir Respuestas Ensayo Libre Ensayo Guiado Respuesta breve Directa Incompleta Alternativa simple Alternativa triple Alternativa múltiple Directa Combinada Apareamiento Estructuración autónoma Estructuración cerrada Discusión o Debate Tomar Decisión
- 8. LALA ARTIFICIALIDADARTIFICIALIDAD DE LADE LA EDUCACIÓNEDUCACIÓN Modelo de HumanidadModelo de Humanidad
- 9. LA ARTIFICIALIDAD DE LALA ARTIFICIALIDAD DE LA EDUCACIÓNEDUCACIÓN Modelo de HumanidadModelo de Humanidad ¿Qué característica debería o tiene?¿Qué característica debería o tiene? ¿Cuál es el elemento de la mente que es¿Cuál es el elemento de la mente que es constante en todos los lugares y tiempos?constante en todos los lugares y tiempos? - Inteligencia (única, dicotómica o múltiple).- Inteligencia (única, dicotómica o múltiple). - Conocimiento (común o científico)- Conocimiento (común o científico) -- CapacidadesCapacidades -- CompetenciasCompetencias - Aprendizaje y Memoria- Aprendizaje y Memoria - etc.- etc. Indicador de Benjamin Bloom
- 10. SECUENCIA DE LOS APRENDIZAJES CONCEPTUALES TEORÍASPRINCIPIOSCONCEPTOS HECHOS Y DATOS HECHOS Y CONCEPTOS COMO CONTENIDOS DEL APRENDIZAJE Aprendizaje de: HECHOS CONCEPTOS Consiste en: Copia literal Relación con conocimientos anteriores Se alcanza por: Repetición (aprendizaje memorístico) Comprensión (aprendizaje significativo) Se adquiere: De una vez Gradualmente Se olvida: Rápidamente sin repaso Más lenta y gradualmente EVALUACION DEL APRENDIZAJE
- 11. LA ESTADÍSTICA DE LA VALIDEZ Confiabilidad Vs Indicadores Nacionales Rho = 1 – 6*EDRRho = 1 – 6*EDR Aplicar el mismo instrumento 2 veces a un mismo grupo. Comparar mediante rho. Dificultad: Cambio conductual Denota estabilidad y Constancia de los puntos Variación no significativa TABLA DE EBELTABLA DE EBEL MÉTODO DE PRUEBAMÉTODO DE PRUEBA REITERADAREITERADA )1( *6 1 2 2 − −= ∑ NN R D rho PSICO- METRIA
- 12. PRUEBAS CONFIABLESPRUEBAS CONFIABLES Debe serDebe ser >> 0,600,60 − − = ∑ 2 2 1 1 t i s s k k r m m t r r r + = 1 2 º1 MÉTODO PORMÉTODO POR BIPARTICIÓNBIPARTICIÓN 1º Varianzas similar 2º Diferente Varianza KR20KR20 COEFICIENTES DECOEFICIENTES DE CONFIABILIDADCONFIABILIDAD Kuder – RichardsonKuder – Richardson Alpha de CrobachAlpha de Crobach KR21KR21 ( ) − − = 2 s* m-km 1* 1 kk k r2 2 1 s pqs k k r − − = SPSSSPSS >> 0,800,80 + −= 2 2 2 2 1 12º2 ts ss r GuttmanGuttman
- 13. INDICADORESINDICADORES OPERATIVIZACIÓNOPERATIVIZACIÓN DE LA EVALUACIÓNDE LA EVALUACIÓN CAPACIDAD GENERAL Capacidad específica Capacidad específica Capacidad específica Capacidad específica REACTIVOS Grandes propósitos Procesos que involucra la capacidad Evidencia observable del aprendizaje Tareas que se ejecuta para evidenciar el aprendizajeMED – DCN, 2007, 2009 APRENDIZAJES FUNDAMENTALE S COMPETENCIA/
- 14. Matriz de ConsistenciaMatriz de Consistencia Contenidos Capacidades RM RV Mat C.Na Huma Legua Total Identifica 44 44 44 44 44 44 24 Compara 33 33 33 44 33 44 20 Argumenta 33 44 33 44 44 44 22 Aplica 55 55 55 44 33 33 25 Analiza 33 44 33 33 55 55 23 Sintetiza 33 55 33 55 55 33 24 Juzga 22 22 22 22 22 22 12 Nº de ítems 23 27 23 26 26 25 150 Elaborado por: Tiempo de Prueba: 3 horasmarposroj@hotmail.commarposroj@hotmail.com
- 15. EJEMPLO EN SECUNDARIAEJEMPLO EN SECUNDARIA I) La relación correcta entre capacidad, pregunta y respuesta es: 1) Identificar – El ángulo de inclinación axial de la tierra es a) 2º b) 23,4º c) 24º d) 97,9º e) N.A 2) Análisis – El número de ángulo de inclinación axial varia por a) La forma de traslación de una estrella b) La Traslación de ese planeta c) La Forma de que ese planeta se formo d) N.A e) T.A 3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es: a) Estrella Roja b) Estrella azul c) Enana blanca d) Pulsar e) Quasar 4) Síntesis – Lo que causa que el Sol es se convierta en rojo es: a) Los años de la estrella b) La cantidad de Helio c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones 5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene: a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5 IDENTIFICAR
- 16. ANÁLISIS DE ÍTEMSANÁLISIS DE ÍTEMS Grado de Eficiencia De los ítems I.DI.D == NcNc NtNt * Intervalos:* Intervalos: 0,000,00 –– 0,50 Muy Fácil0,50 Muy Fácil 0,510,51 –– 0,60 Fácil0,60 Fácil 0,610,61 –– 0,700,70 ModeradoModerado 0,710,71 –– 0,80 Difícil0,80 Difícil 0,810,81 –– 100 Muy difícil100 Muy difícil GRADO DEGRADO DE DIFICULTADDIFICULTAD INDICE DEINDICE DE DISCRIMINACIÓNDISCRIMINACIÓN I.DsI.Ds == AA –– BB NN DEBE SERDEBE SER >> 0,250,25 Relación entre ID y IDsRelación entre ID y IDs Las ID > de 0,8Las ID > de 0,8 Carece de IDsCarece de IDs marposroj@hotmail.commarposroj@hotmail.com
- 17. EJEMPLOS DE APLICACIÓNEJEMPLOS DE APLICACIÓN Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL Alberto 1 1 1 0 1 0 1 1 0 0 4 2 6 Betty 0 1 1 1 1 1 0 0 1 0 3 3 6 Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7 Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9 Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5 Federico 1 1 0 1 0 0 1 0 0 0 2 2 4 Grover 0 0 0 0 0 0 1 0 1 1 2 1 3 Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10 Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5 Juana 1 1 1 1 1 0 1 0 1 0 5 2 7 Media u Varianza s = 0,76 Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5 ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía BIPARTICION BIPARTICION
- 18. KURDER – RICHARDSON (KR21)KURDER – RICHARDSON (KR21) Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTAL Alberto 1 1 1 0 1 0 1 1 0 0 6 Betty 0 1 1 1 1 1 0 0 1 0 6 Carmen 1 0 1 0 1 1 1 1 0 1 7 Dionisio 1 1 1 1 1 0 1 1 1 1 9 Estelita 1 1 1 0 0 0 0 1 1 0 5 Federico 1 1 0 1 0 0 1 0 0 0 4 Grover 0 0 0 0 0 0 1 0 1 1 3 Hurtado 1 1 1 1 1 1 1 1 1 1 10 Isabel 0 1 0 1 0 1 1 0 1 0 5 Juana 1 1 1 1 1 0 1 0 1 0 7 Suma 7 8 7 6 6 4 8 5 7 4 62 p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62 q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6 p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16 Prom: 06,2 Var: 4,62 = 0,59 KR20KR20 = 0,54
- 19. ALFA CRONBACHALFA CRONBACH Alumnos 1 2 3 4 5 6 Total Alberto 3 3 2 0 2 2 12 Bartola 2 0 0 0 1 1 4 Cristian 5 2 1 1 3 2 14 Dayana 4 1 2 1 4 0 12 Elmer 1 2 1 0 1 1 6 Federico 3 3 2 0 4 2 14 Desviación 1,29 1,06 0,74 0,47 1,25 0,74 Varianza 1,66 1,12 0,55 0,22 1,56 0,55 S2 = 15,21 Σ = 5,66 Calificaci ón no dicotómic a = 0,75 marposroj@hotmail.commarposroj@hotmail.com
- 20. PRUEBAS CONFIABLESPRUEBAS CONFIABLES EDUMÉ- TRICA q p s Xp r t bisp *. − = Orientado para Clasificar, en Categorías Los Logros de Aprendizaje. En forma estable. CATEGORÍAS DE APRENDIZAJE PUNTUACIÓN DE CORTE ( ) ( ) −+ −+ − − = ∑ 22 22 2 2 *1 1 Mit Mit t i a LXs LXs s s k k r Cronbach - Livingston
- 21. EJEMPLOS DEEJEMPLOS DE APLICACIÓNAPLICACIÓN r (Pearson) = 0,70 Pi = 70 y PE = 42 Cov (X, Y) = 0,70*21,03*23,36 = 343,88 77,627 52,443 =cr = 0,71
- 22. VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS Validez del Contenido para la Elaboración de Reactivos de Evaluación Universidad: X Prueba : General Área o Asig TODASTODAS Temas: RM y V, Mt, CN, Hum y LRM y V, Mt, CN, Hum y L Objetivo MEDIR CONOCMEDIR CONOC Hipótesis (Ho): Los conocimientos de los estudiantes se pueden medir, indiciariamente, mediante pruebas de selección múltiple confiables y válidas, en constructo, teniendo en cuenta los contenidos básicos de los Silabus Capacidad General, Capacidades Específicas: Matriz de Consistencia Universo: Local X, Y, Z Identifica AnalizaAplicaCompara Sintetiza JuzgaArgumenta SILABUSSILABUS
- 23. CorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetas Puntuación en: Puntuación al Cuadrado Prueba por Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y) Abel 10 6 100 36 60 Aldo 20 20 400 400 400 Ary 15 15 225 225 225 Blas 14 10 196 100 140 Popper 19 20 361 400 380 Elba 20 18 400 324 360 Morgan 18 19 324 361 342 Mario 17 17 289 289 289 Flor 15 16 225 256 240 Hugo 13 13 169 169 169 DeVries 15 13 225 169 195 Lino 18 17 324 289 306 Lila 15 13 225 169 195 Irma 20 19 400 361 380 Juan 19 18 361 324 342 Nino 14 15 196 225 210 Nora 13 14 169 196 182 Olga 16 15 256 225 240 Réne 15 14 225 196 210 Rosa 9 4 81 16 36 Sumas 315 296 5151 4730 4901 Promedio 15,75 14,8 Desviac 3,16 4,29 yx SS YX N XY r * *− = ∑ 22 −= ∑∑ N X N X s 1,3 20 315 20 5151 2 = −=xs 2,4 20 296 20 4730 2 = −=ys 92,0 2,4*1,3 8,14*75,15 20 4901 = − =r Pearson
- 24. VALIDEZ PREDICTIVAVALIDEZ PREDICTIVA La UNI compara los desempeños finales de los alumnosLa UNI compara los desempeños finales de los alumnos de 1º año en un curso Algebra (A) con los obtenidos ende 1º año en un curso Algebra (A) con los obtenidos en su Examen de Admisión (EA). Muestra: 10 estudiantes;su Examen de Admisión (EA). Muestra: 10 estudiantes; A: Puntajes de 1 a 100 para EA: de 200 a 800.A: Puntajes de 1 a 100 para EA: de 200 a 800. Resultados Excel:Resultados Excel: AlumAlum A B C D E F G H I J EA (X) 650 710 682 700 691 705 666 690 709 715 A (Y) 75 87 85 83 80 92 78 81 90 90 Coeficiente de: a) Spearman: b) Pearson: Interpretación: El EA es un procedimiento para el futuro desempeño de los alumnos de A. 0,83 0,87 buen vaticinar marposroj@hotmail.commarposroj@hotmail.com
- 26. ¿¿Qué evalúan las Pruebas yQué evalúan las Pruebas y Rankings InternacionalesRankings Internacionales ?? PRINCIPALES PRUEBAS INTERNACIONALES
- 27. ¿¿Qué evalúan las PruebasQué evalúan las Pruebas y Rankingsy Rankings InternacionalesInternacionales??
- 28. ¿¿Qué evalúan las PruebasQué evalúan las Pruebas y Rankingsy Rankings InternacionalesInternacionales??
- 29. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD Pruebas y Rankings Internacionales 2009
- 30. IMPORTANCIA DE LAIMPORTANCIA DE LA SELECTIVIDADSELECTIVIDAD
- 31. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
- 32. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
- 33. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
- 34. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
- 35. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU VS MERCADO LABORALVS MERCADO LABORAL 2008
- 36. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU VS MERCADO LABORALVS MERCADO LABORAL
- 37. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU VS MERCADO LABORALVS MERCADO LABORAL
- 38. LOS PROBLEMAS DE LA EVALUACIÓNLOS PROBLEMAS DE LA EVALUACIÓN EN LA EDUCACIÓN PERUANAEN LA EDUCACIÓN PERUANA 1.1. El sistema de pruebas nacionales existe de maneraEl sistema de pruebas nacionales existe de manera generalizada. 98% confiables, inferibles y válidas.generalizada. 98% confiables, inferibles y válidas. 2.2. Permite orientar con información fáctica la capacitación yPermite orientar con información fáctica la capacitación y formación. Rumbo mercado o nuevo mercado.formación. Rumbo mercado o nuevo mercado. 3.3. Evaluación esta suscrita al papel y no al desempeño, laEvaluación esta suscrita al papel y no al desempeño, la universidad y otros, prima el PODER DEL «VOTO».universidad y otros, prima el PODER DEL «VOTO». 4.4. Las Pruebas de selección ¿Qué Prueban?Las Pruebas de selección ¿Qué Prueban? 5.5. Las estrategias y toma de decisiones del MED, UniversidadLas estrategias y toma de decisiones del MED, Universidad y organismos en que están sustentadas .y organismos en que están sustentadas . 6.6. Las tesis de la universidad colaboran o dan grados.Las tesis de la universidad colaboran o dan grados.
- 39. BIBLIOGRAFÍA 1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2. 2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de Educación, Perú. 3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria, Julio/Diciembre, vol. 4, número 002, México. 4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston. 5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall. 6) Eccles, John C. (1975). El Cerebro. Morfología y dinámica. Ed. Interamericana, México – México. 236 pp. 7) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall Hispanoamericana. 8) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.), Educational Measurement. Washington, DC: American Council on Education. 9) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú 10) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión. 11) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos, procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.