![Crisis de confianza e indicadores de calidad
Cuando la información que fluye hacia arriba afecta poderosamente la
reputación y recursos que fluyen hacia abajo desde el centro [el Estado],
entonces sabemos que esos reportes se convierten menos y menos en
ejercicios de descubrimiento de la verdad, y más y más en documentos de
relaciones públicas que son, diremos, parimoniosos con la verdad,
especialmente con verdades incómodas que revelan problemas o
limitaciones en la institución que reporta. Pero la rendición de cuentas
depende de la verdad. Entonces un problema central es cómo crear un
sistema de rendición de cuentas que no castigue la verdad y premie la
apareciencia de logro.
Martin Trow (1996)](https://image.slidesharecdn.com/1presentacionnicolasfleet-200509001041/85/1-presentacio__n_nicolas_fleet-9-320.jpg)
1 presentacio__n_nicolas_fleet
- 1. Calidad, acreditación y medición: una articulación crítica Avances de un estudio sobre vinculación con el medio Nicolas Fleet
- 2. I. Calidad y acreditación: de la confianza a la rendición de cuentas
- 3. CONTEXTO • Tránsito desde educación superior de elite (hasta 15% TBC) a masiva (hasta 50% TBC) (Trow, 2007): consensos académicos y vínculos de “confianza” con sociedad insuficientes; mecanismos formales de aseguramiento de calidad y rendición de cuentas (accountability) requeridos (Trow, 1996). • En Chile: expansión de mercado e instituciones privadas (Brunner, 1987). • Acreditación sustituye conceptos tradicionales de calidad (educación pública, prestigio, profesionalismos, extensión) por políticas y mecanismos de aseguramiento de la calidad.
- 4. CONTEXTO • Aseguramiento de calidad y rendición de cuentas: fundamental para regulación de educación superior como servicio o bienes de experiencia (Dill & Soo, 2004). • Problemas de acreditación para incorporar medidas de calidad, asociado a años de acreditación (OECD, 2012). • Instituciones de educación superior avanzan en mediciones y conceptos que justifiquen calidad.
- 5. • 2004: Acreditación institucional experimental. • Crecimiento no oficial de sedes, principalmente universidades estatales regionales y privadas (Zapata, Fleet, Lagos y Briceño, 2003). • Pertinencia oferta educación superior (ej. Criminalística, programas especiales de educación). • Crisis de sostenibilidad financiera ues. privadas. • Publicidad engañosa (Worner y Santander, 2012; Zapata y Fleet, 2009) • 2006: Ley 20.129 asocia acreditación a financiamiento, asegurando participación de mayoría de matrícula: 100% Ues CRUCH; 89% UES privadas; 80% IPS; 89% CFTs (CNA, 2017). • 2016: Ley 21.091, acreditación institucional obligatoria, incluyendo VCM. Acreditación institucional en Chile
- 6. Focos acreditación institucional Diversidad de objetivos: instalar capacidad de autorregulación (Lemaitre, 2004), asegurar “mínimos de calidad”, ofrecer señales en un mercado heterogéneo (Rodríguez-Ponce, Fleet y Delgado, 2009), distinguir niveles de calidad, garantizar financiamiento público, etc. Acreditación institucional en Chile combina tres focos (OECD, 2008): 1. Auditoría académica, consistencia interna de procesos (fitness for purpose) (Harvey y Green, 1993; Van Damme, 2004). Acreditación verifica el cumplimiento de la misión institucional y la aplicación de mecanismos eficaces de autorregulación y aseguramiento de la calidad (Ley 20.129, art. 15). 2. Evaluación, consistencia externa de resultados. Años de acreditación varían de acuerdo con “grado” de cumplimiento de criterios de evaluación, sin fijar parámetros (Ley 20.129, art. 20). 3. Acreditación, dictamen (binario) de comisión externa, ponderando consistencia interna con consistencia externa. Se deben resolver observaciones identificadas en la evaluación (art. 20), en una lógica de mejoramiento continuo.
- 7. Cambios Ley 21.091 • Acreditación institucional por dimensión, criterio y estándar. • Criterios y estándares se construyen de manera inductiva, considerando especificidades y participación de los actores. • ¿Cambio de la lógica de la autorregulación al código de calidad (Quality Code, QAA)? • Obligatoriedad de acreditación en dimensión de VCM: Art. 18, 4.- La institución de educación superior debe contar con políticas y mecanismos sistemáticos de vinculación bidireccional con su entorno significativo local, nacional e internacional, y con otras instituciones de educación superior, que aseguren resultados de calidad. Asimismo, deberán incorporarse mecanismos de evaluación de la pertinencia e impacto de las acciones ejecutadas, e indicadores que reflejen los aportes de la institución al desarrollo sustentable de la región y del país. • ¿Qué indicadores?
- 9. Crisis de confianza e indicadores de calidad Cuando la información que fluye hacia arriba afecta poderosamente la reputación y recursos que fluyen hacia abajo desde el centro [el Estado], entonces sabemos que esos reportes se convierten menos y menos en ejercicios de descubrimiento de la verdad, y más y más en documentos de relaciones públicas que son, diremos, parimoniosos con la verdad, especialmente con verdades incómodas que revelan problemas o limitaciones en la institución que reporta. Pero la rendición de cuentas depende de la verdad. Entonces un problema central es cómo crear un sistema de rendición de cuentas que no castigue la verdad y premie la apareciencia de logro. Martin Trow (1996)
- 10. II. Vinculación con el medio: nuevamente de la confianza a la rendición de cuentas
- 11. Literatura I: transformación de VCM • Sociedad del conocimiento: relación entre universidades y entorno se transforma (OECD, 1996; Watson, 2008): IES constituyen fuente de valor (Geuna, 2001; OECD, 2007; Molas-Gallard et al., 2002; Rodríguez-Ponce, 2009) y son evaluadas y financiadas por comercialización del conocimiento (Barrioluengo et al., 2016). • Transición desde mecanismos de extensión tradicionales y unidireccionales, subalternos a docencia e investigación (Scott, 1998), a amplitud de funciones que retroalimentan y financian la relación de las universidades con el medio (Gulbrandsen y Slipersaeter, 2007; Montesinos et al. 2008). • Énfasis bi-direccional (Molas-Gallard et. al., 2002; Watson, 2008; Von Baer y Fleet, 2009). • Diversas iniciativas de medición de estas actividades de VCM (E3M, 2008). • Adán et al. (2016): noción de impacto distorsiona aseguramiento de calidad VCM: introduce requerimientos ajenos a sentido académico.
- 12. Literatura II: nuevas orientaciones VCM • Reorientación de función académica hacia necesidades del entorno (Bonaccorsi et al., 2014; Etzkowitz et al., 2008; Loi y Di Guardo, 2015). • Generación de vínculos efectivos, pertinentes y productivos con el medio (Nedeva, 2007). • Formalización y diseminación de métodos y buenas prácticas VCM (Ackworth, 2008). • VCM como concepto ambiguo (Laredo 2007), residual (Montecinos et al. 2008) y multidimensional (Rowe y Frewer , 2000): tercera misión como misión imposible (Kruenken, 2003; Nedeva y Boden, 2006).
- 13. Literatura III: dimensiones VCM • Ante diversidad VCM, definir medios relevantes (Von Baer y Fleet, 2009). • Cuestión fundamental: VCM como comercialización del conocimiento, o también interacciones con la comunidad. • Medio productivo (Audretsch et al., 2005; D’Este y Iammarino, 2010; Barrioluengo et. al.,2016; Loi y Di Guardo, 2015; Ackworth, 2008; Kroll y Schubert, 2014) • Medio social (Hart y Northmore, 2011; Dumay y Garanina, 2013; Secundo et al., 2015; Uyarra et. al., 2016) . • Medio político (Drucker y Goldstein, 2007) • VCM no demarcatoria, cómo docencia e investigación contribuyen a su desarrollo.
- 14. Ranking Times Higher Education • Ranking THE, considera VCM por primera vez, pero en términos de transferencia de conocimiento comercializable solamente. • 2.5% en ponderación total del ranking. • Foco en relación con innovación, patentamiento y consultoría. • ¿Pondera cuánto ingreso de investigación viene desde la industria? • En qué medida el conocimiento producido por una universidad tiene valor económico, o sea es comercializable, para la industria.
- 15. Dimensiones VCM Dimensiones comunes Drucker & Goldstein (2007) HE-BCI Encuestas AUTM y ASTP E3M Manual de Valencia (D’este et al., 2009) Extensión, o vinculación con el medio cultural -Vinculación social, comunitaria y cultural -Difusión Transferencia tecnológica, o vinculación con el medio productivo -Transferencia de know-how -Interacciones basadas en investigación y propiedad intelectual -Transferencia tecnológica -Transferencia tecnológica e innovación -Comercialización de la investigación -Innovación tecnológica -Comercialización infraestructura -Inversión de capital -Comercialización de la investigación -Asesoría -Producción de infraestructura de conocimiento Servicio a la comunidad, o vinculación con el medio social -Vinculación social, comunitaria y cultural -Compromiso social -Comercialización de infraestructura Regeneración -Beneficio público Infraestructura Liderazgo e influencia política, o vinculación con el medio político- administrativo -Liderazgo político regional -Estrategia -Regeneración Educación continua -Creación de capital humano -Educación continua y desarrollo profesional -Educación continua -Maestrías I + D
- 16. Ejemplos de resultados HE-BCI (2013) 0 0 10 20 30 40 50 60 70 80 90 100 Social, community and cultural partners Public sector partners/clients Commercial partners/clients 91+81-9071-8061-7051-6041-5031-4021-3011-201-10 Proportion of academic sta ff headcount (expressed as a % ) Numberofinstitutions
- 17. Ejemplos de resultados HE-BCI (2013)
- 18. Medición VCM en Chile • Déficit de medición, evaluación y rendición de cuentas VCM a pesar de formalización y sistematización en sucesivas evaluaciones de acreditación institucional. • Acreditación institucional favoreció definición de política (82,7%) y creación de estructuras VCM (81,6%) (IPSOS, 2009). • Problemas de medición: • Transposición de funciones entre docencia e investigación. • Dificultad registro iniciativas informales a nivel académico; pérdida de información. • Duplicación de información de actividades reportadas en diferentes niveles. • Imposibilidad de aislar impacto (al menos no en acreditación institucional); concepto de efectos. • Impacto proyectado en el tiempo: mediciones repetidas para estimar dirección y efectividas.
- 19. Situación chilena en medición de VCM • Dic. 2016: 37 universidades acreditadas VCM (78% UES acreditadas). No IP ni CFT. • 5 UES cumplen medición de impacto de VCM: UA, UACH, UMAG, UTFSM y PUC (13,5% de efectividad). • Metodologías heterogéneas: indicadores PDE y frecuencias; retroalimentación a través de comités; encuestas de satisfacción, etc. No hay medición de impacto estilo programas sociales. • Disponibilidad de mecanismos de seguimiento y medición en gran parte de instituciones revisadas: • Indicadores de desempeño • Encuestas de informantes clave • Mediciones de apariciones en los medios • Indicadores de frecuencias de actividades • Encuestas de satisfacción • No hay grandes diferencias entre instituciones que cumplen y que no cumplen criterio 5.
- 20. Situación chilena de VCM • 20/37 realizan VCM en todas las dimensiones consideradas, 13 incluyendo relaciones internacionales o transfronterizas. • Todas realizan extensión. • 36 VCM social. • 29 VCM productivo y político-administrativo. • 26 educación continua. • 22 vinculación internacional o transfronteriza. • 17 énfasis regional. • 21 estructura centralizada de VCM.
- 21. ¿Nuevos criterios y estándares VCM? • “…deberán incorporarse mecanismos de evaluación de la pertinencia e impacto de las acciones ejecutadas, e indicadores que reflejen los aportes de la institución al desarrollo sustentable de la región y del país”. • Criterios de política más exigentes en cuanto a orgánica específica. • Énfasis en bi-direccionalidad. • Universidad debe definir sus grupos de interés, espacios de vinculación, y entornos de colaboración bi-direccionales (ie. especificación de dimensiones). • La universidad desarrolla y aplica mecanismos de medición y retroalimentación. • Nueva diversidad conceptual: Se deben medir resultados (pertinencia e impacto según propósitos), evaluar contribuciones (medio internos y externos) y demostrar y evaluar aportes (externos). • En investigación también se habla de evaluar “contribución”.
- 22. III. Avances de un estudio de vinculación con el medio
- 23. Estudio medición VCM • Fleet et al. (2017) busca satisfacer demanda de acreditación por evaluación del impacto de la vinculación de IES con el medio. • Impacto VCM en perspectiva institucional: propone un estándar metodológico básico para satisfacer el mínimo de acreditación institucional en este criterio. • Buena práctica seguimiento/método VCM basada en el método de encuesta, replicable para cualquier institución de educación superior. • Integra estado del arte nacional e internacional para ampliar aplicabilidad. • Incluye indicadores representativos de diversidad de mecanismos de VCM, estableciendo conmensurabilidad y agregación entre ellos.
- 24. Midiendo la vinculación con el medio • Metodología de encuesta • Incorpora todas las dimensiones relevantes • Distingue niveles central, intermedio y académico (D’este et al. 2009) • Registra acciones VCM y relaciona frecuencias con magnitudes de recursos y trabajo movilizado (HE-BCI). • Registra flujos bi-direccionales (Von Baer, 2009) • Proyecta impacto a través de interacciones en el tiempo entre institución (académicos, estudiantes y funcionarios/profesionales) y medio cultural, productivo, social y político. • Construye línea de base y retroalimenta desarrollo estratégico/política VCM. • Base para potencial sistema de medición VCM.
- 25. Aplicación instrumento seguimiento VCM • Población objetivo: unidades que desarrollan VCM en la universidad de aplicación piloto (Universidad de Tarapacá). • Técnica de recolección: censo, considerando la administración central y 11 unidades académicas. Encuesta de auto aplicación con asesoría permanente. • Cuestionario: 6 dimensiones y 128 campos. Formato digital, planilla Excel, separando por dimensiones e ítems. Considera actividades VCM período 2016. • Pretest: enero y febrero 2017, principalmente información a nivel institucional.
- 26. Aplicación instrumento seguimiento VCM • Trabajo de campo: marzo y abril 2017. • Dos niveles: institucional y de unidades académicas, correspondiéndole a las facultades completar información sobre centros especializados VCM Y actividades académicas. • Encuestas pre-llenas con información centralizada • Tasa de respuesta:100% - ¡Aplicación durante autoevaluación para acreditación institucional! • Consideración de análisis y replicabilidad: • Control de repeticiones • Poblaciones estimadas vs. Poblaciones reales • Montos de investigación aplicada totales o específicos en vinculación con el medio • ¿Evidencia? • Ficha • Sistema • ¡Longitud!
- 27. Resumen del cuestionario Dimensión de vinculación con el medio Número de ítems / Campos del instrumento Extensión cultural 24 Medio productivo 29 Medio social-comunitario 25 Medio político-administrativo 23 Educación continua 15 Movilidad transfronteriza 12
- 28. Tres niveles de VCM (D’este et al. 2009) N° Total de integrantes permanentes Personal: Académico personal: Estudiantes Gasto anual operación y remuneración ($M) N° de atenciones / Beneficiarios Elencos y centros de extensión 151 20 156 148.702 19.730 N° Total de integrantes permanentes Personal: Académico personal: Estudiantes Gasto anual operación y remuneración ($M) N° de atenciones / Beneficiarios Infraestructura de centros 132 35 39 636.228 120.499 Personal Financiamiento (montos) N° de Asistente / N° beneficiáriosN° de Académico N° de Estudiantes Interno (M$) Externo (M$) Unidades Académicas 1.211 4.788 695.822 1.258.334 145.436 PRIMER NIVEL: ADMINISTRACIÓN CENTRAL NIVEL INTERMEDIO: CENTROS ESPECIALIZADOS DE VCM / FACULTADES Y ÁREAS DEL CONOCIMIENTO TERCER NIVEL: MECANISMOS ACADÉMICOS DE VCM
- 29. Nivel tres por dimensión y tipo de actividad Dimensiones Número de actividades Total Prácticas Convenios Investigación Tesis Programas o proyectos de extensión Asesorías Programas de Educación continua Extensión - - 19 17 250 - - 286 Vinculación medio productivo 163 2 15 19 - 22 - 221 Vinculación medio social 1.511 50 25 75 - 6 - 1.667 Vinculación medio político administrativo 163 1 2 - - - - 166 Educación continua - - - - - - 24 24 Integración transfronteriza 114 - - - - - 114 Total 1.837 167 61 111 250 28 24 2.478
- 30. Nivel 3: base material de VCM y proyección de impacto por dimensión Dimensiones Personal (N°) Horas totales Financiamiento (montos) N° de Asistente / N° beneficiários Académicos Estudiantes Académicos Estudiantes Interno (M$) Externo (M$) Extensión 721 2.600 18.733 1.512 273.656 343.382 82.659 Vinculación medio productivo 113 247 867 12.810 244.580 229.057 2.050 Vinculación medio social 278 1.778 32 21.354 120.005 685.894 59.474 Vinculación medio político- administrativo 2 163 - 28.688 20.760 - 300 Educación continua 97 - - - 953 Integración transfronteriza - - - 36.820 - - TOTAL 1.211 4.788 19.632 64.364 695.822 1.258.333 145.436
- 31. Nivel 3: dimensiones según áreas de impacto (ej. UACH) Educación Salud Transferenci a tecnológica Extensión cultural y difusión Desarrollo social y comunitari o Desarrollo productivo y comercial Desarrollo ambiental y recursos naturales Patrimonio Sector público Otros Total general Extensión 122 34 16 68 27 2 1 13 - 3 286 Vinculación medio productivo 5 4 39 - 19 112 37 - 5 - 221 Vinculación medio social 35 1.404 5 1 202 2 18 - - - 1667 Vinculación medio político-administrativo 163 - - - 3 - - - - - 166 Educación continua 24 - - - - - - - - - 24 Integración transfronteriza 114 - - - - - - - - - 114 Total general 463 1.442 60 69 251 116 56 13 5 3 2.478
- 32. Participación total en VCM Dimensiones Participantes Académicos Funcionarios Estudiantes Beneficiarios Extensión 741 205 2.708 177.060 Vinculación medio productivo 114 11 247 2.050 Vinculación medio social 279 45 1.778 62.467 Vinculación medio político administrativo 2 9 163 300 Educación continua 98 11 - 1.253 Total 1.234 281 4.896 243.130
- 33. Montos asociados a vinculación con el medio Gastos en Remuneracion total ($M) Gastos de operación Anual ($M) Centros infraestructura de vinculación 549.436 74.375 Elencos 135.966 12.736 Ingresos externos ($M) Centros infraestructura de vinculación 137.711 Dimensiones Financiamiento (montos) Interno (M$) Externo (M$) Extensión o vinculación con el medio cultural. 273.656 343.382 Transferencia tecnológica o vinculación con el medio productivo. 244.580 229.057 Servicios a la comunidad o vinculación con el medio social. 120.005 685.894 Liderazgo e influencia en la región o vinculación con el medio político- administrativo. 20.760 - Educación continua. Integración transfronteriza 36.820 TOTAL 695.822 1.258.333 MONTOS TOTALES ASOCIADOS A VCM UTA 2.864.379 ($M)
- 34. Valor trabajo VCM Estimación valor trabajo académico incorporado a VCM Frecuencia Académicos Horas Total remuneracion es (M$) Remuneració n por académico (M$) Horas por académico Programas o proyectos de extensión 250 650 18.731 524.199 806 29 Convenios 54 15 544 16.728 1.115 36
- 35. Contribuciones • Impacto VCM se proyecta en el tiempo por dimensiones específicas, visibilizando interacciones previamente invisibles. • Proyectos de extensión involucran académicos (711) y estudiantes (2.600) y se dirigen fundamentalmente al ámbito escolar. • El público asistente a museo, teatro, ballet, coro, cine, etc. (19.730) supone impacto de formación de audiencias. • Ámbito productivo: 15 proyectos de investigación, por $358 millones, con impacto esperado en el desarrollo regional. Dirección específica solo es conocida con evaluaciones ex post. • Servicio a la comunidad: 59.474 atenciones a nivel académico, principalmente a través de prácticas. Impacto en desarrollo social y salud regional, e impacto interno en compromiso social de estudiantes (1778) involucrados con comunidad. • VCM político: prácticas en sistema escolar mecanismo más relevante: baja influencia en aparato administrativo.
- 36. Contribuciones • Buena práctica para cumplir en nivel básico con criterio 5 de acreditación institucional VCM (13,5% de efectividad nacional). • Encuesta, registra, visibiliza y hace conmensurable diversidad de plataformas, actividades, trabajo y recursos de VCM. • Seguimiento VCM permite diferenciar dimensiones y juzgar críticamente cumplimiento de política institucional en medio de desarrollo. • Problema de impacto se resuelve registrando y valorando el volumen de actividades y plataformas de VCM, trabajo y recursos movilizados, e interacciones en el tiempo. • Impacto derivado de valor de uso de trabajo VCM. • Impactos específicos medidos por estudios pormenorizados. • Potencial para desarrollo de sistemas en línea de seguimiento VCM.
- 37. Otros indicadores VCM • Campañas de posicionamiento / reclutamiento • Apariciones en prensa / columnas académicos • Intercambios académicos de estudiantes y profesores • Usos de infraestructura y equipamiento • Posicionamiento académico en áreas clave • Convenios interinstitucionales
- 38. Notas finales • Criterios y estándares VCM en nueva acreditación pueden ser espacio de disputa según importancia relativa de dimensiones de comercialización – en línea con tendencias internacionales – y vínculo con la comunidad. • Fuente del valor (de uso), y por lo tanto de calidad (utilidad, impacto), en trabajo incorporado y medido en las actividades de VCM. • Impacto dado por sostenibilidad de mecanismos de VCM en el tiempo. • Aseguramiento (seguimiento) de la calidad a través de la medición, reconocimiento y desarrollo estratégico de acciones VCM.