Presentación curso evaluación baleares
Descargar como PPT, PDF0 recomendaciones551 vistas
El documento describe la evaluación y seguimiento de proyectos de desarrollo. Explica que la evaluación determina la pertinencia, eficacia, eficiencia, impacto y viabilidad de un proyecto, mientras que el seguimiento compara el planificado y ejecutado para reconducir el proyecto. También define conceptos como evaluabilidad, marco lógico y factores de viabilidad como políticas de apoyo, aspectos institucionales y financieros.
![Viabilidad/ Sostenibilidad: Se entiende por
viabilidad la capacidad de un proyecto para
“proporcionar un nivel aceptable de beneficios al
grupo destinatario [beneficiarios] durante un periodo
suficientemente largo una vez interrumpida la
asistencia financiera y técnica del proveedor de
fondos” (CCE 1993:65). El análisis de viabilidad
significa interrogarse sobre algo más allá de si el
proyecto ha alcanzado los objetivos que tenía
previstos; se debe responder a la cuestión de en qué
medida los resultados positivos alcanzados
permanecen en el tiempo.](https://image.slidesharecdn.com/presentacioncursoevaluacionbaleares-130901204434-phpapp01/85/Presentacion-curso-evaluacion-baleares-23-320.jpg)
Presentación curso evaluación baleares
- 1. LA EVALUACIÓN Y EL SEGUIMIENTO DE LOS PROYECTOS DE DESARROLLO Palma de Mallorca, junio 2010 Héctor Sainz Ollero
- 2. DEFINICIÓN DE EVALUACIÓN La evaluación es una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas informaciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes. (CAD/OCDE) - Apreciación - opinión - investigación. - Sistemática y objetiva. - Proyecto en curso o acabado, programa o conjunto de líneas de acción. - Su concepción (diseño), su realización (desempeño) y sus resultados (efectos). - Determinar: pertinencia, eficacia, eficiencia, impacto y viabilidad. - El fin es proporcionar información creíbley útil. - Para la toma de decisiones. - Tanto en receptores como en donantes. CARACTERÍSTICAS Organización de Cooperación y Desarrollo Económicos, 1995, Manual de ayuda al desarrollo: Principios del CAD para una ayuda eficaz
- 3. LA EVALUACIÓN NO ES... OPINIÓN INVESTIGACIÓN EVALUACIÓN ESCOLAR O CLÍNICA AUDITORÍA SEGUIMIENTO
- 4. EL SEGUIMIENTO Función que mediante la recogida metódica de datos tiene por fin conocer: • Si las aportaciones materiales y financieras comprometidas han sido suministradas y son suficientes • Si los cooperantes y homólogos sobre el terreno poseen las competencias técnicas y personales para ejecutar sus tareas. • Si las actividades desarrolladas por los expertos y los aportes, están de acuerdo con el plan de trabajo. • Si el plan de trabajo está siendo realizado y produce los objetivos a alcanzar de acuerdo a lo planificado; Tomando las medidas necesarias para remediar las insuficiencias encontradas
- 5. El seguimiento de proyectos es una función que consiste en utilizar un sistema de información, basado en la formulación del proyecto de desarrollo (matriz de planificación y plan de ejecución de las actividades), para que apoyándose en la utilización de tres tipos de datos (sobre el progreso físico y financiero de las actividades, sobre el contacto entre el proyecto y los usuarios y sobre la evolución de los factores externos), la dirección del proyecto pueda comparar planificado y ejecutado en el nivel de recursos y actividades, con la triple finalidad de: 1.- detectar desviaciones, 2.- anticipar desviaciones, 3.- y corregir desviaciones (reconducir el proyecto) DEFINICIÓN DE SEGUIMIENTO
- 8. Las diferencias entre el seguimiento y la evaluación El seguimiento La evaluación La periodicidad El agente Los elementos Las decisiones Proceso continuo Acción puntual Habitualmente interno Generalmente externo Actividades y recursos Resultados y objetivos Contacto con destinatarios Factores externos Contacto con destinatarios Factores externos Reconducir Reorientar
- 9. Propósitos de la evaluación Aprendizaje Rendición de cuentas Lecciones Enseñanzas extraídas Buenas prácticas Evaluación sumativa Evaluación formativa Transparencia Accountability Contribuyentes Comunicación UTILIDAD CREDIBILIDAD
- 10. PROPÓSITOS DE LA EVALUACIÓN/ SEGUIMIENTO: ¿PARA QUÉ EVALUAR? 1) Para tomar mejores decisiones: • Mejorar la gestión • Aprender 1) Rendición de cuentas (control) 3) Compartir experiencias e informar
- 11. EVALUABILIDAD Medida en que puede evaluarse una actividad o un programa de manera fiable y creíble. Para determinar la evaluabilidad es necesario un examen anticipado de una evaluación propuesta para determinar si sus objetivos están definidos adecuadamente y si sus resultados pueden ser objeto de verificación. OCDE (2004): Glosario de los principales términos sobre evaluación y gestión basada en resultados
- 12. EVALUABILIDAD: EXIGENCIAS DEL PROYECTO COMO HIPÓTESIS DE TRABAJO • Descripción de la situación actual del problema a resolver: - Magnitud y severidad del problema (LÍNEA DE BASE) - Cómo afecta a los distintos grupos de población - Posibles causas y consecuencias • Estrategia de desarrollo: - Vínculos entre medios y fines del desarrollo - Selección / priorización de la alternativa más adecuada • Imagen de la situación futura a alcanzar - Definición de resultados y objetivos - Sistemas de medición (indicadores y fuentes de verificación)
- 13. EL CICLO DEL PROYECTO: Fases centrales y circundantes, pasos y principales contenidos.
- 14. 1º) Análisis de participación 2º) Análisis de problemas 3º) Análisis de objetivos 4º) Análisis de alternativas 5º) Matriz de planificación del Proyecto EL ENFOQUE DEL MARCO LÓGICO. PASOS DEL MÉTODO
- 15. LA IDENTIFICACIÓN Y EL ENFOQUE DEL MARCO LÓGICO Preguntas de la identificación Pasos del enfoque del marco lógico ¿Qué sucede? ¿A quien le sucede? ¿Por qué sucede? Análisis de la participación Análisis de los problemas ¿Qué se puede hacer para solucionarlo? ¿Qué vamos a hacer para solucionarlo? Análisis de los objetivos Análisis de las alternativas
- 16. LA FORMULACIÓN Y EL ENFOQUE DEL MARCO LÓGICO Preguntas de la formulación Pasos del enfoque del marco lógico ¿Para qué se lleva a cabo el proyecto? ¿Qué se desea lograr con el proyecto? ¿Cómo se alcanzará el objetivo del proyecto? ¿Qué factores externos son importantes para el éxito del proyecto? ¿Cuáles son los niveles esperados de “éxito” del proyecto? ¿Donde o cómo se mide ese “éxito”? ¿Cuándo se realizarán las actividades? ¿Quién hará las actividades? ¿Con qué y cuánto costará realizar las actividades? ¿Qué posibilidades de permanencia en el tiempo tienen los efectos generados por el proyecto? MPP •Cronograma de actividades •Plan de ejecución •Presupuesto Análisis de los factores de viabilidad/ sostenibilidad
- 17. La Matriz de Planificación Condiciones Previas Lógica de la intervención Indicadores Objetivamente Verificables Fuentes de Verificación Hipótesis Objetivo Específico Resultados Actividades Medios Costes Objetivo General
- 18. Eficacia: En qué medida el objetivo específico ha sido alcanzado; si puede esperarse que esto ocurra sobre la base de los resultados del proyecto. Eficiencia: Análisis de los resultados en relación con el esfuerzo realizado. Cómo los insumos se convierten en resultados desde el punto de vista económico. Examinar si los mismos resultados podrían haberse logrado de otra forma mejor. Pertinencia: En qué medida se justifica el proyecto en relación a las prioridades de desarrollo locales y nacionales. Impacto: Los cambios y efectos positivos y negativos, previstos o no previstos en el proyecto, analizados en relación con los beneficiarios y otros afectados. Viabilidad/sostenibilidad: Un análisis acerca de en qué medida los efectos positivos del proyecto continuarán después de que la ayuda externa haya finalizado. COMPONENTES DE LA EVALUACIÓN
- 19. Pertinencia: La pertinencia analiza si el propósito del proyecto es coherente con las prioridades de la comunidad y sociedad local, así como de las entidades donantes y receptoras. Es decir, se trata de apreciar si la intervención analizada va a suponer una aportación significativa a los procesos de desarrollo de los que son actores los beneficiarios tanto en el interior del propio proyecto, como en su contexto.
- 20. Eficacia: La eficacia refleja en qué medida se espera alcanzar o se ha alcanzado el objetivo específico del proyecto; teniéndose para ello en cuenta tanto el nivel de logro, así como los períodos temporales para hacerlo.
- 21. Eficiencia: La eficiencia se refiere a la capacidad del proyecto para transformar los insumos financieros, humanos y materiales en resultados; es decir, establece el rendimiento o productividad con que se realiza esta transformación.
- 22. Impacto: El impacto se refiere -en contraposición a la eficacia restringida a los efectos positivos sobre los beneficiarios- a las consecuencias positivas y negativas, que un proyecto genera. Es por lo tanto un concepto más amplio que el de eficacia, cuyo análisis se inicia a partir del de la eficacia; interrogándose sobre las consecuencias económicas, sociales, culturales, técnicas ambientales... que se registran en el plano local o general, tanto en el corto como -especialmente- en el medio y en el largo plazo.
- 23. Viabilidad/ Sostenibilidad: Se entiende por viabilidad la capacidad de un proyecto para “proporcionar un nivel aceptable de beneficios al grupo destinatario [beneficiarios] durante un periodo suficientemente largo una vez interrumpida la asistencia financiera y técnica del proveedor de fondos” (CCE 1993:65). El análisis de viabilidad significa interrogarse sobre algo más allá de si el proyecto ha alcanzado los objetivos que tenía previstos; se debe responder a la cuestión de en qué medida los resultados positivos alcanzados permanecen en el tiempo.
- 24. Sostenibilidad EJECUCIÓN Insostenible Sostenible SOSTENIBILIDAD Fin de Proyecto Tiempo Flujo de Beneficios Resultado Resultado Resultado Objetivo Específico Fuente: Europe Aid (2001) “Probabilidad de que el flujo de beneficios continúe después de que se agote la financiación del donante”
- 25. FACTORES DE DESARROLLO En cualquier examen previo debe tenerse en cuenta la viabilidad de los proyectos. Puede decirse que un proyecto es viable cuando puede beneficiar al grupo destinatario durante un largo período aún cuando haya finalizado en lo esencial, la ayuda exterior proporcionada por los donantes. Fuente: Comisión de las Comunidades Europeas (1993) Manual: Gestión del ciclo de un proyecto: Enfoque integrado y marco lógico. Bruselas, página 33. LA VIABILIDAD DEL PROYECTO La viabilidad de una intervención dependerá fundamentalmente de siete factores, cuyo análisis nos permitirá tener una idea clara sobre sus posibilidades de continuidad en el tiempo. Estos factores, también llamados de desarrollo, son: Políticas de apoyo Aspectos institucionales Aspectos socioculturales Enfoque de género Factores tecnológicos Factores medioambientales Factores económico financieros Fuente: Agencia Española de Cooperación Internacional (2000), Metodología de Gestión de Proyectos de la Cooperación Española, Madrid, páginas 26-27.
- 27. Otros criterios para la evaluación • COBERTURA (1): “La cobertura consiste en evaluar hasta qué punto un programa llega a la población objeto del mismo. Se trata de calcular no sólo la tasa de cobertura sino también de analizar si existe sesgo en la cobertura y efectuar un análisis de las posibles barreras de acceso al programa” Fuente: Alvira, F (1991) Metodología de Evaluación de Programas, Madrid “La magnitud con la que una intervención alcanza a sus grupos metas deseados” Fuente: EUROPEAN MONITORING CENTRE FOR DRUGS AND DRUG ADDICTION -E.M.C.D.D.A.- (1998) Guidelines for the evaluation of drug prevention, Luxemburgo
- 28. Cobertura ( y 2) - ASPECTOS BÁSICOS1. Tasa de cobertura: “La proporción que forma parte del grupo meta, tiene la necesidad y recibe los servicios, dividida por la población total del grupo meta que tiene la necesidad que el proyecto pretende atender” Cohen & Franco (1993) Evaluación de proyectos sociales. 2. Sesgo de la cobertura: “Existe sesgo en la cobertura cuando el proyecto llega a una población para la cual no estaba definido o cuando interviene sólo en un determinado subgrupo de la población definida, con unas características específicas” Ligero, J. A. (2001): Propuesta de un nuevo criterio de evaluación de proyectos de ayuda al desarrollo, la cobertura, REDC 3. Accesibilidad: “La accesibilidad se disgrega en tres aspectos: • Grado de conocimiento e información del mismo por parte de la población objeto (implantación del proyecto, población demandante...) • Accesibilidad física, es decir facilidad de acceso al proyecto • Aceptación social, actitudes de los usuarios ante el proyecto” Alvira, F (1991) Metodología de Evaluación de Programas, Madrid
- 29. REPLICABILIDAD • Se entiende por replicabilidad la capacidad de un proyecto para generar conocimientos capaces de ser utilizados provechosamente en otros proyectos, actuaciones o procesos autónomos de desarrollo. • Fuente: Cruz Roja Española (2001) Evaluación de proyectos. Madrid
- 31. INDICADORES VERIFICABLES OBJETIVAMENTE • Series de datos establecidos con el fin de dar respuesta a las cuestiones sobre los sistemas y los fenómenos existentes. • Un indicador es una medida numérica (porcentaje, tasa, valor medio, etc.) que puede ser obtenida periódicamente y que se supone relacionada con los conceptos e hipótesis que se van a estudiar. • Es una medida estadística de un concepto, basado en un análisis teórico previo, que sirve para describir el estado de la sociedad y la eficacia de las políticas. • Medida estadística seleccionada por su propiedad de resumir o representar a un conjunto amplio de datos; sirve como medida indirecta o sustitutiva de informaciones que no se encuentran disponibles directamente.
- 32. Elementos de las definiciones • Información de síntesis • Variable teórica subyacente • Dimensión empírica • Observación • Áreas de preocupación social y objetivos de política • Conocimiento y acción
- 33. La definición adecuada de objetivos • Representar los efectos o impactos de la acción, más que el resultado de determinadas actividades. • Realistas y alcanzables • Limitados en el tiempo • Unidimensionales, de forma que se refieran a un único problema específico de desarrollo • Claros, comprensibles e inequívocos, de forma que no se presten a interpretaciones diferentes La formulación del objetivo define qué es lo que se logrará y por tanto, qué ha de medirse.
- 35. 1) Selección de variables CRITERIOS DE CALIDAD • Clarificar enunciados de objetivos y resultados • Cuantitativos, cuando sea posible • Medición lo más directa posible del resultado • Prácticos • Fuentes y metodología para recoger la información • Seleccionar indicadores operacionales • Seleccionar indicadores objetivos • Mostrar la dimensión del problema • Asegurar que los indicadores son sensibles al cambio • Desagregar los indicadores • Independencia en los distintos niveles
- 36. 2) Establecimiento de bases y metas• BASES: Elegir el año base o punto inicial a partir del cual se medirá el avance. Examinar las tendencias del pasado (si existen series temporales). • METAS: – Dificultad de establecerlas para algunos indicadores; – Tendencias pasadas como referencia para prever el futuro; – Experiencias similares de otros países; – Incidencia de las actividades del programa/proyecto sobre el valor del indicador; – Incidencia de factores externos sobre el valor del indicador; – Rangos/ valor numérico único; – Si el indicador está desagregado, también deberán estarlo las metas.
- 37. 3) Interpretación de datos y tendencias • La interpretación de los datos debe ser específica para cada país. Patrones similares en un dato/indicador pueden tener distintos significados en diferentes países. • Ejemplos: 1. Nº de denuncias de violaciones de derechos humanos por cada 100.000 habitantes. 2. Porcentajes de participación electoral
- 38. Formulación del indicador OBJETIVO: Aumentada la integración laboral de las alumnas egresadas de la Escuela-Taller Identificar el indicador/ variable: CONTRATOS LABORALES Grupo beneficiario: EGRESADAS ESCUELA-TALLER Cuantificar: AUMENTO CONTRATACIÓN EN AL MENOS UN 25% Calidad: CONTRATOS ANUALES, VINCULADOS AL ÁREA DE PRESERVACIÓN Tiempo: ENTRE MAYO 2005 Y MAYO 2006 Ubicación: ANTIGUA GUATEMALA • “Los contratos laborales de carácter anual relacionados con la preservación del patrimonio cultural de las alumnas egresadas de la Escuela-Taller de Antigua Guatemala aumentan en un 25% entre mayo de 2005 y mayo de 2006”
- 39. Las fuentes de verificación “Aparecen en la tercera columna del marco lógico e indican donde y en qué forma se pueden encontrar las informaciones en cuanto a la realización de los objetivos globales, del objetivo específico y de los resultados (operacionalizados en indicadores verificables objetivamente)” Fuente: EuropAid: Manual de Gestión del Ciclo de Proyecto
- 40. Las fuentes de verificaciónCostes Complejidad Informes administrativos Informes de gestión Estadísticas disponibles Estadísticas adaptadas disponibles Entrevistas con los beneficiarios Estudios especializados
- 41. TIPOS DE EVALUACIÓN MOMENTO DEL CICLO • PREVIA (EX ANTE) • SIMULTÁNEA • INTERMEDIA • FINAL • POSTERIOR (EX POST) ACTORES • EXTERNA • INTERNA • MIXTA • PARTICIPATIVA PROPÓSITO • MEJORA DEL PROYECTO • APRENDIZAJE • RENDICIÓN DE CUENTAS OBJETO • DE OBJETIVOS/RESULTADOS • DE PROCESOS NIVELES PLANIFICACIÓN • NORMATIVA • ESTRATÉGICA • TÁCTICA • OPERATIVA ENFASIS EN HERRAMIENTAS • CUANTITATIVAS • CUALITATIVAS • PARTICIPATIVAS
- 42. ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (1) PASOS/ MOMENTOS ACTORES DOCUMENTOS Tomar la decisión de evaluar Institución responsable (Unidad de evaluación ?) Política de evaluación Definir el ámbito y alcance de la evaluación Institución responsable Términos de Referencia Proponer las principales preguntas de la evaluación Establecer los rasgos principales del ejercicio de evaluación Institución responsable Seleccionar al equipo evaluador Institución responsable Convocatoria/ Bases del concurso
- 43. GUIÓN TÉRMINOS DE REFERENCIA • Introducción • Fundamento de la evaluación • Antecedentes • Cobertura temática • Metodología y Plan de Trabajo • Esquema de informe final, recomendaciones y anexos • Equipo de evaluación • Disposiciones temporales y presupuestarias • Otras disposiciones Fuente: Metodología de evaluación de la Cooperación Española
- 44. ITINERARIO DE UNA EVALUACIÓN/ FASE PREVIA (2) PASOS/ MOMENTOS ACTORES DOCUMENTOS Adaptar los Términos de Referencia Institución responsable/ equipo de evaluación Términos de Referencia definitivos Análisis documental y establecimiento de primeras hipótesis de trabajo Equipo de evaluación Preparar la visita al terreno y los contactos a realizar Equipo de evaluación / Institución responsable Plan de Trabajo de la evaluación
- 45. ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (1) PASOS/ MOMENTOS ACTORES DOCUMENTOS Recopilar datos e informaciones según los métodos establecidos Equipo de evaluación Ordenar y analizar los datos Equipo de evaluación Preparar conclusiones y recomendaciones preliminares Equipo de evaluación Borrador del informe de evaluación Presentar conclusiones y recomendaciones preliminares (taller, reunión, etc.) Equipo de evaluación
- 46. ITINERARIO DE UNA EVALUACIÓN/ FASE DE EJECUCIÓN (2) PASOS/ MOMENTOS ACTORES DOCUMENTOS Redactar el informe preliminar Equipo de evaluación Informe preliminar de evaluación Consultas y discusión del informe Equipo de evaluación/ Otras entidades implicadas Redacción del informe definitivo de evaluación Equipo de evaluación Informe definitivo de evaluación Presentación del informe de evaluación Equipo de evaluación/ Institución responsable Presentaciones, resúmenes, etc.
- 47. GUIÓN INFORME DE EVALUACIÓN • Portada • Resumen ejecutivo • Introducción – Antecedentes de la evaluación – Objetivo de la evaluación – Estructura de la documentación presentada – Metodología empleada en la evaluación – Condicionantes y límites del estudio realizado – Presentación de equipo de trabajo – Descripción de los trabajos ejecutados • Capítulo I: Descripción de la intervención o intervenciones analizadas – Concepción inicial – Descripción detallada de su evolución • Capítulo II: Metodología • Capítulo III: Criterios de evaluación y factores de desarrollo • Capítulo IV: Conclusiones y enseñanzas obtenidas • Recomendaciones • Anexos Fuente: Metodología de evaluación de la Cooperación Española
- 48. ITINERARIO DE UNA EVALUACIÓN/ FASE DE UTILIZACIÓN DE LOS RESULTADOS • Difusión de la evaluación • Retroalimentación • Asunción de conclusiones y recomendaciones
Notas del editor
- #25: 20