PRESUPUESTOS TEORICOS Y METODOLOGICOS PARA LA

EVALUACIÓN DE PROGRAMAS

Eduardo García Jiménez

ÍNDICE

Definición y funciones. Actos básicos de la evaluación. Información a recoger Esquema comparativo. Tipos de evaluación de programas. El proceso de evaluación de programas. Validez. Fases de una evaluación.

1. DEFINICIÓN y FUNCIONES Definición

Determinar el valor de algo de acuerdo con un criterio previo.

Adoptar un conjunto de estándares, definirlos, especificar la clase de comparación, y deducir el grado con que el objetivo satisface los estándares llegando a un juicio acerca del mérito del objeto evaluado.

1. DEFINICIÓN Y FUNCIONESFunciones

Señalar el valor de un programa Iluminar la comprensión del programa y las

perspectivas de valor existentes Mejorar el programa Facilitar la tomar decisiones

2. ACTOS BÁSICOS DE LA

EVALUACIÓN Descripción: Definición de un programa enumerando

sus componentes, cualidades y circunstancias. Juicio: Acto mental por el que pensamos acerca de la

verdad o falsedad de un enunciado relacionado con un programa. “El programa consigue ….”.

Evidencias:– Intenciones: el programa que se planifica– Observaciones: el programa que se implanta.– Estándares: de calidad de los programas.– Juicios: de valor sobre un programa.

3. INFORMACIÓN A RECOGER

Antecedentes: Cualquier condición con una existencia previa al programa. – Fundamentos en los que se apoya el programa.

Procesos: Interacciones o transacciones que añaden valor a la situación anterior de los sujetos o entidades a quienes va dirigido el programa.

Resultados: Consecuencias en los sujetos o entidades atribuibles al programa.

4. EL ESQUEMA COMPARATIVO

Comparación basada en descripciones. Comparación basada en juicios.

ANTECEDENTESESPERADOS

ANTECEDENTES OBSERVADOS

TRANSACIONESESPERADAS

TRANSACIONESOBSERVADAS

RESULTADOSESPERADOS

RESULTADOSOBSERVADOS

CONGRUENCIA

CONGRUENCIA

CONGRUENCIA

CONTINGENCIA LÓGICA

CONTINGENCIA EMPÍRICA

CONTINGENCIA LÓGICA

CONTINGENCIA EMPÍRICA

MATRIZ DE DESCRIPCIONES

Datos descriptivos

de otros programas

Datos descriptivos

de otros programas

Antecedentes

Transacciones

Resultados

Datos descriptivos

del programaNormas de calidad

Datos descriptivos

de otros programas

JUICIOS

COMPARACIÓN RELATIVA

COMPARACIÓNABSOLUTA

Propuestas observadas

5. TIPOS DE EVALUACIÓN

Según quién evalúa:– Interna.– Externa.

Según su función:– Sumativa y formativa.– Retroactiva y proactiva.– Psicológica o sociopolítica.– Ejercicio de la autoridad.

EL FLUJO DE LA EVALUACIÓN

NECESIDADESDISEÑO DEL PROGRAMA

APLICACIÓN DEL

PROGRAMA

Contexto A

FINAL DEL PROGRAMA

Contexto N

TRANSFERENCIA DEL

PROGRAMA...

Finalidades Marco

Situación actual

EVALUACIÓN DE NECESIDADES

EVALUACIÓN DISEÑO

EVALUACIÓN IMPLEMENTACIÓN

EVALUACIÓN COBERTURA

MONITORIZACIÓN

EVALUACIÓN RESULTADOS

EVALUACIÓN IMPACTO

5. TIPOS DE EVALUACIÓNSegún los elementos que se están evaluando

EVALUACIÓN DE NECESIDADES

Volumen y características esenciales del problema que la intervención quiere solucionar

Niveles de necesidad (Witkin y Altschuld, 1995):– Nivel 1(Primarias): de los receptores del programa

(estudiantes, clientes, usuarios de la información, potenciales usuarios,...).

– Nivel 2 (Secundarias): de los responsables de la planificación, gestión y/o ejecución del programa (profesores, diseñadores, funcionarios de la Administración, profesionales, equipos directivos, inspectores...).

– Nivel 3 (Terciarias): relativas a los recursos o soluciones (equipamientos educativos,condiciones laborales, programas, ratios, tecnología, ayudas, salarios y beneficios...).

EVALUACIÓN DE LA EVALUABILIDAD

Estudiar la posibilidad de evaluación de un programa.

Metodologías:– Análisis documental y entrevistas personales

con los diseñadores del programa (en papel).– Análisis de la realidad empírica (el programa en

la realidad)

EVALUACIÓN DEL DISEÑO/ CONCEPTUALIZACIÓN DEL PROGRAMA

Comprobar si el programa se basa en un mode-lo de intervención suficientemente contrastado.

Metodología:– Análisis lógico del programa en relación a:

• Población objeto y los posibles problemas de cobertura.

• Conjunto de actividades que constituyen el programa incluidos los recursos asignados al mismo.

EVALUACIÓN DE LA IMPLEMENTACIÓN

Contrastar si hay discrepancias entre el diseño y la realidad

Metodología:– Describir cuáles son los elementos esenciales del

programa según los textos que los especifican.– Recoger información empírica sobre cómo se

aplican, cómo funcionan, etc. esos elementos.– Deducir si la implementación es adecuada

comparando los dos puntos anteriores.

EVALUACIÓN DE LA COBERTURA

Analizar hasta qué punto el programa llega a la población a la que está destinado (tasa de cobertura, sesgo, barreras y accesibilidad).

Análisis de la accesibilidad:– Conocimiento del programa por parte de la

población objeto del mismo.– Accesibilidad (física, temporal y mediática).– Aceptación del programa (accesibilidad

psíquica o motivacional).

MONITORIZACIÓN Y SEGUIMIENTO DEL PROGRAMA

Gestionar y dirigir adecuadamente el programa. Metodología:

– Establecer el tipo de información a recoger

– Determinar la periodicidad de dicha recogida

– Realizar un análisis periódico de la información:• Cobertura

• Esfuerzo (recursos humanos, medios materiales y financieros)

• Proceso (actividades, distribución del tiempo) e implementación

• Productividad (del personal del programa)

• Calidad (de la atención e intervención)

• Económica (de los costes de la intervención y su eficacia)

EVALUACIÓN DE LOS RESULTADOS

Analizar todas las consecuencias o efectos previstos que tenga el programa sobre la población objeto del mismo (usuarios, beneficiarios).

Metodología:– Identificar los posibles efectos/consecuencias del

programa.– Establecer diseños:

• Diseños experimentales• Modelos causales• Diseños cualitativos

EVALUACIÓN DEL IMPACTO

Analizar los efectos del programa sobre una población que va más allá de los beneficiarios/usuarios inicialmente previstos.

Metodología:– Identificar los posibles efectos/consecuencias no

previstos en el programa.– Establecer diseños:

• Diseños experimentales• Modelos causales• Diseños cualitativos

EVALUACIÓN ECONÓMICA

Analizar el coste del programa en relación a los resultados que éste consigue.

Posibilidades: coste/beneficio, coste/efectividad o coste/utilidad.

Jerarquía evaluativa:

EvaluabilidadImplementación

ResultadosEconómica

Evaluación de necesidades

PROGRAMA

5. TIPOS DE EVALUACIÓNSegún la perspectiva temporal

Evaluación ex-ante:– ¿El programa es pertinente? ¿Tendrá éxito?

Evaluación intermedia:– ¿Se está desarrollando según lo previsto? ¿Se

están logrando los objetivos?

Evaluación ex-post:– ¿Cuáles son los logros atribuibles al programa?

6. EL PROCESO DE EVALUACIÓN

Marco regulador de la evaluación. Objeto y tipo de evaluación. Finalidad y función de la evaluación. Objetivos. Identificación de las audiencias. Términos de comparación. Criterios de evaluación. Diseño de evaluación: tipo, participantes, recogida y

análisis de datos. Resolución del diseño de evaluación. Calendario de trabajo previsto. Equipo de evaluación.

6. EL PROCESO DE EVALUACIÓNObjeto y tipo de evaluación

¿Qué programa?– Oficial

– Programa en desarrollo

– Puesto en práctica

– Según el cliente

– Según los diseñadores

– Según los participantes

– Según las audiencias

¿Qué evaluar?– Necesidades

– Evaluabilidad

– Diseño/Conceptualización

– Implementación

– Cobertura

– Seguimiento

– Resultados

– Impacto

– Economía

6. EL PROCESO DE EVALUACIÓNFinalidad y función. Objetivos

Finalidad: Informar, ayudar a tomar decisiones, mejorar el programa, rendir cuentas …

Funciones:– Formativa – Sumativa – Proactiva…

Objetivos.

EL PROCESO DE EVALUACIÓNIdentificación de las audiencias

Una evaluación puede tener más de un cliente o audiencia.

Diferentes audiencias pueden tener diferentes necesidades de evaluación.

Es necesario identificar las audiencias concretas y sus necesidades relacionadas con el proceso de evaluación.

6. EL PROCESO DE EVALUACIÓNTérminos de comparación

PROGRAMA-A-

PROGRAMA-A’-

PROGRAMA-A-

PROGRAMA-B-

!!PROGRAMA!!

PROGRAMA-A-

PROGRAMA-a, b, c, ...z-

PROGRAMA-A-

6. EL PROCESO DE EVALUACIÓNCriterios

Ajuste entre los términos de comparación. Nivel de mejora respecto a una situación

anterior. Satisfacción de ciertos indicadores o estándares. Efectos sobre:

– personas objetivo, organizaciones, sistemas y comunidad.

Impacto.

EVALUACIÓN DE NECESIDADES

EVALUACIÓN DEL DISEÑO

EVALUACIÓN

DE LA GESTIÓN y SEGUIMIENTO

EVALUACIÓN DE LOS

RESULTADOS

EVALUACIÓN

DEL IMPACTO

Ad hoc basados en modelos.

Sistemas de jueces

Observacionales Correlacionales Causales

Cuantitativos Cuanlitativos

Cuantitativos ParticipativosCualitativos

Tipo survey Observación Indicadores

sociales Delphi, DAFO ...

Escalas de valoración

Paneles de expertos

Indicadores. Informaciones periódicas.

Observación Tipo survey

Tipo survey Medidas de rendimiento

Observación Portafolios

Tipo survey Grupo nominal DelphiForum comunitario

Técnicas estadísticas

Análisis de decisiones

Análisis cualitativos

Análisis de decisiones

Técnicas estadísticas

Análisis cualitativos

Técnicas estadísticas

Análisis de decisiones

Análisis cualitativos

Técnicas estadísticas

Análisis cualitativos

Análisis coste-beneficio

Análisis de impactos micro y macroeconómicos

6. EL PROCESO DE EVALUACIÓN Resolución del diseño

Evaluador, único juez. Equipos de evaluadores. Evaluador/es y audiencias. Evaluación y toma de decisiones: ¿un solo

agente o dos agentes distintos? Validez.

6. EL PROCESO DE EVALUACIÓN Calendario previsto

Detallar actividades, procedimientos, responsables y tiempo asociados.

Contar con los RR.HH y RR.MM al planificar el calendario.

Construir un diagrama de Gantt.

6. EL PROCESO DE EVALUACIÓN Equipo de evaluación

Establecer un propietario del proceso. Diferenciar funciones y responsabilidades. Carrera del evaluador, a partir de la

formación y la experiencia acumuladas:– Novel.– Junior.– Senior.

7. VALIDEZ DE LA EVALUACIÓN

Útil: En la medida en que da respuesta a las necesidades, problemas o motivaciones.

Procedimiento: Dinámico, sigue la lógica de ajuste al modelo.

Valor: No es universalmente defendible, depende de las audiencias afectadas.

Valor: Depende de que los destinatarios la consideren bien fundamentada o aplicable.

Valor: Garantizada por el evaluador y certificada por las audiencias.

8. FASES DE UNA EVALUACIÓN

Tyler (1950):– Establecer las metas de

la evaluación (conduc.)

– Desarrollar instrumen-tos de evaluación

– Recoger datos

– Interpretar los hallazgos

– Hacer recomendaciones

Stake (1973):– Describir el objeto

– Informar a las audiencias relevantes

– Obtener y analizar sus juicios

– Informar a las audiencias de la sobre el análisis realizado aplicando sus perspectivas de valor

FASES DE UNA EVALUACIÓN(Esquema tradicional)

1. Familiarización con el programa.2. Decisión sobre la viabilidad de la evaluación.3. Determinación del tipo de evaluación:

a) Funcionamiento del programa (implem./monitor.)b) Efecto sobre la sociedad/comunidad (impacto).c) Resultados/efectos del programa (resultados).d) Consideración de beneficios y costes

(coste/beneficio/utilidad).

4. Diseño/proyecto de la evaluación.5. Recogida de la información.6. Análisis de datos/informe.

Identificación de partes interesadas

Organizar con ellas un grupo de trabajo

Delimitación de preguntas y temas de evaluación

Puede identificarse cómo se utilizarán

las respuestas a esta pregunta

Buscar nuevas

preguntas y temas

SÍ

NO

SÍ

Dada la utilización prevista, vale la pena hacer la evaluación

NO

Toma de decisiones sobre diseño, métodos y medición

1. Los métodos son adecuados para las preguntas de la evaluación.

2. Los resultados que se obtengan tendrán credibilidad.

3. Los métodos a utilizar están dentro del presupuesto.4. Los resultados obtenidos se utilizarán.

Recogida de información/datos

Análisis de datos

Grupo de trabajo se implica en el análisis

Decisión sobre cómo utilizar y aplicar los hallazgos

Decisión sobre difusión de los hallazgos