Investigación orientada a las políticas sociales:

monitoreo y evaluación

Curso de Evaluación, Monitoreo y Seguimiento

Segunda parte

La lógica de una política ...

RECURSOS

RESULTADOS

CONTEXTO

PROCESOS Y PRODUCTOS

Indicadores: mirada desde la gerencia para cobertura, calidad y resultados

INDICADORES DE RESULTADO

INDICADORES DE CALIDAD

INDICADORES AFINADOS DE COBERTURA

INDICADORES DE COBERTURA

Mortalidad infantil, Aprendizaje, Prevalencia de enfermedad x

Recursos materiales, humanos. Protocolos de

atención, tiempo de espera, ausentismo, monto de prestación

Frecuencia de asistencia, acceso, prestaciones por

persona, etc

Tasa bruta y neta de escolaridad, Tasa de cobertura formal de salud, Tasa de vacunación, Tasa de cobertura en seguridad social

Las cuatro funciones y formas básicas de la evaluación...

Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)

Evaluación de implementación y productos (implementation analysis, output and process evaluation)

Evaluación de desempeño continuo y contra valores meta (performance evaluation)

Evaluación de impacto (impact evaluation)

Desarrollo de la evaluabilidad

Propósito: asegurar que el diseño de la iniciativa o la Propósito: asegurar que el diseño de la iniciativa o la organización que se evaluará esté diseñado de manera que organización que se evaluará esté diseñado de manera que efectivamente podrá ser monitoreada y evaluada de manera efectivamente podrá ser monitoreada y evaluada de manera

relevante.relevante.

Requiere: Requiere: - especificación del valor buscado y de los objetivos asociados- verificabilidad de los objetivos- viabilidad de los objetivos- definición de indicadores o informaciones relevantes- línea de base o referentes para diversos indicadores e informaciones- especificación de procesos previstos para el uso de la información generada (****)

Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)

Formación de agenda Identificación de problemas Especificación de problemas y su

medición Identificación de correlaciones que

sugieren causalidad Diagnóstico sectorial o generales, desde

la política o desde los beneficiarios

Evaluación de implementación y productos (implementation analysis,

output and process evaluation)

Recursos disponibles Acciones realizadas Procesos desarrollados Productos generados Productos entregados Participación de beneficiarios Análisis de implementación

Evaluación de desempeño continuo y contra valores meta (performance

evaluation)

Comparación contra período anterior Comparación contra metas Comparación contra y entre unidades

o areas Evaluación contra parámetros

generalizados, normativos o acumulados por experiencia.

Actividades: monitoreo y evaluación de desempeño

Requiere:Requiere:-seguimiento de procesos internos y externos a la organización- orientación al servicio de los ciudadanos-usuarios- seguimiento de entrega y calidad de productos y servicios- consultas a la satisfacción de los clientes y ciudadanos- especificación de valores meta para ciertos indicadores- mecanismos y estrategias para asegurar que la información afecte los procesos y los actores relevantes (****)

Propósito: realizar un seguimiento de los diversos procesos, Propósito: realizar un seguimiento de los diversos procesos, productos y resultados y utilizar la información generada para productos y resultados y utilizar la información generada para

guiar el desempeño de los diversos actores.guiar el desempeño de los diversos actores.

- - Aceptación creciente de auto-evaluación y co-Aceptación creciente de auto-evaluación y co-evaluación.evaluación.- Evaluaciones participativas:- Evaluaciones participativas:

involucrados y participantes fuera de la involucrados y participantes fuera de la organización ejecutoraorganización ejecutorainvolucrados dentro de la organización involucrados dentro de la organización ejecutoraejecutora

Actividades: monitoreo y evaluación de desempeño

¿Quiénes monitorean y evaluan?¿Quiénes monitorean y evaluan?¿Uno puede ser juez y parte?¿Uno puede ser juez y parte?

CONTEXTOS

RESULTADOSPROCESOS Y PRODUCTOS

RECURSOS

DESIGUALDAD

DESIGUALDAD DISTRIBUTIVA

EFICIENCIA

INTERNA

EFICACIA, IMPACTO, MECANISMOS CAUSALES

COSTO-IMPACTO

ESPECIFIC

ACIÓN

AMBIENTE

AMBIENTEAMBIENTE

AMBIENTE

Evaluación de impacto (impact evaluation)

Cambios en unidades por efecto primario de producto o servicio: EFECTO

PRODUCTOS Y SERVICIOS GENERADOS

Cambio social en mi variable y unidades objetivo: IMPACTOS

ACTIVIDADES E INVERSIONES

VALOR SOCIAL (Transformación deseada y otras externalidades positivas)

LA LÓGICA DE UNA INTERVENCIÓN

LA LÓGICA DE UN SISTEMA DE EVALUACIÓN

TRANSFORMACIÓN DESEADA

Evaluar actividades

Evaluar productos

Evaluar Efectos

Evaluar impactos

Posibles quiebres en la cadena causal...

ACCIONES X

ACCIONES PRODUCTOS X

ACCIONES PRODUCTOS EFECTOS X

EL PROBLEMA DEL CONTEXTO...

CONTEXTO

INTRAMURAL EXTRAMURAL

ACCIONES PRODUCTO EFECTOS (propósitos)

IMPACTOS (fines)

Otras intervenciones y dinamicas

1. Se podría analizar el logro (o no) de TODOS los cambios esperados, o sea, todos los elementos del marco conceptual.

¿Hasta dónde evaluar?¿Hasta cuál eslabón de la cadena?

2. Se podría evaluar hasta el eslabón que corresponde a un cambio que se podría justificar por si solo. En si, sería un cambio que la sociedad buscaría, aunque no se produjeran ningunos efectos adicionales.

3. Se podría evaluar hasta asegurar que se produzca aquel cambio que provoca otros cambios (otros eslabones de la cadena) en forma ¨automática¨.

TresTres consideracionesconsideraciones

Que modelos de análisisModelo experimental y no experimental de

evaluación

Modelos experimentales y cuasiexperimentales

Manipulación de la realidad Medición en dos tiempos o más Grupo de control y grupo de

tratamiento Notación O X O

O O* Usos: Evaluación de Impacto

Modelo de analisis causal no experimental

Control ex-post Manipulación de variables Medición en uno o más

tiempos (series históricas) Notación: x

y Necesidad, Performance,

Impacto

• Modelos descriptivos: Definición de realidad, selección de indicadores, mediciones sistemáticas, muestreo y censos, aperturas descriptivas, medidas de tendencia central y distribuciones de frecuencias, series históricas

• Usos: Necesidad, monitoreo y performance.

Las cuatro formas de la validez

Validez estadística (puedo establecer co-variación)

Validez del constructo (representa mi indicador el concepto relevante)

Validez interna (es mi programa o política la responsable de los cambios en mis unidades en los indicadores selecionados)

Validez externa (puedo considerar mis conclusiones válidas más allá de mis casos considerados)

Los riesgos de la validez interna

Imputar el cambio a mi intervención cuando en realidad se debió a otros factores.

Maduración Historia Selectividad Regresión a la media Instrumentación Testing

Modelo simple y sus riesgos de validez interna

% de niños que no asisten a la escuela entre 9 y 12 años

T1 T2

• Maduración

• Historia

• Instrumentación

• Regresión a la media

int

Modelo con grupo de control sin aleatorización y sus riesgos de validez

interna

% de niños que no asisten a la escuela entre 9 y 12 años

T1 T2

• Maduración selectivo

• Historia selectiva

int

Modelo con grupo de control sin aleatorización, con series históricas y sus

riesgos de validez interna

% de niños que no asisten a la escuela entre 9 y 12 años

T1 T2T T T Int

MODELO DE REGRESIÓN DISCONTINUA

% de niños que no asisten a la escuela entre 9 y 12 años

Renta media municipal

Punto de elegibilidad