1

EVALUACIÓN EX - POST Procesos e impactos

Andrés Fernández

División de Desarrollo Social

CURSO INTERNACIONAL

EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS

PÚBLICOS

Santiago de Chile, 1 al 12 de septiembre de 2008

2

Una mirada un poco más amplia que sólo impacto.

Presentación

La evaluación ex-post corresponde a la verificación del grado de logro de objetivos y metas formulados en el programa o proye cto.

Es necesario un enfoque integral de la gestión para comprender las relaciones entre diseño, ejecución, monitoreo y eva luación.

El propósito central del enfoque es la maximización del impacto y por lo tanto de la rentabilidad de la inversión social (de sde la evaluación ex –ante).

3

PROCESOS

El enfoque integral de la gestión social

Insumos Actividades Productos Impactos

Efectos

Plan de producciónObjetivos y metas de producto

Objetivos y metas de impacto

Relación a nivel de metas

DISEÑO

4

A continuación algunos ejemplos para

relacionar objetivos de impacto y sus

indicadores, con objetivos de producto y sus

indicadores

5

• Puntos de disminución en la tasa de desempleo

Bajar el desempleo de la PEA rural juvenil en 10 puntos porcentuales.

• % de variación en resultados de prueba nacional de medición de calidad educativa

• % de disminución de tasa de repetición

• % de disminución de tasa de deserción escolar

Disminuir en un 70% la brecha de nivel educacional existente entre la región norte y el promedio nacional.

• Puntos de disminución en Incidencia de morbilidad infantil

• % de variación de la incidencia de mortalidad infantil

Bajar la incidencia de morbilidad infantil a la media nacional (15o/oo)

Bajar la incidencia de mortalidad infantil en un 50%.

Indicadores de ImpactoObjetivos de Impacto

6

• Cantidad de jóvenes rurales capacitados en producción agropecuaria

• Cantidad de jóvenes microempresarios rurales con crédito subsidiado

• Cantidad de jóvenes con contratos formalizados

Jóvenes rurales capacitados en producción agropecuaria

Jóvenes microempresarios rurales con acceso a créditos subsidiados

Jóvenes con contratos formalizados

• Cantidad de alumnos educados con nuevas tecnologías pedagógicas

• Cantidad de alumnos becados

Alumnos educados con nuevas tecnologías pedagógicas

Alumnos de escasos recursos becados

• Cantidad de madres bajo control• Cantidad de hijos bajo control

• Cantidad de niños vacunados

• Cantidad de madres capacitadas

Madres e hijos bajo control médico prey post natal

Niños vacunados

Madres capacitadas en prevención de deshidratación infantil

Indicadores de ProductoObjetivos de Producto

7

Principales razones de fracaso

• Errores de diagnóstico (tamaño del problema, anális is causal, etc.).

• Inadecuado diseño (procesos y organización).

• Incumplimiento de las metas de producto.

• Errores de focalización.

• Desajustes financieros (costos, flujo de caja, etc. ).

• Interacción entre algunos de los anteriores.

Factores internos

Factores externos

• Incumplimiento de supuestos.

• Cambios imprevistos de contexto.

8

Flujo básico de información en el ciclo de la gesti ón social

Formulación Programación Operación EvaluaciónEx post

Monitoreo y control de procesos

Evaluaciónex ante Inversión

Diagnóstico

Alimentación Retroalimentación

9

… para lo cual se utilizan datos reales a diferencia de la evaluación ex-ante que utiliza las estimaciones disponibles.

=> Estrecha relación con el sistema de monitoreo.

Definición

La evaluación ex - post consiste en la medición o si stematización y explicación de los resultados acumulados de:

� Cobertura � Focalización� Eficacia� Eficiencia� Efectos� Impacto� Relación costo / impacto

10

Monitoreo y control de procesos

El propósito central del monitoreo y control de pro cesos es velar por el

cumplimiento de la(s) meta(s) de impacto. En términ os generales, consiste

en el examen periódico de los procesos utilizando u n sistema de

indicadores especialmente diseñado para alertar ace rca de desviaciones

respecto de lo programado.

Esta función está centrada en la fase de operación y , particularmente en

sus procesos clave, no obstante que la inversión en activos fijos, en el

caso que un proyecto la contemple, también debe ser monitoreada.

11

El sistema de indicadores, abarcando tanto las “sal idas” como las actividades críticas de cada proceso, debe proveer de información respecto de cantidad, calidad, tiempo y costo.

El desafío está en conjugar dos principios:

1. minimizar el riesgo en el proceso decisorio.

2. maximizar la eficiencia en la recolección de info rmación.

Monitoreo y control de procesos

12

Cobertura

Este indicador hace referencia a la relación entre beneficiarios y población objetivo.

100*oón objetivla poblaciTamaño de

ariose beneficiCantidad dCobertura =

100*PO

BC T

b = 100*PO

BC PO

n =

Principales indicadores

13

Focalización

Los indicadores de focalización buscan conocer en q ué medida la

población objetivo es o no la beneficiaria del proy ecto. El grado de

focalización (F), permite conocer en qué medida los productos (bienes o

servicios) son recibidos sólo por aquellas personas o entidades

pertenecientes a la población objetivo, es decir, m ide el acierto de

inclusión.

100*B

BF

T

PO=

Principales indicadores

14

Acierto de exclusión(d)

Error de exclusión(c)

Población no atendida

Error de inclusión(b)

Acierto de inclusión(a)

Poblaciónatendida

No pertenecena la PO

Pertenecena la PO

Cobertura y focalización

a + b

a + c b + d

c + d

Cobertura bruta (CB) =

Cobertura neta (CN) =

Cuando sólo existen aciertos, esto es, ambos errore s son iguales a “0”, la focalización es totalmente correcta. Entonces: CB = CN = 100%.

(a + b) / (a + c)

(a) / (a + c)

15

Eficacia : corresponde a la relación entre la cantidad de bi enes o servicios que produce y distribuye el proyecto durante su ope ración y lo estimado en la programación, independientemente de los costos.

Principales indicadores

GC

IF=ADonde,IF corresponde al “índice físico” yGC al “grado de cumplimento”.

programado Tiempo

real Tiempotocumplimien de Grado =

p

r

T

TGC =

programada Producción

generada ProducciónFísico Indice =

M

LIF =

Si A = 1, el proyecto es eficaz (la eficacia es de 100%)

Si A < 1, el proyecto es menos eficaz que lo progra mado (inferior al 100%)

Si A > 1, el proyecto es más eficaz que lo programa do (superior al 100%)

16

Eficiencia : corresponde a relación entre los productos genera dos y los recursos utilizados en la producción. Relaciona los costos programados ,con los costos reales, el volumen de producción y e l tiempo (reales y programados).

Principales indicadores

rr

pp

TCM

TCL

**

**B =

r

p

C

CA *B =

B = 1, la producción es eficiente (costos reales po r producto iguales a los

programados)

B > 1, el proyecto es más eficiente que lo programa do

B < 1, el proyecto es menos eficiente que lo progra mado

Donde (C p ) son los costos programados y (C r ) los costos reales.

17

Calidad : corresponde a la relación entre el estándar del pr oducto real y el estándar programado. Éste se establece a partir de criterios normativos, lo observado en otro proyecto similar o en función del promedio para un conjunto de proyectos.

Principales indicadores

S

q=Q

Donde, “q” es el nivel de calidad del producto entre gado y “s” es el estándar de comparación.

Si Q = 1, la calidad observada es igual al estánda r o a la media; si Q > 1 la calidad del producto es superior; si Q < 1, entonce s es inferior.

18

Respecto de la calidad cabe advertir que, independi entemente delcumplimiento o no del estándar, existe lo que se de nomina calidad percibida por los beneficiarios . Ésta incidirá de manera significativa en el uso del producto y, consecuentemente, en el logr o de la meta de impacto.

Si la calidad se califica negativamente, los benefi ciarios rechazarán el producto.

Por otra parte, cabe señalar también que ésta depen de de las expectativas: mientras menor sea ésta, más positiva será la percepción de calidad.

Principales indicadores

19

A continuación un ejemplo de diagrama de

procesos y su relación con objetivos de

impacto y poblaciones objetivo:

El caso del Plan de Mejoramiento Alimentario

y Nutricional de Antioquia

20

21

22

Diagrama

Proceso: Recuperación de niños con desnutrición agu da

NO

SI

NO

SI

Detección de niños con desnutrición aguda

Ingreso a CRN y tratamiento clínico

Seguimiento

Niños con desnutrición aguda recuperados

¿Moderada o Severa?

Recuperación nutricional ambulatoria

¿Existe cupo?

Eventual derivación y tratamiento en clínica

Santa Ana

Lista de espera por cupo

23

Indicadores de monitoreo

Proceso: Recuperación de niños con desnutrición agud a

Recuperación ambulatoria

Tratamiento clínico

Detección de niños con desnutrición aguda Eficacia

Cobertura y Focalización

Tasa de abandono

Tasa de derivación

Eficacia

Eficiencia

SeguimientoTasa de abandono

Eficacia

Cobertura y Focalización

Tasa de abandono

Eficacia

24

Evaluación de impacto

La evaluación de impacto utiliza la lógica del méto do experimental, no constituyendo propiamente un “experimento”. La únic a excepción puede ser el caso de ciertos proyectos que tienen el cará cter de “piloto” siempre que en su diseño esto haya sido considerado.

La verificación del impacto se realiza mediante la medición y comparación del estado "inicial" (línea de base) que presentaba la población objetivo y la situación existente después de un tiempo de oper ación del proyecto (línea de comparación), eliminando (o tratando de m inimizar) la incidencia de factores externos que también pudieran estar con tribuyendo a la “explicación” del cambio.

Los modelos para medir efectos e impactos son los m ismos, sólo cambian los indicadores utilizados.

25

Los diseños de investigación

Según la intervención del investigador

Según el número de mediciones

• Experimentales

• Transversales

• Longitudinales• Cohortes• Panel• Tendencia

• Pre experimentales• Experimentales• Cuasi experimentales

• No experimentales

26

Diseños experimentales

Por experimento se entiende aquel método que permit e estudiar el efecto que tiene, sobre una o más varia bles dependientes (Y), la manipulación de una o más variables independientes (X).

Posibilidades de manipular el ambiente

Definición

Diversidad de complejidad

Administrar el estímulo experimental (X)

Aislar factores intervinientes

Controlar los factores intervinientes afecta la val idez de los resultados y las conclusiones.

Posibilidades de controlar el ambiente

27

Validez de los diseños experimentales

Los resultados se “explican” por el proyecto y no por otros factores no controlados.

Interna

Externa Alude a la representatividad de los resultados obtenidos. Es decir, las posibilidades de generalización que éstos tienen.

En el análisis de los impactos lo más relevante es la validez interna.

La validez externa adquiere relevancia cuando alime nta decisiones de replicación o de ampliación, como en el caso de los proyectos piloto, sin embargo habrá que precaverse del “efecto macetero”.

28

1. Historia : acontecimientos externos a los sujetos ocurridos entre las mediciones.

2. Maduración : sucesos propios de los sujetos que intervienen po r el sólo hecho del paso del tiempo entre las dos medici ones.

3. Administración de pruebas : efecto de una aplicación de prueba sobre los resultados de otra posterior.

4. Instrumentación : cambio de instrumentos u observadores entre las dos mediciones.

5. Mortalidad : : efecto sobre los resultados por la pérdida de suj etos entre las mediciones.

Principales factores que atentan contra la validez interna

29

Diseño experimental clásico

R Yb1 X Yb

2

R Yc1 Yc

2

La magnitud en que difieran los cambios producidos en el grupo con proyecto (Y b

1 - Yb2), en cada objetivo de impacto, respecto a los del grupo

sin proyecto (Y c1 - Yc

2), será una medida del impacto del proyecto en dicho objetivo.

30

Diseño experimental clásico

Si, (Yb1 - Yb

2) es resultado de cambios endógenos y exógenos

Si, (Yc1 - Yc

2) es resultado sólo de cambios exógenos

Entonces (Y b1 - Yb

2) - (Yc1 - Yc

2) es una medida del impacto neto del proyecto.

Si la aleatorización es “perfecta”, entonces (Y b1 = Yc

1) , por lo tanto para conocer la magnitud del impacto bastaría con la com paración post. Sin embargo, esto no permite conocer la magnitud de efe ctos exógenos y se pierde información que enriquece el análisis evalua tivo empobreciendo, a la vez, la retroalimentación para tomar decisiones de reprogramación o replicación.

31

Diseño experimental clásico

El diseño experimental clásico constituye una forma vigorosa de

identificar los cambios producidos por un proyecto. Sin embargo, su

aplicación se dificulta porque requiere la selecció n aleatoria de los

integrantes de cada uno de los grupos en la línea d e base (LB).

Otro obstáculo son las dificultades éticas que deri van de aplicar el

proyecto a sólo una parte de la población objetivo (el grupo experimental)

para poder medir el impacto, excluyendo a otros que legítimamente

requieren de la atención que el mismo brinda.

32

Diseños pre experimentales

Diseño antes - después de un solo grupo

Yb1 X Yb

2

No permite eliminar el efecto del contexto y, por t anto, tampoco es posible determinar en qué medida los cambios registr ados son imputables al proyecto.

33

Diseños pre experimentales

Diseño de comparación con grupo equivalente

X Yb2

-------------Yc

2

Es posible aumentar la validez procurando que los d os grupos sean lo más parecidos posible en todas las variables ext ernas al proyecto que pudieran incidir en el impacto. Sin embargo, la ausencia de LB no permite medir su magnitud.

34

Diseños cuasi experimentales

Diseño antes – después con grupo de control “equival ente”

Se comparan grupos “naturales” pero que no poseen equivalencia por muestreo aleatorio.

Yb1 X Yb

2

Yc1 Yc

2

35

Diseños cuasi experimentales

Diseño de series cronológicas

Si se dispone una serie mediciones para los indicad ores pertinentes, tanto antes como después de la ejecución del proyecto, es posible hacer un análisis de series temporales. La formas que adopta la curva que representa la serie es utilizada para estimar la ma gnitud del impacto.

En términos estrictos, con este modelo no es posibl e aislar los efectos atribuibles al proyecto. Es el clásico problema de establecer causalidad sin disponer de instrumentos que controlen los diferent es tipos de variables que la afectan.

Es posible mejorar la estimación incorporando una s erie cronológica para “grupo equivalente”.

Yb1 Yb

2 Yb3 Yb

4 X Yb5 Y

b6 Y

b7 Y

b8

36

Curvas de efecto en diseños cuasi experimentales

Y

tX

A

B

C

E

D

F

37

Complementos a los diseños cuasi experimentales

1. Conseguir la aleatorización puede ser difícil por aspectos políticos o éticos ya que supone no entregar los productos a pe rsonas que cumplen con la definición de población objetivo.

2. Durante la intervención las personas asignadas a los grupos de control podrían cambiar ciertas características que los ide ntifican, afectando la validez interna. Normalmente no es posible aplicar la condición de “doble ciego”.

3. En muchas ocasiones la evaluación se diseña con e l programa en operación lo que dificulta optar por un diseño expe rimental debiendo recurrirse a los diseños cuasi experimentales.

Aunque los diseños experimentales se consideran el método óptimo para estimar el impacto de los programas sociales, ellos son difíciles de implementar.

38

Complementos a los diseños cuasi experimentales

Como hemos visto, un elemento importante en la eval uación de impacto es la construcción de un escenario contrafactual. Esto es, por medio de métodos estadísticos, construir una situación hipot ética en la cual hubiesen estado los beneficiarios en caso de que el programa no se hubiese implementado.

Lo habitual, en el campo de los programas sociales, es recurrir a mecanismos que propendan a lograr una deseada igual dad de mediasentre los atributos de los integrantes de ambos gru pos.

El diseño denominado antes – después con grupo de co ntrol “equivalente”ha sido perfeccionado con la aplicación de modelos estadísticos, por medio de los cuales es posible “parear” sujetos empl eando un set de atributos similares.

39

Muestreo, precisión y significación estadística

El nivel de precisión de una estimación de parámetr os o el nivel de significación logrado en un prueba de hipótesis est á directamente relacionado con el error de muestreo o error estánd ar y éste, a su vez depende del tamaño de la muestra y de su diseño.

40

Relación costo / impacto

El último componente de la evaluación ex-post es ca lcular el costo por unidad de impacto real (CUI r), dividiendo los costos reales (C r) por los impactos alcanzados I r.

r

rr I

CCUI =

Para hacer un análisis intra-proyecto, se comparan los resultados con las estimaciones realizadas durante la evaluación ex-an te. Esto permite medir el grado en que dichas estimaciones se adecuaron a la realidad y las razones de las diferencias encontradas .

Evaluación costo / impacto

41

EVALUACIÓN EX - POST Procesos e impactos

Andrés Fernández

División de Desarrollo Social

CURSO INTERNACIONAL

EVALUACIÓN DE LA GESTIÓN Y DE PROGRAMAS

PÚBLICOS

Santiago de Chile, 1 al 12 de septiembre de 2008