Evaluación de impacto de programas sociales

Dr. Anibal Velásquezanibal.velasquez@gmail.comhttp://reformasalud.blogspot.com/

Preguntas que responde la evaluación

• ¿Cuál es el resultado de un programa, política o proyecto de salud?

• ¿Cuándo se podría decir que un Programa, política o proyecto de salud ha tenido éxito?

• ¿Cuánto de los cambios se pueden atribuir al programa?• ¿Cuánto se tiene que invertir para obtener resultados con el

programa?• ¿Qué parte de la intervención es la más efectiva?• ¿Qué factores han impedido que se obtengan resultados con

el programa?• ¿El programa debe continuar, expandirse, mejorarse o

eliminarse?

– Conjunto de procedimientos y herramientas analíticas para examinar el desempeño de programas, y determinar si obtuvieron el efecto (impacto) para el que fueron diseñados

Importancia:

– Identificar si algún componente del programa necesita mejora

– Contribuye a una eficiente asignación y administración de recursos

– Determinar si los objetivos del programa se han alcanzado o no

Evaluación de Programas:

II. Evaluación de Impacto

• Objetivos:- Determinar el impacto neto del programa en el resultado a nivel de población (o en productos a nivel de programa)

- ¿Cuánto del cambio observado en el resultado es debido, o puede ser atribuido, al programa y no a otros factores?

• Características:- Enfasis en productos y resultados- Examina atribución

Preguntas que se hace un político, una agencia donante, o un gerente sobre Programas Sociales

• Hemos invertido millones de dólares en este programa ¿Cuál ha sido el impacto de las intervenciones?

• ¿Cuáles han sido los cambios en la población? • ¿En cuánto se ha contribuido a reducir los daños?• ¿En cuánto se ha mejorado la salud o el bienestar

de las comunidades atendidas?• ¿Cuáles son las estrategias más efectivas y

eficientes?

Inicio delprograma

Punto medio o final del programa

Tiempo

Resultado

La pregunta deevaluación:

¿Cuánto de este cambio esatribuible alprograma?

Evaluando el Impacto del Programa

Conprograma

Sin programa

Inicio delprograma

Punto medio o final del programaTiempo

Resultado

Impacto netodel programa

Evaluando el Impacto del Programa

• El problema de evaluación:El segundo término, el contrafáctico, no es conocido pues no podemos observar al mismo individuo expuesto y no expuesto al programa al mismo tiempo

Sin embargo, el segundo término puede ser estimado. Existen diferentes diseños de evaluación disponibles para evaluar el impacto del programa

Impacto del programa =Resultado conel programa -

Resultado que sehubiese obtenido si elprograma no se hubieseestablecido

Diseños de investigación para evaluar el impacto

• Diseño Experimental• Diseño Observacional

Grupo 1(Tratamiento)

Población

Esquema básico para evaluar el impacto de programas

Grupo 2(Control)

PROGRAMA

Grupo 1(Tratamiento)

Grupo 2(Control)

Si “Asignación Aleatoria”: Grupo 1 = Grupo 2

Si Asignación no aleatoria: (datos de encuestas)

Grupo 1 Grupo 2

Grupo 1 Grupo 2Diferencia debida al programa

Group 1 Group 2 Diferencia debida al programa y a diferencias pre-existentes (observadas y no observadas)

Individuos son asignados aleatoriamente a un grupo de “Tratamiento” y a uno de “Control” antes del programa. Si es bien implementado:

Impacto = Promedio(“Tratamiento”) - Promedio(“Control”)

Pocas condiciones son necesarias:+ La asignación es aleatoria+ La “intensidad” del programa es homogénea+ Los individuos en el grupo de “Tratamiento” no cambian su comportamiento por participar en un experimento (no hay efecto Hawthorne)+ Los factores externos influyen ambos grupos por igual+ Los individuos permanecen en los grupos durante la duración del experimento (no hay atrición o ésta no es selectiva)

Diseño ExperimentalDiseño Experimental

Diseño Experimental (Cont.1)

• El diseño experimental clásico es el Gold Standard• Ventajas: Simple

Si bien implementado y el tamaño de la muestra es suficientemente grande, la asignación aleatoria causa que los grupos sean equivalentes en cuanto a características observadas y no observadas. Es decir, en ausencia del programa, no habría diferencias en los resultados de los dos grupos.

Diseño Experimental (Cont.2)

Desventajas

+ Difícil de implementar (factores prácticos, políticos y éticos)

+ Contaminación es posible

+ Efecto Hawthorne es posible

+ Deserción o atrición selectiva es posible

+ Programas son intervenciones complejas con muchos componentes

+ Generalización es dudosa (criterio de validez externa)

Entonces, si los experimentos son tan buenos para buscar evidencias causales, ¿por qué es que no se usan más frecuentemente en evaluación de impacto de programas de población, salud y nutrición?

Los experimentos son difíciles de implementar por razones:

– Prácticas

– Eticas (incluyendo el asunto del consentimiento informado)

– Políticas

ADEMÁS...

• Los experimentos con sujetos humanos se critican en términos de su validez externa, es decir, su capacidad para generalizar sus resultados a las poblaciones meta de las intervenciones

Por eso, se han concebido modelos y técnicas de análisis de datos en las que la estimación del contrafáctico se hace mediante el control estadístico de las “otras” variables relevantes que pueden afectar el resultado de interés

Diseño Observacional

• No hay asignación aleatoria de los individuos a grupos de tratamiento y control. Los propios individuos deciden si participan en el programa o no. Por tanto, diversos factores influyen el resultado obsevrado y no hay garantía que esos otros factores relevantes sean equivalentes entre el grupo expuesto y el grupo no expuesto al programa

• Es necesario usar técnicas estadísticas para estimar el efecto del programa controlando por el efecto de los otros factores. Una técnica para ello es el Análisis de Regresión

Diseño Observacional (Cont 1)

• El análisis de regresión examina la relación entre varias variables explicativas y la variable dependiente. Permite cuantificar la contribución de cada factor a la variable dependiente

• Importante: Se necesita definir cuales son los factores relevantes que influyen el resultado de interés y se necesitan datos sobre ellos

Con los estudios observacionales se estima el contrafáctico (qué hubiese ocurrido si no se realiza el programa) mediante modelos y técnicas de análisis de datos; y se hace mediante el control estadístico de las “otras” variables relevantes que pueden afectar el resultado de interés

Los enfoques más comunes se basan en modelos de regresión

Y, variable dependiente

X2

X1

X5

X4X3

Estas son las variables independientes, factores relevantes(incluyendo el programa) que pueden influenciar la variable de interés

En condiciones “naturales”, por ejemplo, por medio de una encuesta, podemos observar una variable de respuesta cuyo nivel puede ser el resultado de la influencia simultánea de muchos factores

El programa

EN UN MODELO DE REGRESION

• Y = f(X1,X2,…,Xn)Y, la variable de respuesta o variable dependiente, es una función de las variables independientes

• Una vez que el modelo es “ajustado” se puede juzgar la importancia relativa de cada variable independiente

• Nuestro foco de interés, se refiere por supuesto a la(s) variable(s) independiente(s) que identifican al programa

Si medimos los otros factores relevantes es posible “aislar” el efecto del programa entre los efectos de las otras variables independientes

VARIABLES CONFUSORAS

• En el contexto de una evaluación de impacto hablamos de variables confusoras cuando nos referimos a todos los otros factores relevantes, además del programa, que pueden influenciar el resultado de interés

• Dejan de ser confusoras cuando se miden e incorporan en el modelo de regresión

ES POR ESTO QUE...

• Un marco conceptual comprensivo (que incluya el programa y los potenciales factores confusores) es especialmente importante para la aplicación de los métodos de regresión en evaluación de impacto

Qué es el marco conceptual de un programa?

EL MARCO CONCEPTUAL

El marco conceptual o “de investigacion” es un diagrama que identifica e ilustra las relaciones entre factores sistémicos, organizacionales, individuales y otros elementos relevantes que pueden influenciar la operación de un programa o proyecto y el logro exitoso de sus metas y objetivos

El marco conceptual tiene base en...

La Teoría del Programa. Es el conjunto de supuestos sobre la forma en que

el programa (o proyecto) provoca los beneficios que se espera que produzca, incluyendo las estrategias y tácticas que ha adoptado para lograr sus metas y objetivos.

LA TEORÍA DEL PROGRAMA ...

• A veces no es explícita, no ha sido formalmente articulada o establecida.

• Evaluación de caja negra: cuando se realiza la evaluación sin haber articulado formalmente la teoría del programa

• Nuestra recomendación: no hacer evaluación de caja negra

EN LA TEORÍA DEL PROGRAMA DEFINIMOS...

• Hipótesis de acción: son las que ligan o conectan causalmente la teoría del proceso (están bajo el control directo del programa)

• Hipótesis conceptuales: son las que ligan o conectan causalmente la teoría del impacto (no están bajo el control del programa)

Vinculando el Programa de capacitación a Resultados de Salud …………………….

Características del Individuo y del Hogar

Características de comunidad Uso de

Servicios

Práctica de salud

Resultadode Salud

Programade

capacitación

Gobierno, ONGs, otros donantes, privadoOtras capacitaciones

oferta de servicios de salud

Vinculando Insumos del Programa a Resultados de Salud (fuentes de datos)

Características del Individuo y del Hogar

oferta de servicios de salud

Uso de Servicios

Práctica de salud Healthy

Outcome

Programa capacitación

Gobierno, ONGs, otros donantes, privado

Encuesta de hogares(ENDESA,ESR,ENV)

Enc. Establecimientos (desempeño)Enc. Comunidades

Características de comunidad

comunidad

hogar

individuo

ClínicasBasado enla comunidad

Oferta deServicios deSalud

OtrasCaracterísticasde la Comunidad

Niveles de Factores que influyen Comportamientos y Resultados de Salud

Encuesta de Hogares

Enc. de Establecimientos

Encuesta de ComunidadesFuentes de Datos

Oferta deServicios deSalud

OtrasCaracterísticasde la Comunidad

ClínicasBasado enla comunidad

Importante: Las encuestas deben estar “vinculadas”

Etapas de una evaluación de impacto de programa:

1. Definir el alcance de la evaluación: programa a examinar, resultado de salud de interés (objetivo del programa), población de analísis (población objetivo)

2. Definir el marco conceptualIdentificar factores relevantes que influyen el resultado de salud y la relación entre ellos. Identificar la “ubicación” del programa en el marco conceptual

3. Operacionalizar los factores relevantes. Seleccionar indicadores

4. Recolectar datos apropiados. Mucho mejor si son datos longitudinales. Se necesita un grupo de comparación (no expuesto)

Etapas de una evaluación de impacto de Programa:

5. Especificar el modelo empírico y seleccionar el procedimiento de estimaciónCriterios:

- Tipo de variable dependiente: contínua o discreta?- Tipo de variables explicativas: exógenas o

endogenas?- ¿Hay varios niveles en las variables explicativas? - El diseño de la muestra, ¿fue por etapas múltiples?- ¿Sospecha de factores relevantes no observados?- Tipo de datos disponible: corte transversal o panel?

6. Estimar el modelo empírico

Etapas de una evaluación de impacto de Programa:

7. Examinar la sensibilidad de los resultados a la selección de indicadores, la especificación del modelo empírico y a los supuestos estadísticos necesarios para la estimación

8. Examine el impacto del programa

Interpretación de resultados; simulaciones de escenarios de disponibilidad del programa y su impacto

Características Individuo /Hogar

Características de comunidad y de oferta de servicios (IEC)

Preferenciastamaño de familia

Uso de métodos PF

Fecundidad

Ejemplo: Modelo simplificado de uso de anticonceptivos y fecundidad

¿Cuáles son los factores relevantes?Especifique el modelo empírico

Un modelo de regresión con uso de anticonceptivos como variable dependiente y variables individuales de la mujer, como educación, edad o número de hijos, como variables independientes

ó

Un modelo de regresión con uso de anticonceptivos como variable dependiente y variables programáticas de los establecimientos de salud como variables independientes, ligando cada mujer al establecimiento al que asiste y tomando el promedio de la variable dependiente en cada establecimiento

ó

Un modelo de regresión con uso de anticonceptivos como variable dependiente y variables de la comunidad, como acceso a servicios básicos, como variables independientes, ligando cada mujer a la comunidad en que reside y tomando el promedio de la variable dependiente en cada comunidad

Pero...

• No se puede (no se debe) tener los tres niveles (individual, establecimiento y comunidad) en el mismo modelo de regresión

• Esta es una gran limitación ya que entonces no podemos analizar simultáneamente los efectos de las variables medidas en los tres niveles diferentes de agregación

Por el contrario,

• Cuando se usa un modelo de regresión multinivel (o de niveles múltiples) se puede analizar simultáneamente los efectos de las variables del programa, de los establecimientos e individuales del sujeto.

• Esta característica hace que estos modelos resulten poderosos para la evaluación de impacto

BIBLIOGRAFIA

Bertrand, J.T. et al. (1996). Evaluación de Programas de Planificación Familiar. The Evaluation Project, USAID

Mohr, L. (1995). Impact Analysis for Program Evaluation. Sage Publications

Rossi, P.H.; Freeman, H.E. & Lipsey, M.W. (1999). Evaluation: A Systematic Approach. Sage Publications