1

Conferencia Ernest Lluch

Cesar G VictoraUniversidade Federal de Pelotas

XII CONGRESO SESPAS

Barcelona, 20/06/2007

LOS SIETE PECADOS CAPITALES DE LA EVALUACION DE IMPACTO

2Hieronymus Bosch (1450–1516)

3

“El infierno está lleno de buenas

intenciones”

S. Bernardo de Claraval, 1091-1153

4

Los

7 p

eca

dos

cap

itale

s

5

1. No evaluar2. Iniciar tardíamente la

evaluación3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

6

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

7

8

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

9

AIEPI (IMCI)

AIEPI

Soporteal sistema

de salud

Desempeño del profesional de salud

Prácticas en la familia

y en la comunidad

10

Bangladesh: efecto del AIEPI en la utilización de los servicios de

salud

0

1

2

3

4

5Ju

l

Sep

No

v

Jan

Mar

May

Jul

Sep

No

v

Jan

Mar

May

Jul

Sep

No

v

Jan

Mar

May

Jul

Sep

No

v

Jan

Mar

May

Co

ns

ult

as

po

r n

iño

/an

oAIEPI intervención AIEPI comparación

AIEPI

Fuente: Arifeen et al, 2004

11

2001

2002

2003

2004

2005

2006

2007

ActividadesEstudios

ACSD-CDC

DHS

DHS

AIEPIEPI + ITN IPTp

Evaluación externa

Servicios Comunidad

Clave: Las barras representan distritos en el siguiente orden: Kolokani, Bla, Djenné, Banamba, Niono, Koro

ACSD implementation & surveys: Mali

12

1. No evaluar2. Iniciar tardíamente la

evaluación3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

13

Introducción y

Planeamiento

Entrenamiento de los trabajadores de salud y visitas de seguimiento

Mejoras en el manejo domiciliario y en el

cumplimiento de las recomendaciones

Mejoras en la búsqueda de cuidados a la salud y

en el aumento de la utilización

Redución de la mortalidad

Mejoría del estado nutricional

Mejoras en los sistemas de salud:

medicamentos, vacunas, supervisión,

etc

Intervenciones en las familias y en las

comunidades

Mejoras en la cualidad de atención en los servicios de salud

Modelo de impacto del AIEPIModelo de impacto del AIEPI

14

A step-wise approach to evaluationat country level

Are adequate services being provided?at health facility level?at community level?

Are these services being used by the population?

Have adequate levels of effective coverage been reached in the population?

I s there an impact on health and nutrition?

Are the interventions and plans for delivery technically sound and appropriate for the epidemiological and health system context? 1

4

3

2

5

Policies; results-based planning

Provision

Utilisation

Effective coverage

I mpact

15

• La intervención es adecuada a la realidad epidemiológica y asistencial?

• Hay oferta adecuada de servicios:– en las unidades de salud?– en la comunidad?

• La utilización es adecuada?• Fueron alcanzadas las metas de

cobertura?• Hubo impacto sobre

– morbi-mortalidad?– otros resultados biológicos o del

comportamiento?

Tipos de indicadores:enfoque paso-a-paso

16

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

17

Estudios de eficacia

• La intervención funciona cuando es implantada en condiciones ideales?

• Características de los estudios:– Implementación integral– Cualidad excelente– Alta cobertura poblacional

• Incluyendo los más pobres– La intervención es altamente

necesaria– Factores contextuales son

raramente descriptos

18

Estudios de efectividad

• La intervención funciona en mi comunidad?• Características de los estudios:

– Implementación imperfecta– Cualidad media– Cobertura parcial

• Probable exclusión de los más pobres– Necesidad de la intervención puede ser

menor que en los lugares donde se realizaron estudios de eficacia

– Factores contextuales esenciales pueden estar ausentes

19

Tipos de inferencia en evaluaciones de impacto

• Adecuación (estudios descriptivos)– Los cambios esperados están

aconteciendo• Plausibilidad (estudios

observacionales)– Los cambios observados parecen

ser debidos al programa • Probabilidad (ensayos randomizados)

– Estudios randomizados muestran que el programa tiene un impacto estadísticamente significativo

20

Evaluaciones de adecuación

– Los objetivos iniciales fueron alcanzados?• Ex.: reducir en 20% la

mortalidad de menores de 5 años

– Las tendencias en los indicadores de impacto fueron • en la dirección esperada?• de la magnitud adecuada?

21

Programa de reducción de la mortalidad infantil, Pelotas, RS

02468

1012141618202224

2001 2002 2003 2004 2005 2006

Tasa m

ort

ali

dad

in

fan

til

Datos no publicados

22

• Metas:– Reducir la mortalidad infantil de

20 para 15 por mil» 15,5 POR MIL

– Menos de 65 muertes por año en Pelotas

» 66 muertes

Programa de reducción de la mortalidad infantil, Pelotas, RS

23

Cáncer de cervix en Rio Grande do Sul, Brasil, 1980-2000

0123456789

1983 1985 1987 1989 1991 1993 1995 1997 1999 2001

Año

Def

unci

ones

/100

.000

24

Evaluaciones de plausibilidad

• Es probable que el impacto observado sea debido a la intervención?

• Requiere descartar la influencia de factores externos:– Necesidad de grupo de

comparación– Ajuste para factores de confusión

• También denominados de “casi- experimentos”

25

HABILIDADES DE TRATAMIENTO Con AIEPI

Sin AIEPI

Prescripción correcta de antibióticos para niños que están necesitando

67% 51%

No prescripción de antibióticos para niños que no lo están precisando

93% 87%

Niño con neumonía tratada correctamente

58% 29%

Administración de la 1ª. dosis de medicamento en la unidad de salud

27% 0%

Aplicación de todas las vacunas necesarias

39% 38%

Desempeño del profesional de salud: 4 provincias, Brasil

Fuente: Amaral et al, 2005

26

Impacto del AIEPI sobre la mortalidad infantil, 3 provincias,

Brasil

0

12

3

45

6

78

%

SIAB SIM/ SINASC

Redución Anual de la TMI, 1999-2002 (ajustada para factores de confusión)

Fuerte AIDPI Algún AIDPI Sin AIDPI

27

Evaluaciones de probabilidadEnsayos controlados

randomizados

• Priorizan la validez interna– Asignación al azar reduce sesgo de

selección y confusión– Cegamiento reduce sesgo de

información• Esenciales para determinar la

eficacia de nuevas intervenciones• Adecuados para cadenas causales

cortas– Efecto biológico de drogas, vacunas,

suplementos nutricionales etc.• Generalmente miden eficacia y no

efectividad

28

Ejemplo de una intervención en salud pública: ECR de

aconsejamiento nutricional

Trabajadores de salud entrenados

Estado nutricional mejora

Conocimiento de T.S. aumenta

Desempeño de T.S. mejora

Conocimiento de las madres aumenta

Dieta del niño mejora

Ingesta energética aumenta

Programa nacional implementado

Source: Santos, Victora et al. J Nutr 2001

Niños 12-17.9 meses al ingresar en el estudio

Ganancia de peso:Intervención = 1.48 kg

Control = 1.14 kg(p<0.05)

29

Ejemplo de una intervención en salud pública: ECR de

aconsejamiento nutricional

Trabajadores de salud entrenados

Estado nutricional mejora

Conocimiento de T.S. aumenta

Desempeño de T.S. mejora

Conocimiento de las madres aumenta

Dieta del niño mejora

Ingesta energética aumenta

Programa nacional implementado

Source: Santos, Victora et al. J Nutr 2001

0.807=0.21

30

Ensayos randomizados en la evalución

de la efectividad de los servicios

La respuesta cierta para la pregunta errada?

31

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

32

Planeamiento de la Evaluación de AIEPI

Brasilia, Oct 2001

33

Devolución para los gestores

Fuente: Amaral et al, 2005

34

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar un método

inapropriado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

35

AIEPI lleva a mejoras en el rendimiento de los trabajadores

de salud

19

69

56

72

16

65

13

29

0

20

40

60

80

100%

niñ

os

man

ejad

os

corr

ecta

men

te

Bangladesh NE Brazil Tanzania Uganda

No AIEPIAIEPI

Fuente: Paryio et al, 2005

36

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin evaluar

proceso4. Usar u método inapropiado5. No involucrar los gestores6. Ignorar el contexto7. No evaluar desigualdades

Los 7 pecados capitalesde la evaluación de impacto

37

Cobertura de AIEPI según tasa de pobreza en el municipio, 2000

0% 20% 40% 60% 80% 100%

Menos pobres

2

3

Más pobres

Ausente Parcial Fuerte

Fuente: Victora, Amaral et al, 2006

38

Screening para cáncer de cuello uterino, según ingreso familiar,

Pelotas, 2002

4.4 9.1

30.238.0

50.0

16.1

0

20

40

60

Desconhecep<0,001

Nunca realizoup<0,001

Não realiza há 3anos p<0,001

>6 3,01 a 6,0 1,01 a3,0 ≤ 1,0

Fuente: Quadros & Victora 2004

39

1. No evaluar2. Iniciar tardíamente la

evaluación 3. Evaluar impacto sin

evaluar proceso4. Usar un método

inapropiado5. No involucrar los

gestores6. Ignorar el contexto7. No evaluar

desigualdades

Los 7 pecados capitalesde la evaluación de impacto