Investigación Evaluativa. Aplicaciones en intervenciones sociales y de salud pública

Jesús Armando Haro

Contenido• El concepto de evaluación• ¿Qué es investigación evaluativa?• ¿Para que sirve?• ¿En qué se aplica?• ¿Cómo se realiza?• ¿Tipos de investigación?

¿Generaciones?• ¿Cuáles son sus etapas clave?• ¿Qué es metaevaluación?• Addendum: ¿Cómo anticipar y evaluar

el impacto de las investigaciones que hacemos en salud pública?

3

DEFINIENDO EL CONCEPTO DE EVALUACIÓN

“..evaluar es determinar el significado, la importancia, o condición de algo, usualmente mediante un cuidadoso estudio y minucioso enfoque”

Merriam Webster Dictionary

Evaluar es una actividad básica y humana en la vida cotidiana. Es emitir juicios de valor acerca del mérito de las cosas y de las acciones

No obstante, hay un tipo de evaluación, la investigación evaluativa, que se caracteriza por

su rigurosidad y sistematicidad

“La recoleccion sistemática de información acerca de actividades, características y resultados de programas, para realizar juicios acerca del programa, mejorar su efectividad, o informar la toma futura de decisiones”.

M. Q. Patton. 1996. Utilization-focused evaluation (3rd ed.). Thousand Oaks: Sage. p. 23.

“La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados.”

D.L. Stufflebeam y A. Schiklield. 1987. Evaluación sistemática. Guía teórica y práctica. Madrid: Paidós/MEC. p. 183.

INVESTIGACIÓN EVALUATIVA

Es la investigación que tiene como objetivo evaluar los resultados de uno o más programas que hayan sido o estén aplicados dentro de un contexto determinado.

La intención de la investigación evaluativa es medir los efectos de un programa por comparación con las metas que se propuso lograr, a fin de tomar decisiones subsiguientes para mejorar la ejecución futura.

“Impact evaluation aims to measure the difference between what happened with the program and what would have happened without it.”

(Center for Global Development, 2006)

¿Qué permite la investigación evaluativa?

Obtener información sobre problemas, expectativas y necesidades de la sociedad para contribuir de una manera eficaz a las decisiones de política social.

Producir información para disminuir la incertidumbre sobre las consecuencias de las decisiones tomadas, y sobre las alternativas menos costosas de decisión futura.

Dar respuesta en forma rápida y precisa a cuestiones prácticas y preguntas de relevancia social, sin soslayar que en estas situaciones, los problemas teóricos, metodológicos y técnicos están presentes .

Evaluación en salud“Un conjunto de procedimientos sistemáticos que buscan hacer visible lo que se hace, con referencia a lo que se pretende hacer; respecto a intereses, efectividad, operacionalidad y calidad de las acciones, tecnologías, servicios o programas de salud”

(Ayres, J.R.: 2004. Norma e formacao: horizontes filosoficos para as praticas de avaliacao no contexto da promocao de

saúde Ciencia & Saude Coletiva 9 (3): 585)

Intervenciones evaluables en salud

• Clinicas• Nutricionales• Conductuales• Educativas• Ambientales• En sistemas de salud

(cobertura, abasto, personal, procesos, calidad, etcétera)• En salud pública• Otras

12

¿Hay realmente diferencias entre investigación e investigación evaluativa?

Para varias visiones existen al menos 3 tipos básicos de investigación:

1. Básica o pura: investigación científica que tiene como referente un problema del conocimiento, de la disciplina. Desarrollo, refutación y consolidación de teorías

2. Aplicada. Investigación para probar teorías para evaluar su utilidad de resolver problemas

3. Evaluativa. Investigación para determinar si una intervención garantiza mejoría de condiciones, tiene consecuencias de impacto o ha contribuido al conocimiento.

La IE difiere en que:

• Las preguntas centrales se derivan de objetivos sociales, para resolver problemas en forma práctica, y menos como un problema del conocimiento o de las disciplinas académicas.

• Los resultados se utilizan para mejorar programas, procesos, intervenciones.

• Tiende a realizarse en escenarios de intenso cambio social (turbulentos).

• Los resultados son principalmente reportados en formatos no necesariamente académicos.

• Por ello,erróneamente, se piensa que en la IE la teoría y la teorización juegan un papel menor. No debe ser así.

¿Para qué se realiza la investigación evaluativa? (en lo general)

• Para juzgar la eficacia, el mérito de un programa, intervención o política pública

• Para describir lo que sucede como resultado de una intervención (efectos colaterales también no solo logros)

• Proveer evidencias acerca de los efectos a corto y largo plazo

• Determinar el costo-efectividad• Para mejorar lo que se evalúa• Identificar además que aspectos del proceso son los que son exitosos, sus resultados

(positivos, negativos o neutros) parelelos, que no responden a los objetivos de la “intervención”. Identificar sus fuerzas y debilidades, asegurar la calidad, evaluar el progreso de los objetivos planteados.

• También: para generar conocimiento científico social y de salud pública. Hacer posibles generalizaciones sobre efectividad, construir teoría, diseñar nuevas políticas o procesos de la misma intervención, extrapolar principios y hallazgos para ser aplicados en otros escenarios sociales.

15

• Documentar éxitos y fracasos, errores de proceso

• Predecir cómo las variables impactan situaciones específicas

• Explicar o identificar teorías prometedoras asociadas con fenómenos específicos.

• Puede realizarse según diversos criterios: rendición de cuentas, costo-beneficio, acreditación/certificación de procesos, etcétera.

Tipos de evaluación (criterios)

• Evaluación de etapas o ciclos de un programa o proyecto: diseño, implementación, resultados

• Evaluación de componentes:a. insumosb. procesos y productosc. estructura, procesos y resultadosd. procesos e impactos

• Evaluación de atributos: pertinencia, idoneidad, suficiencia, eficacia, efectividad, rendimiento, etcétera

Nirenberg, Olga; Josette Brawerman y Violeta Ruiz: “Los tipos de evaluación” en Ibídem: Evaluar para la transformación. Innovaciones en la evaluación de programas y proyectos sociales Paidós (Tramas Sociales), Buenos Aires, México, 2000, pp. 51-78.

Tipos de diseños de investigación evaluativa (1)

• Evaluaciones cuantitativas• Evaluaciones cualitativas• Evaluaciones cuali-cuantitativas

• Diseños experimentales (el ideal, pero raramente aplicable por razones éticas y prácticas)

• Diseños quasi-experimentales – En series temporales (antes y después)– Comparación entre grupos por pareamiento (con y sin

intervención, “casos y controles”)

• Modelo CIPP (contexto, input, proceso y producto (Stufflebeam et al 1971)

• Evaluación de meta libre (Scriven 1973)• Evaluación responsiva (Stake 1975)• Evaluación focalizada (Patton 1978)• Evaluación sobre la base del adversario (Wolf, 1979)• Modelo de reforma (Cronbach et al 1980)• Evaluación naturalista (Guba y Lincoln 1981)

Cronbach, L. J., Hambron, S. R., Dornbusch, S. M., Hess, R. D., Hornick, R. C., Phillips,D. C., Walker, D. F. y Weiner, S. S. (1980). Towards reform in program evaluation: Aims, methods and institutional arrangements. San Francisco: Jossey-Bass.Guba, E. G. & Lincoln, Y. S. (1981). Effective evaluation: Improving the usefulness of evaluation. Results through responsive and naturalistic approaches. San Francisco: Jossey-Bass.Stake, R. E. (1975). Program evaluation: particularly responsive evaluation. Occasional Paper, 5. University of Western Michigan.Stufflebeam, D. L. & otros (1971). Educational Evaluation and Decision Making. Itasca,Illions: Peacock.

ALGUNAS APLICACIONES METODOLÓGICAS EVALUATIVAS en EDUCACIÓN

Algunos enfoques o modelos emergentes en el campo de la salud

• Evaluación participativa• Evaluación cualitativa• Evaluación de sistemas de salud• Evaluación de síntesis realista• Evaluación respondente (Stake)• Evaluación democrática• Evaluación por triangulación de

métodos• Evaluación crítica• Evaluación formativa

“No existe un modelo o enfoque único de evaluación emergente o alternativo en el área de salud”

F.J. Mercado et al: “Avaliação de políticas e progra mas de saúde: enfoques emergentes na Ibero-América no inicio do século XXI” en Magalhães Bosi, M.L. y F.J. Mercado (org.): Avaliação qualitativa de programas de saúde. Enfoques emergentes Vozes, Petrópolis, 2006, p. 22-64.

Según Boruch y Wortman (1979) no existe un modelo generalizado de investigación evaluativa. La clasificación de los enfoques en la evaluación de programas ha originado una abundante literatura, distinguiéndose desde 1975 hasta hoy ocho tipologías de evaluación que arrojan cerca de cincuenta categorías (de la Orden, 1985).

Hay 3 criterios fundamentales: (a) la metodología empleada para establecer la verdad o basar las afirmaciones confirmatorias, (b) el papel asignado en el proceso de evaluación al orientador-evaluador en relación como los orientadores y con el sistema, y (c) los objetivos que persiguen o su orientación básica.

Borouch, R. F. & Wortman, P. M. (1979). Implications of educational evaluation for evaluation policy. En D. C. Berliner (pp. 309-361). Review of Research in Education, 7.

• El concepto de evaluación, no es monolítico (Anguera 1989).

• Las diversas posturas adoptadas oscilan entre la construcción de un corpus de conocimientos que pudiera garantizarle el carácter de disciplina básica, y la mera recogida de información que trata de dar cuenta de la ejecución de ciertas actividades realizadas previamente (Cordaray, Bloom y Light, 1987).

• Pasando por el análisis de los efectos netos de los programas o por la primacía de razones políticas —y no técnicas— respecto a la oportunidad de algunos programas.

Según Ricardo Ayres (2001) la IE en el campo salud puede clasificarse en dos tipos:

a) La evaluación normativa, destinada a verificar el éxito técnico de acciones en salud. Se limita e medir cosas objetivas, y es generalmente cuantitativa. Es análoga a la evaluación formal de la calidad (“ideología de la calidad” Uchimura & Bosi 2004).

a) La evaluación formativa, que va mas allá de la dimensión objetiva de calidad, para juzgar el éxito práctico. Implica reconocer los “proyectos de felicidad” que justifican una intervención en salud a través de la integralidad. Reconoce que la IE es una herramienta para la formación ciudadana y un mecanismo de validación del sistema social, político e ideológico.

La integralidad como principio norteador de la evaluación

• Según Mattos (2001) la integralidad debe ser el principio que oriente las prácticas evaluativas, pero también del trabajo en salud y de las políticas públicas.

*Capacidad de responder al sufrimiento manifiesto

*Postura no reduccionista *Capacidad ampliada de aprehensión de las

necesidades en salud*Defensa de la intersubjetividad

¿En que se aplica la investigación evaluativa?

• Programas• Intervenciones• Políticas públicas• Evaluación de calidad de servicios

existentes• Productos• Personas en puestos clave• Procedimientos específicos en la

implementación de ciertos componentes en los anteriores

• Proyectos de investigación e intervención

¿Qué aspectos se pueden evaluar?

• Eficacia (relación entre objetivos y logros)• Efectividad (relación entre las estrategias, los métodos, los

procedimientos, y los logros)• Costo-beneficio• Implementación (operatividad, procesos)• Aceptación en la población objetivo• Calidad de servicios• Efectos contextuales• Procesos (desempeño, operatividad)• Efectos colaterales• Rendición de cuentas (accountability)• Satisfacción de los usuarios o implicados

CRITERIOS DE EVALUACIÓN DE PROYECTOS

• Clara formulación del problema (tanto práctico como del problema de investigación) y de las dimensiones del mismo que se abordarán.

• Relevancia del problema. Descripción, justificación y contextualización adecuada. • Exposición clara y pertinente de los fundamentos teóricos de la investigación. • Congruencia entre problema, hipótesis, objetivos y fundamentos. • Congruencia entre metodología y objetivos propuestos. • Descripción clara de la modalidad de trabajo, las acciones a realizar y la organización del

equipo de trabajo. • Clara exposición del diseño metodológico de la investigación diagnóstica o evaluativa. • Relevancia de la innovación propuesta en función de su posible impacto• Previsión de interacción entre el grupo de investigación-innovación y los posibles

beneficiarios (unidades académicas, comisiones curriculares, etc.). • Viabilidad del proyecto en función de la composición del equipo, tiempo disponible y

características del PROYECTO.

Generaciones en investigación evaluativa

• primera generación (medición): evaluación de organizaciones como suma de individuos. Generación de la medida. El papel del evaluador era técnico, como proveedor de instrumentos de medición.

• segunda generación (descripción): evaluación de programas organizacionales y/o de recursos humanos y de sus resultados

• tercera generación (valoración) : se elaboran "Juicios" sobre los programas organizacionales para recomendar lo que hay que hacer. Inciden sobre las decisiones a tomar más que sobre los resultados.

La cuarta generación en investigación evaluativa

• A finales de los ochenta Guba y Lincoln (1989) ofrecen una alternativa evaluadora, que denominan cuarta generación, pretendiendo superar lo que según estos autores son deficiencias de las tres generaciones anteriores, tales como una visión gestora de la evaluación, una escasa atención al pluralismo de valores y un excesivo apego al paradigma positivista. La alternativa de Guba y Lincoln la denominan respondente y constructivista, integrando de alguna manera el enfoque respondente propuesto en primer lugar por Stake (1975), y la epistemología postmoderna del constructivismo (Russell y Willinsky, 1997).

La utilización de las demandas, preocupaciones y asuntos de los implicados (stakeholders) es necesaria, según Guba y Lincoln, porque:

• Son grupos de riesgo ante la evaluación y sus problemas deben ser convenientemente contemplados, de manera que se sientan protegidos ante tal riesgo.

• Los resultados pueden ser utilizados en su contra en diferentes sentidos, sobre todo si están al margen del proceso.

• Son potenciales usuarios de la información resultante de la evaluación.

• Pueden ampliar y mejorar el rango de la evaluación.

• Se produce una interacción positiva entre los distintos implicados.

El cambio paradigmático lo justifican estos autores porque:

• La metodología convencional no contempla la necesidad de identificar

las demandas, preocupaciones y asuntos de los implicados.

• Para llevar a cabo lo anterior se necesita una postura de descubrimiento más que de verificación, típica del positivismo.

• No se tienen en cuenta suficientemente los factores contextuales.

• No se proporcionan medios para valoraciones caso por caso.

• La supuesta neutralidad de la metodología convencional es de dudosa utilidad cuando se buscan juicios de valor acerca de un objeto social.

Identificar todos los implicados con riesgo en la evaluación.Resaltar para cada grupo de implicados sus construcciones acerca de lo evaluado

y sus demandas y preocupaciones al respecto.Proporcionar un contexto y una metodología hermenéutica para poder tener en

cuenta, comprender y criticar las diferentes construcciones, demandas y preocupaciones.

Generar el máximo acuerdo posible acerca de dichas construcciones, deman das y preocupaciones.

Preparar una agenda para la negociación acerca de temas no consensuados.Recoger y proporcionar la información necesaria para la negociación.Formar y hacer de mediador para un «forum» de implicados para la negociación.Desarrollar y elaborar informes para cada grupo de implicados sobre los distin tos

acuerdos y resoluciones acerca de los intereses propios y de los de otros grupos (Stake, 1986; Zeller, 1987).

Reciclar la evaluación siempre que queden asuntos pendientes de resolución.

RESPONSABILIDADES BÁSICAS DEL EVALUADOR DE LA CUARTA GENERACIÓN

1) Establecimiento de un contrato con un patrocinador o cliente.

• Identificación del cliente o patrocinador de la

evaluación.

• Identificación del objeto de la evaluación. • Propósito de la evaluación (Guba y Lincoln, 1982). • Acuerdo con el cliente por el tipo de evaluación. • Identificación de audiencias. • Breve descripción de la metodología a usar. • Garantía de acceso a registros y documentos. • Acuerdo por garantizar la confidencialidad y anonimato

hasta donde sea posible. • Descripción del tipo de informe a elaborar. • Listado de especificaciones técnicas.

Los 12 pasos de la IE de cuarta generación (Lincoln & Guba)

2) Organización para reciclar la investigación. • Selección y entrenamiento del equipo

evaluador. • Consecución de facilidades y acceso a la

información (Lincoln y Guba, 1985). 3) Identificación de las audiencias (Guba y Lincoln,

1982). • Agentes. • Beneficiarios. • Victimas.

4) Desarrollo de construcciones conjuntas dentro de cada grupo o audiencia (Glaser y Strauss, 1967; Glaser, 1978; Lincoln y Guba, 1985).

5) Contraste y desarrollo de las construcciones conjuntas de las

audiencias. • Documentos y registros. • Observación. • Literatura profesional. • Círculos de otras audiencias. • Construcción ética del evaluador.

6) Clasificación de las demandas, preocupaciones y asuntos resueltos.

7) Establecimiento de prioridades en los temas no

resueltos. 8) Recogida de información. 9) Preparación de la agenda para la negociación. 10) Desarrollo de la negociación. 11) Informes (Zeller, 1987; Licoln y Guba, 1988). 12) Reciclado/revisión.

a) La evaluación es un proceso sociopolítico. b) La evaluación es un proceso conjunto de

colaboración. c) la evaluación es un proceso de

enseñanza/aprendizaje. d) La evaluación es un proceso continuo, recursivo y

altamente divergente. e) La evaluación es un proceso emergente. f) La evaluación es un proceso con resultados

impredecibles. g) La evaluación es un proceso que crea realidad.

RASGOS CENTRALES DE LA INVESTIGACIÓN EVALUATIVA DE CUARTA GENERACIÓN

Etapas clave en investigación evaluativa

• Formulación del objetivo principal y las preguntas de investigación. Es fundamental que desde esta primera etapa se considere la opinión de los implicados y no solamente del cliente (financiador)

• Creación de los indicadores• Definición de las fuentes de información• Elaboración de los instrumentos de

investigación

• Trabajo de campo. Donde se realiza un reajuste de conceptos, indicadores, hipótesis, estrategias, instrumentos.

• Análisis de información recopilada. Ordenación y clasificación de los datos.

• Elaboración del informe final• Comunicación de resultados en

distintas audiencias

M.C. de Souza-Minayo. Pesquisa avaliativa por trtiangulacao de métodos en Magalhães Bosi, M.L. y F.J. Mercado (org.): Avaliação qualitativa de programas de saúde. Enfoques emergentes Vozes, Petrópolis, 2006, pp. 163-190.

metaevaluación

• la metaevaluación ha sido y es comúnmente considerada como aquella investigación sistemática cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una evaluación. La evaluación se convierte, de esta forma, en el objeto de estudio del metaevaluador (Stufflebeam, 1981, 1987; Scriven, 1967, 1991).

• Diferentes conceptos de evaluación• Diferentes criterios• Pluralidad de procesos evaluativos, dependiendo de la percepción teórica

que sobre la evaluación se mantenga• Pluralidad de objetos de evaluación• Apertura, reconocida en general por todos los autores, de la información

necesaria en un proceso evaluativo para dar cabida no sólo a los resultados pretendidos, sino a los efectos posibles

• Pluralidad también reconocida de las funciones de la evaluación • Diferencias en el papel jugado por el evaluador, lo que ha venido a llamarse

evaluación interna vs. evaluación externa• Pluralidad de audiencia de la evaluación y, por consiguiente, pluralidad en

los informes de evaluación. Desde informes narrativos, informales, hasta informes muy estructurados (Anderson y Ball, 1983)

• Pluralidad metodológica• Tendencia a la integración cuantitativa/cualitativa

Algunas características torales de la investigación evaluativa en la actualidad (S. XXI)

Addendum: ¿Cómo anticipar y evaluar el impacto de las investigaciones que hacemos en salud pública?

• Promover la conciencia del impacto que tienen nuestras actividades investigativas-En la conciencia de quien es observado (paradoja de

Heisenberg)-En la reacción social (formal e informal)-En lo material y en lo simbólico-Saber que hay impactos intencionales e inesperados

• Explicitar intencionadamente cuál es el impacto que pretendemos lograr

• Diseñar mecanismos de evaluación de impacto que incorporen la perspectiva de nuestros sujetos en estudio/la población objetivo

• ¿Para qué queremos impactar?• ¿Cuál es nuestro concepto de ciencia?• ¿Qué objetivos tiene el trabajo

científico?• ¿Cuáles son nuestros criterios sobre lo

que buscamos impactar?• Relevancia de explicitar ¿para qué

investigamos?, ¿Para quién investigamos?, ¿Para quién escribimos?

El eje teórico/conceptual

• Necesidad de una reflexión epistemológica –alterna a la hegemónica- desde donde conceptualizar la salud, el trabajo científico, el impacto de las intervenciones.

• Importancia de trascender la perspectiva sujeto/objeto, natural/social, cuantitativo/cualitativo hacia una visión relacional, integral y contextual.

Los actores y sectores que se impactan (o pretendemos impactar)

• Pareciera que buscamos impactar en políticas públicas. Sin embargo, los actores y sectores involucrados rebasan a veces nuestras expectativas.

• El gobierno responde solamente a cierto tipo de fuerzas

• Política pública desde lo público y desde el Estado

Propuestas • Diseñar participativamente (con

los diferentes actores/sectores) los criterios y estrategias de evaluación del impacto.

• Potencializar los impactos mediante calidad de la investigación y estrategias diferenciadas de difusión

• Crear medios adecuados: una revista, medios electrónicos, audiovisuales, radio, audiencias, conferencias, etc.

• Calificar y no solamente cuantificar el impacto

• Establecer alianzas estratégicas, que aseguren la potencialidad de nuestras propuestas en la opinión pública y en la toma política de decisiones.

• Crear o utilizar redes de acción y/o movimientos sociales.

• Desarrollar agendas paralelas a lo reportado a nuestros financiadores.

• Planes estructurados por etapas sucesivas, abiertos al curso de los acontecimientos