TEMA 6

EVALUACIÓN DE LA TEORÍA DEL PROGRAMA Y SU

EVALUABILIDAD

Contenido:

1. Teoría del programa y Evaluabilidad

2. Evaluabilidad para Fernández-Ballesteros

3. Wholey

4. Smith.

5. Rutman.

6. Rossi, Freeman y Lipsey.

1. Evaluabilidad y teoría del programa

Teorías del programa

n Cada programa implica estructura, funciones y procedimientos para

la consecución de objetivos

n La lógica y la conceptualización en la que se basa un programa

debe ser objeto de estudio

n Primer paso en la evaluación de la teoría: realizar explícitamente

una descripción de la concepción, supuestos y expectativas que

constituyen la lógica del programa

Actividades subyacentes en evaluabilidad

n Descripción del modelo del programa

n Evaluación de hasta que punto está bien definido y es evaluable

el modelo del programa

n Identificación de los intereses de los participantes en la

evaluación y del uso posible de los hallazgos

Dimensiones determinantes en evaluabilidad

n Tipo de programa

n Momento de la evaluación

n Sujetos de Evaluación

n Naturaleza de los datos

n Objetivos de la Evaluación

Evaluabilidad (Rodríguez, 2000)

n El análisis de la evaluabilidad no va a partir del mismo punto ni

va seguir los mismos pasos en todos los programas ni en todas

las circunstancias

n Razones:

– Evaluabilidad: ‘la forma en que un programa es evaluable’

– No existe un modelo de evaluación ni una metodología ideales

por los que cualquier programa puede ser evaluable.

Conclusiones

n El Análisis de la Evaluabilidad va a consistir en la búsqueda de la

mejor forma de evaluar un programa determinado partiendo de

un punto de vista metodológico.

n Un mismo programa, o sus componentes, pueden ser evaluados

desde distintos modelos, diseños, instrumentos, etc.

n El proceso de toma de decisiones respecto a la mejor opción

metodológica para evaluar el programa es el proceso de análisis

de la Evaluabilidad del mismo.

2. Fernández Ballesteros (1995)

n La evaluabilidad es la medida en que un programa puede ser

evaluado

n La evaluabilidad incluye evaluación de necesidades, objetivos, el

programa y la implementación

n Propone el Listado de Cuestiones Relevantes en Evaluación de

Programas (L.C.R.E.P.)

Wholey, 1987, 1994: Evaluablidad

n Metas, objetivos, efectos importantes y necesidades han de estar

bien definidos

n Metas y objetivos deben ser plausibles

n Ha de obtenerse información relevante acerca de la ejecución del

programa

n Existe acuerdo de cómo usar los resultados de la evaluación

Evaluabilidad y Teoría del Programa

n El programa puede estar basado en una teoría clara y bien

explicitada

n No obstante, puede basarse en teorías implícitas, que el evaluador

debe extraer

n Objetivo de la articulación de la teoría:

– Describir las expectativas reales que mantienen los decisores del

programa acerca de lo que se espera que haga el programa y los

resultados que se obtendrán

Smith, 1989

n Objetivos

n Procedimientos

Objetivos

n La definición de la teoría del programa

– Lógica subyacente, con teoría del cambio

– Aspectos funcionales: Actividades y recursos

– Indicadores de ejecución tanto en cómo se implementa como

cuándo se logran resultados

n Identificación del conocimiento o interés de las audiencias en el

programa

– Percepciones de cómo se lleva a cabo el programa

– Necesidades de información de la evaluación del programa

Pasos

n Determinar el propósito e identificar a los miembros del equipo de

trabajo

n Definir las áreas del programa a estudiar

n Identificar y analizar los documentos del programa

n Desarrollar o clarificar la teoría del programa

n Identificar y entrevistar a las audiencias

n Describir las percepciones de las audiencias respecto al programa

n Identificar necesidades, consideraciones y diferencias en

percepciones

n Determinar la plausibilidad del modelo del programa

n Extraer conclusiones y dar recomendaciones

n Planificar los pasos específicos para utilizar los datos de la

evaluabilidad

Rutman, 1984

n La evaluación de programas requiere una planificación cuidadosa

para asegurar que el estudio sea relevante y creíble

n Se concentra en la estructura del programa

n Responde a:

– ¿Está bien definido?

– ¿Esta implementado como se planificó?

– ¿Están definidos claramente los objetivos?

– ¿Son éstos plausibles?

Pasos

n Preparar un modelo del programa a partir de los documentos

existentes

n Reproducir el modelo con flechas indicando relaciones causales

n Entrevistar a los programadores para desarrollar su modelo

n Comparar los modelos creados y llegar a un acuerdo

n Hacer un trabajo de campo para determinar lo que realmente se

hace

n Preparar un modelo del programa evaluable

n Decidir preguntas clave e información precisa para responderlas

n Determinar la viabilidad de los procedimientos de evaluación

Chambers, Wedel y Rodwel (1992)

n Evaluación del propósito

n Valoración del programa

n Valoración de la viabilidad técnica

n Valoración de viabilidad humana y política

Evaluación del propósito

n Identificar el razonamiento para la evaluación del programa

n Información sobre las audiencias que pagan la evaluación del

programa

n La lógica o propósito

– Establece los requerimientos metodológicos

– Provee la base para examinar la viabilidad de la evaluación

Valoración del programa

n Identifica la adecuada definición de componentes y la claridad de

objetivos

n Métodos para hacerlo

– Revisar la documentación del programa

– Describir el programa

– Modelar el programa

– Hacer visitas de campo para entender las operaciones que se

realizan

Valoración de la viabilidad técnica

n Determinar la presencia de indicadores evaluables.

n Precisar la aplicabilidad de métodos adecuados de investigación

evaluativa.

n Relacionado con implementación, requerimientos técnicos y

viabilidad del coste.

Valoración de la viabilidad humana y política

n Determinar la disposición de las audiencias a la evaluación del

programa

n Relacionado con aspectos éticos y con posibles pérdidas y

ganancias de las distintas audiencias

n Influencia del programa y su evaluación en los estamentos políticos

Rossi, Freeman y Lipsey, 1999

n Procedimientos de recogida de datos:

– Fuentes posibles de información

– Temas de atención en la revisión de la información

n Marcos de evaluación de la teoría del programa

Revisión de documentos

n Siempre suele haber algún tipo de información escrita sobre el

programa

n Tipos de información: económica, de relación con otras entidades,

material promocional (ej: trípticos)

n Aunque pueden ser informativos, no han sido preparados para

explicar la teoría subyacente al programa

Entrevistas

n Muy importante establecer entrevistas en profundidad o grupos de

discusión con informadores relevantes

n Informadores: directores y administradores del programa; personal

relacionado con los usuarios; financiadores y políticos; usuarios;

otros implicados de fuera del programa: otras agencias, líderes

sociales…

Observación

n Recoge información de primera mano con visitas directas in situ

n Posibilita observar los recursos del programa y las operaciones

rutinarias

n Permite detectar discrepancias entre la teoría y realidad

Metas y objetivos del programa

n Debe haber una relación razonable entre lo que el programa hace y

lo que pretende hacer

n Debe haber objetivos dirigidos al impacto y al proceso

n Prestar interés a posibles efectos no planificados

Funciones, componentes y actividades del programa

n Hay que identificar cada componente del programa, así como su

interrelación

n Es importante ver el programa como un proceso y describirlo con

verbos en lugar de con sustantivos

n Cada función del programa debe ir descrita con actividades

específicas

Relación entre los pasos del programa

n Las distintas fases del programa se relacionan de forma diversa, y

es preciso describir cómo

n Es conveniente elaborar gráficos o diagramas de flujo para

delimitar como son los enlaces entre pasos del programa

Corroboración de la teoría del programa

n Confirmar que los participantes en el programa están de acuerdo

en la teoría subyacente

n Si no es así, el evaluador debe ayudar a clarificarlo

PROCEDIMIENTOS DE EVALUACIÓN

n Evaluación en función de necesidades sociales

n Evaluación de la lógica posibilidades

n Evaluación relacionando teoría y práctica

n Evaluación mediante observación preliminar

En función de necesidades sociales

n Comparar el programa con las necesidades por las que surge

n Puede ser necesario acudir a asesores que puedan valorar la

pertinencia

n Para poder evaluarlo, el programa debe ser específico en lugar de

global

n Se debe comprobar que el programa ofrece servicios accesibles a la

población objetivo, que sean compatibles con sus necesidades

Lógica y posibilidades

n Debe responder a dos cuestiones, el programa,

– ¿está bien definido?

– ¿es razonable?

n Esto supone responder también a

– ¿Están bien definidas metas y objetivos?

– ¿Son realistas?

– ¿Es plausible el cambio que se propone?

– ¿Está bien definida la población objetivo?

– ¿Están definidas las acciones?

– ¿Se tienen los recursos necesarios?

Relación investigación - práctica

n Supone la evaluación de programas similares para determinar si

pueden tener éxito y permiten identificar áreas de problemas

críticos

n Se puede recurrir a la investigación científica en psicología o

sociología como referencia para evaluar la teoría del programa

Observación preliminar

n Aunque la teoría no puede “verse”, si que incluye supuestos de

funcionamiento que pueden observarse

n La observación directa permite un examen de la realidad para

valorar la concordancia entre la teoría del programa y lo que

supone que describe

Qué hacer en un programa deficiente

n Aconsejar a los programadores rediseñar el programa:

– Clarificación de objetivos y metas

– Reestructurar los componentes del programa

– Trabajar con los implicados para conectar procedimientos con

objetivos

n Si no, el programa se llevará adelante con grandes dosis de

ambigüedad:

– Sobre lo que se espera que el programa haga

– Inadecuada especificación del impacto

Referencias

Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas.

Una guía práctica en ámbitos sociales, educativos y de

salud. Madrid: Síntesis.

Rodríguez, E. (2000) Evaluabilidad. Documento no publicado.

Rossi, P.H., Freeman, H.E. y Lipsey, M.K. (1999) Evaluation: A

practical approach. Thousand Oaks, CA: Sage

Rutman, L. (1980). Planning useful evaluations. Evaluability

assessment. Beverly Hills: Sage.

Smith, M.F. (1989) Evaluability assessment: A practical

approach. Norwell, MA: Kluwer

Wholey, J.S. (1987) Evaluability assessment: Developing

Program Theory. San Francisco: Jossey Bass

Wholey, J.S. (1994) Assessing the feasibility and likely usefulness of

evaluation. En J.S. Wholey, H.P. Hatry y K.E. Newcomer (eds)

Handbook of Practical Program Evaluation. San Francisco:

Jossey Bass