Evaluacion en la intervencion social

“Hacer inteligible lo que pasa en un programa específico, oen un pequeño ayuntamiento, dentro del horizonte másamplio de las políticas sociales.”

Establecer posiciones acerca de:

• lo que suponemos que debe ser el papel del Estado en laspolíticas sociales (y, con ello, el papel de otros actores potencialeso reales).

• Cómo entendemos que se debe organizar el trabajo en laintervención social.

Ambos aspectos condicionan

• qué vamos a evaluar

• con qué supuestos vamos a evaluar

Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL

• La evaluación no puede desconocer el contexto político delEstado del Bienestar porque los servicios y programas socialesson su producto más genuino.

• La evaluación aparece asociada a una preocupación por laEFICACIA de las inversiones y de las intervenciones sociales, quesurge a finales de la década de los sesenta del siglo XX.

• En los años setenta, se da un impulso decidido a la creación deinstituciones responsables del establecimiento deprocedimientos de evaluación de los servicios y programassociales.

• Desde los años ochenta, se va imponiendo un modelo deevaluación inspirado en la empresa privada: “eficacia”,“racionalización del gasto”, devolución de la prestación a lainiciativa privada, resentimiento y malestar frente a lostrabajadores y trabajadoras públicos.


POLÍTICAS PÚBLICAS UNIVERSALES: Los sistemas educativos públicos. Escuelas taller, formación profesional.Guarderías, escuelas infantiles. Legislación de accidentes de tráfico, uso de radares y medidas preventivas detráfico. Policía local. Salud Pública, epidemiología. Implantación de “Agendas 21” en municipios.

POLÍTICAS PÚBLICAS MERITORIAS: Universidades, sistemas de especialización médica. Formación continua profesional.

POLÍTICAS ARTICULADAS EN FUNCIÓN DE UN SEGMENTO SOCIAL: Políticas, planes y programas de igualdad degénero. Políticas y programas centrados en la intervención con la juventud. programas de sensibilización yeducación para el desarrollo con jóvenes. Programas inespecíficos de prevención de drogas. Programas deprevención de contagio de VIH en jóvenes.

POLÍTICAS SOCIALES CON GRUPOS CON PROBLEMÁTICAS MÁS ESPECÍFICAS: Planes municipales de vivienda

para población con dificultades. Reasentamientos y realojo de comunidades. Programas socio-sanitarios con

personas mayores. Intervenciones en salud mental. Programas de atención a drogodependientes. Programas con

discapacitados. Medidas de internamiento para menores infractores.

POLÍTICAS CENTRADAS EN GRUPOS DESEMPLEADOS O ÁREAS DEPRIMIDAS: Programas de microcréditos.

Centros de orientación sociolaboral. Programas EQUAL, LEADER, NOW, URBAN. Desarrollo rural sostenible,

desarrollo rural integrado y programas integrales de desarrollo de barrios.

POLÍTICAS CON GRUPOS EXCLUIDOS, EN RIESGO DE EXCLUSIÓN O PROCESOS DE SOCIALIZACIÓN: Programascon jóvenes inmigrantes. Inserción a través de rentas mínimas. Exclusión social. Población gitana. Jóvenes ymenores en situación de riesgo. Algunos dirigidos a mujeres en situación de dificultad.


Servicios universalistas Con colectivos profesionales poderosos e instituciones

consolidadas (a menudo centralizadas) Que afectan a “políticas de Estado”

• Justicia

• Servicios sanitarios primarios y hospitalarios

• Economía

• Seguridad y defensa

• Infraestructuras

La evaluación no cuestiona ni puede limitar la prestación de estos servicios


Sometidas a la exigencia añadida de constatar la “pertinencia” de la intervención debido a su carácterselectivo: la evaluación como “rendimiento de cuentas” sobre si la intervención se ajusta a la políticaestablecida, constatando la veracidad de la situación y condición de los usuarios.

Sometidas a criterios inspirados en la “eficacia” empresarial y objetivos “económicos”: la evaluaciónvinculada a políticas neoliberales de recortes de gastos públicos reduciendo personal, criterios deproductividad económica (coste/beneficio), valorando sólo los resultados cuantitativos de lasintervenciones.

Desarrolladas por colectivos diversos y dispersos, con escaso poder profesional, a menudo encondiciones no reguladas con claridad, o con dependencia burocrática: la evaluación como estrategia decontrol de los contenidos de trabajo.

Que se realizan en servicios y programas muy descentralizados, con una mínima regulación estatal y através de programas con un carácter más puntual y coyuntural que estable (débil institucionalización): laevaluación como mecanismo indirecto de regulación de los programas, así como posible fundamentopara determinar su cierre (o privatización).

Que más fácilmente pueden integrar una concepción de la participación en términos de “clientela” de sususuarios frente a una concepción democrática: la evaluación como estrategia de limitación de laparticipación en la toma de decisiones (encuestas de opinión vs participación en órganos colegiados).


ORGANIZACIÓN BUROCRÁTICA ORGANIZACIÓN FLEXIBLE

PUESTOS FIJOS ROTACIÓN DE PUESTOS

RESPONSABILIDAD ACOTADA RESPONSABILIDAD COMPARTIDA

CUALIFICACIONES CUALIFICACIONES Y COMPETENCIAS

ESTRUCTURA PIRAMIDAL ESTRUCTURA HORIZONTAL

TRABAJO INDIVIDUAL TRABAJO EN EQUIPO


“Hoy no basta que el funcionario cumpla su deber en las tareas que tiene asignadas;

es necesario que afronte muchos problemas de naturaleza distinta, trabajar con

otros profesionales, resolver conflictos nuevos y tener buenas dosis de autonomía”

“Los nuevos conceptos de la evaluación están vinculados a nuevas formas de

organización del trabajo social y, por tanto, sólo son viables cuando resultan

compatibles con organizaciones ágiles, flexibles y democráticas. La evaluación en

el sector público NO ES NUEVA, pero sí se ha redefinido en sus alcances, los

criterios valorativos y los momentos en que tiene lugar.”

MODELO BUROCRÁTICO MODELO FLEXIBLE

Regulación mediante normas y el control

jerárquico de su cumplimiento

Acento en la recepción y el tratamiento

de información actualizada, capaz de

permitir intervenciones más ágiles y

mejor adaptadas a la diversidad de

situaciones.

Evaluación aislada del desempeño de

cada funcionario/a

Ponderar constantemente los cambios

que operan a distintos niveles y

direcciones (en el entorno, en la gestión

de las intervenciones, en el equipo

responsable, en los beneficiarios).


ALCANCES

• Evaluar la totalidad de la gestión (del servicio, del programa).

• Efectividad para resolver los problemas: se evalúa todo lo que puede contribuir a la mejora de los servicios y programas que se gestionan.

CRITERIOS

• Competencias personales (menos valor de la titulación en sí misma).

• Centralidad de la opinión de los usuarios/as.

MOMENTOS

• Planificación estratégica (“anticipar el futuro de las decisiones de hoy en día”)

• La evaluación como actividad inherente al programa en todos y cada uno de los momentos de su desarrollo.


CONTEXTOS:

No puede desconocer

el contexto político.

MECANISMOS:

El problema no es si un

programa funciona…

sino explicar por qué.

RESULTADOS:

Conclusiones

realizables.


Evaluar es algo más que investigar,puesto que debe emitirse un JUICIO DEVALOR sobre el objeto que se estáevaluando.

• Cuanto más fundamentada esté la valoración,y más rigurosa sea la recogida deinformación y su tratamiento, máscredibilidad tendrá frente a la audiencia.

La realización de una evaluación suponela aplicación de procedimientossistemáticos y rigurosos de recogida deinformación y análisis.

• Es necesario que los resultados de laevaluación sean útiles y que lo sean en elmomento en que se los necesita, que escuando pueden tener efecto en lasdecisiones.

La evaluación no está en sí destinada ala construcción teórica, pero debecontribuir a desarrollar las teoríasprevias de quienes la practican, dequienes participan y de quienes tomanlas decisiones políticas.

• La evaluación necesita tener en cuenta a las“partes interesadas” que tengan un interéslegítimo en el programa: desde los usuariosa los administradores.

En la investigación evaluativa debenaplicarse los mismos requisitos en larecogida de la información que en lainvestigación social para que lasconclusiones sean válidas y fiables.

• Validez del diseño

• Validez de la medición

• Fiabilidad


La situación ideal: el diseño y la evaluación se plantean desde los inicios como dos tareas

complementarias y mutuamente enriquecedoras.

La evaluación considerada como un proceso “ad hoc” no permite introducir

cambios ni reprogramar los

objetivos en función de las necesidades

cambiantes que pueden ir surgiendo.

Los proyectos NO SON EVALUABLES cuando:

- la planificación es difusa

– los objetivos son puramente retóricos

- es escaso el análisis del contexto

- falta la estimación de recursos humanos y materiales

- no existen expectativas respecto a la utilidad o receptividad de la evaluación

- Las condiciones del contexto laboral, administrativo o político no hacen

recomendable la evaluación

Los proyectos y programas SON EVALUABLES cuando:

- Están bien estructurados y se han diseñado con precisión

- Tienen consistencia

- Pueden convertir las políticas sociales en intervenciones viables

- Se asume la utilidad de su evaluación

- Existen condiciones laborales, administrativas y políticas que facilitan la

legitimad de la evaluación


Objetivos de la evaluación integrados con los objetivos del programa

Fijar prioridades de lo que más interesa, otorgar primacía a lo fundamental del

programa

Objetivos de evaluación

consistentes con los objetivos más

importantes del programa

Decidir qué objetivos del programa se evalúan con

detenimiento y en qué aspectos puede

focalizarse

Puede distinguirse entre una evaluación

general y estudios detallados sobre unos pocos temas

que requieren atención especial


Diseño del plan de evaluación dentro del programa de intervención

Precisar la información

necesaria para poder

desarrollar el seguimiento

Reglas y procedimientos de evaluación

Formato y alcance del

informe final: información que

se incluirá e información que se excluirá para

proteger la confidencialidad y el anonimato

Cronograma de reuniones de

evaluación

Presupuesto destinado a la

evaluación dentro del

presupuesto global del

proyecto, que condiciona el

propio diseño de la evaluación


Decisión acerca de la evaluabilidaddel programa de intervención

Determinación clara de los

objetivos de la evaluación

Especificación del tipo de evaluación

Diseño del proyecto

de evaluación

Recogida de la

información

Tratamiento y análisis de

la información

Redacción y

discusión del

informe


Estudio preliminar y tentativo para diagnosticar la “evaluabilidad” del programa: despejar dudas sobre la viabilidad y conveniencia de

emprender la evaluación.

DESCRIPCIÓN DEL PROGRAMA:

trabajo documental

(consulta a los archivos y documentación del programa para decidir si se cuenta con

datos fiables acerca del personal, intervenciones y

recursos)

ENTREVISTAS A

INFORMANTES CLAVES

(responsables, gestores

y usuarios):

matizar o corregir la

información documental,

conocer si hay o no

consenso en temas claves,

valoraciones individuales

y colectivas.

VISITAS Y OBSERVACIONES IN

SITU:

percepción directa

(captar impresiones de primera mano con los

beneficiarios, conocer el contexto real, contrastar la

información obtenida).

PLAN DE EVALUABILIDAD:

-Favorable: aspectos a incluir, procedimientos,

utilización de los resultados de la

evaluación, destinatarios del informe.

- Desfavorable: comunicar a las partes

interesadas, justificando razones empíricas y

técnicas.

- Favorable, con matices: es posible que se concluya que algunas partes del programa sí pueden ser evaluadas.

Decisión sobre si tiene o no sentido proseguir con una evaluación formal y establecer cuáles van a

ser sus límites.


SELECCIÓN Y PRIORIZACIÓN

Realistas: no se puede evaluar todo con detalle

Parte de los objetivos están condicionados:

- Por la utilización que se dará a la evaluación

- Por las metas del programa de intervención

ASPECTOS A CONSIDERAR

- En qué medida el programa resuelve las necesidades sociales de la población

objetivo

- Nivel de cobertura

-Intervenciones y servicios que se ofrecen y con qué

calidad

- Resultados e impactos del programa

- Eficiencia, eficacia y utilidad

DIFICULTADES

- Los objetivos no suelen tener un significado unívoco para todos los

implicados,…

- Rara vez se explicitan a los beneficiarios los objetivos del

programa, o no están en condiciones de explicitar sus

necesidades.

- Aparición de efectos no previstos cuando se evalúan resultados.

-Dificultades de los indicadores (cuantitativos-cualitativos)

- Los programas o servicios son COMPLEJOS, intervienen en

contextos diferentes, con mecanismos diversos…


• Evaluación institucional de los centros de

servicios sociales

• Evaluación institucional de centros y servicios

sociales especializados

• Evaluación de programas y proyectos

sectoriales

• Evaluación de prestaciones básicas

• Evaluación en las entidades


Evaluación según las FUNCIONES

EVALUACIÓN FORMATIVA

OBJETIVOS: aprender de los errores y los aciertos para corregirlos y reconducir el programa sobre la marcha; contrastar la teoría que subyace al programa con la práctica.

PROCEDIMIENTO: evaluar los PROCESOS a través de un seguimiento del programa, principalmente en sus primeras fases.

EVALUACIÓN SUMATIVA

OBJETIVOS: Analizar el IMPACTO del programa y verificar responsabilidades.

PROCEDIMIENTO: valoración final de la intervención recapitulando sus distintos elementos.


Evaluación según el AGENTE EVALUADOR


Evaluación según el MOMENTO

EVALUACIÓN EX-ANTE

Antes de implementar el programa

OBJETIVO: Analizar la adecuación del programa a las necesidades que lo motivan y sus posibilidades de éxito (aspectos conceptuales o de diseño, mecanismos de gestión y seguimiento, relación costes-beneficios, posibles impactos…)

INTERMEDIA

Una vez empezado el desarrollo del programa

OBJETIVO: Análisis crítico de los datos recogidos sobre el programa y la forma en que se van alcanzando los objetivos (validez, pertinencia, calidad de la gestión, seguimiento del programa)

EX-POST

Una vez que ha finalizado el programa

OBJETIVO: Valorar el nivel de éxito, el acierto en la estrategia,

grado de flexibilidad y capacidad de adecuación a los

cambios, mecanismos de gestión y seguimiento.


Dilucidar cómo asignar recursos escasos de forma que se logre satisfacer las necesidades humanas, según las prioridades

COSTE-BENEFICIO

OBJETIVO: Encontrar la solución MENOS COSTOSA para alcanzar un objetivo o sacar el máximo provecho de un gasto efectuado.

PROCEDIMIENTO: Medición (en unidades monetarias) de la EFICIENCIA (servicios producidos/recursos movilizados) y la PRODUCTIVIDAD (nº de intervenciones por profesional; nº de prestaciones por cada 1000€) del programa.

COSTE-EFECTIVIDAD

OBJETIVO: Determinar si existen modelos más eficientes que otros en la provisión de servicios, comparando programas con objetivos similares.

PROCEDIMIENTO: Valorar la capacidad de las distintas intervenciones para alcanzar las metas y objetivos, examinando tanto los COSTES como los EFECTOS del programa, en unidades de resultados (no monetarias).

COSTE-UTILIDAD

Procedimientos para comparar y valorar la relación entre los COSTES (expresados en unidades monetarias) y los beneficios que PERCIBEN los individuos implicados en el programa (usuarios, profesionales, gestores).


IDONEIDAD (pertinencia, eficacia)

SUFICIENCIA

ASPECTOS ECONÓMICOS (eficiencia)

POSIBILIDAD DE GENERALIZAR LOS RESULTADOS DE LA EVALUACIÓN (impacto, viabilidad)

La capacidad que tiene el programa para resolver el problemaque lo originó. Pertinencia de los objetivos del programa enrelación con los problemas que afectan al grupo o comunidad encuestión. Adecuación al contexto de la intervención.

La medida en la cual las acciones establecidas son adecuadas, no sólo en cantidad, sino en calidad.

Siempre surgen nuevas necesidades sociales, y siempre habráque manejarse con recursos escasos, que habrá que asignarestableciendo una jerarquía de prioridades : ventajas einconvenientes, asegurar el mayor bienestar en cada caso, costesrelativos de cada alternativa contemplando los efectossecundarios.

Es necesario contemplar si las conclusiones pueden aplicarse a:aspectos no evaluados del programa; un cambio decircunstancias respecto del momento en que se hizo laevaluación; si el programa evaluado puede servir o no dereferente para resolver problemas análogos.


El tipo de evaluación escogido nunca es una elección ingenua… ni neutral

RAZONES TÉCNICAS

Aspecto/s del programa en que se centre la evaluación.

Ejemplos:

- Funcionamiento: seguimiento y monitorización.

- Evaluación de resultados.

- Impacto sobre la sociedad o comunidad.

- Evaluación económica.

RAZONES PRESUPUESTARIAS

Qué política presupuestaria sobre los servicios y la

intervención social se persigue.

Ejemplos:

Reducción de gastos sociales: enfoque coste/beneficio.

Expansión de gastos sociales: evaluación de la eficiencia, utilidad social, integración

personal…

ORIENTACIONES TEÓRICAS

- Modelos no participativos: producir conocimientos sin interferencia de intereses

ajenos a la propia evaluación.

- Modelos participativos: integración de las “partes

interesadas” en el equipo de expertos, llegando a integrar a los usuarios en la evaluación.


“Es el gran acto de la imaginación en el campo metodológico, porque en ninguna otra parte, más que en este acto de

pensamiento a través de todo el proceso de investigación, cristaliza nuestra concepción acerca de las reglas básicas de la

explicación social de forma tan transparente” (Pawson y Tilley, 1997, XV)

Tener en cuenta los criterios de validez y fiabilidad propios de toda investigación.

No evaluar “si el programa funciona”, sino cuáles son los mecanismos que posibilitan que los participantes lo hagan funcionar: “Causalidad generativa”. Cómo y por qué los programas sociales generan la capacidad de producir

cambios, liberando las potencialidades de los individuos y las comunidades.

Hasta qué punto los mecanismos del programa sirven para el contexto específico en que se desarrolla: Evaluación de múltiples mecanismos y múltiples contextos, detectar cuáles son los mecanismos causales que originan los problemas

sociales y cómo pueden ser eliminados, o al menos contrarrestados, a través de los mecanismos causales que introduce el programa.

Esperar efectos diferentes en grupos y sujetos diferentes: si bien los resultados proporcionan la información clave para diseñar, seguir, modificar o archivar un programa, también es necesario saber que éstos no constituyen un todo

indiferenciado sino que, necesariamente, se producirán resultados múltiples. Los resultados no se examinan para saber si el programa funcionó, sino para descubrir el por qué, es decir, si nuestras hipótesis acerca de los mecanismos más eficaces en

cada contexto se confirman.


Cuáles serán los grupos o

sectores a evaluar

Diferentes mecanismos y contextos

de intervención

Tipo de información

necesaria para cada

caso

Técnicas

de

recogida y

análisis de

resultados

Anticipar aspectos

como el personal, la

administración, los presupuestos de la evaluación, el formato y alcance del informe,

los tiempos previstos…


Todo diseño de evaluación debe ser

evaluado de acuerdo a una serie de criterios que deben permitir constatar su rigor,

pertinencia y relevancia.(Campbell y Stanley, 1993)

Validez interna: presume la existencia de una relación lógica entre las principales variables de la investigación, y establece relaciones de causalidad eliminando o controlando otras explicaciones alternativas. Constituye un “ideal” al que hay que aproximarse y que se alcanza en mayor o menor grado.

Validez externa: se refiere a aspectos más empíricos, asume la posibilidad de generalización de los resultados de la investigación a otros contextos o momentos: muestra representativa.


Verificar si se está midiendo

lo que se quiere medir

• La forma en la que se mide un concepto

influye necesariamente en los resultados.

• ¿La medición es correcta comparándola con

alguna otra forma ya aceptada de medir el

mismo concepto?

Validez de criterio

(predictiva)

•Adecuación de los indicadores y mediciones:comparar la medida de un constructo con lo quecabría esperar a partir de las hipótesis formuladasinicialmente.

• Operacionalización múltiple: utilizar distintosindicadores y distintos métodos para aumentar lavalidez del constructo.

Validez de rasgos

abstractos (de

constructo)

•Grado en que una medición empírica cubre la variedad de significados de un concepto.

Validez de contenido


“Capacidad de obtener resultados consistentes en

mediciones sucesivas del mismo fenómeno” (Jacob, 1994)

Estabilidad: posible variación de los resultados a través del tiempo (test-

retest). Identificar si los resultados no han variado por otras causas.

Consistencia interna: permite verificar si todos los indicadores de

un concepto miden correctamente el mismo.


• Determinación de objetivos y seguimiento: entrevistas, observación participante, encuestas específicas, creación de fuentes de datos específicas (soportes documentales diarios, estudios de caso).

¿qué tipo de evaluación? ¿en qué fase?

• Evaluabilidad: técnicas de análisis de contenido de documentos, entrevistas.

¿qué tipo de evaluación?

¿en qué fase?

• El tipo de información y las técnicas que se utilicen para recogerla estarán condicionados a cómo hemos definido los conceptos que pretendemos evaluar, a las hipótesis de los contextos, mecanismos y resultados con que se diseñan las intervenciones.

¿Qué informaciones? contextos, mecanismos, resultados.

• Las técnicas y la metodología en general dependen de la naturaleza de los problemas que se quiere abordar.

¿Qué problemas queremos abordar?

• Evaluación de resultados: técnicas propias del análisis económico, estudios cualitativos que arrojen luz sobre los efectos e impactos del programa.

¿Qué tipo de evaluación? ¿En qué fase?


SEGUIMIENTO Y MONITORIZACIÓN

DEFINICIÓN

Intento sistemático para evaluar la cobertura y la

implementación de un programa

VALORAR LA COBERTURA

Estimar en qué medida se logra alcanzar la población objetivo

EVALUAR LA IMPLEMENTACIÓN

Medir el grado de congruencia entre el

plan de prestaciones y la forma en que éstas se

proveen


Reconstruir los supuestos teóricos del programa (explícitos, tácitos, con significados dispares,…)

Seleccionar la estrategia de

seguimiento: cuándo y cómo serán las comprobaciones

Recopilación y análisis de datos, en función de las

preguntas básicas (objetivos) planteados

Aplicación (global o analítica) de

criterios y normas de valor a los

resultados empíricos, de acuerdo con la

perspectiva de la intervención

Enmarcar la

intervención

particular en el

conjunto de un

sistema más

general


ANÁLISIS PERMANENTE DE UNA INFORMACIÓN FIABLE

DETERMINAR LOS

OBJETIVOS

Las preguntas de la evaluación condicionan la

elección de INDICADORES

DESARROLLAR UN MODELO

DE FLUJO DEL PROGRAMA

Especificar los pasos y

actividades del programa en

relación con la población objetivo

CONSTRUIR UN SISTEMA

DE INDICADORES

Deben contestar a las preguntas y

objetivos de la evaluación y ser

factibles de recogerse durante el

desarrollo del programa

DESARROLLO DE LOS

SOPORTES DOCUMENTAL

ES

Recogerán la información

para llegar a los indicadores establecidos

ELABORAR UN DICCIONARIO O MANUAL DE APLICACIÓN

DE LOS SOPORTES

DOCUMENTALES

Homogeneizar los criterios

INTEGRACIÓN DE LOS

SOPORTES DOCUMENTAL

ES EN EL MODELO DE

FLUJOS

Determinar en cada momento

cuál es la información que se incorpora y

quién es el responsable

ESPECIFICAR LOS

INFORMES

Cómo se van a presentar y utilizar los resultados

generales de la evaluación y de cada indicador

en particular


DOCUMENTALES

• Análisis de contenido

• Documentos “puros”: registros, actas, estadísticas

INTERROGATIVOS

• Datos vinculados a la propia evaluación

• Entrevistas, encuestas

DE OBSERVACIÓN

• Comprobar in situ lo que está sucediendo más allá de la información estandarizada

• Visitas



OBJETIVOS INDICADORES SOPORTES DOCUMENTALES

1. Objetivo

2. Objetivo

Indicador 1

Indicador 2

Indicador 3

Indicador 4

Indicador 5

Documento nº 1

Documento nº 2

Documento nº 3

Documento nº 4

Documento nº 5

SELECCIÓN: supone la operativización de las teorías

sobre la sociedad, los servicios sociales y las

estrategias para cambiarlos.

Cada indicador supone una CIFRA o RATIO que define

aspectos señalados a priori como necesarios para

conseguir valorar la acción.

Son HERRAMIENTAS que pueden ser aplicadas a

actividades susceptibles de expresarse

numéricamente, fácilmente comparables e

interpretables por gestores y profesionales.


EN LAS PERSONAS

• Medidas que evidencien los cambios pretendidos en las personas.

• Indicadores de valoración de los conocimientos adquiridos, de las actitudes modificadas, de los logros obtenidos

EN LAS ORGANIZACIONES

• Indicadores de servicio que pongan de manifiesto las transformaciones habidas durante y tras la intervención

EN LA POBLACIÓN

• Indicadores de satisfacción, uso y valoración de las acciones


Efectividad de un programa

Indicadores de RECURSOS

MATERIALES Y HUMANOS que dotan

un programa

Indicadores de NIVEL DE ACTIVIDAD:

Cantidad de intervenciones

preestablecidas o llevadas a cabo

Indicadores de NIVEL DE

FUNCIONAMIENTO:

Miden numéricamente las diferentes

intervenciones y la forma en que se

producen

(datos cuantitativos y cualitativos)


Efectos directos o indirectos del programa sobre la población objetivo o las percepciones del

personal

Grado de satisfacción de

los beneficiarios/as

Indicadores de calidad de vida

Percepción de los

trabajadores/as implicados


• Cuando se apliquen metodologías cuantitativas, es necesario tener claro qué unidades van a ser seleccionadas (muestra representativa).

Se supone que la información ha

sido suficientemente depurada y

sistematizada a través de los

indicadores. Para elaborarlos se

puede partir de definiciones

previas consensuadas o aceptadas

por la comunidad científica, o

proponer nuevos indicadores con

una adecuada justificación teórica

y metodológica.

Los indicadores se suelen agrupar en dimensiones susceptibles de

ser sintetizadas en uno o más índices o medida común.

En aquellos problemas en los que necesitamos entrar en las historias subjetivas hay que apoyarse en los

paradigmas cualitativos de la acción social, e indagar con las

técnicas cualitativas esas historias subjetivas para poder descubrir

las pautas comunes.

Las nuevas propuestas evaluativas han puesto en cuestión los resultados que se

obtienen en la evaluación clásica por objetivos (y apoyada sólo en datos

cuantitativos) e insisten en la dimensión política de la evaluación y en la

necesidad de contar con los propios usuarios en el proceso evaluador, así

como contar, además, con una variedad de fuentes de datos (cuantitativos y

cualitativos).


•Si la evaluación está verdaderamente

implicada en la planificación global, habrá

un flujo de información a lo largo de todo

el proceso y deberán producirse informes

de seguimiento todas las veces que sea

necesario.

¿LOS informes?

• Está dirigido no sólo a los destinatarios directos, sino a una audiencia más amplia.

• Permite sistematizar mejor la información contenida en los informes parciales.

• Da una perspectiva del proceso global, que no es factible en los informes de seguimiento, aunque éstos tengan la enorme ventaja de permitir reconducir los errores y potenciar los aciertos.

El proceso culmina con el Informe Final, de gran importancia simbólica y práctica


Aspectos a debatir:• ¿Elaboración participativa o los evaluadores lo negocian? ¿con

quién?

• ¿Quiénes son los destinatarios del informe final? ¿deben

conocerlo los usuarios?¿pueden los usuarios participar en su

elaboración?

• Si se trata de una evaluación interna ¿es conveniente que el

informe trascienda al exterior del servicio o programa en

cuestión?

• ¿Debe incluir recomendaciones, o se deja a los gestores de los

programas la decisión sobre las políticas a adoptar?


Campbell, D. y Stanley, J. (1993): Diseños experimentales y

cuasiexperimentales en la investigación social, Buenos Aires, Amorrortu.

Jacob, H. (1994): “Using published data: errors and remedies”, en Lewis-

Beck, M. S. (comp.): Research Practice, California, Sage (pp. 339-390).

Ligero Lasa, J. A. (2005): “La evaluación y la limitación de las políticas de

bienestar social”, ponencia presentada al X Congreso del CLAD sobre la

Reforma del Estado y la Administración Pública (Santiago de Chile):http://www.iij.derecho.ucr.ac.cr/archivos/documentacion/inv%20otras%20entidades/CLAD/CLAD%20X/doc

umentos/ligero.pdf

Morgenstern, S. y Finkel, L. (2002): Materiales para la evaluación de los

servicios sociales, Madrid, UNED.

OXFAM (1985): The field directors’ handbook. An OXFAM manual for

development workers, Oxford, Oxford University Press.

Stufflebeam, D. y Shinkfield, A. (1995): Evaluación sistemática. Guía

teórica y práctica, Barcelona, Paidós.


Evaluacion en la intervencion social

Education

Transcript of Evaluacion en la intervencion social