1

IIPE – Buenos Aires

Sede Regional del

Instituto Internacional de Planeamiento de la Educación

8º Curso Regional sobre

“Planificación y Formulación de Políticas Educativas”

ELEMENTOS CONCEPTUALES Y METODOLÓ GICOS PARA LA

EVALUACIÓ N DE POLÍTICAS Y PROGRAMAS SOCIALES

Nerio Neirotti

Buenos Aires, octubre de 2005

2

CONTENIDOS

1. Introducción

2. ¿Qué es evaluación?

Definición de evaluación

Requisitos de una buena evaluación

Relación de la evaluación con otras actividades emparentadas

Aspectos políticos y técnicos de la evaluación

Niveles de aplicación de la evaluación

3. Tipos y criterios de evaluación

Según el momento, el objeto y el alcance de la evaluación

Según quién evalúa

Según la perspectiva de los involucrados

Criterios de evaluación

4. Perspectivas y metodológicas de la evaluación

El debate metodológico

Modelos de comparación

5. Pasos para llevar a cabo una evaluación

5.1. Planteamiento de la evaluación y toma de decisiones

5.2. Diseño de la evaluación

Objetivos y preguntas clave

Marco teórico e hipótesis

Dimensiones, variables, indicadores y unidades de análisis

Fuentes, técnicas e instrumentos

Matriz de evaluación

5.3. Recolección de información y procesamiento

Programación de actividades

Selección y entrenamiento del equipo

Recolección de información y manejo de instrumentos

Procesamiento de la información

5.4. Análisis de la información

5.5. Comunicación y diseminación

6. Conclusiones

3

1. INTRODUCCIÓ N

La evaluación es una forma de indagación o investigación de tipo valorativo, es

decir, generadora de juicios de valor en función del patrón normativo de los

involucrados en la intervención social. En ese sentido produce conocimiento con

el propósito de brindar elementos para la toma de decisiones, transferir los

aprendizajes surgidos de experiencias innovadoras y poner la información a

disposición de la ciudadanía — esto último, a los efectos de darle transparencia a

la gestión de gobierno y de promover la participación social.

Los países de la región han llevado a cabo, con distintas características y

extensión, reformas de sus aparatos estatales, entre las que se incluye la

transformación de las áreas sociales. Están desarrollando también líneas de

acción tendientes a brindar educación en condiciones equidad y calidad, a la vez

que están implementando políticas de reducción de la pobreza y la exclusión

social. En este marco se llevan a cabo programas “modelo” que cumplen

funciones de experimentación, articulación e integración entre distintas áreas

sociales.

Nos encontramos entonces frente a múltiples imperativos: redefinición de las

políticas sociales en general, y en particular, transformaciones en al área

educativa; rediseño del aparato estatal y de sus funciones; y desarrollo de nuevas

prácticas de articulación entre el Estado y las organizaciones de la sociedad civil.

Dado que no existen recetas para abordar los cambios, el avance por

experimentación parece ser la forma más indicada de avizorar las soluciones.

Esto implica otorgar importancia a las innovaciones que se ponen en marcha en

ámbitos locales, en instituciones educativas o grupos de escuelas, que tienen

carácter experimental y de las cuales pueden surgir interesantes conocimientos a

ser diseminados con la posibilidad de transferirlos a otros contextos.

Entrando al campo de la educación, se ofrece un amplio repertorio de

innovaciones expuesto por Brunner:

Por de pronto, hay que re- conceptualizar y progresivamente rediseñar todo el

proceso de enseñanza; hay que cambiar la cultura organizacional de los

establecimientos; hay que disponer de tiempo y recursos para innovar; se debe

formar de otra manera a los profesores y al personal directivo de las escuelas;

las funciones de los organismos gubernamentales; los sistemas de supervisión y

los métodos de evaluación tienen que cambiar; es necesario desarrollar los

4

currículos bajo un principio de adaptación continua y escribir nuevos textos; se

debe aprovechar el potencial de las nuevas tecnologías y dar espacio a la

experimentación; las innovaciones exitosas tienen que ser identificadas. En fin,

pasar del eje de la modernización al eje de las innovaciones como principio de la

reforma conlleva girar al sistema en 180 grados, poniéndolo a funcionar como

un organismo adaptativo cuando hasta aquí ha operado esencialmente como un

mecanismo de conservación. (… ) Lejos por tanto de cualquier determinismo

tecnológico, la reforma de las innovaciones necesitará apoyarse en los profesores

y alumnos en primer lugar; en la organización de la escuela y las capacidades de

su personal directivo, enseguida y, en tercer lugar, en las redes de agentes que

pueden contribuir a la innovación, como los padres, miembros activos de la

comunidad local, personal de investigación y desarrollo que trabaja en

innovaciones educacionales, agencias de transferencias y difusión de tecnologías

innovadoras, empresarios comprometidos con la renovación educacional,

facultades de pedagogía y universidades”1.

Las innovaciones educativas son procesos complejos que podrían ser concebidos

como configuraciones novedosas de recursos, prácticas y representaciones en las

propuestas educativas de un sistema, subsistema y/ o institución educativa,

orientados a producir mejoras2.

Para desarrollar innovaciones educativas no basta con contar con más o nuevos

recursos, sino que es preciso incorporar nuevas acciones y traslucir las

innovaciones en la prácticas educativas. Es decir, es necesario que los actores

involucrados den forma a un nuevo estilo de gestión y produzcan una

transformación de las prácticas institucionales cotidianas.

Además de los recursos y las prácticas, una tercer dimensión es necesaria para

definir las innovaciones educativas: las representaciones, creencias y valores que

subyacen en los puntos anteriores, es decir, los supuestos que existen por detrás

de las prácticas y los recursos empleados, el grado de internalización que existe y

el nivel de compromiso.

Considerar sólo uno de estos aspectos (sólo recursos, o prácticas o

representaciones) implicaría mantener una concepción restringida. Los recursos

suelen ser la faceta más visible de las innovaciones, sin embargo, un cambio en

las prácticas y en las representaciones resultan ser los aspectos más claros de

1 J. J. Brunner, Educación: escenarios de futuro. Nuevas tecnologías y sociedad de la información, Santiago de Chile, PREAL, 2000 p. 45 2 N. Neirotti y M. Poggi, Alianzas e innovaciones en proyectos de desarrollo educativo local, IIPE- UNESCO Buenos Aires, 2004 p. 175-177

5

que la innovación ha sido implementada, y a la vez los más complejos de

promover.

Por otra parte, es fundamental que las innovaciones se inserten en escuelas,

movimientos o tradiciones pedagógicas a los efectos de que se instalen en el

debate sobre las transformaciones educativas. Igualmente, no podría ser efectiva

una innovación si no logra producir un anclaje a nivel institucional3.

Las reflexiones precedentes sobre innovaciones educativas sugieren la necesidad

de instalar una cultura de la evaluación y desarrollar capacidades en este sentido

a fin de que los cambios en marcha puedan ser efectivos y asegurar un proceso

continuo y acumulativo de transformaciones. Ya sea que se trate de tener en

cuenta la complejidad de las innovaciones (recursos, prácticas y

representaciones) como de prestar atención a sus posibilidades de inserción en

tradiciones pedagógicas y de anclaje institucional, la evaluación, concebida como

instrumento de aprendizaje, se agrega como un desafío más – en este caso, de

carácter instrumental – para brindar luz y contribuir a encontrar atajos en medio

de un sendero que tiene un importante margen de incertidumbre.

Sólo de este modo se puede ir incrementando la escala de las innovaciones a

través de un proceso que no es lineal y que en muchos casos se presenta como

enmarañado y confuso, dado que tiene las siguientes características4:

- es interactivo: involucra docentes, escuelas, distritos, especialistas en

educación, autoridades, políticos;

- es adaptativo: incorpora las reacciones de los involucrados;

- es iterativo: con reflexión y aprendizaje sobre la marcha;

Diseminar, demostrar, brindar información para el debate, generar evidencia para

fundamentar nuevos cursos de acción, son actividades que requieren producir

conocimiento válido y oportuno, accesible para quienes toman decisiones en

todos los niveles. En este marco, el presente documento ofrece conceptos sobre

evaluación y herramientas para su implementación que se inscriben en la

3 J. C. Tedesco, “Algunas hipótesis para una política de innovaciones educativas”, en Proyecto Génesis, Innovación escolar y cambio social, Bogotá, Fundación FES- CONCIENCIAS, 1997 p. 57-67 4 Glennan, Thomas K., Bodily, Susan J., Galegher Jolene R., Kerri A. Kerr Expanding the Reach of Education Reforms: Perspectives from leaders in the Scale-Up of educational interventions. RAND Corporation , 2004 p. 650

6

concepción de la misma como actividad sistemática de reflexión, entendimiento

entre actores diversos y recomendación de nuevos caminos de acción.

2. ¿QUÉ ES EVALUACIÓ N?

Haremos una aproximación a la idea de evaluación a partir de algunas

definiciones que provienen de organismos con gran ascendiente sobre el tema y

de autores que han hecho el esfuerzo de reunir conceptos comunes vertidos por

especialistas varios.

El Joint Committee on Standards for Educational Evaluation afirma:

“la evaluación es el enjuiciamiento sistemático de la valía o el mérito de un objeto”5

A su vez, UNESCO en el Glosario de términos de tecnología de la evaluación ofrece

diversas acepciones del término evaluación:

“1. Término genérico para designar el conjunto de operaciones de apreciación, de

control y de medición de un resultado, de una estrategia, de un sistema, de una

persona, etc. 2. Proceso tendente a delimitar, obtener y reunir la información útil

para juzgar alternativas de decisión, controlar la eficacia de la ejecución de la

actividad y juzgar su interés. 3. Proceso de cuantificación o de calificación del

rendimiento de un individuo, grupo, dispositivo o material”.

SIEMPRO (Sistema de Información, Monitoreo y Evaluación de Programas

Sociales), con la inquietud de fortalecer la institucionalidad social y con el

propósito de desarrollar conocimientos y capacidades sobre planificación y

evaluación en el ámbito estatal y de la sociedad civil, produjo un manual que

contiene la siguiente definición:

5 Citado por Stufflebeam, Daniel L. y Anthony J. Shinkfield, Evaluación sistemática. Guía teórica y práctica, Barcelona, Paidos / M.E.C., 1995, p. 19.

7

“un proceso permanente de indagación y valoración de la gestión del programa

para generar conocimiento y aprendizaje que alimente la toma de decisiones”6.

Por su carácter comprehensivo también se considera útil incluir la siguiente

definición que aportan María José Aguilar y Ezequiel Ander-Egg en su libro

“Evaluación de servicios y programas sociales”:

“la evaluación es una forma de investigación social aplicada, sistemática,

planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera

válida y fiable, datos e información suficiente y relevante en que apoyar un juicio

acerca del mérito y el valor de los diferentes componentes de un programa (tanto en

la fase de diagnóstico, programación o ejecución), o de un conjunto de actividades

específicas que se realizan, se han realizado o realizarán, con el propósito de

producir efectos y resultados concretos; comprobando la extensión y el grado en el

que dichos logros se han dado, de forma tal, que sirva de base o guía para una

toma de decisiones racional e inteligente entre cursos de acción o para solucionar

problemas y promover el conocimiento y la comprensión de los factores asociados

al éxito o al fracaso de sus resultados”7.

Definición de evaluación

Los aportes anteriores nos sugieren los aspectos centrales del concepto de

evaluación, que podrían sintetizarse en las siguientes notas:

6 SIEMPRO / UNESCO, Gestión integral de programas sociales orientada a resultados. Manual metodológico para la planificación y evaluación de programas sociales, México, Fondo de Cultura Económica, 1999, p. 55. 7 Aguilar, M. J. y Ander-Egg, E., Evaluación de servicios y programas sociales, Madrid, Siglo XXI, 1992, p. 18.

8

- Proceso: No se trata de una actividad estática, que se realiza de una vez

para siempre, sino que está en continuo desenvolvimiento.

- Indagación sistemática: Se busca generar conocimiento, y para ello se

utilizan los recursos y métodos propios de la investigación.

- Valoración: Evaluar significa “valorar”, asignar valor, y esta actividad se

desarrolla en función de preferencias y prioridades sociales, que definen

los involucrados en el procesos evaluativo.

- Aprendizaje: En contraposición a una visión arcaica sobre la evaluación,

que considera que su función es el control o la fiscalización, se hace

hincapié en el aprendizaje, como instrumento para mejorar la gestión y las

políticas.

- Toma de decisión: El conocimiento producido por la evaluación no tiene

fines académicos sino que está al servicio de la acción, y por lo tanto, de

la toma de decisiones.

- Transparencia: El conocimiento que resulta de la evaluación tiene que ser

un instrumento de utilidad para todos aquéllos a los que les concierne la

acción evaluada.

En función de las contribuciones precedentes y siguiendo las notas que

distinguen la evaluación, se ofrece la siguiente definición:

La evaluación es un proceso de indagación sistemático, valorativo, cuyo

propósito es generar aprendizaje sobre la intervención de un programa o

política con el fin de mejorar la toma de decisiones y de otorgarle mayor

transparencia a la gestión.

A la vez permite:

- mejorar la eficacia, eficiencia y efectividad de los programas

- producir conocimiento sobre las distintas experiencias

- diseminar y difundir las lecciones aprendidas a partir de modelos en

marcha

- fortalecer lazos y entendimiento entre los diversos actores

9

involucrados.

Para complementar esta definición, se podría agregar que la evaluación tiene la

finalidad de retroalimentar la gestión de un programa, suministrando

información para tomar decisiones con respecto a:

- La pertinencia del programa y la consistencia de su planificación.

- La viabilidad, factibilidad y sustentabilidad de los objetivos y actividades

del programa.

- Los procesos de distinto tipo que se generan en la ejecución del programa y

las distintas funciones que se cumplen: dirección / coordinación,

organización, presupuestación, gestión de recursos humanos,

comunicación, programación de actividades.

- La relación del programa con el contexto.

- La articulación y sinergia del programa en relación con otros que

contribuyen a logra fines similares.

- La perspectiva de los beneficiarios y de la institución que ejecuta el

programa acerca de los procesos y los resultados del mismo.

Requisitos de una buena evaluación

Un gran número de condiciones han sido señaladas como necesarias para que la

evaluación resulte adecuada. En algunos casos se han llegado a elaborar check

lists que deberían ser seguidas como instrumentos de verificación. Como ejemplo,

se incluyen los Estándares Para la Evaluación de Proyectos del Joint Committee

on Standards for Educational Evaluation que presenta en su libro Rocío

Fernández-Ballesteros8. Estos estándares fueron diseñados con el objetivo de

asegurar la concreción de evaluaciones útiles, factibles, éticas y adecuadas y

contienen 30 normas:

8 Fernandez-Ballesteros, Rocio “Evaluación de Programas. Una guia práctica en ámbitos sociales, educativos y de salud” Madrid, 1996, p. 108-112

10

Criterio Estándar

1. Identificación de implicados (de tal forma que sus

necesidades pueden ser tenidas en cuenta)

2. Credibilidad del evaluador (deben ser dignas de confianza y

competentes) 3. Ámbito de la información y selección (debe ser sensible a

las necesidades del cliente, etc) 4.Identificación de valores (las perspectivas, los procedimientos

y la lógica utilizada deben ser descriptas) 5. Claridad del Informe (el informe de evaluación debe describir el

programa, su contexto, objetivos y procedimientos y resultados de la

evaluación)

6. Oportunidad y difusión del informe (los hallazgos

significativos deben ser difundidos)

UTILIDAD

7. Impacto de la evaluación (las evaluaciones deberían estimular

el seguimiento continuado por los involucrados)

1. Procedimientos prácticos (los procedimientos evaluativos

deben ser prácticos para minimizar los trastornos que puedan

producirse en la recogida de información)

2. Viabilidad política (debe anticipar las diferentes posiciones de

los grupos implicados para conseguir su particpación)

FACTIBILIDAD

3. Coste efectividad (debe ser eficiente y producir información de

suficiente valor de tal manera de justificar los recursos invertidos)

1. Orientación de servicio (debe ayudar a las organizaciones a

atender a las necesidades de todos los participantes) 2. Convenios formales (las responsabilidades de las partes

implicadas deben ser acordadas mediante un documento)

3. Derechos de los sujetos humanos (deben respetar los

derechos y bienestar de los sujetos humanos) 4. Evaluadotes deben respetar la dignidad humana y su

valor (de manera que los participantes no estén amenazados y no se

vean perjudicados)

PROBIDAD

5. Evaluación completa y adecuada (debe ser completa y

adecuada en su análisis de los puntos fuertes y débiles del programa)

11

6. Declaración de resultados (las partes contratantes de la

evaluación deben asegurar que el conjunto de los resultados sean

accesibles a las personas afectadas) 7. Conflicto de intereses (deben ser manejados con apertura y

honestidad de tal forma que no comprometan al proceso de

evaluación)

8. Responsabilidad fiscal (asignación del evaluador y otras

partidas deben reflejarse contablemente) 1. Documentación sobre el programa (el programa evaluado

debe ser descrito y documentado de tal forma de que puede ser

identificado) 2. Análisis del contexto (debe ser examinado con suficiente

detalle de modo de identificar posibles influencias.)

3. Descripción de propósitos y procedimientos (deben ser

controlados y descritos de manera que puedan ser identificados y

evaluados) 4. Fuentes de información admisibles (las fuentes deben ser

descriptas de manera que la interpretación sea valida) 5. Información valida (los procedimientos de recogida de

información deben asegurar una interpretación válida) 6. Información viable (los procedimientos de recogida de

información deben asegurar que información es fiable)

7. Información sistemática (la información debe ser

sistemáticamente revisada y cualquier error corregido) 8. Análisis de información cuantitativa (debe ser apropiada y

sistemáticamente analizada) 9. Análisis de información cualitativa (debe ser apropiada y

sistemáticamente analizada) 10. Justificación de las conclusiones (deben ser

explícitamente justificadas de modo tal que los implicados puedan

valorarlas) 11. Informe imparcial (los procedimientos del informe deben ser

salvaguardados contra la distorsión causada por sentimientos

personales y sesgos)

ADECUACIÓ N

12. Metaevaluación (la evaluación debe ser formativa y sumativa

de tal modo que su ejecución sea apropiadamente guiada y que los

implicados puedan examinar sus puntos fuertes y débiles)

12

En este documento se ofrecen los requisitos mínimos indispensables para

garantizar una buena evaluación o para analizar una evaluación9 que ya ha sido

realizada:

- Validez: Debe apoyarse en metodologías científicas de recolección y

análisis de información.

- Pertinencia: Debe haber correspondencia entre el problema (necesidades

de información) que da origen a la evaluación y los propósitos de ésta.

- Relevancia: La magnitud de conocimiento producido por medio de la

evaluación debe estar a la altura de las necesidades y de los propósitos

planteados.

- Utilidad: Los resultados de la evaluación deben ser accesibles a los

tomadores de decisiones y a los involucrados en general, y las

recomendaciones deben estar ligadas con la toma de decisiones y las

necesidades de brindar mayor transparencia a la gestión. - Oportunidad: Los resultados de una evaluación deben llegar a tiempo

como para tomar decisiones cruciales, corregir el rumbo de las

intervenciones y favorecer la discusión pública. - Costo-efectividad: El costo de la evaluación (en recursos y tiempo) debe

ser proporcional a las soluciones que brinda.

Relación de la evaluación con otras actividades emparentadas

Tanto en el sector público como en el privado se han llevado a cabo actividades

que están emparentadas en algún grado con la evaluación por estar orientadas a

garantizar un buen servicio o producto. A su vez, estas actividades han sido

organizadas como funciones en el sentido que tienen responsables específicos y

requieren cierto grado de especialización. Al respecto pueden mencionarse las

siguientes: auditoría, control de gestión y supervisión.

La auditoría es una función que tiene por objeto garantizar el buen uso de los

recursos del Estado y de la empresa en cuanto a la adquisición de insumos,

buscando evitar acciones negligentes o delictivas. El control de gestión va más

allá, en el sentido que atiende a los procesos de conversión de los insumos en 9 A la evaluación de la evaluación se la llama metaevaluación.

13

productos, es decir, a las actividades y los resultados esperados de la misma, en

cantidad y calidad. Por su parte, la supervisión se orienta a observar que los

procesos se desarrollen según lo previsto, incorporando actividades de apoyo o

asesoramiento. Como se podrá observar, si bien todas estas funciones se apoyan

en el propósito de garantizar las mejores condiciones de la gestión, no brindan

insumos sistemáticos de conocimiento que permitan arrojar luz para llevar a

cabo procesos transformadores.

Pero hay otras actividades que brindan estos insumos y que también se

diferencian de la evaluación. Las experiencias que llevan a cabo las

organizaciones de la sociedad civil requieren, por su carácter singular e

innovador, llevar a cabo procesos de sistematización. Del mismo modo, sus

exploraciones suelen ser objeto de atención de los investigadores. En tal sentido,

resulta conveniente distinguir y delimitar los procesos de sistematización,

investigación y evaluación.

Lo primero que interesa señalar es que no hay una relación jerárquica, ni de

inclusión o subordinación entre la sistematización, la investigación y la

evaluación. En realidad se trata de tareas distintas aunque, por cierto, están muy

relacionadas, por eso es conveniente que exista una articulación entre las

mismas.

La sistematización consiste en recoger y ordenar información con el propósito de

hacer una memoria de la propia práctica y aprender de ella. Es un proceso de

objetivación por medio del cual se extraen (de acuerdo con determinados

parámetros) conocimientos sobre la labor que se realiza para capitalizar la

experiencia y reorientarla. Por eso, cada proceso de intervención constituye un

esfuerzo creativo único que tiene una gran dosis de experimentación. Durante la

implementación de un programa se generan descubrimientos, se producen

debates, se construyen conceptos y se organizan sistemáticamente. Este proceso

es dinámico, puesto que la sistematización tiene una lógica explicativa provisoria,

abriendo paso a nuevas dudas que deberán ser respondidas en el futuro y dando

lugar a renovados esquemas de relación entre los hechos y el ordenamiento de la

información.

La investigación, por su parte, supone hacer un recorte de la realidad y un

análisis en profundidad de algunos aspectos, indagando acerca de la existencia

14

de correlaciones y/o relaciones causales entre los fenómenos que se observan, ya

sea interpretándolos a la luz de la teoría deductivamente o “creando” teoría

inductivamente a partir de dichos fenómenos. En investigación es más acotado el

margen de fenómenos o aspectos que se eligen para analizar, mientras que la

sistematización se hace con un abordaje más comprehensivo de todo el proceso

de intervención. Además, la investigación es más rigurosa desde el punto de vista

metodológico y sus conclusiones son de más peso. También difieren en cuanto al

propósito de cada una.

La sistematización cumple con la función de ordenar información y aprendizajes

para encaminar la propia práctica, una producción al servicio del proceso de

intervención. En cambio la investigación está al servicio del conocimiento, sin

condicionamientos propios de la acción, donde el público al que se dirige la

información no es el propio equipo del programa, sino los circuitos académicos y

ámbitos de debate científico.

La evaluación, por último, es una investigación aplicada, y en este sentido se

rige por los mismos principios epistemológicos y metodológicos de toda

investigación. Sólo que la investigación básica tiene como propósito el

descubrimiento del conocimiento, mientras que la evaluación apunta a conocer

los resultados de un programa y los efectos que producen. La evaluación puede

también ser tipificada como “policy oriented research”, puesto que el

conocimiento producido por la evaluación siempre será utilizado en algún nivel de

toma de decisiones, desde los ámbitos estratégicos desde los que se conducen

políticas hasta los espacios operativos, pasando por los escalones intermedios de

la gestión.

Otro de los aspectos que distingue a la evaluación es que incorpora de manera

explícita los valores. Precisamente, evaluar significa valorar y la evaluación

siempre supone juicio sobre el objeto evaluado: mejor o peor, más cercano o más

lejano a lo deseado, más o menos ajustado, etc. Al tomar como referencia los

efectos deseados se está pensando en un horizonte al que se considera como el

más conveniente o adecuado, y esto significa que se está partiendo de

preferencias, prioridades y elecciones, todas las cuales se basan en los valores de

los involucrados.

15

Aspectos políticos y técnicos de la evaluación

En toda evaluación entran en juego aspectos técnicos y aspectos políticos. Toda

vez que se tiene en cuenta la relación entre los medios y los fines entra a jugar la

perspectiva técnica. Esta se refleja cada vez que nos preguntamos cómo se

organizaron los recursos (ya sean humanos, materiales, tecnológicos o

financieros), qué uso se hizo de los mismos, qué resultados se lograron, etc. Los

aspectos técnicos tienen que ver con disciplinas y saberes específicos propios de

las distintas áreas del quehacer (economía, salud, educación, medio ambiente,

etc.)como así también con las profesiones que priman en cada campo

(educadores, médicos, economistas, ingenieros, etc.).

Pero también está el aspecto político (en un sentido amplio, no partidario) de la

evaluación, que es el que tiene que ver con los actores, sus valores y sus

intereses, y con las instituciones. Por ello es tan importante saber quiénes son los

actores que están involucrados en la intervención, cuáles son sus fortalezas y sus

debilidades, qué persiguen, cómo van a participar y con qué grado de

involucramiento, qué grado de participación tienen en la evaluación. El aspecto

político está presente cada vez que nos preguntamos por los valores que orientan

las opciones que se eligen y las prioridades que se establecen, cuando analizamos

las limitaciones y potencialidades de tipo institucional (normas, procedimientos,

reglas del juego), cuando indagamos sobre las relaciones de poder, las disputas o

los consensos.

En una evaluación no se puede prescindir de los aspectos técnicos ni de los

políticos. Si nos concentráramos solamente en los primeros correríamos el riesgo

de ser poco realistas, de imaginar procesos y de identificar resultados desde una

perspectiva ajena al escenario social donde suceden los acontecimientos.

Evaluaríamos en términos ideales, sin ofrecer conocimiento útil para la toma de

decisiones. Y lo que es peor, aplicaríamos nuestros propios valores, puesto que

no existen posiciones técnicas avalorativas. Si, por el contrario, sólo nos

apoyáramos en argumentos de orden político, estaríamos menospreciando el

saber científico-técnico que ha sido probado a través de la experiencia y que ha

dado lugar a la conformación de campos específicos del saber.

16

Niveles de aplicación de la evaluación.

Los niveles de aplicación de la evaluación se corresponden con los niveles de

organización de los procesos de decisión y acción, a saber: política, plan,

programa, “cluster” y proyecto.

Las políticas públicas son procesos de decisiones y acciones (también omisiones

e inacciones) socialmente construidos, orientados por objetivos (con diferentes

grados de explicitación y estructuración) y que están orientados por el interés

general (razón por la cual, aunque no incluyan necesariamente al Estado como

único actor, lo cuentan como un involucrado imprescindible).

Las políticas públicas adquieren un carácter operativo a través de planes,

programas, proyectos u otras formas de acción/decisión organizadas.

Los planes son las unidades más generales de organización de procesos de

decisión y acción. Desde la perspectiva de la planificación estratégica, los planes

contienen los fines, objetivos, estrategias y sectores de intervención, esbozados

en grandes líneas, de modo tal de permitir la elaboración de versiones

(interpretaciones, adecuaciones, recreaciones) específicas a las distintas áreas,

sectores, regiones o localidades involucradas por el plan.

Los programas adquieren un nivel de mayor especificidad que los planes (no

necesariamente tienen que depender de un plan). Están a su vez conformados

por componentes (puede ser también por proyectos), que constituyen partes

relacionadas entre sí funcionalmente, es decir, los componentes o proyectos

cumplen funciones que coadyuvan al alcance de los objetivos del programa y

tienen entre sí una relación de tipo sistémico. Los programas suelen ser

continuados o tener períodos de duración no claramente delimitados puesto que

finalizan cuando dejan de subsistir los problemas que les dieron origen.

A su vez, los proyectos tienen un nivel de especificidad mayor que los programas

y pueden ser parte de estos (al igual que la relación entre programa y plan, la

relación entre proyecto y programa es de inclusión y parte). Cabe la misma

aclaración que se hizo en referencia a los programas: los proyectos no

necesariamente deben estar incluidos en un programa, puesto que es muy

común encontrar proyectos que existen de modo independiente. Los proyectos

17

tienen un período y un fin claramente delimitados y sus productos son obras, o

bienes y servicios que generan un efecto multiplicador.

Se llama cluster (racimo, grupo, haz) a un conjunto de proyectos o programas

que están reunidos por dos razones posibles:

- Porque constituyen procesos de intervención (proyectos o programas) en

pos de un fin común sobre una misma población y territorio. En este caso

la relación entre las partes es de tipo funcional.

- Porque son procesos de intervención con un mismo ideario o filosofía, que

tienen objetivos diversos aunque emparentados y que intervienen sobre

distintas poblaciones y territorios. En este caso la relación entre las partes

no es funcional (no coadyuvan al alcance de un mismo fin) sino que están

reunidos con el objeto de experimentar en diferentes escenarios con

prácticas similares o comparables y de aprender en común.

Las actividades de evaluación son diferentes según el nivel de gestión del que se

trate. Los proyectos son más sencillos de reconstruir y resultan en principio más

inteligibles, puesto que incluyen objetivos, productos y procesos de intervención

acotados. En muchos casos contienen unas pocas líneas de acción y los

involucrados, además de no ser muy numerosos, se reúnen con expectativas

claras y funciones bastante delimitadas.

Los programas tienen un nivel mayor de complejidad, puesto que contienen más

líneas de acción y suelen incluir varios componentes o proyectos. En su caso

resulta más difícil delimitar las responsabilidades propias del grupo operativo de

aquéllas que tienen que ver con el medio institucional o social en el que se

implementan los programas. Los involucrados son más numerosos y las

relaciones entre los mismos son más complejas, a la vez que la normas y las

reglas del juego en el marco de las cuales se desarrollan son más imbricadas. Al

ascender del nivel del proyecto al de programa se hace más difícil hacer una

evaluación comprehensiva, razón por la cual hay que acotar el objeto a evaluar,

es decir, hay que definir algunas dimensiones en detrimento de otras.

La evaluación de cluster puede ser de dos tipos. Si se trata de una agrupación

funcional (cluster de tipo a) la evaluación es similar a la de programa, aunque el

cluster tiene una diferencia en relación con un programa: en éste las partes que

se relacionan funcionalmente trabajan en el marco de una misma organización

18

responsable que conduce o coordina; en esta organización no existe sino que los

diferentes programas o proyectos sólo coexisten o, en todo caso, tienen una

articulación de tipo horizontal o en red. En este sentido, la evaluación es aún

más compleja y cobran mayor peso los asuntos que tienen que ver con las

relaciones entre las partes.

Si el cluster no es de tipo funcional (tipo b), la evaluación sigue los caminos de la

investigación comparativa. Cada programa o proyecto que compone el clúster es

tomado como un caso que se desarrolla en un escenario diferente y se eligen

algunas dimensiones que permiten comparar las intervenciones para poder hacer

un análisis transversal. Desde ya, en este caso no es posible hacer evaluación de

objetivos (puesto que son diferentes), aunque muchas veces los proyectos o

programas del cluster son impulsados por alguna iniciativa o línea de

financiamiento y/o apoyo técnico lanzada por un gobierno o agencia de

cooperación, razón por la cual se puede hacer una evaluación combinada de la

iniciativa (a través de sus objetivos y lineamientos generales) y de los proyectos a

partir del análisis comparado.

La evaluación de planes se ubica en un nivel de mayor complejidad y generalidad

que la de los programas y proyectos y aunque se puede evaluar en función de los

objetivos y efectos logrados, se invita a hacer mayores recortes (aspectos,

dimensiones) del ángulo de la evaluación.

En el caso de las políticas públicas, la evaluación se puede hacer de las maneras

siguientes:

- A través de la evaluación de programas, clusters o proyectos, lo cual

equivale a seleccionar determinadas líneas de acción que se han puesto en

marcha y que constituyen una parcialidad de la política en ciernes.

- Se toma uno o más aspectos a evaluar (participación, equidad, institucionalidad, etc)

y se hace una investigación aplicada en torno al mismo, abarcando el conjunto de

líneas de acción de esa política.

- Una combinación de las anteriores

19

3. TIPOS Y CRITERIOS DE EVALUACION

Para entender qué significa evaluar, luego de haber avanzado con la

aproximación conceptual, resulta útil hacer una aproximación descriptiva.

Según los diferentes autores existen varios tipos de evaluación, pero a los efectos

de hacer inteligibles todas las denominaciones que existen se ha intentado

primero establecer los criterios con base en los cuales se hacen las clasificaciones

corrientes. Estos son:

a) el momento en que se evalúa,

b) el objeto de evaluación,

c) el alcance de la evaluación,

d) quién evalúa,

e) la perspectiva de los involucrados.

El presente cuadro sintetiza los principales criterios a tener en cuenta.

Según el

momento en

que se evalúa

Según el objeto

de evaluación

Según el

alcance

Según

quien

evalúa

Según la

perspectiva de los

involucrados

Ex – ante - De diseño

- De viabilidad y

factibilidad

- De

Sustentabilidad

- De decisión

De proceso - Monitoreo

- De Gestión

- Formativa

Ex – post - De efectos

- De impacto

- De satisfacción

- Sumativa

- Externa

- Interna

- Autoev.

- Mixta

- Los beneficiarios

- Los financiadores

- El poder político

- El equipo de

gestión

- Otros

- Combinaciones

Existe correlación entre los primeros tres criterios, dado que según el tiempo,

corresponden distintos objetos o aspectos a evaluar y el alcance también es

correlativo, tal como se explica a continuación.

20

Según el momento, el objeto y el alcance de la evaluación

Evaluación ex - ante. Es la evaluación que se lleva a cabo en un tiempo anterior

a la existencia del programa. Los objetos o aspectos a evaluar son el diseño del

programa, su viabilidad y factibilidad, y también la sustentabilidad del mismo.

En relación con el diseño, es necesario comprobar: a) si existe correspondencia

entre el problema analizado en el diagnóstico y los objetivos del programa

diseñado; b) si el diseño es consistente, es decir, si hay una adecuada relación

entre actividades, los insumos necesarios para llevarlas a cabo, los productos

(prestaciones, bienes y servicios) que resultan de éstas y los objetivos (que

constituyen los efectos deseados).

En cuanto a la factibilidad, se trata de analizar si se reúnen las condiciones

económico-financieras y técnicas para poder llevar a cabo el programa. En

relación con la viabilidad, lo que se busca conocer es si están dadas las

condiciones políticas (en un sentido amplio, de acuerdo de actores involucrados

y de gobernabilidad) e institucionales (normativa y de reglas del juego no

escritas) para impulsar el programa.

En lo concerniente a la sustentabilidad (como sinónimo de sostenibilidad) la

evaluación busca garantizar que el programa cuente con las posibilidades de

subsistir, más allá del período limitado de financiamiento que brinda el gobierno

o una agencia de cooperación (por medio de recursos propios o contando con

fuentes alternativas de financiamiento) . Pero tan importante o más aún que los

recursos financieros son las capacidades organizativas, institucionales, de

conocimiento y de gestión con que tiene que contar el equipo del programa. No

está demás mencionarlo, en este tipo de evaluación se deberá incluir también la

apreciación sobre la existencia de soportes políticos para poder seguir llevando a

cabo las acciones.

Como se podrá observar, todos estos tipos de evaluación están relacionados con

la toma de decisión previa a la iniciación de un programa que responde a la

siguiente pregunta: ¿Existen las condiciones para ponerlo en marcha? Según

cuál sea la respuesta se hará la opción. Por esta razón, con base en el criterio

del alcance se ubica la evaluación ex-ante como evaluación “de decisión”.

21

Evaluación de proceso. Esta evaluación se lleva a cabo cuando el programa está

en marcha, es decir, durante su fase de implementación, y tiene por objeto

analizar el desempeño del mismo. Según la extensión e intensidad del análisis,

los tipos de evaluación son el monitoreo y la evaluación de gestión.

El monitoreo es el procedimiento por el cual verificamos la eficiencia y eficacia de

la ejecución de un programa, mediante la identificación de sus logros y

debilidades. Se trata de un análisis periódico de distintos aspectos de un

programa con el propósito de verificar si se avanza según lo programado y de

identificar los posibles desvíos. Entre los aspectos a verificar se pueden

mencionar: a) actividades previstas, b) disponibilidad de recursos y desembolsos

presupuestarios, c) productos (bienes y servicios), tanto intermedios como finales,

que deben resultar de las actividades previstas, d) cobertura, o sea, beneficiarios

que han recibido los productos programados. Para hacer un seguimiento de

todos estos aspectos se construyen indicadores que permiten verificar el

cumplimiento de metas a lo largo del proceso.

Si bien éste es un tipo de monitoreo que relaciona las actividades y productos

generados en relación con lo programado, existen otros que relacionan el

desempeño del programa en relación con promedios o con estándares de máximo

desempeño.

Se podría decir que el monitoreo ofrece una visión del movimiento del programa,

aunque superficial. Mientras que la evaluación de gestión se detiene a analizar

diferentes funciones de la misma en profundidad. El monitoreo se asocia a una

película y la evaluación de gestión a una fotografía con detalles más rigurosos.

Las funciones que pueden ser abordadas en una evaluación de gestión son

variadas y se eligen según la necesidad: a) organización del programa,

incluyendo la división del trabajo, responsabilidades y jerarquías; b) secuencia de

actividades, relación entre las mismas y ubicación en el tiempo; c) asignaciones

presupuestarias y cronograma de erogaciones; d) organización de recursos; e)

dirección y coordinación; f) comunicación interna y externa; g) reclutamiento,

organización, capacitación e incentivos de recursos humanos; h) el clima de

trabajo; i) los productos y los efectos inmediatos; j) aspectos institucionales; k) la

planificación y el monitoreo mismos.

22

Dado que la evaluación es un aprendizaje, se puede afirmar que el alcance de la

evaluación de proceso es “formativo”.

Evaluación ex – post. Este tipo de evaluación se efectúa generalmente una vez

que ha concluido el programa o cuando ha finalizado una etapa del mismo, de

modo tal que se pueden conocer sus resultados.

Por evaluación de efectos se entiende aquélla que indaga sobre los cambios en la

realidad producidos por el programa, es decir, nuevos estados o condiciones en

las personas, en las cosas o en las instituciones que son producto de la

intervención del programa, ya sea que respondan o no a los objetivos planteados.

Algunos programas tienen objetivos o propósitos que se limitan a la construcción

de infraestructura o equipamiento, y en este caso sólo se evalúan sus productos,

pero en general, los efectos son consecuencia de los bienes o servicios prestados

por el programa.

La evaluación de impactos busca analizar los cambios producidos por el

programa en un período mayor de tiempo (mediano y largo plazo) conjuntamente

con otros factores intervinientes.

Por último, la evaluación se hace con el propósito de conocer no sólo lo que se

observa objetivamente sino también lo que sienten, perciben, valoran y resulta de

interés para los beneficiarios.

A esta evaluación se la llama “sumativa”, si se tiene en cuenta el alcance de la

misma, puesto que al finalizar la vida de un programa o una etapa del mismo se

logra contar con un cúmulo de conocimientos que resultan de lo que se aprendió

antes del inicio y durante todo el proceso de implementación.

Según quién evalúa

Un cuarto criterio a tener en cuenta es quien evalúa y en relación al mismo hay

tres posibilidades: evaluación externa, interna y mixta. Por evaluación externa

se entiende una intervención desarrollada por entidades y/o individuos que no

intervienen en el programa o proyecto a evaluar. Cuenta con la ventaja de una

mayor objetividad, aunque se corre el riesgo de acarrear también mayor

desconocimiento de la realidad a evaluar. Otra ventaja es su mayor grado de

independencia (o menor implicación), es decir, que los evaluadotes tienen menos

23

intereses comprometidos con los resultados de la evaluación. Por último, la

evaluación externa suele estar a cargo de especialistas, los cuales tienen un

conocimiento metodológico asentado a través de la experiencia.

En el otro extremo, la evaluación interna, desarrollada por una unidad y/o

personas que dependen de la gerencia o dirección del programa, cuenta con la

ventaja del mayor conocimiento del objeto a evaluar y probablemente, mejor

comunicación con los actores cuya acción es evaluada, aunque su visión puede

estar sesgada por la falta de distancia y perspectiva. Es decir, la evaluación

interna puede estar teñida de subjetivismo y sus resultados pueden estar

condicionados por la necesidad de complacer a los responsables del programa o

al equipo en su conjunto. Sin embargo, favorece el fortalecimiento del desarrollo

profesional a la vez que facilita una mayor participación y apropiación de los

resultados de la evaluación.

La autoevaluación es un tipo especial de evaluación interna, donde quienes la

realizan son los mismos involucrados en la gestión. La evaluación interna no

necesariamente es autoevaluación, puesto que, como se señaló anteriormente,

esta última puede ser responsabilidad de un equipo que sea externo al proceso de

gestión aunque pertenezca a la planta del programa.

Con la evaluación mixta se busca reunir las ventajas de ambos tipos, a través de

la conformación de equipos que reúnen agentes internos y externos. Existen

diferentes grados de asociación (mayor proporción de agentes externos o internos)

dependiendo de la medida en que cada parte coopera en el proceso de evaluación.

En algunos casos se opta por reunir evaluadores externos e internos en número

similar, en otros se opta por un equipo externo que cuenta con apoyos internos, y

en otros se prefiere organizar equipos internos con la inclusión de especialistas

externos. Desde esta última perspectiva, el evaluador externo aparece en la

bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”,

términos que dejan claramente planteada la idea de una interlocución crítica y

reflexiva que puede potenciar aún más las ventajas de la auto evaluación,

otorgando al agente externo independencia pero posibilidad de estar inmerso en

el proyecto.

24

Según la perspectiva de los involucrados

Por último, queda por señalar que existen distintos tipos de evaluación según la

perspectivas de los involucrados, sean éstos los beneficiarios, los financiadores, el

poder político y las autoridades, el equipo de gestión, otros o combinaciones de

los mencionados.

Cada organización hace sus evaluaciones según las necesidades, el desarrollo de

la cultura de la evaluación en su interior y en el medio social en el que trabaja, la

experiencia que posee, la capacidad adquirida y los recursos que dispone. Cada

evaluación es una “obra de arte” que se diseña ad hoc para cada organización,

cada programa y cada circunstancia. Asimismo, en la medida que se avanza en

la práctica evaluativa, las organizaciones van desarrollando sus propios “sistemas

de evaluación”, contando con equipos y logística para llevar a cabo el monitoreo y

múltiples evaluaciones a medida que se avanza en el tiempo.

Es conveniente reiterar el carácter sistémico que debe tener la práctica evaluativa

en dos sentidos: a) concebir a la evaluación (y el monitoreo) como una función de

la gestión que se integra a las demás funciones (planificación, organización,

dirección, presupuestación, etc.); b) articular las distintas evaluaciones (por

ejemplo: evaluaciones ex – ante, monitoreo, evaluaciones de efectos, etc.) en un

todo estructurado, de modo que confluyan diseños, bases de datos, capacidades y

recursos. El montaje de un sistema de información permite garantizar la práctica

de la evaluación como un proceso permanente en una organización o programa.

Criterios de evaluación

Mucho se ha hablado de evaluación de efectividad, eficacia, o eficiencia. En

realidad estos no son tipos de evaluación sino criterios que hacen que el trabajo

se concentre en determinados aspectos que dicen la bondad del programa o

proyecto. A continuación se presenta una explicación sobre cada uno de estos

criterios.

Efectividad: refiere a la comparación de los resultados obtenidos respecto de los

esperados. La efectividad implica conocer si la teoría implícita en cada programa,

con sus correspondientes expresiones metodológicas y técnicas aporta las

25

respuestas que se buscan y genera los cambios que se requieren. También

interesa estimar si esta teoría podría ser aplicable a otros campos o población

beneficiaria. Con el análisis de efectividad se indaga sobre la capacidad de un

programa a partir de su concepción y diseño, incluyendo la pertinencia

(capacidad de respuesta a los problemas que le dieron origen), la consistencia y la

adecuada visualización del medio en el que se desarrolla.

Eficacia: refiere a la capacidad de un programa o de alguno de sus componentes

para alcanzar sus objetivos en el tiempo esperado. La eficacia contempla el

cumplimiento de objetivos en tiempo, sin importar el costo o el uso de recursos, y

tiene relación fundamentalmente con la capacidad organizativa, de flexibilidad y

adaptación frente a la situación de cambio a la que están sometidos generalmente

los programas. Con el análisis de eficacia se indaga sobre la capacidad de gestión

de un programa, más allá de cómo fue diseñado y teniendo en cuenta incluso la

posibilidad de logro de efectos que no estaban señalados en los objetivos.

Eficiencia: se define como la relación entre los productos o resultados esperados

de un programa y los costos de los insumos o procesos de apoyo o

funcionamiento que implica, Debe brindar elementos de juicio para identificar

alternativas de acción que permitan obtener mejores resultados con igual

cantidad de recursos o bien los mismos resultados con una mejor combinación o

utilización de los recursos existentes. La eficiencia tiene relación con la

maximización del impacto del gasto público, el que siempre enfrenta desafíos

asociados al costo de oportunidad de asignar recursos a determinados programas

en relación a otros, en un contexto de variadas y complejas necesidades sociales

no satisfechas. Es importante aclarar que la eficiencia no se logra sencillamente

minimizando costos. La eficiencia obliga a poner un estándar a la minimización

de costos: cumplir el objetivo, a mínimo costo o generar el mayor logro, para un

determinado costo.

4. PERSPECTIVAS TEÓ RICAS Y METODOLÓ GICAS DE LA EVALUACIÓ N

No existe una única concepción de evaluación y consecuentemente, hay varias

perspectivas teóricas y metodológicas que la sustentan, las cuales han sido objeto

26

de intensos debates que permanecen hasta hoy. Una primera clasificación que se

puede hacer proviene de distinguir la evaluación tradicional de los enfoques

alternativos que le sucedieron, dando diversas respuestas en oposición a aquélla.

A continuación se exponen brevemente los autores y fundamentos de cada una:

a) Evaluación tradicional centrada en objetivos (Definición clásica,

desarrollada inicialmente por R. W. Tyler en el trabajo Eight Year Study en 1942)

Utiliza como parámetro de referencia los objetivos del programa a evaluar,

realizando análisis comparados entre lo que se buscaba y lo que se logró. Este

enfoque busca determinar la congruencia entre los resultados alcanzados y los

propuestos por un lado, y entre el trabajo (las operaciones) y los objetivos por el

otro.

b) Enfoques alternativos. Estos enfoques rechazan la visión de supuesta

imparcialidad y objetividad de la evaluación centrada en objetivos, de corte

positivista, y resaltan los valores y las opiniones de la pluralidad de actores

involucrados en el programa a evaluar. Reconoce la diversidad de intereses en

juego, la multiplicidad de perspectivas y promueve activamente la participación

de los diferentes actores en la evaluación. Varias versiones de este enfoque

fueron emergiendo a lo largo del siglo pasado, pero vale la pena puntualizar las

siguientes:

- Evaluación múltiple (Desarrollado por C. H. Weiss y G. Majone): dada la

existencia de múltiples partes afectadas por un programa y la complejidad

del contexto político donde se desenvuelve la intervención, este enfoque

propone la utilización de las distintas perspectivas de los actores

involucrados en la evaluación.

- Evaluación libre de objetivos (Desarrollado por M. Scriven, H.J. Brown y

Wildavsky) considera objetos de evaluación a todos los efectos provocados

por el programa y no sólo aquellos previstos inicialmente. Propone analizar

el impacto sobre la población objetivo y también sobre grupos que no lo

sean; el impacto sobre las condiciones actuales, futuras, sobre los costos

en relación con los recursos utilizados y sobre los costos indirectos o

costos de oportunidad. Este enfoque se presenta como menos intrusivo,

más adaptable a los cambios repentinos de metas y más propenso a

buscar efectos secundarios.

27

- Evaluación naturalista – evaluación mediación (E. G. Guba y Y.S.

Lincoln): considera a la evaluación como una investigación aplicada que

puede no proporcionar conclusiones objetivas e imparciales sobre el

programa a evaluar, sino que aporta herramientas para re definir los

medios para alcanzar los objetivos propuestos. Propone consensuar los

resultados del análisis con los participantes de la evaluación, para

incorporar sus percepciones y opiniones al informe final.

- Evaluación orientada a la utilización (M. Q. Patton): cada decisión del

evaluador debe ir precedida de una pregunta sobre las consecuencias de la

opción elegida en términos de utilidad, constituyéndose en un proceso

dinámico e interactivo.

El debate metodológico

A la par de la discusión teórica sobre evaluación se encuentra el debate

metodológico y se pueden también apreciar ciertos paralelismos entre ellos,

aunque no de modo determinante. En términos metodológicos, la evaluación ha

incorporado un debate que corresponde a la investigación en ciencias sociales,

entre las orientaciones de orden cuantitativo y las de tipo cualitativo. Ambas

responden a diferentes paradigmas epistemológicos que son, respectivamente, el

positivista – empírico y el fenomenológico – constructivista. No es raro encontrar

afirmaciones tales como que existen tipos de evaluación distintos, cuantitativo o

cualitativo, pero es importante dejar sentado que se trata de diferentes abordajes

metodológicos que, como se verá más adelante, no necesariamente son

excluyentes.

La perspectiva cuantitativa se apoya en el paradigma epistemológico positivista

– empírico. El mismo parte del supuesto de que la realidad se puede captar de

manera objetiva, más allá del observador, con categorías preestablecidas que se

toman de una teoría. El método predominante es el deductivo y se trabaja con

datos de tipo cuantitativo (muchas veces de tipo estadístico). Tiende a sacar

conclusiones generales y los resultados de sus investigaciones son también

generalizables. Una indagación de este tipo debe ser amplia y detalladamente

planificada antes del comienzo del proceso de evaluación. Este paradigma es

28

generalmente aplicado en evaluaciones de programas de gran alcance o en

indagaciones de gran alcance sobre programas masivos.

La perspectiva cualitativa responde al paradigma fenomenológico –

constructivista. Se apoya en el supuesto de que la realidad es captada a través

de la lente del observador, quien introduce a priori sus categorías subjetivas para

el análisis. No pretende garantizar la objetividad sino más bien comprender

actitudes, valores y motivaciones internas de las personas (indagación de la

subjetividad). Por esta razón más que buscar datos intenta examinar discursos y

hacer análisis de contenidos y de casos. No se pretende sacar conclusiones

generales sino obtener un conocimiento exhaustivo de las particularidades. A su

vez, sus resultados son limitados en su generalización. El diseño de una

evaluación de este tipo es, en el comienzo, provisorio; es decir, es un diseño que

emerge en el proceso. Generalmente, estos métodos se ajustan a las evaluaciones

de programas locales o de aspectos locales de los programas.

Ejemplos de técnicas que se ajustan al paradigma cuantitativo son las encuestas

y entrevistas estructuradas y el análisis estadístico. Ejemplos de técnicas propias

del paradigma cualitativo son las entrevistas en profundidad, los grupos focales,

el análisis del discurso y de contenidos.

De un tiempo a esta parte se ha superado el histórico divorcio entre las

metodologías de un cuño u otro, para dar paso a las propuestas “multiplistas”,

que adoptan enfoques y técnicas de ambos según convenga al objeto a indagar y

a la perspectiva del evaluador.

Como se señaló anteriormente, estos enfoques no son necesariamente

contrapuestos ni excluyentes. Tal como sugieren Cook y Reichart, es conveniente

emplear los métodos que resulten más adecuados según la ocasión y si resulta

posible, hacer uso de ambas perspectivas de modo combinado10.

Existen varias ventajas potenciales del empleo y la articulación de ambas

metodologías. En primer lugar, dado que la evaluación generalmente tiene

múltiples propósitos, éstos deben ser atendidos con referencia a una variedad de

métodos. Esto supone, en otros términos, atender tanto al proceso como a los

resultados y considerar, en muchos casos de manera simultánea, los objetivos

10 T. D. Cook y Ch. S. Reichardt, Métodos cualitativos y cuantitativos en investigación evaluativa, Madrid, Morata, 1986, p. 40 y 41.

29

vinculados con la comprobación, la valoración del impacto y la búsqueda de

explicaciones sobre los aspectos evaluados.

En segundo término, la utilización de manera articulada de ambos métodos

puede contribuir a su potenciación mutua. Esto implica que uno no puede

sustituir al otro, dado que aportan formas diferentes de abordar el objeto de

evaluación y que, en consecuencia, requieren su complementariedad. Si bien,

cabe aclarar, no se trata de pensar que ésta resulta de una simple sumatoria

sino, por el contrario, que implica atender a los problemas que resultan de su

combinación.

Por último, dado que no hay método que no presente problemas, dificultades o

inconvenientes, la tercera ventaja que ofrece la articulación de ambos enfoques es

la de posibilitar la triangulación de métodos que permitan disminuir los sesgos

propios a cada uno de ellos. La triangulación puede darse entre distintas

perspectivas teóricas , entre distintas perspectivas metodológicas, entre técnicas

cuantitativas y cualitativas, entre tipos de información disponible

(documentación, informantes de todo tipo, observación) y entre distintos tipos de

informantes

Modelos de comparación: experimentales, cuasi-experimentales y no

experimentales.

Habiendo presentado el debate metodológico, cabe pasar a la presentación de los

modelos de comparación. Cada vez que se hace una evaluación puede existir la

posibilidad de hacer dos tipos de comparación: a) entre los grupos beneficiarios

del programa y los que no han accedido a él; y b) dentro del mismo grupo, a lo

largo del tiempo. Se trata de definir si se trabajará o no con grupos de control, si

se optará por series temporales –y cuántos cortes se efectuarán– y si, en

consecuencia, se construirá o no una línea de base. De acuerdo con Cohen y

Franco11, los modelos de comparación son de tres tipos: experimental clásico,

cuasi-experimental y no experimental.

Modelos experimentales: El método experimental clásico implica la

conformación de dos poblaciones, una de las cuales recibe el estímulo,

11 Cohen, Ernesto y Franco, Rolando Evaluación de proyectos sociales Buenos Aires, 1988 p. 134

30

constituyéndose en el grupo experimental; mientras que la otra no es sometida a

ese tratamiento y conforma el grupo de control o grupo testigo. El eje central es

poder variar un factor a la vez, manteniendo el resto constantes. La dificultad es

encontrar dos poblaciones idénticas al menos en los factores pertinentes al

estudio.

El elemento fundamental para el control del experimento y para evitar introducir

sesgos en la selección de los miembros de cada uno de los grupos es la

aleatorización. De esta manera se distribuirán al azar los factores incontrolables.

Una vez conformados ambos grupos se trata de comparar la situación en que se

encontraban “antes” de la intervención y “después”.

La aplicación de este modelo requiere la selección aleatoria de los integrantes de

los dos grupos. Esta exigencia implica que la muestra debe ser sustancialmente

mayor y , por lo mismo más caro. Pero además el modelo ha sido cuestionado por

otras dos razones fundamentales: a) una razón ética: por el hecho de que

experimentar con personas interfiere en la vida personal y social de las mismas;

b) una razón política: este modelo implica excluir a un grupo de personas de los

posibles y eventuales beneficios que genera un programa o política

Modelos cuasiexperimentales son aquellos donde los grupos (experimental y de

control) no se seleccionan aleatoriamente.

a) Series temporales: se construyen sobre la base de mediciones periódicas

efectuadas “antes”, “durante” y “después” de la realización del proyecto. Según

las formas que adopten las curvas, es posible determinar el impacto del

programa. La dificultad reside en que los modelos cuasiexperimentales no

permiten aislar los efectos legítimamente atribuibles al proyecto de aquéllos

que no lo son.

b) Grupos de control no equivalentes o de comparación: estos grupos se forman

asumiendo que sus miembros tienen características semejantes a las del

grupo al cual se aplica el proyecto. Se efectúan mediciones “antes” y “después”

de introducir el estímulo.

Modelos no experimentales: En aquellos casos en que la población objetivo no

puede ser comparada con grupos testigo, surgen estas alternativas para descartar

los efectos exteriores no atribuibles al proyecto.

31

a) Modelos “antes”- “después”: trabaja sobre un solo grupo y compara las

mediciones realizadas “antes” de la puesta en práctica del proyecto, con los

valores obtenidos con los resultados de las mediciones realizadas “después”.

El modelo no permite eliminar los factores exógenos, y determinar en qué

medida los cambios son imputables al proyecto. Para ello puede:

– utilizar grupos de comparación que no han sido establecidos en función

del diseño y que permiten sólo una aproximación no rigurosa

– a través de variables de control que faciliten la estimación de la

incidencia de las variables exógenas.

b) Modelo sólo “después” con grupo de comparación: se aplica cuando resulta

imposible seleccionar un grupo de control que cumpla con los pre-requisitos

que establece el modelo experimental. Contrasta los resultados obtenidos en el

grupo del proyecto con los de un “grupo de comparación” que opera como

testigo.

c) Modelo sólo “después”: es el más débil de todos los modelos. Considera un

solo grupo, donde la medición se efectúa “después” de la intervención. Luego

de la medición el evaluador reconstruye la situación inicial con la información

a al que ha tenido acceso. Pueden identificarse variables de control, dentro del

grupo experimental, que den indicaciones de los impactos imputables al

proyecto.

5. PASOS PARA LLEVAR A CABO UNA EVALUACIÓ N

Se cuente o no con un sistema de evaluación, cada vez que hay que “crear” esta

obra de arte que es la evaluación es menester seguir los siguientes pasos:

- Planteamiento de la evaluación y toma de decisiones.

- Diseño de la evaluación

- Recolección de información y procesamiento.

- Análisis de la información.

- Comunicación de los resultados.

32

5.1 Planteamiento de la evaluación y toma de decisiones.

Toda evaluación surge de una carencia de información. En ese sentido la

evaluación es una respuesta a un problema o necesidad. Se desea saber qué

posibilidades hay de poder llevar a cabo con éxito un programa si es que no ha

funcionado aún, o bien cuáles han sido sus resultados si lleva un tiempo

considerable de intervención, o cuáles son sus principales dificultades y

fortalezas en la implementación. Como producto de esta necesidad de

información, los decisores se preocupan por llevar a cabo una evaluación, ya sea

por iniciativa propia, por demanda de los involucrados o simplemente porque la

necesidad se instaló en la agenda de la organización impulsora del programa o en

la agenda del medio social en el que se actúa.

Nunca una evaluación está clara ni bien emerge la necesidad. Es necesario

estructurar esta necesidad / problema en diálogo de actores, y estructurar la

respuesta que se le dará. A esto se le llama también “estructurar la demanda”.

Con este propósito hay que plantearse y responderse varios interrogantes:

- ¿Cuál es el problema / necesidad que hay que resolver / satisfacer en

términos de conocimiento? ¿Qué aprendizaje hay que generar?

- ¿Quiénes son los actores involucrados? En este caso hay que distinguir los

actores directos (tienen injerencia en el “proceso de conversión” de

insumos en productos, ya sea como responsables, agentes intervienientes

en el programa, como proveedores o como beneficiarios) de los actores

indirectos (aquéllos que son concernidos por el programa pero que no

participan en su proceso de conversión). ¿Cuáles son sus intereses, sus

fortalezas, sus debilidades, sus recursos?

- ¿Cuáles son los propósitos u objetivos de la evaluación? ¿Cuál es la fase de

desarrollo del programa? ¿Qué aspectos se evaluarán?

- ¿Quiénes serán las audiencias (destinatarios principales) a los que se

harán llegar los resultados de la evaluación?

- ¿Con qué recursos se cuenta (financieros, humanos, materiales,

tecnológicos) y con qué tiempo? ¿Cuáles serán los costos aproximados de

la evaluación? ¿Qué obstáculos se encontrarán?

33

Luego de contestar estas preguntas se estará en condiciones de esbozar la

evaluación y de tomar decisiones sobre su puesta en marcha.

Una vez que se haya decidido es necesario conformar el equipo operativo de la

evaluación.

Es conveniente detenerse para hacer algunas consideraciones en torno al análisis

de actores. Tanto al identificar los problemas / necesidades como al definir los

aspectos a evaluar y los objetivos la referencia a los actores es obligada. Los

problemas tienen un carácter subjetivo (son estructurados por personas, grupos,

instituciones, partidos; y son también priorizados en función de las pujas de

poder entre aquéllos), al igual que la definición, selección y jerarquización de

objetivos.

El análisis de actores no sólo nos permitirá conocer qué visión tienen de los

problemas que emergen en el diagnóstico sino que también contribuirá a avizorar

quién estará a favor y quién en contra de un conjunto de decisiones, cómo se

opondrán o apoyarán, cuánto y hasta qué punto estarán dispuestos a hacerlo.

Sinónimos de actores involucrados podrían ser afectados (beneficiados o

perjudicados), interesados, implicados o concernidos.

El siguiente cuadro refleja los principales puntos a tener en cuenta para analizar

los actores sociales involucrados. En primer lugar es conveniente establecer un

patrón de clasificación y agruparlos (públicos, privados, sociedad civil / técnicos,

políticos, administradores/ por regiones / por tipo de institución/ etc.) En la

primera columna enunciamos los grupos que intervienen, luego cuáles son los

intereses de cada uno de ellos, sus fortalezas y debilidades, los recursos que

aportan y, por último, cuales son los potenciales conflictos que pueden ocasionar.

Grupos Intereses Fortalezas y

debilidades

Recursos que

aportan

Conflictos

potenciales

Algunas consideraciones en torno a la participación (tanto en la toma de la

decisión inicial como en el proceso posterior): Ésta se puede presentar en formas

34

diferentes. Es necesario distinguir entre quienes simplemente proveen

información, quienes dan opinión, quienes son invitados a participar

esporádicamente de una decisión y quienes se sientan en la mesa permanente de

decisiones. Existen diferentes esquemas, tales como la conformación de equipos

permanentes, las instancias de consulta eventual o esquemas radiales de

consulta puntual por parte del equipo operativo de la evaluación. Lo que resulta

claro es que no se puede evaluar haciendo asamblea permanente, puesto que hay

que seguir un rigor técnico y ordenado en la producción de conocimiento. Esto

requiere la existencia de un equipo operativo que hace sus aportes técnicos, se

retira a organizar el proceso en todas sus instancia, se aísla para preparar los

canales de participación y análisis de la información y luego vuelve al conjunto de

los involucrados.

Otro aspecto a señalar es la tensión entre la evaluación deseable y la evaluación

posible, donde se entremezclan elementos de factibilidad y de viabilidad. La

factibilidad refiere a la técnica, a las personas que conocen sobre el tema, a los

sistemas de información con los que se cuenta, al tiempo, todo lo cual va

“limitando” la acción. La viabilidad está ligada en primer lugar a los aspectos

políticos (voluntades, intereses y valores de los actores), es decir, refiere a las

posibilidades de generar consenso en torno a la evaluación o dejar sentadas las

diferencias para demarcar caminos de negociación. La viabilidad también refiere

a los aspectos institucionales, esto es, a la normativa y reglas del juego que

gobierna el movimiento de las organizaciones.

Por otra parte es necesario considerar la limitación que tiene que ver con los

recursos: dinero, tiempo, si se cuenta con el marco institucional y el marco

político adecuado. En otras palabras, no existe la evaluación ideal, toda

evaluación es diseñada a medida y en función de circunstancias y de un

escenario en la que juegan todos estos factores técnicos y políticos.

Dentro de la fase del planteamiento también es necesario preguntarse sobre los

aspectos a evaluar: productos, efectos, impactos, aprendizajes, aspectos

organizativos, manejo de los recursos, articulación de los diversos actores,

funcionamiento de las redes y alianzas, estilos de dirección, construcción y

fortalecimiento del clima de trabajo, etc. Es decir, el arco de posibilidades es muy

amplio y no basta con dejar sentado “qué se quiere evaluar” y establecer un

35

acuerdo sobre ello, sino que es menester avanzar sobre el tipo de evaluación que

se desea hacer. Llegar a esta definición implica tomar decisiones acerca de los

aspectos hacia los que apuntará la evaluación y por lo tanto hacer un recorte de

las aspiraciones.

Antes de finalizar, cabe resaltar que, en términos óptimos, es de desear que la

evaluación sea planteada y luego diseñada en el momento mismo en que se

formula un programa. De este modo se podrán prever todos los pasos a

desarrollar, convocar con antelación a los informantes, ordenar la documentación

y calcular los recursos necesarios. Además, de este modo se podrá también

hacer una recolección de información sobre la situación inicial del programa, a la

cual se le llama línea de base.

5.2. Diseño de la evaluación

Una vez tomada la decisión de evaluar sobre la base de un esbozo, es necesario

darle forma a la idea prefijada, es decir, diseñar la evaluación.

Un diseño de evaluación debe contar con los siguientes elementos:

Objetivos y preguntas clave

Objetivos: Son los enunciados que orientan de manera global la formulación de

la evaluación. Debe expresar el cambio esperado en el problema o carencia de

conocimiento que da origen al proceso. Supongamos que se debe llevar a cabo

una evaluación de un programa de alfabetización de adultos, impulsado por el

Estado y ejecutado por organizaciones de la sociedad civil. Luego de

transcurridos seis meses de su implementación sólo se pueden sacar

conclusiones relativas al inicio y el proceso. Un objetivo podría ser el siguiente:

“Conocer los primeros avances en la implementación del programa, a saber, a)

organización y articulación de recursos; b) reclutamiento y capacitación de

docentes; c) convocatoria de alumnos; d) dinámica de las actividades de

enseñanza y aprendizaje; e) primeros resultados en el aprendizaje”.

Preguntas clave: Sobre la base de los objetivos cabe hacerse preguntas

generales acerca del funcionamiento de un programa. Estas preguntas son las

grandes orientadoras del trabajo y darán lugar a la elaboración del marco teórico

36

y de las hipótesis de evaluación. El equipo operativo deberá hacerse sus propias

preguntas e invitar a los actores involucrados a formular las suyas.

Posteriormente deberán ser ordenadas en función de los siguientes criterios:

a) juntar las preguntas repetidas o similares,

b) subsumir las preguntas específicas en otras más generales

c) agruparlas por tema, área o aspecto común

d) organizarlas según las relaciones causales que existan entre las mismas.

Marco teórico e hipótesis

Marco teórico: El marco teórico, marco referencial o marco conceptual tiene el

propósito de dar al proceso evaluativo un sistema coordinado y coherente de

conceptos y proposiciones que permitan abordar el problema. De éste dependerá

el resultado del trabajo. Significa poner en claro para el propio evaluador sus

postulados y supuestos, asumir los frutos de investigaciones anteriores y

esforzarse por orientar el trabajo de un modo coherente. El fin que tiene el marco

teórico es el de situar a nuestro problema dentro de un conjunto de

conocimientos, de modo tal que permita orientar nuestra búsqueda y nos ofrezca

una conceptualización adecuada de los términos que utilizaremos. El punto de

partida para construir un marco de referencia lo constituye nuestro conocimiento

previo de los fenómenos que abordamos, así como las enseñanzas que

extraigamos del trabajo.

Este encuadre teórico o conceptual no es inmóvil, sino que cambia conforme van

emergiendo evidencias a partir de la intervención. Estas obligan a modificar las

perspectivas desde las que se observa e interpreta la realidad. Por esta razón, se

habla de la necesidad de poner al día el marco teórico, haciendo un análisis

crítico de las suposiciones que dieron sustento a la acción en el pasado.

Hipótesis: Una hipótesis es un planteamiento y/o supuesto que se busca

comprobar o refutar con evidencia empírica, siguiendo las normas establecidas

por el método científico. En otras palabras, se trata de una respuesta adelantada

a una o más preguntas, que debe ser confirmada con la información que se

recogerá en el trabajo de campo. Las hipótesis surgen de las grandes preguntas

clave que han hecho previamente.

37

Supongamos que debemos evaluar la gestión de un programa, en cuyo caso se

podría trabajar con la siguiente hipótesis: “El programa presenta dificultades en

sus resultados porque a) el estilo de dirección es poco participativo, b) se ha

brindado escasa atención a las opiniones de los beneficiarios, c) no hay una clara

asignación de funciones a los agentes que tienen a cargo su implementación”.

Las hipótesis pueden ser de tres tipos:

- Descriptiva: Se corroboran los logros, hayan sido planificados o no, cómo

así también los problemas.

- De correlación: Existe relación entre dos fenómenos.

- De causalidad: Un fenómeno genera otro.

Dado que todo programa supone una hipótesis de intervención (“si se llevan a

cabo tales actividades, de las que surgen tales prestaciones, se lograrán tales

objetivos”), en gran parte de las evaluaciones, con la hipótesis de evaluación se

propone corroborar el grado en que se cumplió la hipótesis de intervención.

Luego, al preguntarse “por qué”, pueden aparecer varias razones (causas) o

correlaciones (hechos relacionados sin que se pueda considerar que uno da

origen al otro). Hay hipótesis que tienen relación con la totalidad de las

dimensiones y otras sólo interpretan lo que ocurre en relación a una sola

dimensión.

Dimensiones, variables, indicadores y unidades de análisis

Dimensiones: Grandes bloques conceptuales que corresponden a aspectos de la

realidad a evaluar, relacionados con los resultados y los procesos. Para

ejemplificar, supongamos que debemos evaluar un programa de desarrollo social

a nivel local, que tiene diferentes líneas de intervención: productiva, educativa,

de salud, de vivienda y comunitaria. Las dimensiones de la evaluación

corresponderán a cada una de estas líneas.

Variables: Atributos observables de la realidad que refieren a una o más

unidades de análisis. Se agrupan en torno a las dimensiones. Para ejemplificar,

tomemos una de las dimensiones del ejemplo anterior: la educativa. Las

variables a analizar serán los distintos aspectos educativos respecto de los cuales

esperamos encontrar cambios luego de la intervención, tales como “el clima

38

escolar”, “la eficiencia interna de los centros educativos, “los logros en el

aprendizaje”, etc.

Indicadores: Signos que permiten percibir los movimientos de las variables. Una

variable es captada o descripta por medio de uno o más indicadores. Siguiendo

los ejemplos anteriores de variables propias de la dimensión educativa, podemos

seleccionar la variable “eficiencia interna de los centros educativos”, para la cual

los indicadores podrían ser “tasa de permanencia” (o su opuesta: deserción), “tasa

de promoción” (o su opuesta: repetición) y “tasa de asistencia” (o su opuesta:

inasistencia).

Existen distintos tipos de indicadores y dependen del tipo de evaluación a

realizar: A) Indicadores de proceso (signos que brindan información sobre

“intangibles”, tales como liderazgo, consenso, clima o comunicación; sobre

“producción”, tales como programación, estructura, recursos, técnicas de

producción y distribución de bienes y servicios; y sobre “proyección”, tales como

imagen, posición en el sector, previsiones de futuro, etc. B) Indicadores de

producto (permiten cuantificar la producción de bienes y servicios que brinda el

programa en un periodo de tiempo dado). C) Indicadores de cobertura (población

que recibe beneficios sociales en un período definido).

Es necesario explicar que estamos trabajando en un proceso de

operacionalización, en el mismo sentido que se hace en toda investigación.

También es importante señalar que todos estos son términos relativos. Es decir,

las dimensiones incluyen a las variables y éstas a los indicadores, o viceversa, a

través de un conjunto de indicadores se puede “leer” o interpretar el

comportamiento de las variables- siempre mediado por el análisis -, y a su vez el

análisis de un conjunto de variables permite sacar conclusiones acerca de los

hallazgos y resultados en torno a un bloque temático (dimensiones).

En relación a la construcción de indicadores, las características de un buen

indicador se pueden enunciar en los términos siguientes12:

- su pertinencia;

- su capacidad para resumir la información sin deformarla;

12 Sauvageot, Claude Indicators for educational planning: a practical guide, IIPE- UNESCO, 1997.

39

- su carácter coordinado y estructurado, que permite ponerlo en relación con otros

indicadores para efectuar un análisis global del sistema;

- su precisión y comparabilidad;

- su fiabilidad.

Un buen indicador debe permitir:

- medir cuán cerca o cuán lejos estamos en relación con un objetivo;

- identificar las situaciones problemáticas o inaceptables;

- responder a las preocupaciones políticas y al cuestionamiento que ha

conducido a su elección;

- comparar su valor con otro valor de referencia, una norma o consigo

mismo calculado para otro período de observación.

Unidades de análisis: Recorte teórico- metodológico de la realidad a los efectos

de ser analizada. Puede tratarse de personas, grupos de personas, instituciones,

objetos o programas. El universo está compuesto por el conjunto de unidades de

análisis. Siguiendo con el ejemplo anterior, las unidades de análisis relativas a

los indicadores de la variable “eficiencia interna de los centros educativos” son,

en todos los casos, los alumnos. Si se tomara la variable “clima escolar”, las

unidades de análisis serían los centros educativos. En cuanto al universo, estará

compuesto en estos ejemplos por la totalidad de alumnos que son beneficiarios

del programa y por la totalidad de centros educativos que participan en él,

respectivamente.

Fuentes de información, técnicas e instrumentos

Fuentes de información: Proveedores de información. Puede tratarse de

documentación en diferentes registros (escrito, audio, audiovisual); la realidad

directamente observada; o actores con algún tipo de relación con el programa.

Las fuentes pueden ser secundarias, cuando brindan información cuya

elaboración no ha estado guiada por el fin de brindar insumos para la evaluación

sino por otros propósitos (investigaciones, alimentación de bases de datos de uso

general, acervos estadísticos, etc.); o primarias, cuando son abordadas con el

objeto específico de brindar insumos de información para la evaluación.

40

Distintos tipos de documentos pueden ser reunidos:

- Documentos sobre planificación del programa. En este bloque se ubican

los documentos preparatorios que contienen diagnósticos y análisis de

factibilidad / viabilidad de los programas, el texto del programa con sus

anexos.

- Información de contexto, o sea del medio en el que se desarrolla el

programa. Se trata de información geográfica, histórica, demográfica,

económica, socio - cultural y educativa. De especial utilidad será la

información sobre política y práctica educativa en el lugar.

- Documentación de trabajo: manuales operativos, instructivos, guías /

pautas de trabajo, registros e informes internos.

- Materiales de difusión, capacitación y diseminación.

- Información periodística.

- Documentación sobre la organización coordinadora y otras organizaciones

que conformen la alianza, que contengan información sobre su historia,

objetivos, actividades, estilos de gestión, organización, etc.

- Investigaciones relacionadas con el programa (sí las hubiera).

Respecto de las otras fuentes (informantes, observación) serán retomadas a

través de las técnicas de recolección de información.

Técnicas de recolección: formas de abordar las fuentes para obtener

información. Suponen un proceso lógico por el cual el abordaje de esa fuente dará

como resultado la obtención de información significativa, relevante,

representativa y válida.

Surge durante esta etapa el debate entre técnicas de cuño cuantitativo y

cualitativo. Si bien la distinción entre unas y otras suele tener, en sentido

estricto, fronteras difíciles de delimitar, se insiste en que no existen metodologías

contrapuestas, sino que para cada evaluación se hace la selección y organización

de técnicas que más se ajustan a las necesidades de la indagación. Cabe aclarar

que la orientación cuantitativa o cualitativa no depende sólo de la técnica que se

utiliza para recoger información, sino además del tipo de tratamiento de la misma

en el análisis.

41

Sin pretender hacer un listado exhaustivo, se mencionan a continuación algunas

técnicas:

- Análisis documental: El análisis documental es un paso obligado de toda

evaluación, tanto de resultados como de procesos. Siempre existe en el análisis

documental un ejercicio de tipo exploratorio y otro de carácter más pautado en el

que la búsqueda de información es regida por categorías, preguntas, dimensiones

y variables previamente construidas. La documentación a ser analizada deber ser

previamente seleccionada, distinguiendo documentación principal de aquélla que

tiene carácter complementario. La documentación no está organizada según los

fines de la evaluación sino conforme a otras necesidades (programación,

sistematización, capacitación, difusión, etc.), razón por la cual el análisis

documental deber intentar construir respuestas a los interrogantes de la

evaluación atravesando transversalmente los diversos materiales. Para ello puede

resultar pertinente construir previamente guías o pautas de análisis documental

que orienten “qué preguntar” en relación con estas fuentes. Por eso es importante

no confundir, aún más en este caso, la fuente secundaria con el instrumento con

el que se releva información para la evaluación.

A continuación se recomiendan los siguientes pasos para la elaboración de

una guía de análisis documental:

1) Hacer un listado de documentos que pueden proveer información y una

breve descripción de sus contenidos (títulos, índices, abstracts, etc.) y

ubicación de los mismos.

2) Establecer la correlación entre la matriz de evaluación13 y los documentos

(cuáles son las actividades / resultados / indicadores sobre los cuales habrá

información en cada documento).

3) Elaborar una guía para la búsqueda de información, partiendo de los

documentos más generales a los más específicos.

- Entrevista: La entrevista es una técnica adecuada para abordar informantes

clave, tales como aquéllos que tienen responsabilidades en organizaciones

participantes del programa, experiencia relevante, participación en períodos

prolongados, conocimientos de aspectos singulares de la realidad sobre la que se

13 Al final del apartado sobre diseño de la evaluación se ve en qué consiste la matriz.

42

indaga, etc. Puede ser estructurada o abierta, o de tipo combinado como la

entrevista semiestructurada.

- Encuesta: Se utiliza cuando se busca información proveniente de un número

elevado de personas y cuando no resulta indispensable tomar contacto directo

con el respondente.

A continuación se ofrece un listado de pautas básicas para la elaboración de

una encuesta:

1) Identificación de actividades / resultados / indicadores sobre los cuales

pueden proveer información cada una las fuentes seleccionadas (docentes,

directivos, alumnos etc.)

2) Definición de características que tendrá la encuesta:

- Según las preguntas que se hagan puede ser estructurada /

semiestructurada / no estructurada

- Según como se aborda a los encuestados puede ser administrada o

autoadministrada.

3) Elaboración de preguntas correspondientes a cada actividad / resultado /

indicador (siguiendo el orden de la matriz)

4) Reordenamiento de las preguntas, armando bloques temáticos y elaborando

un orden lógico que se semeje al proceso de una conversación.

5) Lenguaje claro y accesible

6) Economía de preguntas.

7) Introducción que explique el objetivo, la duración y dinámica de la

encuesta.

8) Diseño de la muestra.

- Grupo focal: También llamado “grupo de discusión”, tiene por objeto encontrar el

sentido de la acción del grupo, las diferencias o matices de opinión, percepción,

valoración e intereses entre sus integrantes como así también las relaciones entre

ellos y sus posiciones relativas.

- Taller: Esta técnica es útil cuando es necesario profundizar en el estudio de

causas, relaciones con el contexto y análisis de alternativas. El taller es una

43

actividad de indagación en sí misma, para lo cual se brinda a sus participantes

elementos de metodología que son usados en un análisis concreto.

- Observación: La observación se puede realizar antes de la aplicación de otras

técnicas, después o concomitantemente. Constituye un recurso que debe ser

diferenciado de las otras fuentes de información, tanto secundarias como

primarias. En este sentido, es menester señalar que, más allá del nivel de

estructuración con que se organice la observación, ésta debe ser siempre

sistemática, en el sentido de establecer pautas orientadoras.

Instrumentos: herramientas de trabajo que dependen de la técnica a utilizar y

que se elaboran ad hoc para cada investigación evaluativa. Se trata de

herramientas de trabajo que dependen de la técnica a utilizar, de las preguntas

clave de la evaluación — y consecuentemente, de las dimensiones / variables y los

respectivos indicadores que surgen de aquéllas— y de la realidad sobre la que se

opera.

Con la recolección de información están relacionadas las guías de observación,

los textos de las encuestas (con sus respectivas preguntas e instructivos para

llenarlas o guiarlas), las guías de análisis documental, las pautas para dirigir

grupos de discusión o para llevar a cabo las entrevistas, etc. En otro grupo de

instrumentos se ubican aquéllos relacionados con el procesamiento de los datos y

que son útiles para “volcar” ordenadamente la información, tales como matrices,

tablas, cuadros, etc.

Se señalan algunos cuidados a considerar en el proceso de diseño de los

instrumentos que responden a problemas encontrados en la práctica de la

evaluación:

- Asegurar la coherencia entre las dimensiones de evaluación, las variables e

indicadores y el contenido de los instrumentos que se elaboren. Es

importante asegurarse, en concreto, que todos los indicadores estén

representados en uno o más instrumentos. Aún más, en ciertos

indicadores de relevancia, puede resultar útil recoger la información a

partir de más de un instrumento y a través de la utilización de diferentes

técnicas para contrastar la información que puede resultar en uno y otro

caso.

44

- Probar con anticipación los instrumentos que se van a utilizar y, a partir

de ellos realizar los reajustes pertinentes. Esta prueba supone controlar

tanto la redacción de las consignas (en el caso de instrumentos cerrados) o

la constatación sobre la pertinencia de las categorías que organizan una

guía (por ejemplo, para la observación o para una entrevista

semiestructurada) como los tiempos previstos en cada caso para el

relevamiento de la información.

- Cuidar el encuadre: en el caso específico de la autoevaluación de proyectos

sociales, ésta requiere un cambio de rol y la construcción de una distancia

óptima, que es preciso no perder de vista.

- Es menester destacar que, aún en el caso de los abordajes más abiertos, es

también necesario elaborar una guía que se referencie en el marco

conceptual, para no perder de vista en todo momento los propósitos que

orientan la indagación.

Matriz de evaluación

Para la construcción de la matriz de evaluación, se sugiere trabajar con un

esquema que parta de las concepciones más abstractas y se acerque

gradualmente a las instancias más concretas. Es decir, el circuito que se propone

queda esquematizado de la siguiente manera:

Dimensiones Variables Indicadores

Unidades de análisis

Fuentes Técnicas

Preguntasorientadoras

Instrumentos

¿Qué ocurre?

¿Con qué?

¿Cómo obtengo la información?

45

De esta manera la matriz debería poder contemplar la siguiente información:

Dimensiones Variables Indicadores Preguntas

orientadoras

Unidades de

análisis

Técnicas Fuentes Instrumentos

Luego de ordenar las dimensiones, sería oportuno avanzar sobre el proceso de

operacionalización y definir con mayor precisión el pasaje de dimensiones a

variables y luego a la construcción de indicadores, así como las preguntas que

orientarán todo el proceso de evaluación. Estas preguntas no son las que se

efectuarán a las unidades de recolección de la información, sino que servirán de

guía a la evaluación. Deberán entonces identificarse las unidades de análisis

sobre las que se predicarán los resultados y las fuentes de donde se obtendrá la

información. Luego deberán definirse cuáles son los instrumentos que permitirán

obtener la información.

La siguiente etapa corresponderá a la elaboración de los instrumentos de

recolección de la información. Para ello previamente se ha debido someter a la

matriz a un procedimiento de compactación. Muchas veces sobre una misma

fuente o técnica se reiteran los indicadores, también puede hacerse la misma

pregunta reiteradas veces a distintas fuentes, o puede suceder que a una misma

unidad de recolección de la información se le hagan preguntas que son de

distintos indicadores. Es por ello que es necesario revertir la matriz, empezar a

trabajar en el sentido inverso: instrumento, fuente, unidad de análisis. Así,

aparecen todas las preguntas o todos los indicadores y se puede definir cuál es el

instrumento que hay que construir para esta técnica, cuál va hacer la fuente de

información, cuál la unidad de análisis a abordar, etc.

46

Es decir, deberán identificarse todas las veces que se ha hecho mención al mismo

tipo de instrumento para recolectar información de diferentes tipos de unidades

de análisis e indicadores, para construir y aplicar una misma herramienta que

permita obtener todos los datos buscados. Toda vez que se haga referencia a

encuesta, por ejemplo, deberá tabularse, de modo que cuando esa encuesta sea

elaborada recoja todos los indicadores a los cuáles se hizo referencia y recoja

información de todas las unidades de análisis a las cuáles remite.

En síntesis, el esquema a seguir sería el siguiente:

5.3. Recolección de información y procesamiento

El tercer paso del proceso sería la recolección de información, seguida del

procesamiento de la misma. Recoger información significa obtener datos de la

realidad a través de las fuentes ya establecidas en el diseño, por medio de las

técnicas elegidas, utilizando los instrumentos elaborados de modo especial para

este menester. Es decir, a través de las fuentes, técnicas e instrumentos se

obtiene información sobre diferentes aspectos de la realidad (dimensiones,

variables e indicadores) con el fin de vincularlos con las hipótesis y el marco

teórico referencial.

Unidades de análisis

Unidad derecolección

Instrumento

A través de un

Obtengo información provista por una

DimensionesVariables

Indicadores

Sobre diferentes aspectos de la realidad

Relacionados con diferentes

47

A su vez, procesar información significa ordenar y “volcar” la información

obtenida en cada una de las variables que se han construido para la evaluación.

De este modo, se construirán “carpetas”, tanto virtuales como de material

impreso, en un número equivalente a la cantidad de variables construidas, para

“volcar” la información recogida de distintas fuentes y a través de distintas

técnicas.

Programación de actividades

El proceso de recolección de información, su posterior procesamiento y el de las

siguientes tareas relacionadas con los pasos del análisis y la comunicación,

requiere ser organizado a través de un programa. El diseño de la evaluación

previamente elaborado constituye una parte de este programa que debe ser

complementada con los siguientes elementos:

- Secuencia de actividades (relaciones entre las mismas) y cronograma

(relación de las actividades con el tiempo de realización). En ambos casos

señalando los productos parciales y finales.

- Organigrama (asignación de responsabilidades por funciones y/o

actividades).

- Matriz de recursos. Se trata de un cuadro de doble entrada, donde una

señala los tipos de recursos (materiales, humanos, financieros,

tecnológicos) y otra los actores (instituciones, organizaciones, e incluso

personas) que proveerán estos recursos.

- Presupuesto (distinguiendo también tipos de recursos, ítems, unidad,

costo unitario y costo final).

- Calendario de erogaciones (desembolsos según ítems, por períodos de

tiempo establecidos –semanas, meses, trimestres, etc-).

- Vías de comunicación con los proveedores de información.

- Reclutamiento, selección y capacitación del personal que hará el

trabajo de campo.

- Dinámica de funcionamiento (trabajos individuales, grupales y reuniones

conjuntas; frecuencia; toma de decisiones).

48

Selección y entrenamiento del equipo

Antes de iniciar el trabajo de campo deberá realizarse la selección y

entrenamiento del equipo que realizará la salida en búsqueda de la

información. Es importante identificar el perfil que se desea para esta tarea, y

luego realizar la búsqueda respetando esas características. Durante el proceso de

reclutamiento es necesario aclarar, a quienes se les está ofreciendo esta tarea,

cuanto tiempo durará el trabajo de campo, cuáles serán las exigencias del equipo

y cuáles serán los principales inconvenientes que pueden encontrar durante la

recolección.

Habiéndose conformado el equipo de campo, deberá iniciarse la etapa de

capacitación del mismo. Se deberá informar sobre los objetivos del proyecto y

sobre los responsables. Luego deberá realizarse un entrenamiento detallado sobre

la aplicación de los instrumentos de recolección de la información con los cuales

trabajarán. Tendrán que leerse detenidamente cada una de las preguntas, aún

aquellas que parecen sencillas, respetando el orden sugerido por el instrumento,

y explicarse qué se busca con cada una de ellas, cuál es el propósito de que sean

formuladas de esa manera y en ese momento. El objetivo de esta etapa es que

todos los miembros del equipo de campo conozcan y entiendan a la perfección el

instrumento a aplicar, de modo que lo apliquen todos de la misma manera (para

que el estímulo sea el mismo), y no que existan tantos criterios de aplicación

como miembros tenga el equipo de campo.

Durante la capacitación se deberá informar al equipo de campo sobre la identidad

que deberá adoptar cada uno de sus miembros en su presentación ante las

unidades de análisis y/o recolección, recordar las dificultades con las que puede

encontrarse en le trabajo de campo, los tiempos de duración del mismo y definir

claramente quiénes serán sus unidades de análisis y recolección.

Por último, es importante desarrollar un instructivo por escrito para entregar al

equipo de campo con las principales apreciaciones y disposiciones para realizar la

recolección de los datos.

49

Recolección de información y manejo de instrumentos

Realizar el trabajo de campo implica ir en búsqueda de la información. Es

importante que todos los miembros del equipo de campo que apliquen el mismo

instrumento a diferentes unidades de análisis realicen el trabajo de campo

durante el mismo período de tiempo. De esta manera se busca garantizar que la

recolección de la información no sea afectada por variables externas que puedan

estar relacionadas con acontecimientos temporales.

Por otra parte, es importante que cuando el equipo de campo esté realizando sus

tareas de recolección, pueda contactarse con miembros del equipo evaluador en

caso que le surgiera alguna duda o inconveniente.

También es importante que si el trabajo de campo fue diseñado con una amplia

duración en el tiempo, existan entregas intermedias del material recogido. De esta

manera, a través de la edición de ese material, se puede sugerir al equipo de

campo que realice ciertas modificaciones en las próximas salidas a campo, que

enfatice ciertos aspectos, o que continúen en la línea en que venía

desarrollándose. Estas entregas intermedias, además, aceleran los tiempos de

procesamiento, puesto que pueden realizarse cargas parciales aún no habiendo

finalizado todo el trabajo de campo.

Además es necesario que cada uno de los instrumentos aplicados pueda ser

identificado con la persona que lo aplicó. De esta manera, cuando, durante las

etapas de edición y codificación, surgieran dudas, pueda contactarse fácilmente a

la persona y evacuar las dudas.

Se sugiere la posibilidad de aplicar una supervisión al trabajo de campo, si el

equipo evaluador lo considerase necesario. La utilidad de este proceso es

asegurarse la confiabilidad del proceso de recolección de información y la

verificación de una muestra representativa de los datos recogidos.

Al finalizar el trabajo de campo, e incluso en la última etapa de éste, se podrá

avanzar sobre las tareas de volcado de los datos y su codificación. Una vez que se

hayan incluido todos los datos en la matriz de datos o en el mecanismo de

sistematización que el equipo evaluador haya seleccionado, se podrá avanzar

sobre el procesamiento de los mismos, para finalizar con el análisis y redacción

del informe de campo.

50

Procesamiento de la información

Una vez que se ha recogido la información se procede al volcado en carpetas

físicas y/o virtuales ordenadas por variables. Cada carpeta deberá contener la

información de las distintas fuentes correspondientes que figuran en la matriz.

Cuando se trate de encuestas y entrevistas estructuradas, se elaborarán cuadros

de salida. A su vez, las carpetas de variables deberán agruparse por dimensiones.

De este modo se transita el camino inverso al de la recolección de información.

En aquel caso se va de las variables y unidades de análisis a las fuentes /

técnicas. la información correspondiente a las variables se busca a través de

varias fuentes técnicas, como se diagrama a continuación.

El camino inverso es el que va de las fuentes / técnicas a las variables,

indicadores y unidades de análisis. Las variables son las unidades más

pertinentes en este análisis. Es así que en esta etapa se organiza la información

que se obtiene de las fuentes técnicas según las variables, agrupando toda

referencia a la variable en un mismo lugar físico y electrónico. También existe

información proveniente de las fuentes que no corresponde a ninguna variable.

Esta información debe ser agrupada por separado, ya que es información “extra”

o “residual” pero puede llegar a ser muy relevante a la evaluación.

Fuente técnica 1

Fuente técnica 2

Fuente técnica 3

Fuente técnica 1

Fuente técnica 3

Fuente técnica 5

Fuente técnica 2

Variable 1

Variable 2

Variable

51

Posteriormente hay que Indagar qué insuficiencias pudo haber habido en el

diseño de los instrumentos (las cuales obligarían a relativizar ciertos resultados

arrojados por la información recogida) y qué problemas pudo haber habido en

relación con la recolección de información (resistencia a brindar información,

ausencia de actores clave, otros problemas que impidieron obtención de

información conforme a las expectativas iniciales)

Para finalizar, se construye la estructura para el análisis de la información del

siguiente modo:

- En primer lugar, se elaboran los cuadros de salida.

- Luego se elaboran hipótesis provisorias

a)Por variables

b)Por dimensiones

c)Integrales

5.4 Análisis de la información

El análisis de la información sigue al procesamiento, como producto del cual se

cuenta con tantas carpetas como variables de evaluación se han construido.

Siguiendo la estructura para el análisis propuesta en el paso anterior, en primer

lugar hay que hacer un análisis variable por variable, siguiendo los indicadores

que permiten interpretarlas y sacando conclusiones provisorias. Posteriormente

se relacionan las variables entre sí, para hacer un análisis por dimensiones.

Finalmente se relacionan las dimensiones entre sí para hacer un análisis global

Fuente técnica 1

Indicador, variable, unidad de análisis

Indicador, variable, unidad de análisis

Indicador, variable, unidad de análisis

Indicador, variable, unidad de análisis

52

de todo el programa, siguiendo (corroborando o refuntando y, por lo tanto,

rehaciendo) las hipótesis generales de la evaluación.

Al hacer el análisis de la información se debe volver a los propósitos iniciales de

la evaluación, respondiéndose a las preguntas que dieron lugar a las hipótesis de

la investigación. En este sentido es conveniente seguir los siguientes pasos:

- Repasar el marco conceptual y corroborar las hipótesis de intervención

- Repasar las preguntas clave y corroborar o modificar las hipótesis de la

evaluación, en el caso de que las hubiera.

- Indagar nuevamente qué insuficiencias pudo haber habido en el diseño de

los instrumentos (las cuales obligarían a relativizar ciertos resultados

arrojados por la información recogida)

Indagar qué problemas pudo haber habido en relación con la recolección de

información (resistencia a brindar información, ausencia de actores clave, otros

problemas que impidieron obtención de información conforme a las expectativas

iniciales)

El análisis de información está signado por la tensión entre dos polos:

1) la rigurosidad técnica (respeto de los procedimientos establecidos o

construcción de nuevos instrumentos);

2) amplia participación a los distintos involucrados.

Es un trabajo iterativo donde el equipo operativo interpreta, ordena, sintetiza y

devuelve, para que los involucrados hagan sus aportes y los retornen nuevamente

al grupo.

En general el análisis de los datos obtenidos tras una evaluación culminan con

algún tipo de recomendación o sugerencia, de modo de reafirmar el carácter de

aprendizaje que la evaluación implica. Estas recomendaciones pueden versar en

trono a la modificación de algún aspecto, a la permanencia, a la posibilidad de

replicabilidad o a las particularidades del proyecto.

53

5.5. Comunicación y diseminación

Finalmente el último paso sería la comunicación de la evaluación y la

diseminación de los resultados, con el objeto de que quienes de manera

inmediata puedan beneficiarse de esto tengan una adecuada apropiación del

conocimiento. Es necesario aclarar que hacer un informe de evaluación, lo cual

aparece como un proceso muy vulgar y burocrático, es todo un arte, porque

significa hacer un informe atractivo, interesante, que convoque, que suscite

entusiasmo y opinión, una tarea extra diferente al análisis de la información.

Aquí es donde se pone en juego la “capacidad de argumentar”.

Si en el diseño de la evaluación y en la recolección y análisis de la información se

ponen en juego los requisitos de validez, pertinencia y relevancia de la evaluación,

en la comunicación se pone a prueba la utilidad y la oportunidad. Para que la

evaluación sea útil no basta con que los resultados y las recomendaciones estén

bien argumentadas, sino que también es necesario trabajar sobre la audiencia

para demostrar la conveniencia de hacer uso de ese aprendizaje.

En cuanto a la diseminación, es una condición para que otros que estén llevando

a cabo experiencias parecidas o estén interesados en seguir caminos similares

puedan apropiarse del conocimiento producido. No se trata de replicar

experiencias mecánicamente, sino de transferir capacidades para la

transformación, especialmente la de aprender a innovar. De allí la importancia

de acercar los resultados de las evaluaciones a congresos, seminarios, ámbitos

académicos, medios de comunicación, ámbitos de decisión política, agencias de

cooperación, sindicatos, fundaciones empresariales, organizaciones no

gubernamentales, redes, etc.

Entre las recomendaciones de las evaluaciones figuran aquéllas que tienen que

ver con el programa mismo (continuar, suspender, modificar, ampliar el respaldo,

generar mayor participación de los involucrados, etc.), con decisiones de política,

con necesidades de llevar a cabo nuevas experiencias o de profundizar el

conocimiento a través de ciertas líneas de investigación.

Se agregan algunas sugerencias para organizar el proceso de comunicación:

- El informe final debe estar en relación con los objetivos planteados la

evaluación y responder a las preguntas que se hayan construido.

54

- Se debe prestar atención a las distintas audiencias: el proceso de

transferencia supone una preparación del informe y una adaptación en

función de cada una de ellas.

- También deben ser considerados los interesados potenciales: aquellos que

pueden tener inquietudes de emprender acciones similares a las de los

proyectos. En este sentido, es menester definir qué acciones se pueden o

no replicar.

- Programar la devolución y transferencia de conocimientos a través de

reuniones con los equipos de trabajo, con los distintos grupos de

involucrados y con aquéllos a quienes se les solicitó información.

- Resulta conveniente diseñar una estrategia para la diseminación que

incluya eventos de divulgación (seminarios, conferencias, etc.),

publicaciones, redes de intercambio de información, entre otras.

Finalmente, se ofrecen algunas recomendaciones para la elaboración de informes

de evaluación:

- Antes de entregar los resultados a los destinatarios hay que someter a

discusión las conclusiones que se han formulado.

- En la elaboración del informe final se sugiere:

o Utilizar lenguaje sencillo y concreto.

o Centrarse en los resultados y recomendaciones fundamentales.

o Presentar observaciones concretas y recomendaciones útiles para

ayudar a la toma de decisiones.

o Cuando el informe está destinado a responsables políticos, conviene

iniciarlo por las conclusiones y recomendaciones, seguido de los

resultados

o La propuesta debe ser práctica, fácilmente utilizable, con

correcciones o modificaciones realizables (no se trata de proponer lo

óptimo sino lo posible).

o Datos necesarios: no hay que confundir a la audiencia con datos

interesantes pero no necesariamente vitales.

o Utilizar recursos gráficos y visuales

- Si se trata de informes escritos:

55

o Comenzar con la información más importante

o Resaltar los puntos más importantes

o Informe legible

- Si se trata de presentaciones orales:

o Exposición interesante y variada

o Estilo natural, fluido, confiado y cómodo.

o Ayudas visuales grandes y simples.

o Involucrar a la audiencia en la exposición.

6. CONCLUSIONES

Como se habrá podido reflexionar a lo largo de la lectura de este documento, la

evaluación constituye una práctica de aprendizaje sobre la realidad del medio

social y educativo sobre el que se actúa, sobre el área específica de intervención,

sobre la propia organización (estatal, de la sociedad civil o privada) que impulsa o

participa en el diseño e implementación de programas, y sobre los actores

involucrados, directa o indirectamente. Este aprendizaje que se da “entre todos”

constituye una fuente de reconocimiento facilitadora del encuentro aunque

también es un medio para explicitar diferencias y, si resulta posible, saldarlas.

La evaluación siempre constituye un momento reflexivo de la acción, en el que

entran a jugar las comparaciones entre lo buscado o deseado — es decir, lo

normativo— y lo que se ha realizado, poniendo a prueba de este modo la

estrategia implementada y los pasos operativos. La evaluación es, a la vez que

ordenador de la intervención, instancia de apertura y de reconexión con el futuro.

Este ejercicio de combinación entre análisis y síntesis contribuye a desarrollar

valiosas capacidades en los equipos de los proyectos.

La práctica de la evaluación ayuda a tomar mayor conciencia de las limitaciones,

obligando a identificar desde el comienzo las amenazas y oportunidades que el

medio depara como así también las propias fortalezas y debilidades de los actores

involucrados en la gestión. Del mismo modo — la cara opuesta de este

fenómeno— evaluar contribuye a desarrollar la capacidad de búsqueda de nuevos

aliados y fuentes de recursos para compensar las limitaciones de las que se toma

56

conciencia.

Adquirir conocimientos a través de la evaluación implica — como paso previo—

aprender a sistematizar experiencias y — como paso posterior— a comunicar

adecuadamente, prestando atención a las inquietudes y necesidades de las

distintas audiencias interesadas o que se podrían interesar por los resultados de

la evaluación. Construir relatos con sentidos y significación adecuados a las

audiencias reales o potenciales es una capacidad que sólo puede desarrollarse

sobre la práctica.

A la vez que se ha aprendido sobre la problemática, los desafíos y la gestión de los

propios proyectos, se ha avanzado también sobre la importancia de la evaluación,

su conveniencia y las técnicas para llevarlas a cabo.

Aunque parezca de perogrullo decirlo, si la evaluación es un aprendizaje, es

necesario “aprender a efectuar este aprendizaje”. Es menester aprender la forma

de llevar a cabo estos procesos, tarea para la cual no existen recetas sino más

bien criterios y herramientas. No hay matrices, mapas, cuestionarios, listados,

indicadores, etc. que puedan ser copiados o extrapolados de una realidad a otra.

Cada evaluación debe ser creada, cada negociación debe ser experimentada y

cada alianza debe ser construida en función de necesidades específicas.

Por otra parte, en tanto instrumento de la gestión, la evaluación no debería

obstaculizar procesos sino más bien facilitarlos. Por eso es de suma importancia

un proceso y un diseño consensuado de alta participación, que permita a todos

apropiarse de sus frutos y poder colaborar sin menoscabo de las tareas

habituales que tienen a su cargo en los programas.

Por último, la evaluación es una actividad que requiere pasión. En primer lugar

por las actividades que los programas desarrollan, por los beneficios que se

proponen brindar a la población, y en segundo lugar por la verdad, por el

esclarecimiento de situaciones que requieren ser iluminadas.

57

BIBLIOGRAFIA SUGERIDA PARA SU LECTURA

BALLART, XAVIER (1992), ¿Cómo evaluar programas y servicios públicos?

Aproximación sistemática y estudios de caso, Ministerio para las Administraciones

Públicas (España), Madrid. Cap. IV y V

FERNÁNDEZ BALLESTEROS, ROCÍO (edit.) (1996), Evaluación de programas.

Una guía práctica en ámbitos sociales, educativos y de salud, Síntesis, Madrid.

Cap. 1,3 y 4.

NEIROTTI, NERIO y POGGI, MARGARITA (1999) Evaluación de proyectos de

desarrollo educativo local pp. 15-56 y 565-578

NIREMBERG, OLGA, BRAWERMAN, JOSETTE y RUIZ, VIOLETA (2000) Evaluar

para la transformación. Innovaciones en la evaluación de programas y proyectos

sociales, Paidós, Buenos Aires cap. 5 y 6

SIEMPRO-UNESCO (1999), Gestión integral de programas sociales orientada a

resultados. Manual metodológico para la planificación y evaluación de programas

sociales, FCE, Buenos Aires. 51-117

SITIOS WEB SUGERIDOS PARA CONSULTAR SOBRE EVALUACIÓ N

- UNDP Evaluation Office

- PREVAL

- World Bank Operations Evaluation Department (OED)

- Virtual Evaluation Library

- International & Cross-Cultural Evaluation Topical Interest Group

- The American Evaluation Association

- The Canadian Evaluation Society

- The Australasian Evaluation Society

- The European Evaluation Society

- The UK Evaluation Society

58

- The Brazilian Evaluation Network

- French Evaluation Society (Societé Française de l’Évaluation)

- German Evaluation Society

- International Development Evaluation Association (IDEAS)

- UN Evaluation Forum

- UNESCO Bureau of Programming and Evaluation

- UNICEF

- International Association for the Evaluation of Educational Achievement

- United Nations Inter Agency Working Group on Evaluation

- IADB – Inter-American Development Bank Office of Evaluation and

Oversight

- World Bank Group's Evaluation Monitoring and Quality Enhancement

- IDRC – International Development Research Centre

- INTEVAL – International Evaluation Research Group

- MEASURE Evaluation

- Resources for Methods in Evaluation and Social Research