Diseño de proyectos: enfoque en Psicología y Educación

MODULO II: INDICADORES

Cecilia Pereda

Contenidos:

• Indicadores en la investigación (cuantitativa)

• Indicadores en el diseño y evaluación de proyectos

INDICADORES EN LA INVESTIGACIÓN (CUANTITATIVA)

Definición

Un indicador de una variable es otra variable que traduce la primera al plano empírico.

Los indicadores reciben este nombre porque indican o son indicios de otras variables más generales, y por ello de su existencia se puede inferir la concurrencia de dichas variables más abstractas de las que son signos y con las que están relacionadas' (Sierra Bravo, 1989:112).

Son los correlatos empíricos de las variables que se intentan medir, son sus expresiones concretas, prácticas, medibles. Es decir, son las propiedades manifiestas que se hallan empíricamente relacionadas con una propiedad latente o no observable de modo directo. (Batthyany y Cabrera, 2011: 57)

Algunos problemas y riesgos a atender en la construcción de indicadores

I) RELACION VARIABLE – INDICADORES:

Operacionalización de variables no observables en forma directa.

– El problema del nivel de desagregación:

¿indicador o nueva variable? (accesibilidad)

Relación de indicación no unívoca:

– Un mismo indicador, diferentes variables

– Diferentes indicadores para una misma variable

Variables complejas, índices y combinación de indicadores.

– El riesgo de centrarse en el indicador y no en la variable.

II) VALIDEZ DE LOS INDICADORES:

¿miden lo que se quieren medir?

•Validación estadística e indicadores “proxy”

•Indicadores consensuados:

– ¿indicadores equivalentes o indicadores iguales? Ejemplo: investigación comparada.

– Entre el riesgo de su mistificación como “verdad” y el riesgo de la arbitrariedad.

III) LA CONSTRUCCIÓN DE INDICADORES:

¿se derivan de la teoría?

Sostener que la teoría que se está controlando empíricamente deba dictar, o inspirar, la elección de los indicadores que sirven para controlarla presenta -además de un difuso aire de circularidad- el obvio riesgo de que se elijan los indicadores que ofrecen la mayor probabilidad de corroborarla. (Marradi, Archenti y Piovani, nota a pie 14 en p. 169)

¿se construyen ad hoc?

Cada investigador, o grupo de investigadores, la establece según su conocimiento de la población estudiada y de la literatura sobre el tema, sus experiencias de investigacioens previas, y en definitiva según su preferencia. Otros investigadores – tanto como el mismo investigador en una ocasión sucesiva – pueden elegir otros indicadores para el mismo concepto, y a menudo lo hacen.( 169)

Si un investigador se aleja de las elecciones de indicadores hechas por los que han estudiado el mismo fenómeno en el mismo ámbito y con (una) unidad de análisis del mismo nivel debería justificar su elección de indicadores.

Los indicadores en el diseño de proyectos: a medio camino entre la planificación y la evaluación

• Los indicadores son un componente tanto de la planificación como de la evaluación.

• Al construirlos durante la planificación estamos integrando el momento de la evaluación al plan de trabajo.

• Durante todo el accionar de proyecto estaremos generando la información necesaria para evaluar, guiados por los indicadores.

• Desde la práctica de intervención del proyecto se pueden ajustar los indicadores propuestos inicialmente e inferir nuevos indicadores

Presencia de indicadores en un proyecto en:

• Evaluación diagnóstica (justificación)

• Previsión del seguimiento y evaluación de:

– Resultados (productos, efectos e impactos)

– Procesos (implementación y gestión)

– Económica (eficiencia)

INDICADORES DE EVALUACION

Los indicadores de evaluación son los instrumentos que permiten comprobar empíricamente y con cierta objetividad la progresión hacia las metas propuestas. (Ander Egg y Aguilar, 1998:63)

Son las medidas específicas (explícitas) y objetivamente verificables de los cambios o resultados de una actividad (Cohen y Franco 1988 en Ander Egg y Aguilar, 1998:63)

Aquellos elementos verificables (mediante la medición u observación), necesarios para verificar los logros deseados. (Marcela Roman,1999:6)

• Los indicadores MUESTRAN, DAN EVIDENCIA

sobre cuál es la SITUACION con relación a

un producto, un proceso, un resultado

RELEVANTE para los OBJETIVOS DEL PROYECTO

• Permiten realizar comparaciones significativas, sirven para mostrar cuál es la situación, por ejemplo, antes y después del proyecto con

relación a:

– un proceso de aprendizaje que queremos lograr (efectos)

– una actividad, servicio o material que queremos realizar (productos)

Pero COMPARAR no es MEDIR,

• por tanto puedo cuantificar o no

• pero lo importante es que pueda COMPARAR situaciones significativas para los objetivos del proyecto.

Se tiene que hacer referencia a:

– Que TIPO DE COMPARACIÓN HACEMOS: cantidades, tipos, niveles.

– Que tipo de indicador es, ¿va a evidenciar cobertura?, ¿productos?, ¿impactos?

Dado que los indicadores son intrínsecamente evaluativos, es importante establecer juicios de valor acerca de lo que se considera adecuado o positivo y lo que se considera inadecuado o negativo. Sólo de esta manera los indicadores pasan a tener significado.(UNESCO, 2008:12).

Se debe explicitar el tiempo de intervención al que hace referencia

Indicadores de proceso y de resultado

Las evaluaciones deben incluir siempre una combinación de indicadores de proceso e indicadores de resultados.

Y tener en cuenta los recursos asignados a la evaluación

INDICADORES DE PROCESO

• Valoración de la ejecución/gestión, no de los procesos de transformación

que queremos generar.

• Cobertura (error tipo I y tipo II)

• Recursos adecuados (incluye RRHH y equipos)

INDICADORES DE RESULTADO

• Valoración de efectos e impactos generados

• en magnitud y dirección prevista e imprevista

FORMACIÓN SOBRE LA AUTONOMÍA DE LA MUJER

“ASISTIR AL CURSO” NO EQUIVALE A “SER AUTÓNOMA”

Ejemplos de indicadores

Estados de situación (por ej: antes y al final de un proceso o intervención)

Cantidades de personas atendidas o que asisten (indicador de cobertura)

Niveles o grados de alcance o desempeño en cuanto a aprendizajes

Tipos de acciones

Los indicadores de evaluación pueden ser:

vistos (observados),

oídos (respuestas de participantes)

leídos (archivos de una organización),

sentidos (clima de la reunión),

tocados u olidos

Medios de verificación

Los indicadores responden a la pregunta:

• ¿en QUE nos fijamos para saber si cumplimos o no los objetivos?;

los medios de verificación responden a:

• ¿COMO nos fijamos (por medio de una lista, un registro, la observación, etc.)?

Supone la realización de actividades de registro (ya previstas o a preveer)

Tienen que ser accesibles en cuanto a tiempo, esfuerzo y competencias de análisis.

con mi salariode un día porsemana...

Acordamos medir los cambios registrados en redes comunitarias de 40 regiones y cotejar esa información con la participación masculina en nuestro proyecto de generación de ingresos. Esto medirá perfectamente nuestro objetivo.

Construcción de indicadores por equipos consolidados

• La recuperación de las lógicas en uso:

¿EN QUE NOS FIJAMOS como equipo cuando “EVALUAMOS” LOGROS Y OBSTÁCULOS claves en nuestro trabajo?

Algunas recomendaciones para formular indicadores

Tener clara cuál es la pregunta que los indicadores van a responder: ¿cantidades?, ¿tipos?, ¿grados/niveles?, (visualizar la respuesta en forma previa).

No confundir indicadores cuantificables con indicadores cuantitativos.

No reducir en exceso el proceso que se quiere indicar, con un sólo indicador o sólo de cobertura.

Atender los problemas de validez: hacer decir al indicador “más allá” de lo que dice o sobre otra situación

No olvidar los indicadores que “empleamos habitualmente” en el equipo.

Tener en cuenta si la información necesaria es difícil de conseguir o no existe información previa

En suma, los indicadores deben ser:

Específicos : con relación a los procesos que quiero generar con la intervención, objetivos.

Útiles: relevantes según el marco de trabajo del equipo.

Prácticos: poder ser medibles con la información generada en el marco de la intervención.

Adecuados: a las características de las personas y situaciones de la intervención.

y ¡no ser demasiado numerosos!

Bibliografía

ACJ (2013). Materiales de capacitación. Montevideo.

Ander Egg, E. y Aguilar, M. J. (1998) Como elaborar un proyecto social – Guia para diseñar proyectos sociales y culturales. Bs AS: Humanitas.

Batthyany et al, (2011) Metodología de la investigación en ciencias sociales apuntes para un curso inicial. Montevideo : UR-UCUR, CSE.

Marradi, A.; Archenti, N.; Piovani, J. I. (2007) Metodología de las Ciencias Sociales. Buenos Aires: Emecé Editores .

UNESCO (2008) Indicadores de la educación de la primera infancia en América Latina. Propuestas y experiencias piloto. UNESCO/OREALC, Santiago de Chile.

UNESCO. (2010) Guía para el seguimiento y la evaluación de proyectos comunitarios. París.