INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO...

Evaluando la evaluación: Auditoría de sistemas de

evaluación con perspectiva de género

INTEGRACIÓN DE LAPERSPECTIVA DE GÉNERO EN LAS

POLÍTICAS ACTIVAS DE EMPLEODE LA COMUNIDAD AUTÓNOMA

VASCA

2001

Auditoría de sistemas de evaluación

con perspectiva de género

2

INDICE

1. PRESENTACIÓN ______________________________________________3

2. ANÁLISIS DE LOS SISTEMAS DE EVALUACIÓN Y GÉNERO EN EL PANORAMA INTERNACIONAL ________________________________________________7

3. LA EVALUACIÓN EN LA UNIÓN EUROPEA___________________________8

4. LA EVALUACIÓN EN LA ORGANIZACIÓN INTERNACIONAL DEL TRABAJO (OIT) ________________________________________________________22

5. LA EVALUACIÓN EN EL BANCO INTERAMERICANO DE DESARROLLO (BID)32

6. LA EVALUACIÓN EN LA COMISIÓN ECONÓMICA PARA AMÉRICA LATINA Y EL CARIBE (CEPAL) _____________________________________________40

7. CUADRO COMPARATIVO DE LAS RECOMENDACIONES SOBRE EVALUACIÓN DE LOS PRINCIPALES ORGANISMOS INTERNACIONALES RELACIONADOS CON LA FORMACIÓN Y EL EMPLEO _____________________________________49

8. LA EVALUACIÓN CON PERSPECTIVA DE GÉNERO SEGÚN OTROS ORGANISMOS Y ENTIDADES EXPERTAS _____________________________51

9. LA PERSPECTIVA DE LA EVALUACIÓN SEGÚN EXPERTOS Y EXPERTAS EN EVALUACIÓN Y GÉNERO _________________________________________73

10. CONCLUSIONES ___________________________________________89

ANEXO: MODELO DE EVALUACIÓN CON PERSPECTIVA DE GÉNERO PARA PROGRAMAS DE FORMACIÓN DISEÑADO POR ENRED CONSULTORES ______91



3

1. PRESENTACIÓN

El presente dossier arranca con un repaso a diferentes propuestas de evaluación de programas, enfocándonos de un modo especial en el examen de cómo se ha venido atendiendo -y entendiendo- en ellas la variable género.

El objetivo es, partiendo de la observación de las tendencias identificadas, de los puntos críticos y de las necesidades que se plantean para establecer intervenciones más articuladas, generar un modelo que pueda servir para reforzar la valoración de los programas de empleo, desde el que se garantice un tratamiento más eficaz de todas aquellas variables relacionadas con la gestión del ciclo del proyecto, su incidencia en los colectivos beneficiarios y su potencial sostenibilidad en el tiempo.

Existen diferentes niveles desde los cuales se puede observar la evaluación. En su nivel más genérico o abstracto, evaluar programas supone la implantación de un cierto tipo de metodología que se caracteriza por tener una terminología propia, un conjunto de herramientas conceptuales y analíticas específicas, y unos procesos, fases y procedimientos del mismo modo específicos (Alvira Martín, 1991).

En este sentido, y desde el punto de vista de sus contenidos, pueden distinguirse diferentes tipos de evaluación cuya clasificación puede variar según el autor o la autora, pero que en general se corresponde con:

• Evaluación de necesidades

• Evaluación de diseño y planificación de acciones

• Evaluación de la evaluabilidad

• Evaluación de la implantación

• Evaluación de la cobertura

• Evaluación de la calidad

• Evaluación de los resultados

• Evaluación del impacto

• Evaluación del esfuerzo

• Evaluación de la eficiencia



4

La decisión del tipo de evaluación a realizar no suele ser una cuestión simple. El enfoque a utilizar dependerá fundamentalmente de la instancia que promueve (financiera y/o técnicamente) la acción a evaluar.

Desde el punto de vista de los momentos en los que se realiza la evaluación, es común diferenciarla en: a) “ex – ante”: previa a la ejecución; b) “durante”: en la ejecución, y; c) “ex – post”: posterior a la ejecución.

En su nivel más concreto, evaluar implica la aplicación de aquel modelo o metodología de intervención capaz de producir información válida y confiable que permita el establecimiento de juicios sobre el qué y el cómo de los logros de una determinada actuación. Naturalmente, esto puede significar el uso de uno o más tipos de evaluación y su realización en varios momentos. Del mismo modo, dependiendo de quién se encargue de llevar a cabo la evaluación, ésta puede ser externa (encargada a personal ajeno al programa), interna (realizada por personas pertenecientes al organismo promotor que no tienen responsabilidades directas en el programa) o autoevaluación (realizada por el propio equipo del programa).

Los aspectos presentados sirven para enmarcar lo que, en definitiva, constituye una caracterización de la evaluación. En mayor o menor medida, estos elementos componen las diferentes aproximaciones metodológicas o modelos existentes.

¿Cuál es, pues, el diferencial que nos interesa destacar? Sin duda, nuestro interés específico apunta a examinar - aunque de forma somera- las estrategias de evaluación de programas o proyectos desde la aplicación en ellas de una perspectiva de género. Para ello, hemos revisado algunas propuestas (o aproximaciones metodológicas) de carácter general o utilizadas en el marco de acciones financiadas por distintos organismos, en el contexto de un análisis documental más amplio.

En general, la revisión documental efectuada converge en una misma dirección: el ámbito evaluativo - fundamentalmente en el área social- cuenta con una extensa producción teórica dentro de la que se evidencian esfuerzos por sistematizar procedimientos, depurar técnicas de medición y destacar las limitaciones de algunos modelos en boga.

Si observamos, por ejemplo, las recomendaciones formalizadas que emanan de las instancias oferentes de financiación sobre la obligatoriedad de evaluar los programas y/o proyectos ejecutados, se aprecia un espectro variado de alternativas: a) el requisito de la evaluación puede aparecer de manera explícita o implícita como parte de las actividades que deben desarrollar los programas/proyectos financiados; b) se pueden tener procedimientos ya “formateados” sobre el tipo de evaluación requerida, o simplemente; c) queda a discreción del ente ejecutor decidir qué tipo de evaluación es la que se debe - o puede- llevarse a cabo.

La integración del enfoque de género cuenta con numerosas disposiciones y mandatos a nivel de las instituciones que controlan los flujos de financiación para el desarrollo de programas y proyectos. No obstante este hecho, la producción de evaluaciones obtenidas



5

(tanto de los programas a nivel nacional como de los proyectos puntuales) no refleja una correspondencia adecuada a la expectativa que genera el tratamiento teórico.

Es cierto que, cada vez más, se aprecia una voluntad sostenida por consolidar la llamada sensibilidad de género en el amplio conjunto de las acciones institucionales, lo que incluye - claro está- recomendaciones específicas en torno al hecho de evaluar. En este sentido, se pueden observar referencias directas sobre el tratamiento de la perspectiva de género en propuestas de evaluación de organismos internacionales oferentes de financiación.

La importancia de que este tipo de instituciones evidencien una política definida en torno a la igualdad de oportunidades de género y la incorporen - entre otros- en ámbitos tan fundamentales como es el de la evaluación, radica en que su capacidad de generar transferibilidad supera con creces la de cualquier otra instancia de ámbito más focalizado o local.

Pero lo cierto es que, a pesar de la andadura, aún nos encontramos en una etapa muy temprana en lo referido a la integración de la perspectiva de género como un elemento esencial de toda política, programa o proyecto a implementar para el desarrollo del conjunto de la sociedad. Por ello, parte de la tarea actual es continuar aportando sin descanso y desde muchos frentes a la vez, elementos que contribuyan a acortar las distancias entre el momento presente y aquél en el que términos como sensibilidad de género o igualdad de oportunidades entre hombres y mujeres, hayan perdido sustancialmente su connotación reivindicativa.

Conscientes de este hecho, la preocupación por integrar la perspectiva de género dentro del conjunto de las acciones institucionales, está llevando, cada vez más, a muchos organismos a reflexionar, revisar y replantear su desempeño de una forma menos genérica (el terreno de los principios) y más concreta (el terreno de los hechos). La cuestión esencial es conocer tanto si las inversiones realizadas están siendo efectivas (cumplen los objetivos previstos) y eficientes (se cumplen los objetivos dentro del presupuesto previsto), como si las ejecuciones promovidas se corresponden con el diseño pactado, dentro del cual se aspira a reconocer la incorporación del enfoque de género.

En este sentido, se ha podido observar que en las directrices de evaluación formuladas en el seno de instituciones como el Banco Interamericano de Desarrollo, la Comisión Europea, la Organización Internacional del Trabajo o la CEPAL, por sólo citar unos pocos - pero representativos- ejemplos a los que haremos referencia en este capítulo, queda explícita y crecientemente señalada la necesidad de tener en cuenta la perspectiva de género en el momento de evaluar.

Naturalmente, por su nivel de agregación y alcance, tales propuestas metodológicas no indican aspectos más detallados sobre el conjunto de implicaciones que supone este enfoque de la evaluación (como procedimientos críticos, indicadores, etc.). En líneas generales, se cuenta todavía con pocas, si bien cada vez más numerosas, herramientas específicas para medir la “sensibilidad de género” en actuaciones concretas financiadas por estas instituciones. Y así todavía, en muchos de los programas que estos organismos



6

financian, se lleva a cabo la evaluación teniendo en cuenta los marcos lógicos institucionales, sobre todo para dar cumplimiento a los requerimientos básicos de efectividad y eficiencia, pero el tema género - en el mejor de los casos- se corresponde con una aceptable recogida y análisis de datos cuidando el detalle de la desagregación por sexo. De esto dará cuenta seguidamente el análisis que abre este capítulo.

En el marco del presente estudio también se han procesado, junto a las propuestas de las grandes instituciones, recomendaciones de expertos y expertas e información de metodologías evaluativas especialmente diseñadas dentro de programas de “acciones positivas”, las cuales contienen procedimientos e indicadores muy elaborados sobre el tratamiento de la sensibilidad de género.



7

2. ANÁLISIS DE LOS SISTEMAS DE EVALUACIÓN Y GÉNERO EN EL PANORAMA INTERNACIONAL

Bloques geográficos como la Unión Europea, organismos multilaterales de desarrollo y organizaciones internacionales han dedicado una parte de sus esfuerzos de promoción de la igualdad de oportunidades a la definición de instrumentos de seguimiento y control del acceso de la mujer a la formación, al trabajo, así como a los recursos públicos a ellos imputados.

En este apartado se pretende reflejar:

(1) las propuestas de seguimiento y evaluación de la perspectiva de género en la aplicación de la política estructural de la UE, en la política europea de desarrollo de recursos humanos y en la gestión de proyectos;

(2) algunas recomendaciones de organismos internacionales y multilaterales (BID, OIT, CEPAL…) sobre el abordaje de la perspectiva de género en sus políticas y programas;

(3) las opiniones y recomendaciones sobre evaluación y género de otras entidades y expertos y expertas en evaluación e igualdad de oportunidades.

No ha sido posible rastrear modelos de evaluación ya que éstos se construyen desde un gran acercamiento del objeto de medición, y la enorme capilaridad de los proyectos de formación y empleo bajo la óptica del mainstreaming, específicos o con sensibilidad de género, ha supuesto la proliferación de instrumentos a medida, dispersos y muchas veces no accesibles a partir de una investigación secundaria.

Se presentará así un mapa de los para qué (objetivos que subyacen de las recomendaciones), de los qué (los espacios y niveles de investigación) y los cuándo (momentos de evaluación), y una aproximación sucinta a los cómo (indicadores, momentos de la evaluación), ya que las metodologías, los criterios e indicadores forman parte por lo general de diseños a medida para cada política, de cada programa, de cada proyecto, que a su vez se subordinan al objetivo de cada sistema de seguimiento, control, y evaluación, y cómo no, al propio presupuesto disponible.



8

3. LA EVALUACIÓN EN LA UNIÓN EUROPEA

Ni el seguimiento ni la evaluación de los programas constituyen una novedad para las autoridades europeas, en cuyos reglamentos establecen estos dos aspectos como requisitos legales en cualquier actuación que parta o sea financiada por la UE, un requisito impuesto desde 1988, año en el que la evaluación queda institucionalizada al introducirse en la reglamentación europea la obligatoriedad de evaluar los programas cofinanciados por sus fondos. Dentro de esta obligatoriedad exigida, el programa MEANS (Métodos de Evaluación de las Acciones de Naturaleza Estructural), cuyo arranque se sitúa en 1994, y cuyo objetivo fue el de propiciar un desarrollo metodológico uniforme y coherente de evaluación a aplicar en todos los Estados miembros, ha contribuido decisivamente a la difusión de la cultura evaluativa en la Comunidad.

Por este motivo, desde la UE se han elaborado toda una serie de documentos en los que se proporcionan orientaciones metodológicas acerca de cómo llevar a cabo el seguimiento y la evaluación, tanto de políticas, programas y proyectos. Dentro de estos cuadernos metodológicos, la UE hace mención expresa a la Igualdad de Oportunidades entre mujeres y hombres, como principio transversal que deberá estar presente en todas las evaluaciones que se realicen. Sin embargo, este principio no termina de operativizarse a la hora de definir los principales elementos de toda evaluación, dejándose al margen en los aspectos generales, y sólo reservando un espacio a esta cuestión en apartados específicos.

La cuestión radica en el hecho que desde la Comisión Europea se ofrecen y exigen unos esquemas básicos a tener en cuenta sobre la Igualdad de Oportunidades entre mujeres y hombres en todos las políticas, programas y proyectos. Sin embargo, estos esquemas y criterios se diluyen y se enmarcan en la siempre citada, pero ¿aplicada?, transversalidad del principio de mainstreaming.

En este sentido, los y las propias evaluadoras de programas y proyectos de la UE mencionan que “no se ha dado aún la importancia que el tema de la igualdad de oportunidades se merece, una insuficiencia que se refiere sobre todo a una concepción reducida de la igualdad de oportunidades, que se limita a vigilar solamente el grado de participación de las mujeres sin ir más allá”. De esta manera, la conclusión que se extrae de las recomendaciones que hace la UE en referencia a las cuestiones de género es que “se ve definitiva la necesidad de un gran esfuerzo de profundización del concepto de igualdad de oportunidades y de mainstreaming, para que salga de los “laboratorios” experimentales e inspire realmente el núcleo central de los programas futuros”1. Además,

1 La cita anterior y la presente han sido extraídas del capítulo sobre igualdad de oportunidades de la evaluación intermedia del Marco Comunitario de Apoyo Fondo Social Europeo del Objetivo 3 1994-99 (España), objetivo de la política estructural de la UE destinado a “combatir el paro de larga duración y facilitar la inserción profesional de los jóvenes menores de 25 años y de las personas expuestas a la exclusión del mundo laboral”.



9

también se apunta al hecho de que la escasa utilización de los resultados de las evaluaciones, las lagunas en los sistemas de seguimiento o los problemas para disponer de información homogénea y construir indicadores integrales, tal y como se apunta en el manual Organización y diseño de los procesos de evaluación publicado por el Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las Cualificaciones Profesionales (CIDEC)2, hacen de la evaluación un elemento más justificativo que funcional.

Dada esta cuestión, el análisis que se ofrece parte de las concepciones generales sobre evaluación que nacen de la UE, intentando engarzar dichas concepciones con las recomendaciones sobre evaluación con perspectiva de género, y no metodologías, que se han expresado puntualmente desde las instancias europeas.

RECOMENDACIONES SOBRE EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS DE LA UE

INDICADORES

A) INDICADORES CUANTITATIVOS

Según la UE, el seguimiento y la evaluación de un programa o proyecto requiere de la utilización de una serie de indicadores que deben definirse previamente a su ejecución o en su primera fase de aplicación, con el fin de recoger datos sobre el mismo.

La tipología de indicadores que define la UE para ello es la siguiente:

! Indicadores de recursos (inputs) que hacen referencia al presupuesto asignado a cada tipo de intervención. Estos indicadores, denominados por la UE financieros, se utilizan para evaluar los progresos en relación con los compromisos y pagos de los fondos disponibles para cada operación, medida o programa en relación con su coste subvencionable.

! Indicadores de realización (outputs), que hacen referencia a la actividad, y miden unidades materiales, económicas o sociales.

! Indicadores de resultados (outcomes), que hacen referencia a los efectos, directos e inmediatos, producidos. Estos indicadores facilitan información sobre los cambios de conducta, capacidad o rendimiento de los y las beneficiarias directas.

2 El cuaderno de trabajo Organización y diseño de los procesos de evaluación es un manual publicado por CIDEC en el año 2000 para el Gobierno Vasco, y su argumentación se centra en realizar un análisis pormenorizado y crítico de los sistemas de evaluación de la Unión Europea.



10

! Indicadores de impacto, que hacen referencia a las consecuencias del programa más allá de los efectos inmediatos sobre sus beneficiarias y beneficiarios directos. Se puede distinguir entre:

- El impacto específico, los efectos producidos después de transcurrir un cierto tiempo pero que, sin embargo, están directamente relacionados con la acción realizada.

- El impacto global, los efectos a más largo plazo que influyen en una población más amplia. Lógicamente, la evaluación de este tipo es compleja y suele ser difícil establecer relaciones causales.

Los requisitos impuestos por la UE exigen que esta tipología de indicadores sea aplicada a cada una de las siguientes modalidades de actividad:

! Las medidas a favor de las personas, aquéllas que están relacionadas con la formación, la orientación y mediación en el empleo…

! Las medidas de apoyo a las estructuras y los sistemas, formación de formadores/as, servicios de orientación…

! Las medidas de acompañamiento, servicios sociales, iniciativas de desarrollo local para el cuidado de personas dependientes, etc.

En función de estos criterios, la UE propone los siguientes indicadores:

INDICADORES PROPUESTOS POR LA UE PARA LA EVALUACIÓN DE PROGRAMAS

Tipo de actividad

Inputs Outputs Outcomes De Impacto

Medidas a favor de las personas

Coste

Número de beneficiarios/as

Distribución entre mujeres y hombres

Distribución de acuerdo al estatus

en el mercado laboral

Características de los/as

beneficiarios/as: (cualificación, edad…)

Tipos de intervención por categoría de beneficiarios/as

Número de empleos generados

Número de personas con resultados

positivos/ número de personas potenciales

con resultados positivos

Número de personas con resultados

negativos/ número de personas beneficiarias

Estabilidad de los resultados positivos

Medidas de apoyo a las estructuras y

Coste Número de socios en el proyecto

Número de beneficiarios/as

Grado de satisfacción de



11

Tipo de actividad

Inputs Outputs Outcomes De Impacto

sistemas Número de proyectos

el proyecto

Número de centros de empleo o formación

beneficiarios

Número de plazas de formación creadas u

ofertadas

Número de cursos certificados

indirectos/ número de potenciales

beneficiarios/as

% de desempleados/as que

han utilizado los servicios

% de nuevos/as formadores/as en los

cursos impartidos

los/as beneficiarios/as

indirectos/as

Medidas de acompañamiento

Coste

Número de proyectos

Número de servicios provistos

Número y tipo de socios implicados

Número de personas beneficiarias

indirectas / número de potenciales

personas beneficiarias

Grado de satisfacción de los/as

beneficiarios/as indirectos/as

Grado de satisfacción de

los/as beneficiarios/as

indirectos/as

B) INDICADORES CUALITATIVOS

Además de la información cuantitativa, la UE establece que será necesaria en la evaluación la recogida de información cualitativa, sobre todo para conocer las particularidades de las condiciones de implantación de las medidas en el contexto de intervención.

La información cualitativa deberá incluir:

! El contexto operacional: desarrollo socioeconómico, cambios en las políticas del contexto, efectos de estos cambios en los programas o proyectos, etc.

! Las condiciones de implantación: percepción del programa/proyecto por parte de gerentes y actores responsables; implementación de los productos lanzados; tipo de difusión realizada; interpretación de los sistemas de seguimiento;…



12

MOMENTOS DE LA EVALUACIÓN

En cuanto a los tiempos de la evaluación, la UE estipula que el trabajo de evaluación puede dividirse en tres fases principales:

! La evaluación previa o evaluación ex – ante. En ella deben analizarse los siguientes elementos:

- la relación y coherencia entre los objetivos generales y los objetivos específicos;

- la existencia y pertinencia de indicadores de realización, resultados e impacto en relación a cada uno de los niveles de intervención;

- la fiabilidad del nivel de cuantificación de los objetivos.

! La evaluación intermedia, que debe examinar el grado de eficacia alcanzado sobre la base de los indicadores recogidos durante el seguimiento. Asimismo, evaluará la calidad y la pertinencia de dichos indicadores.

! La evaluación posterior o evaluación ex – post, sobre la base de los datos de seguimiento definitivos, comparando los objetivos previstos con los realmente alcanzados.

RECOMENDACIONES METODOLÓGICAS: PASOS A SEGUIR

La sucesión en el diseño y utilización de todos los elementos descritos hasta el momento, se corresponde con los siguientes pasos:

Definición de la situación de base e indicadores de contexto. La situación de base hace referencia al valor inicial respecto del cual se mide un indicador de contexto o de impacto. Dichos datos deben establecerse en relación con los objetivos del programa, y pueden obtenerse a través de estadísticas oficiales, encuestas o indicadores indirectos.

Sobre esta situación de base podrán quedar ya definidos los indicadores o aspectos del contexto que tendrán que estar presentes en la evaluación para poder medir el impacto del programa o proyecto que se está evaluando.

¸ Realización del seguimiento operativo. Consistirá en establecer los procedimientos del seguimiento operativo del proyecto, lo que cubrirá las siguientes áreas:



13

- La definición de los datos que deberán recogerse con el fin de obtener la información necesaria sobre las realizaciones, resultados, impactos y sus indicadores correspondientes.

- El establecimiento de la frecuencia y la transmisión de los datos a las personas responsables.

- La definición de las relaciones operativas con las actividades de evaluación.

# Definición de los indicadores de seguimiento. La definición de los indicadores deberá llevarse a cabo en relación a los objetivos del programa/proyecto. Así, deberán definirse los indicadores de realización en relación con los objetivos operativos, los de resultados en concordancia con los objetivos específicos y los de impacto en función de los objetivos globales. En el caso de los indicadores referidos a los recursos, éstos deberán formularse de acuerdo a las actividades o medidas programadas.

# Cuantificación previa o evaluación ex – ante. En general deben cuantificarse los objetivos y los indicadores de partida correspondientes a los programas/proyectos. De lo contrario, no podrá evaluarse en qué medida se están cumpliendo los objetivos originales en la ejecución. En la cuantificación pueden utilizarse los datos de la situación de base.

$ Aplicación de los indicadores de seguimiento. Este quinto paso consistirá en:

- La recogida de datos.

- El análisis inicial de los datos. Una vez recogidos, los datos deben ser elaborados y procesados y debe efectuarse una interpretación inicial de los mismos que sirva de base al organismo responsable del seguimiento.

- Informes de evaluación intermedia, que permitirán examinar los primeros resultados de las intervenciones, la pertinencia de los objetivos y el grado de consecución de los mismos. Como parte de este trabajo más general, el/la evaluador/a llevará a cabo una evaluación global del sistema de indicadores y de su nivel de cuantificación. Por otra parte, analizará el grado de eficacia alcanzado en relación a los objetivos.

# Evaluación final o ex –post, donde se comparen los objetivos previstos con los realmente alcanzados, incluido el impacto.



14

CUESTIONES ESPECÍFICAS DE GÉNERO

La Igualdad de Oportunidades, en todo este contexto, es una de las prioridades de la UE, por lo que deberá contemplarse en cualquier medida. Esto significa que todos los indicadores deberán incluir, cuando sea pertinente, un desglose según el sexo.

Desde el punto de vista de la evaluación de políticas, la UE insta a que, desde los diversos servicios de la Comisión, se lleven a cabo las siguientes actuaciones:

! Evaluar el impacto discriminatorio en determinados ámbitos políticos, a fin de tener en cuenta las repercusiones diferentes que puedan tener para los hombres y las mujeres algunas políticas aparentemente neutras. Dicha evaluación se llevará a cabo tanto en la fase previa de análisis y planificación política, como en las fases de aplicación y evaluación.

! Puesto que el impacto en función del género requiere de datos desglosados por sexo en el ámbito político en cuestión, cada servicio recopilará datos de este tipo y desglosará sistemáticamente por sexo todas las estadísticas que contengan información sobre las personas.

Sin embargo, y pese a los esfuerzos realizados por la Comisión Europea, los progresos son más bien fragmentarios. Se han realizado muchas actividades, pero la impresión general, según los expertos y expertas, es que las medidas aisladas siguen siendo la norma. Por este motivo, lo que propone la UE es un planteamiento globalmente más sistemático que incluya la evaluación del impacto en función del género de las políticas, lo que significa:

! Introducir la evaluación del impacto en función del género en todas las políticas, analizando si una propuesta de política afectará adversamente a las mujeres y a los hombres y, a la inversa, de qué manera una política dada puede tener repercusiones positivas, por ejemplo, en el objetivo global de la igualdad entre mujeres y hombres.

! Establecer procedimientos de evaluación global teniendo en cuenta el género, es decir, antes de tomar cualquier decisión habrá de procederse a la evaluación de su posible impacto en función del género y asegurarse de que no será propuesta ninguna política que pueda influir negativamente en el objetivo global de la igualdad de género.

En este contexto la Comisión publicó en 1997 una importante Guía para la evaluación del impacto en función del género, diseñada para las necesidades específicas de cada una de las Direcciones Generales. En ella se hace referencia a que la evaluación del impacto en función del género debe llevarse a cabo en cuanto se ha establecido que una política dada tiene implicaciones para las relaciones y la distribución desigual de las prerrogativas de hombres y mujeres. Dicha evaluación, según la Comisión, dará mejores resultados si se practica en una fase precoz del proceso de decisión para permitir, cuando proceda, introducir modificaciones en dicha política.



15

Para evaluar el impacto en función del género, deberán tenerse en cuenta, por tanto, las diferencias existentes entre las mujeres y los hombres y verificar que la propuesta en que se está trabajando contribuye al objetivo de eliminar las desigualdades entre el hombre y la mujer y promover su igualdad. Estas diferencias deberán estar referidas a:

(1) la participación, representación de hombres y mujeres en los grupos objetivo;

(2) los recursos, la distribución entre hombres y mujeres del tiempo, el espacio, la información, el dinero, etc.;

(3) las normas y los valores, las actitudes, así como las desigualdades en el valor que se concede a los hombres y las mujeres o a las características masculinas y femeninas;

(4) los derechos, evaluando el acceso igualitario a la justicia.

Por su parte, y descendiendo ya de las políticas a un terreno más operativo, en el nivel de los programas y proyectos, un indicador horizontal de la integración de la igualdad de oportunidades -al cual se hace referencia en múltiples documentos de trabajo de la Comisión- será, por ejemplo, clasificar todos los proyectos entre las siguientes categorías:

a) Es neutro desde el punto de vista de la igualdad de oportunidades, es decir, las intervenciones programadas no contribuirán ni a reducir ni a mejorar la igualdad entre mujeres y hombres.

b) Tiene en cuenta la igualdad de oportunidades (contenido de igualdad de oportunidades medio a bajo), es decir, tiene en cuenta las diferentes necesidades e intereses de mujeres y hombres pero su objetivo primordial no es la igualdad de oportunidades.

c) Está orientado hacia la igualdad de oportunidades (contenido de igualdad de oportunidades medio a alto), lo que significa que su objetivo principal es la promoción de igualdad de oportunidades entre mujeres y hombres.

Partiendo de este esquema básico, la clasificación de un proyecto en uno u otro estrato podrá realizarse tomando las siguientes pautas sugeridas por la UE en su cuaderno metodológico Mainstreaming Equal Opportunities For Women And Men In Structural Fund Programmes And Projects publicado en el año 2000:



16

PROCESO PARA LA CLASIFICACIÓN DE PROYECTOS SEGÚN SU APORTACIÓN A LA IGUALDAD DE OPORTUNIDADES

Paso 1: Clasificación del proyecto

Paso 2: Prioridad del proyecto

Paso 3: Selección del proyecto

Paso 4: Implementación de acciones

Paso 5: Elaboración de indicadores de seguimiento

IGUALDAD NEUTRA

El proyecto no contribuye a la igualdad

No posee prioridad en igualdad

Alguna posibilidad de discriminación o efectos negativos para la igualdad

Prever medidas complementarias para posibles efectos negativos sobre la igualdad

No son requeridos indicadores de seguimiento. Realizar en la evaluación final o intermedia un rastreo de posibles efectos negativos

TIENE EN CUENTA LA IGUALDAD

El proyecto contribuirá al objetivo de la igualdad

Prioridad media en igualdad

Contribuye a los objetivos de la igualdad. Alguna de las medidas están diseñadas en referencia a la igualdad

Prever medidas en el proyecto que evalúen su impacto sobre la igualdad

Elaborar indicadores de seguimiento, de resultados y de impacto de igualdad

ALTO CONTENIDO EN IGUALDAD

El proyecto hará una sustancial aportación al objetivo de la igualdad

Prioridad hacia la igualdad alta

Orientado hacia la contribución de la igualdad

Elaborar indicadores de seguimiento, de resultados y de impacto de igualdad

Asimismo, en los programas y proyectos financiados por la UE, la primera prerrogativa que exige la Comisión Europea es la elaboración de una evaluación ex – ante específica de la situación de hombres y mujeres en términos de igualdad, que mida:

! la participación en el contexto de intervención de hombres y de mujeres;

! las condiciones de participación de hombres y mujeres;



17

! el impacto esperado de las estrategias diseñadas en la reducción de las disparidades entre mujeres y hombres.

Por otra parte, también será de obligado cumplimento por parte de los Estados Miembros el diseñar una batería de indicadores que midan el impacto en función del género de las actuaciones acometidas en el marco de los planes para su consiguiente evaluación. Estos indicadores, como base del seguimiento, deberán medir:

! Las disparidades entre hombres y mujeres que se han reducido durante el periodo de aplicación de los planes;

! El nivel de igualdad alcanzado entre hombres y mujeres en el contexto de la intervención.

La Comisión propone, en este sentido, un listado referido a cuatro ámbitos:

! el mercado de trabajo;

! la educación y la formación;

! la creación de empresas;

! la conciliación de la vida familiar y profesional.

En los que se aplicarán tres tipos de indicadores:

! Indicadores de salida: reducción de las disparidades en la participación de mujeres y hombres; entidades que han incorporado la igualdad de oportunidades en sus estrategias, etc.

! Indicadores de resultado: reducción de la desigualdad de perfiles femeninos y masculinos en el empleo, la formación, el empresariado, etc.

! Indicadores de impacto: reducción de las disparidades en las tasas de empleo de hombres y mujeres; reducción de las disparidades en las cualificaciones profesionales de hombres y mujeres; etc.

A este respecto la UE apunta a que la elaboración apropiada de un conjunto de indicadores de género no debe concretarse tan sólo en medir la participación numérica de mujeres y hombres en los proyectos. Por ello, se proponen como ejemplo algunos indicadores más cualificados, como son:



18

INDICADORES DE LA PARTICIPACIÓN DE HOMBRES Y MUJERES EN EL MERCADO DE TRABAJO

Indicadores de salida

Reducción de las disparidades entre mujeres y hombres en el mercado laboral por nivel ocupacional, sector y ocupación

Incremento de las instituciones que han implantando la Igualdad de Oportunidades en sus estrategias

Indicadores de resultados

Reducción de las disparidades entre mujeres y hombres y mujeres beneficiarias en las tasas de empleo

Mejora del nivel en el empleo de las mujeres respecto de los hombres después de la intervención

Reducción de la segregación de mujeres y hombres por ocupación en las entidades intervenidas

Indicadores de impacto

Reducción de las disparidades en las tasas de actividad de mujeres y hombres

Reducción de las diferencias en las tasas de desempleo de mujeres y hombres

Reducción de la segregación vertical y horizontal entre hombres y mujeres por sector económico y ocupación

INDICADORES DE IGUALDAD ENTRE MUJERES Y HOMBRES EN LA EDUCACIÓN Y LA FORMACIÓN


Reducción de las disparidades entre mujeres y hombres en las tasas de participación y finalización de la formación profesional y continua

Incremento del porcentaje de la oferta de formación en empleos femeninos en relación a los masculinos

Aumento de la participación de mujeres y hombres en los cursos de formación certificados


Reducción de las disparidades en la formación de hombres y mujeres de los grupos objetivo, por nivel ocupacional

Mejora de la igualdad entre mujeres y hombres en el mercado de trabajo después de su participación en los cursos de formación



19


Reducción de las disparidades de la cualificaciones de mujeres y hombres, por nivel y tipo de ocupación

Reducción de la segregación vertical y horizontal entre las mujeres y hombres en empresas o instituciones una vez acabada la formación

INDICADORES DE LA PARTICIPACIÓN DE LAS MUJERES EN LA CREACIÓN DE EMPRESAS


Incremento de la proporción de creación de empresas por mujeres

Incremento de la proporción de mujeres usuarias de los servicios de promoción económica


Incremento de la proporción de mujeres que crean empresas

Incremento de la proporción de mujeres que crean empresas de investigación y tecnología


Incremento proporcional de negocios creados por mujeres

Incremento proporcional de mujeres dirigiendo iniciativas de economía social

Mejora de la facturación y rentabilidad de las empresas de mujeres comparado con la mejora en el resto de proyectos

INDICADORES DE CONCILIACIÓN VIDA FAMILIAR – VIDA PROFESIONAL


Número de proyectos de servicios de proximidad y apoyo a la conciliación

% de empresas que poseen igualdad de oportunidades en sus planes

% de empresas que ofrecen servicios sociales a sus empleados y empleadas



20


Incremento neto de las plazas para el cuidado de personas dependientes

Incremento neto de número de profesionales cuidadores de personas dependientes

Incremento neto de los servicios de proximidad


Incremento de la satisfacción de hombres y mujeres sobre la conciliación de su vida familiar y profesional

Reducción del absentismo; incremento de la productividad

De esta forma queda demostrada la exigencia por parte de las autoridades europeas de introducir/incorporar la perspectiva de género en la evaluación de toda política, programa o proyecto con participación financiera de la UE, aunque tal exigencia no acaba de traducirse en la facilitación de modelos completos para la evaluación con perspectiva de género.



21

RECOMENDACIONES DE LA UE PARA LA EVALUACIÓN DEL IMPACTO EN FUNCIÓN DEL GÉNERO

¿QUÉ SE EVALÚA?

Comparar y apreciar, en función de criterios pertinentes con respecto al género, las distintas repercusiones que una actuación tiene sobre los hombres y sobre las mujeres

¿CÓMO SE EVALÚA?

INDICADORES

! Indicadores de salida: reducción de las disparidades en la participación de mujeres y hombres; entidades que han incorporado la igualdad de oportunidades en sus estrategias, etc.

! Indicadores de resultado: reducción de la desigualdad de perfiles femeninos y masculinos en el empleo, la formación, el empresariado, etc.

! Indicadores de impacto: reducción de las disparidades en las tasas de empleo de hombres y mujeres; reducción de las disparidades en las cualificaciones profesionales de hombres y mujeres; etc.

¿CUÁNDO SE EVALÚA?

# Evaluación ex –ante o diagnóstico de partida: situación de desigualdad entre hombres y mujeres de la que se parte

# Evaluación intermedia: repercusiones que en hombres y mujeres está teniendo el desarrollo de las actuaciones

# Evaluación del impacto: repercusiones que en hombres y mujeres ha tenido el ciclo completo de la actuación

RECOMENDACIONES# Compromiso de alto nivel # Concienciación # Estructuras de cooperación # Distribución clara de responsabilidades # Expertos y expertas en asuntos de “género” # Seguimiento en todas las fases



22

4. LA EVALUACIÓN EN LA ORGANIZACIÓN INTERNACIONAL DEL TRABAJO (OIT)

La Constitución de la OIT, en la Declaración de Filadelfia, recoge la afirmación de que “todos los seres humanos, sin distinción de raza, credo o sexo, tienen derecho a perseguir su bienestar material y su desarrollo espiritual en condiciones de libertad y dignidad, de seguridad económica y en igualdad de oportunidades”.

Sobre la base de esta afirmación, la OIT trabaja, entre otras cosas, con el fin de combatir las prácticas discriminatorias del mercado laboral que afectan a las mujeres adoptando políticas y medidas que garanticen una verdadera igualdad de oportunidades entre hombres y mujeres en la esfera del trabajo, un fin que requiere de una labor de investigación y evaluación que permita una mayor conciencia acerca de la magnitud de la discriminación en la que se encuentran inmersas éstas.

A fin de dar cumplimiento a estos compromisos, la OIT elaboró un Plan de Acción cuyo objetivo general estratégico es garantizar que se tomará en cuenta el género de las personas en todos sus programas y proyectos y en promover la igualdad de oportunidades y de trato entre hombres y mujeres en el mundo del trabajo a través de sus medios de acción.

A esta declaración de intenciones por parte de la OIT se suma que las demandas de sus constituyentes son crecientes en temas de género. La respuesta a estas demandas han supuesto que en el seno de la organización se definan políticas, estrategias y planes de acción cada vez más precisos, además de la asignación de adecuados recursos materiales y humanos.

Así, en el año 2000 se aprobó el Plan de Acción sobre la incorporación de las consideraciones de género para la igualdad entre los sexos, un Plan que se considera fundamental de cara a reforzar la capacidad de la Oficina Internacional del Trabajo para diseñar y poner en práctica programas y servicios en los que se tenga en cuenta el género. En este sentido, la incorporación de la perspectiva de género a los programas y proyectos, según la OIT, significa realizar un diagnóstico de género y plasmar de forma explícita los resultados al establecer los programas, la definición de objetivos e indicadores, la planificación, la ejecución, la supervisión y la evaluación.

El elemento clave para ello es la elaboración de datos estadísticos desglosados por sexo en todos los programas y proyectos, con el propósito de hacer hincapié en los ámbitos en los que existen desigualdades entre mujeres y hombres y generar respuestas con perspectiva de género en la planificación y en la ejecución.

De cara a la integración de la perspectiva de género en las evaluaciones, el Plan de Acción considera como principales las siguientes actividades:



23

! aplicar sistemáticamente análisis de género en el diseño, la planificación, la ejecución y la evaluación de los programas de la OIT que comprenden la investigación, la promoción de normas, la cooperación técnica y la difusión de información;

! introducir procedimientos, entre ellos el análisis de las repercusiones del género, a fin de garantizar que se tiene en cuenta la perspectiva de género, especialmente en relación con la determinación de objetivos, resultados, actividades e indicadores;

! crear indicadores de la incorporación de las consideraciones de género para realizar una supervisión y una evaluación, así como metodologías para valorar las repercusiones del género;

! garantizar que todas las bases de datos de la OIT tienen en cuenta la perspectiva de género;

! crear, recabar y divulgar datos desagregados por sexo.

RECOMENDACIONES SOBRE EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS DE LA OIT

INDICADORES

La información básica que debe ser recopilada en una evaluación, según la OIT, abarca generalmente tres componentes principales de investigación: diseño, ejecución y desempeño. Las cuestiones de diseño y de ejecución se refieren a los factores que influyen en los resultados y que se manifiestan durante la ejecución del proyecto, mientras que las relativas al desempeño están más directamente relacionadas con los efectos de los resultados.

A partir de esta clasificación de la información que debe ser recogida durante la evaluación, los indicadores que se construyan deberán estar referidos a las cuestiones siguientes:

! Validez del diseño:

- ¿Están adecuadamente enunciados los objetivos? ¿describen correctamente las soluciones de los problemas y necesidades identificados?

- ¿Están los indicadores de logros claramente definidos? ¿describen los cambios que se desean obtener?

- ¿Han sido identificados los factores externos que afectan a la ejecución del proyecto? ¿son válidos los supuestos?



24

- ¿Es el documento del proyecto lógico y coherente? ¿vincula los insumos, las actividades y los productos a cada objetivo inmediato?

- ¿Están las funciones y los compromisos de los distintos interlocutores claramente definidos?

- ¿Existe algún motivo para definirlo?

! Proceso de ejecución, es decir, si el proyecto, a lo largo de las distintas etapas operacionales, ha mantenido el rumbo hacia el logro de los objetivos fijados, lo que supone definir indicadores que midan las siguientes cuestiones:

- Cómo los insumos mediante las actividades son transformados en productos

- Cantidad, calidad y oportunidades de los productos suministrados

- Tipo de orientaciones técnicas y administrativas, y apoyos suministrados por el personal del proyecto, las organizaciones copartícipes y las unidades involucradas

- Importancia de la influencia de factores internos o externos sobre los resultados del proyecto

- Ajustes y medidas de acción complementarias que sean necesarias a fin de aumentar las probabilidades de éxito

! Desempeño, centrado en los efectos y el impacto del trabajo realizado. El resultado de esta apreciación determina si el proyecto ha logrado o puede lograr sus objetivos. Los principales aspectos que deberán medirse en este punto son:

$ Pertinencia. Examina la medida en que los resultados del proyecto son útiles para resolver los problemas definidos y satisfacen las necesidades de la población beneficiaria. Los indicadores sobre la pertinencia verifican si el proyecto sigue teniendo vigencia y detecta todo cambio de prioridades que pueda haber ocurrido en este contexto durante la etapa de ejecución. En concreto, los indicadores deberán dar respuesta a las cuestiones siguientes:

- ¿Existen aún los problemas o necesidades que originaron el proyecto, o han cambiado o existen nuevas prioridades que deberían ser consideradas?

- ¿Ha sido el proyecto una respuesta apropiada a los problemas o necesidades identificados?

- ¿Han cambiado las prioridades dadas de los componentes básicos del proyecto?



25

- ¿Siguen siendo válidos los objetivos o deben ser reformulados?

$ Eficacia. Estima la medida en que el proyecto ha logrado sus objetivos y beneficiado a la población objetivo. En análisis verifica si se han obtenido o se obtendrán los resultados esperados y, en caso contrario, si debe modificarse la definición de los objetivos (evaluación intermedia) o si debe prolongarse el proyecto (evaluación final). Los indicadores que pasan a medir este concepto deberán resolver las preguntas siguientes:

- ¿En qué medida ha logrado el proyecto sus objetivos inmediatos?

- ¿Han sido recopilados por el proyecto datos relativos a los indicadores de logro? ¿proporcionan pruebas adecuadas con respecto a los efectos y al impacto del proyecto? ¿es necesario recopilar más datos?

- ¿Han participado los grupos beneficiarios en la formulación y la ejecución del proyecto?

- ¿Los beneficios del proyecto han sido realmente de provecho para la población a la que se destinaban?

$ Eficiencia. Examina los resultados obtenidos en relación con los gastos incurridos y los recursos utilizados por el proyecto durante un periodo determinado, lo que significa medir:

- ¿Los resultados esperados del proyecto siguen justificando los gastos incurridos?

- ¿Se han gastado los recursos de la forma más económica?

- ¿Han sido complementarias las acciones de los distintos interlocutores?

- ¿Existen maneras más eficientes de obtener más y mejores productos e insumos disponibles?

$ Sustentabilidad. Estima si los resultados del proyecto han tenido o pueden tener efectos duraderos después de haberse terminado el proyecto y haberse retirado los recursos externos, lo que significa definir indicadores que se cuestionen:

- ¿Cuál es la probabilidad de que los beneficios del proyecto perduren del retiro del apoyo externo?

- ¿Existen condiciones que garanticen que los resultados del proyecto tengan efectos duraderos?



26

$ Causalidad. Examina los factores o acontecimientos que han influido en los resultados del proyecto, por lo que debe medirse:

- ¿Qué factores o acontecimientos especiales han influido en los resultados del proyecto?

- Esos factores ¿son internos o externos?

$ Efectos imprevistos. Debe determinarse si el proyecto tiene efectos positivos o negativos imprevistos, lo que supone considerar:

- ¿Tiene el proyecto algún efecto imprevisto (negativo o positivo) importante?

- ¿Qué podría hacerse para incrementar o disminuir dichos efectos a fin de aumentar el impacto general del proyecto?

$ Estrategias alternativas. Se analizan especialmente cuando se comprueba que la estrategia inicial ha resultado inadecuada. Examinan enfoques alternativos que pudieran tener un mayor impacto o reducir los costos. Las cuestiones a plantearse para la definición de indicadores serían las siguientes:

- ¿Existe o podría haber existido de una manera más eficaz de abordar los problemas y de satisfacer las necesidades a fin de lograr los objetivos?

- ¿Sigue siendo válida la estrategia del proyecto o debería ser reformulada?

Según la OIT, no es necesario examinar todos los aspectos antedichos en cada evaluación. La elección dependerá de los objetivos que se persiguen. Sin embargo, debería ser evidente que cuanto más amplio es el número de aspectos, más amplia (o menos parcial) es la evaluación del impacto del proyecto. Por ello, la OIT ha adoptado un conjunto mínimo de aspectos de evaluación a ser abordados, y que son: pertinencia, eficacia, eficiencia y sustentabilidad.


El cronograma de la evaluación, para la OIT, se establece en la fase de diseño y suele ser uno de los criterios para definir los diferentes tipos de evaluación. Si bien todas las evaluaciones deberían abordar, como mínimo, la pertinencia, la eficacia, la eficiencia y la sustentabilidad, las cuestiones específicas que deben tratarse así como la información y los datos que deben recopilarse, varían según el momento en que se lleva a cabo la evaluación:



27

! La evaluación intermedia. Tiene lugar en un momento determinado durante el curso del proyecto, en general, al promediar su ejecución. Examina la probabilidad del cumplimiento de los objetivos, estima los efectos de los primeros productos y actividades, indica los beneficios usufructuados por la población beneficiaria y verifica si la estrategia inicial del proyecto, el marco institucional y los supuestos establecidos son adecuados. Suministra a los interlocutores del proyecto la retroalimentación y la información necesarias para evaluar el proyecto, así como revisar, llegado el caso, las políticas, estrategias, objetivos, disposiciones institucionales y recursos del mismo.

! La evaluación final. Tiene lugar al término del proyecto. Verifica si los objetivos han sido logrados y si los beneficios del proyecto han alcanzado a los beneficiarios previstos. Suministra informaciones que facilitan las decisiones que deben ser tomadas con respecto a la terminación del proyecto o su prolongación y extrae las “enseñanzas” que deben ser consideradas en la planificación de futuros proyectos.

! La evaluación a posteriori. Tiene lugar cierto tiempo después de concluido el proyecto. Estima principalmente la sustentabilidad de los resultados del proyecto así como su impacto a largo plazo. Este tipo de evaluación permite fundamentar decisiones acerca de la conveniencia de proporcionar asistencia adicional y extraer las “enseñanzas” que sean aplicables a proyectos similares. También puede servir para establecer nuevas prioridades y estrategias o nuevos métodos de trabajo.


La OIT establece, como pasos sucesivos para llevar a cabo la evaluación, los siguientes:

Fase preparatoria, en la que se establece la decisión de evaluar, se prepara el anteproyecto de evaluación, se seleccionan a los evaluadores y evaluadoras, y se organiza la documentación de referencia y las consultas y visitas in situ.

¸ Fase de evaluación. Primeramente se revisa la documentación pertinente y se prepara, de ser necesario, un plan de trabajo para la evaluación. Después, se realiza la evaluación propiamente dicha, lo que conlleva:

- recopilar datos, informaciones y opiniones;

- analizar datos e informaciones;

- resumir los principales resultados;

- formular las primeras conclusiones y recomendaciones;



28

- extraer enseñanzas;

- preparar el anteproyecto de informe;

- organizar seminarios de evaluación.

Con todo ello se prepara el informe final, que ha de ser distribuido a los copartícipes del proyecto.

# Fase de medidas complementarias. Por último, se discute el informe de evaluación en una reunión de examen del proyecto para adoptar las medidas de acción complementarias a tomar.


De manera global, la OIT establece como medida de interés general, analizar los efectos de los proyectos sobre el fomento de la igualdad entre los hombres y las mujeres, lo que supone plantearse en la evaluación de todo proyecto los siguientes interrogantes:

! ¿Ha sido realizado un análisis de género de las personas que componen la población beneficiaria?

! ¿Ha sido realizada una planificación de las cuestiones relativas al género de las personas para considerar las diferentes necesidades de los hombres y las mujeres de la población beneficiaria?

! ¿Se han incrementado equitativamente los beneficios recibidos por los hombres y las mujeres de la población beneficiaria?

Específicamente, en 1995 la Oficina Internacional del Trabajo elaboró una Guía para la introducción de la perspectiva de género en el diseño, seguimiento y evaluación de los programas y proyectos de la OIT. Dicha guía contiene todos los elementos necesarios para la conformación de un modelo de evaluación que controle y mida la igualdad de oportunidades en el desarrollo de las actuaciones acometidas, modelo que recorra y esté presente en cada una de las fases de los programas y proyectos.

Tal y como aparece recogido en la guía, la evaluación de la dimensión de género debe partir de un análisis y planificación en función del género, pues los instrumentos de seguimiento y evaluación deben ser puntos de partida diseñados desde la misma fase de establecimiento de los antecedentes del proyecto.

Por tanto, el desempeño de una buena evaluación pasará necesariamente por la definición de una estrategia de planificación y ejecución de las actuaciones que tengan en cuenta, desde el primer momento, la perspectiva de género.



29

La OIT ofrece, así, en esta guía, los aspectos relacionados con el género que deberán tenerse en cuenta en todo el ciclo del proyecto, pero que de cara a la evaluación serán:

! En el análisis del problema

- comprobar que los datos acopiados están desglosados por sexo;

- realizar un análisis en función del género de las personas que forman parte del grupo considerado como beneficiario: las necesidades de hombres y mujeres, el acceso a los recursos y el control sobre ellos de cada uno de los sexos, las limitaciones que presenta el entorno para hombres y mujeres, etc.

! En la definición de indicadores

- elaborar indicadores que permitan medir los progresos realizados en el proyecto en relación a la promoción de la igualdad de oportunidades;

- elaborar indicadores que permitan medir la naturaleza y alcance de los beneficios que el programa aporta a hombres y mujeres.

! Durante el seguimiento

- especificar cuántos hombres y mujeres han participado en el programa y de qué manera;

- describir los acontecimientos imprevistos que hayan afectado positiva o negativamente a la participación de las mujeres en el programa;

- indicar las actividades recomendadas como consecuencia de la evaluación basada en el género de las personas, incluida toda posible revisión del programa y del plan de trabajo o de partes de los mismos.

! En los informes de evaluación

- Evaluar la eficacia del programa, es decir, el grado en que se han logrado los objetivos: describir los efectos del programa en la situación de hombres y mujeres, describir los factores negativos y positivos que hayan tenido efectos sobre los hombres y las mujeres, describir la forma de mejorar la eficacia del programa para atender las necesidades de los hombres y las mujeres.

- Evaluar la pertinencia del programa, es decir, la utilidad de sus resultados y sus logros para atender las necesidades de los hombres y de las mujeres: describir las diferencias que se hubieren observado entre las necesidades de los hombres y de las mujeres y determinar si tales necesidades aún existen, indicar si el programa se ocupa de satisfacer las necesidades prácticas y estratégicas según el género de la persona, dejar constancia de las opiniones de las



30

mujeres sobre la utilidad del programa, señalar otras maneras de atender las necesidades de los hombres y de las mujeres beneficiarias.

- Evaluar la eficiencia del programa, es decir, comparar los recursos consignados con los recursos conseguidos: indicar si el programa ha utilizado y desarrollado plenamente el potencial de los hombres y de las mujeres, comprobar si existen otras maneras de promover la igualdad.

- Evaluar la sustentabilidad, es decir, su efecto a largo plazo.

De esta manera, la evaluación de la incorporación de la perspectiva de género estará presente en todas las fases del proyecto, tanto en el diseño - comprobando si el diagnóstico de partida posee análisis de género y si existen indicadores que midan las diferencias entre los hombres y las mujeres– como en la ejecución –con los informes de avance– como en la evaluación en sí –informes de evaluación -.



31

RECOMENDACIONES DE LA OIT PARA LA EVALUACIÓN DEL IMPACTO EN FUNCIÓN DEL GÉNERO

¿QUÉ SE EVALÚA?

Las diferentes necesidades de las mujeres y los hombres y si éstas han sido satisfechas con la ejecución del proyecto

¿CÓMO SE EVALÚA?

INDICADORES ! De eficacia, sobre: funciones y pautas de participación de los hombres y las mujeres; el acceso

a los recursos y beneficios y su control; las necesidades; obstáculos y oportunidades que ofrece el entorno; acciones positivas que se han aplicado; efectos del programa en la situación de los hombres y las mujeres; efectos positivos y/o negativos imprevistos; factores internos o externos del programa que han influido positiva o negativamente.

! De pertinencia, sobre: si se han detectado diferencias en las necesidades de los hombres y las mujeres y si aún existen; necesidades prácticas y estratégicas atendidas; la opinión de las mujeres sobre la utilidad del programa.

! De eficiencia, sobre: desarrollo pleno del potencial de hombres y mujeres. ! De sustentabilidad, sobre: recursos humanos y materiales necesarios para las actividades.


! Evaluación inicial: análisis del problema. Necesidades de mujeres y hombres. ! Evaluación intermedia: examina la probabilidad de cumplimiento de los objetivos, los primeros

efectos de los productos y actividades, verifica si la estrategia inicial del proyecto es la adecuada y suministra la información necesaria para revisar el programa.

! Evaluación final: al término del proyecto. Verifica si los objetivos han sido logrados y si los beneficios del proyecto han alcanzado a las personas beneficiarias previstas. Suministra informaciones que facilitan las decisiones que deben ser tomadas son respecto a la terminación del proyecto o su prolongación y extrae las enseñanzas.

! Evaluación a posteriori: cierto tiempo después de concluido el proyecto. Estima la sustentabilidad de los resultados así como el impacto a largo plazo.

RECOMENDACIONES

La planificación y el análisis en función del género de las personas pueden realizarse en cualquier fase del ciclo de programación. Sin embargo resulta más eficaz incluir las cuestiones relativas al género de las personas y a la igualdad en las fases iniciales de planificación y diseño. La participación de las mujeres y sus organizaciones en la toma de decisiones en todas las fases del ciclo de programación es importante para que se beneficien del proceso de desarrollo y desempeñen un papel activo y efectivo en el mismo.



32

5. LA EVALUACIÓN EN EL BANCO INTERAMERICANO DE DESARROLLO (BID)

El Banco Interamericano de Desarrollo, desde su Oficina de Evaluación (OVE) viene realizando evaluaciones sistemáticas a todas las políticas, programas, proyectos y líneas estratégicas que emanan del Banco. Por tanto, las metodologías de evaluación son un producto utilizado y bien definido entre sus estructuras.

No obstante, las evaluaciones con perspectiva de género han sido un procedimiento poco generalizado dentro del Banco, tal y como aparece reflejado en el Informe de Evaluación RE-216 de 1996, donde se deja constancia de que, si bien el 75% de los proyectos analizados desde 1991 incluían cláusulas contractuales para recopilar información de género para el seguimiento y la evaluación, sólo se hizo en menos de la mitad de ellos.

La tendencia que se ha seguido en cuanto a la integración de la perspectiva de género en el diseño, ejecución y evaluación de proyectos, experimentó no obstante un progreso importante a partir de 1991. Este arranque parte de la política sobre la Mujer en el Desarrollo puesta en marcha por el BID en 1987, en la que se señalaba que el Banco asistiría a los Estados Miembros en sus esfuerzos para lograr la integración de la mujer en todas las etapas del proceso de desarrollo y mejora de su situación económica. Así, en los primeros cinco años después de la aprobación de dicha política, el Banco comenzó su implantación a un ritmo lento, un ritmo que fue acelerado a partir de 1991 mediante la aprobación de un Plan de Acción que incluía toda una serie de actividades para atender los temas de género en sus programas y proyectos.

Fruto de este Plan de Acción, el Banco demostró entre los años 1991 y 1994 un gran progreso en el análisis de los problemas de género. Sin embargo, desde 1995 este progreso experimentó un cierto desaceleramiento.

Por ello, desde la Oficina de Evaluación del Banco y con el concurso de la Unidad de Género y Desarrollo (WID), se procedió a la formulación de recomendaciones clave para integrar la perspectiva de género en sus programas y proyectos, recomendaciones orientadas a desarrollar indicadores que contemplen dicha perspectiva, a aplicar mecanismos que revisen sistemáticamente los temas de género en todas las etapas del programa/proyecto, y a asegurar que los y las profesionales responsables del desarrollo de los mismos dispongan del conocimiento y los recursos apropiados para considerar los temas de género en el ciclo del proyecto.

De este interés es fruto el presente estudio, a través del cual el BID pretende contar con una herramienta de evaluación que vigile la introducción de la perspectiva de género en el ciclo de vida completo de sus programas y proyectos de la formación técnica y profesional, un modelo que ayudará a que la aplicación del principio de mainstreaming sea una constante en toda actuación financiada por el mismo.



33

RECOMENDACIONES SOBRE EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS DEL BID

INDICADORES

La definición de evaluación que ofrece la Oficina de Evaluación del BID es la siguiente: “Una evaluación es la valoración sistemática y objetiva de un proyecto, programa o política continuo o completo, de su planeación, aplicación y resultados. El objetivo es determinar la relevancia y el cumplimiento de los objetivos trazados, el desarrollo de eficacia, efectividad, impacto y mantenimiento. Una evaluación debe proporcionar información creíble y útil, habilitando la incorporación de las lecciones aprendidas en el proceso de decisión tanto como del destinatario así como de los donantes”.

El modelo de evaluación que presenta, por tanto, está orientado al aprendizaje y a la extracción de lecciones aprendidas, más que a la mera justificación. Además, se trata de un modelo inspirado en el método del análisis del Marco Lógico3, y que por ello, tiene definida la siguiente tipología de indicadores:

! Los indicadores a nivel de Fin, que miden el impacto general que tendrá el proyecto y se expresa en términos de cantidad, calidad y tiempo.

El fin de un proyecto es una descripción de la solución al problema que se ha diagnosticado.

! Los indicadores a nivel de Propósito, que describen el impacto logrado al final del proyecto. Deben incluir metas que reflejen la situación al finalizar el proyecto. Cada indicador especifica cantidad, calidad y tiempo de los resultados por alcanzar.

El propósito es el resultado esperado al final del período de ejecución. Es el cambio que fomentará el proyecto. Es una hipótesis sobre lo que debiera ocurrir a consecuencia de producir y utilizar los componentes.

! Los indicadores de los Componentes. Son breves descripciones pero claras de cada uno de los Componentes que tiene que terminarse durante la ejecución. Cada uno debe especificar cantidad, calidad, servicios, etc., que deberán entregarse.

3 El Marco Lógico es un instrumento desarrollado durante los años 70 y utilizado principalmente por diferentes organismos de cooperación internacional. Es un instrumento de gestión utilizado en la planificación, ejecución y evaluación de proyectos a partir de su análisis sistemático y lógico.



34

Los componentes son las obras, estudios, servicios y capacitación específicos necesarios para lograr el propósito. Los Componentes son resultados, obras terminadas.

! Los indicadores de las Actividades, que son las tareas que cada ejecutor debe cumplir para completar cada uno de los Componentes del proyecto.

Las actividades son las tareas que la persona ejecutora tiene que llevar a cabo para producir cada componente.

En conjunto, los indicadores son el eje que define la recopilación de los datos necesarios para efectuar el seguimiento de la ejecución del proyecto y su posterior evaluación. Son determinados en la etapa de diseño y deben ser medidas cuantitativas y cualitativas del estado de ejecución de componentes, del logro del propósito –efecto directo del proyecto– o la magnitud de la contribución hacia el logro del fin –impacto de desarrollo -.

Los indicadores deben medir el cambio que puede atribuirse al proyecto; por lo tanto, deben definirse desde la concepción de la matriz del Marco Lógico, especificando la cantidad mínima necesaria para concluir que el propósito sea logrado.


Sobre la base de las relaciones que existen entre el ciclo del proyecto y las herramientas y los productos de evaluación, la Oficina de Evaluación del BID presenta dos tipos principales de evaluación: la formativa, que ocurre durante las etapas de preparación y ejecución del proyecto, y la sumativa, que se realiza al terminar y después de finalizado el proyecto.

En el cuadro siguiente se muestran los ciclos y etapas de evaluación de proyectos y sus correspondientes herramientas formales de evaluación:

CICLO DEL PROYECTO Y HERRAMIENTAS DE EVALUACIÓN (BID)

Tipo de evaluación Ciclo del proyecto Herramientas formales de evaluación

Preparación: Evaluación Ex –ante

Aprendizaje formativo: “Durante”

Ejecución: Evaluación concurrente

Marco Lógico

Instrumentos de análisis

Diagnóstico

Aprendizaje sumativo:

“Después”

Terminación: Evaluación ex –post

Evaluación ex – post

Evaluación de impacto de desarrollo



35

De este modo, la evaluación no tendrá mucho impacto en el mejoramiento del desempeño de los proyectos a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Esto significa que durante la preparación del proyecto, el proceso de evaluación deberá incluir datos de referencia e indicadores de desempeño esenciales para el futuro seguimiento y evaluación de los proyectos. A este nivel, la introducción de los principios de evaluación se considera “formativa”, pues sienta las bases para la evaluación futura. Durante la ejecución del proyecto, la evaluación adopta la forma de monitoreo o seguimiento continuo, y es considerada una vez más “formativa”, porque su propósito es respaldar la mejora continua de la ejecución del proyecto. Por último, en la terminación del proyecto, el proceso de evaluación reexamina la identificación y diseño original e indaga sobre su ejecución y desempeño de desarrollo. En esta etapa final la evaluación se considera “sumativa”.

En cada una de estas etapas de la evaluación deberán quedar abordados una serie de “temas claves”, como son:

! En la evaluación ex–ante: la problemática o necesidad identificada y analizada, las causas del problema, los datos sobre las condiciones iniciales de la problemática, la identificación de las personas involucradas y los supuestos sobre su comportamiento, así como los acontecimientos que pudieran afectar en la ejecución o en el impacto del proyecto.

! En la evaluación ex–dure (durante la ejecución del proyecto): los bienes y servicios que el proyecto entregará en la etapa intermedia y una vez concluido el proyecto, y los supuestos sobre el comportamiento de las personas involucradas y los acontecimientos que están fuera del control directo de la gerencia del proyecto, a través de la medición del progreso y la eficiencia en la ejecución del proyecto y evaluando el comportamiento de supuestos críticos que afectan al mismo.

! En la evaluación ex–post: el uso que se ha hecho de los bienes y servicios producidos por el proyecto, la solución o contribución a la solución del problema identificado y la lista de supuestos sobre el comportamiento de acontecimientos en manos de las personas beneficiarias, o fuera de su control, una vez concluido el proyecto. La evaluación ex – post, por tanto, medirá el uso y la efectividad de los productos del proyecto y evaluará el comportamiento de los supuestos que pueden afectar al impacto del desarrollo del proyecto.


En cuanto a las fases de desarrollo de la evaluación, el manual Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos, propone los siguientes pasos para llevarla a cabo:



36

Identificación de la problemática y diseño de indicadores en función del Marco Lógico construido.

¸ Monitoreo. El monitoreo es definido como “el procedimiento mediante el cual verificamos la eficiencia y la eficacia de un proyecto mediante la identificación de sus logros y debilidades y en consecuencia, recomendamos medidas correctivas para optimizar los resultados esperados del proyecto”. Dentro del monitoreo, los pasos requeridos para que éste sea exitoso incluyen:

- la familiarización con el proyecto, examinando los documentos asociados al mismo–incluido el Marco Lógico -, entrevistando a los equipos/profesionales encargados de su diseño y visitando el sitio del proyecto;

- la determinación de los requisitos de información de las personas involucradas, identificando a las personas involucradas primarias y secundarias, aclarando quiénes deben recibir los informes de monitoreo y estableciendo la frecuencia de presentación de los informes;

- el establecimiento de un sistema de información gerencial, identificando a los usuarios de la información, identificando los tipos de información prioritaria, vinculando las necesidades y las fuentes de información, estableciendo métodos apropiados para efectuar la recopilación de datos e identificando los recursos necesarios.

# La evaluación intermedia. La evaluación intermedia se puede hacer en cualquier momento durante la ejecución del proyecto. Suele usarse para analizar más a fondo los problemas de ejecución o para ayudar a tomar decisiones sobre la programación del proyecto. En ella deberá contemplarse:

- la justificación del proyecto, con los cambios en su contexto y examen de supuestos, la validez lógica del proyecto, su pertinencia continua y las repercusiones de continuar con el proyecto con o sin reformulación;

- la eficiencia, con las normas de calidad y control, informes de finanzas, programación y problemas del proyecto, y análisis y soluciones propuestas;

- la eficacia, analizando los logros de los componentes del proyecto, y la relación entre componentes, efectos y propósitos;

- y conclusiones acerca de la continuidad de la justificación del proyecto, medidas para mejorar el desempeño, experiencias adquiridas y lecciones emergentes, y un resumen de recomendaciones.

# Evaluaciones de terminación, como último eslabón del monitoreo y el primer eslabón de la evaluación ex–post. Estas evaluaciones deben tener en cuenta cinco conjuntos importantes de cuestiones generales:



37

- La continuidad de la justificación del proyecto, que se refiere al grado hasta el cual las condiciones de arranque y diseño continúan siendo compatibles con las prioridades del territorio o sector.

- La eficiencia del proyecto, que relaciona si el nivel entre las actividades y los componentes ha sido el adecuado.

- La efectividad del proyecto, que analiza si el proyecto produjo los componentes esperados, si los componentes han conducido al logro de los propósitos y si el logro de los propósitos contribuyó al fin.

- Los efectos e impactos del proyecto, que se refieren a la influencia del proyecto más allá del ámbito del fin, y tienen que ver tanto con las consecuencias planificadas como con las imprevistas del proyecto.

- La experiencia adquirida con el proyecto, de dos tipos: el aprendizaje operativo, que tiende a estar relacionado con la eficiencia y la eficacia, y el aprendizaje de desarrollo, que se concentra en los efectos e impactos.

$ La evaluación ex–post, cuya función es la de efectuar un examen sistemático sobre los niveles del propósito y del fin del proyecto transcurrido un tiempo después de la finalización de la ejecución del proyecto. Dentro de la evaluación ex–post deberán abordarse, de nuevo, cuestiones como la justificación del proyecto, la eficacia y los efectos, la eficiencia o las recomendaciones para futuros proyectos.

Con ello, las metodologías expuestas sobre la evaluación de proyectos de la Oficina de Evaluación del BID están centradas en la definición de métodos y herramientas de trabajo compatibles y extraídas a partir del Marco Lógico, lo que supone una definición de la evaluación como un proceso paralelo al diseño mismo de los proyectos.


Referente al género, y en concreto a la capacitación de mujeres, el documento denominado Los temas de género en los programas de formación técnica y profesional, elaborado por Carolina S. Fawcett y Sarah Howden, y publicado por el BID en 1998, se dedica a formular las pautas para la integración de los temas de género a todo el ciclo del proyecto. Así, como primer paso para la formulación del proyecto, el análisis de partida habrá de contemplar:

! un análisis de los destinatarios desglosados por sexo; es decir, realizar un análisis de la participación de hombres y mujeres que suministre la información necesaria sobre la cantidad de los beneficiarios del proyecto por sexo;



38

! un análisis de la sensibilidad de las estructuras institucionales existentes con respecto a los temas de género; que provea información necesaria para evaluar la posible participación de diferentes grupos de mujeres en el proyecto;

! el alcance del proyecto en relación con los destinatarios;

! el costo de las actividades dirigidas específicamente a la mujer;

! el seguimiento y la evaluación de indicadores de las metas del proyecto en cuestiones de género.

En cuanto al último punto, se hace referencia a la inclusión de indicadores en el marco lógico y en el sistema de seguimiento y evaluación de la participación de hombres y mujeres. Así, se recomienda que en todo el proceso de preparación del proyecto se señalen los tipos de indicadores necesarios para el seguimiento y la evaluación a posteriori. Para ello, los indicadores en el marco de un proyecto de capacitación podrían ser:

! el número de postulantes, el número de postulantes aceptados y el número de personas capacitadas;

! las bases académicas y la formación del participante;

! el área en la cual el/la participante ha recibido capacitación;

! la obtención de empleo, categoría del empleo y sector, nivel de ingresos antes de la capacitación y en diferentes fechas posteriores;

! el porcentaje de alumnos que han participado en actividades de apoyo, la correlación entre la formación y la obtención del empleo;

! el costo por alumno o alumna.

Por último se apunta a que los indicadores cualitativos son una pieza fundamental a la hora de evaluar con perspectiva de género, puesto que se sabe que un programa de capacitación eficaz no se limita a impartir conocimientos especializados a una mujer; el programa de aprendizaje cambia las expectativas educacionales y laborales de la mujer. Por este motivo, se debe realizar una evaluación cualitativa a fin de determinar los obstáculos sociales y culturales para la participación femenina en programas de capacitación y en la fuerza laboral, así como la posibilidad de que el programa transforme las expectativas, la motivación y la autoestima de estas mujeres.



39

RECOMENDACIONES DEL BID PARA LA EVALUACIÓN DEL IMPACTO EN FUNCIÓN DEL GÉNERO

¿QUÉ SE EVALÚA?

! Un análisis de las y los destinatarios

! Un análisis de la sensibilidad de las estructuras institucionales existentes con respecto a los temas de género

! El alcance del proyecto en relación con las/os destinatarios;

! El costo de las actividades dirigidas específicamente a la mujer ¿ CÓMO SE EVALÚA?

INDICADORES

! Número de postulantes, el número de postulantes aceptados y el número de personas capacitadas;

! Bases académicas y la formación del participante;

! Área en la cual el participante ha recibido capacitación;

! Obtención de empleo, categoría del empleo y sector, nivel de ingresos antes de la capacitación y en diferentes fechas posteriores;

! Porcentaje de alumnos que han participado en actividades de apoyo, correlación entre la formación y la obtención del empleo;

! Costo por alumno y alumna


! Evaluación ex–ante, el análisis de la problemática o necesidad identificada.

! Evaluación intermedia, en cualquier momento durante la ejecución del proyecto. Suele usarse para analizar más a fondo los problemas de ejecución o para ayudar a tomar decisiones sobre la programación del proyecto.

! Evaluaciones de terminación, como último eslabón del monitoreo y el primer eslabón de la evaluación ex–post.

! La evaluación ex–post, cuya función es efectuar un examen sistemático sobre los niveles del propósito y del fin del proyecto transcurrido un tiempo después de la finalización de la ejecución del proyecto.

RECOMENDACIONES

Realizar una evaluación cualitativa a fin de determinar los obstáculos sociales y culturales para la participación de la mujer en programas de capacitación y en la fuerza laboral, así como la posibilidad de que el programa transforme las expectativas, la motivación y la autoestima de estas mujeres.



40

6. LA EVALUACIÓN EN LA COMISIÓN ECONÓMICA PARA AMÉRICA LATINA Y EL CARIBE (CEPAL)

En el Informe de la Reunión de expertas sobre Indicadores de Género y Políticas Públicas en América Latina se establece como una necesidad la integración de la perspectiva de género en las distintas actuaciones llevadas a cabo por la CEPAL.

De los debates que se fraguaron en el transcurso de las reuniones mantenidas por estas expertas, se desprendieron un conjunto de desafíos y propuestas que abarcan desde la profundización en aspectos conceptuales y metodológicos hasta la difusión de datos estadísticos, unos desafíos que van en la línea de construir y diseñar más y mejores sistemas de seguimiento y evaluación, sobre la base de nuevos indicadores, en los que se analicen y se consideren la diferencias existentes entre hombres y mujeres en la aplicación de cualquier política.

En este contexto, al presentar sus recomendaciones, las expertas destacaron que la reflexión conceptual, metodológica y técnica sobre indicadores de género está contribuyendo a replantear el modelo de investigación y análisis, puesto que en materia de estudios de género se ha iniciado un proceso de largo plazo que llevará a las instituciones a modificar los supuestos sobre los cuales se ha estado trabajando hasta ahora.

Sin embargo, y a pesar de los avances experimentados, dentro de la CEPAL aún se siguen planteando una serie de retos en el análisis de género de las políticas y programas, unos desafíos que se enmarcan principalmente en:

! fortalecer la voluntad política para dar apoyo a los avances registrados;

! fomentar la creación de mecanismos que aseguren que la información de género producida se tome en cuenta en la formulación de las políticas públicas;

! fomentar el desarrollo de un conjunto básico de indicadores sintéticos que representen las principales ideas fuerza en relación con la equidad de género;

! incluir en este conjunto de indicadores sobre los efectos del avance de las mujeres en la sociedad en su conjunto.

Por este motivo, dentro de la CEPAL, y principalmente a través de su Unidad de Mujer y Desarrollo, las cuestiones de género están tomando cada vez más relevancia. Sin embargo, los documentos analizados a este respecto se circunscriben más al marco de las recomendaciones que al de las metodologías y modelos de evaluación de género, un análisis que es presentado a continuación.



41

RECOMENDACIONES SOBRE EVALUACIÓN EN EL MARCO DE LAS POLÍTICAS DE LA CEPAL

INDICADORES

Según el manual Evaluación de proyectos sociales de la CEPAL, “la evaluación es una actividad que tiene por objeto maximizar la eficacia de los programas en la obtención de sus fines y la eficiencia en la asignación de recursos para la consecución de los mismos, y en ese sentido, comparar los efectos de un programa con las metas que se propuso alcanzar”. Por ello, una instancia central del proceso de evaluación consiste en determinar el grado en que se han alcanzado las finalidades del proyecto, lo que requiere dimensionar el objetivo general en subconjuntos de objetivos específicos, cuyo logro será medido a través de indicadores. Por lo tanto, “el indicador es la unidad que permite medir el alcance de un objetivo específico”.

Así, la construcción de indicadores que propone la CEPAL deberá partir de los objetivos específicos del programa/proyecto, unos indicadores que podrán estar referidos a y medir:

! Los efectos, todo comportamiento o acontecimiento del que pueda razonablemente decirse que ha sido influido por algún aspecto del programa o proyecto. Hay que distinguir entre objetivos y efectos, ya que los objetivos constituyen la situación que se pretende alcanzar con la realización del proyecto y se ubican temporalmente antes de la realización del proyecto, mientras que los efectos constituyen resultados de las acciones llevadas a cabo en el proyecto/programa y se verifican durante o después del mismo.

! El impacto, que se define en el manual como un resultado de los efectos de un proyecto.

! La cobertura, que es la proporción que existe entre la población que forma parte del grupo meta, tiene la necesidad y recibe los servicios, dividida por la población total del grupo meta que tiene la necesidad que el proyecto pretende atender.

! La utilización, la relación existente entre los recursos efectivamente utilizados y los recursos disponibles para una actividad del programa/proyecto en cierta unidad de tiempo.

! La eficacia, que es el grado en que se alcanzan los objetivos y metas del proyecto en la población beneficiaria, en un periodo determinado, independientemente de los costos que ello implique.

! La eficiencia, las cantidades mínimas invertidas para el logro de los objetivos.

! La efectividad, es decir, la relación entre los resultados y el objetivo.



42


La CEPAL establece dos tipos de evaluación en función de del momento en que se realiza:

! Evaluación ex–ante. Tiene por finalidad proporcionar criterios racionales para una crucial decisión cualitativa: si el proyecto debe o no implantarse. También permite ordenar los proyectos según su eficiencia para alcanzar los objetivos perseguidos.

! Evaluación ex-post. La dimensión temporal permite diferenciar, en la evaluación ex–post, las fases del durante la realización -evaluación de procesos- y del después –evaluación terminal-. También pueden diferenciarse según enfaticen el análisis de la eficiencia operacional o la del impacto:

- Evaluación de procesos. Determina la medida en que los componentes de un proyecto contribuyen o son disfuncionales a los fines perseguidos. Se realiza durante la ejecución y, por tanto, afecta a la organización y las operaciones.

- Evaluación de impacto. Busca apreciar en qué medida el proyecto alcanza sus objetivos y cuáles son sus efectos secundarios. Puede ser llevada a cabo durante o después de finalizado el proyecto.

Ambos tipos de evaluación se distinguen, entonces, por el tipo de problemas, las decisiones a las que afectan y los potenciales usuarios de sus resultados. La evaluación de procesos mira hacia delante –a las correcciones o adecuaciones- y la de impacto hacia atrás –si el proyecto funcionó o no, descubriendo las causas -.


Para realizar la evaluación de un proyecto, la CEPAL propone el siguiente proceso:

Delimitar la población o universo del proyecto, es decir, el conjunto de personas receptoras de los servicios o bienes del mismo.

¸ Establecer las unidades de análisis que constituyen el objeto de la evaluación.

# Definir los objetivos o hipótesis de las que parte la evaluación.

# Diseñar un plan de análisis, lo que significa:

- sintetizar la información disponible en indicadores;



43

- elegir los métodos y técnicas que permitan utilizar la información para alcanzar los resultados buscados;

- apreciar la naturaleza de los indicadores y aplicarles escalas de valores;

$ Recoger la información.

# Procesar los datos una vez hayan sido recogidos.

# Realizar el análisis de los datos en función de los objetivos de la evaluación.

# Elaborar un informe de terminación del proyecto que incluya:

- un resumen del proyecto;

- los objetivos y la descripción del proyecto;

- los resultados del proyecto;

- las lecciones aprendidas de la experiencia;

- recomendaciones para futuros proyectos;


La CEPAL publicó en 1998 el documento Incorporación de la perspectiva de género en proyectos productivos de la CEPAL, un manual en el que se hace mención expresa a que la incorporación de la dimensión del género es importante si el objetivo de los proyectos es la eficiencia y la equidad, una incorporación que pasa necesariamente por considerar, desde el diseño de los proyectos, las diferencias en las características, en las necesidades y en el impacto según el género. Así, para la CEPAL, la dimensión del género debe estar presente en todas las etapas del ciclo del proyecto, desde el inicio hasta la evaluación del impacto. Y en concreto, es precisamente en esta última etapa en la que debe quedar incluida una metodología que considere el impacto diferenciado entre hombres y mujeres.

Además, en este documento se defiende la idea de que los proyectos nunca son neutros desde el punto de vista del género, ya que todos ellos pueden influir positiva o negativamente en la brecha existente entre los sexos.

Como recomendación general para el éxito en la incorporación de la perspectiva de género en los proyectos, la CEPAL sugiere que el proceso sea gradual y participativo. Se explica cómo el fracaso en la mayoría de los casos se deriva del hecho de que se pretende que los proyectos se modifiquen para llegar a las mujeres, en circunstancias en las que en su formulación se han ignorado las diferencias en las especificidades de hombres y mujeres,



44

suponiendo que todos los proyectos beneficiarán a ambos sexos de igual manera, y si no es así, agregan componentes especiales para que así sea.

El propósito último que se plantea la CEPAL es que todos los proyectos beneficien a hombres y mujeres, y para ello, es indispensable tomarlos en cuenta a lo largo de todo el ciclo del proyecto, incluida la evaluación.

Por este motivo, la CEPAL ha propuesto una serie de recomendaciones para la incorporación de la perspectiva de género a lo largo de la vida de los proyectos, y que en concreto sobre la evaluación se plasman en las siguientes:

! En la evaluación ex–ante: identificación detallada de la población objetivo del proyecto, teniendo en cuenta las necesidades de hombres y mujeres, de los problemas que ellos y ellas enfrentan y de sus posibilidades de participar y beneficiarse del proyecto.

! La recolección de la información debe hacerse por sexo, y debe permitir la identificación de roles de hombres y mujeres. Para ello se deben utilizar datos oficiales y no oficiales, estudios cuantitativos y cualitativos que permitan un diagnóstico de la situación del grupo objetivo al inicio del proyecto lo más detallada posible.

! En el análisis de la participación y el impacto:

- considerar la opinión de hombres y mujeres en la implementación del proyecto;

- analizar el posible efecto sobre la situación de las mujeres y de los hombres, y en su acceso a los recursos;

! En el análisis del acceso a los recursos, analizar si las mujeres han tenido las mismas posibilidades de acceder a los recursos que los hombres.

! Realizar un análisis sobre si hombres y mujeres han sido igualmente informados sobre el proyecto y las oportunidades que éste les brinda.

! Medir cómo contribuirán hombres y mujeres a la sustentabilidad del proyecto.

! Descripción de los mecanismos que han asegurado que los beneficios llegan a hombres y mujeres.

! Diseñar mecanismos de seguimiento que aseguren la participación diferenciada de hombres y mujeres.

! Incluir como uno de los criterios de evaluación el impacto sobre hombres y mujeres, de modo de conocer el efecto en la reducción de brechas existentes entre los géneros.



45

En cuanto a los indicadores, en respuesta al interés de los países miembros de la Mesa Directiva de la Conferencia Regional sobre la Mujer de América Latina y el Caribe por contar con instrumentos precisos que permitan identificar avances y retrocesos en la situación de las mujeres en los países de la región, se elaboró el estudio Indicadores de género para el seguimiento y la evaluación del programa de acción regional para las mujeres de América Latina y el Caribe, 1995-2001 y la plataforma de acción de Beijing. Este se enmarca en los esfuerzos de la CEPAL por elaborar un sistema de indicadores que haga posible el seguimiento y la evaluación de los acuerdos regionales e internacionales relacionados con el mejoramiento de la condición de las mujeres y la equidad de género, a la vez que faciliten y orienten la recopilación de datos cuantitativos tanto sobre la población femenina como masculina y su posterior análisis mediante la aplicación del enfoque de género en el desarrollo.

Con este propósito, dicho documento presenta un conjunto de indicadores elaborados a partir de las medidas recomendadas a los gobiernos en la Plataforma de Acción de Beijing, el Programa de Acción Regional para las Mujeres de América Latina y el Caribe, 1995-2001, y el Plan de Acción de la Segunda Cumbre de las Américas. Dado el alcance de dichas recomendaciones, se seleccionaron aquellas dimensiones que pueden medirse más fácilmente con las estadísticas disponibles en la mayoría de los países, respetando al mismo tiempo la variedad de los temas considerados en los documentos.

Los indicadores propuestos se definieron con el objeto de medir con precisión los cambios registrados a lo largo del tiempo, permitiendo la comparación entre países, por lo que se trata de indicadores muy generalistas enfocados a cubrir aspectos relacionados con la situación de las mujeres –salud, educación, pobreza, violencia, etc.-. En este sentido, y dada la amplitud de la batería de indicadores definidos, en relación al objeto del presente estudio cabe destacar los siguientes:

INDICADORES DE GÉNERO DE LA CEPAL PARA LA EVALUACIÓN DE POLÍTICAS

TEMÁTICA INDICADOR DESCRIPCIÓN

Diferencial de género en matrícula

Matrícula de mujeres dividida por matrícula de hombres

Educación y capacitación de la mujer

Acceso a la formación

Porcentaje de mujeres matriculadas en cursos “masculinos” sobre el total

Porcentaje de hombres matriculados en cursos “femeninos” sobre el total



46

TEMÁTICA INDICADOR DESCRIPCIÓN

Acceso a becas

Número de becas otorgadas a mujeres divido por matrícula total de mujeres

Número de becas otorgadas a hombres dividido por matrícula total de hombres

Medidas implementadas para eliminar estereotipos sexuales

en el proceso educativo

Lista de medidas concretas sobre modificaciones en los planes de estudio, en los textos académicos, en el material didáctico, en la capacitación y en la formación de formadores

La mujer y la economía Cambio en patrones genéricos de empleo a través de servicios

de colocación

Proporción del total de mujeres que encontraron empleo, que se ocuparon en “ocupaciones masculinas”

Proporción del total de hombres que encontraron empleo, que se ocuparon en “ocupaciones femeninas”

Grado de institucionalidad de las relaciones interministeriales sobre políticas con perspectiva

de género

Número de Ministerios que tienen convenios o instrumentos equivalentes vigentes con el organismo encargado de asuntos de género, dividido por el total de Ministerios

Gasto público para el avance de la mujer

Presupuesto anual global de gastos de asuntos de género o similares, dividido por el número total de mujeres

Mecanismos institucionales para el adelanto de la mujer

Institucionalidad Lista de organismos encargados del adelanto de la mujer y de sus niveles de decisión

Puede apreciarse que las recomendaciones sobre la integración de la perspectiva de género en la evaluación de políticas/programas/proyectos tienen un marcado carácter



47

generalista, al igual que la propuesta realizada sobre indicadores de género, que se centra más en lo macro (políticas) que en la medición de lo micro (proyectos y programas).



48

RECOMENDACIONES DE LA CEPAL PARA LA EVALUACIÓN DEL IMPACTO EN FUNCIÓN DEL GÉNERO

¿QUÉ SE EVALÚA?

Las diferencias en las características e impactos de un proyecto sobre las mujeres y los hombres. Medir la reducción de las brechas existentes entre los sexos.

¿ CÓMO SE EVALÚA?

INDICADORES

! Efectos, resultados de las acciones llevadas a cabo en el proyecto/programa ! Impacto, un resultado de los efectos de un proyecto. ! Cobertura proporción entre la población que forma parte del grupo meta y recibe los

servicios, dividida por la población total del grupo meta que tiene la necesidad que el proyecto pretende atender.

! Utilización, la relación existente entre los recursos efectivamente utilizados y los recursos disponibles.

! Eficacia, que es el grado en que se alcanzan los objetivos y metas del proyecto en la población beneficiaria,

! Eficiencia, las cantidades mínimas invertidas para el logro de los objetivos. ! Efectividad, es decir, la relación entre los resultados y el objetivo.


! Evaluación ex–ante. Tiene por finalidad proporcionar criterios racionales para una crucial decisión cualitativa: si el proyecto debe o no implementarse. También permite ordenar los proyectos según su eficiencia para alcanzar los objetivos perseguidos. ! Evaluación ex–post.

Evaluación de procesos. Determina la medida en que los componentes de un proyecto contribuyen o son disfuncionales a los fines perseguidos. Se realiza durante la implementación y, por tanto, afecta a la organización y las operaciones. Evaluación de impacto. Busca apreciar en qué medida el proyecto alcanza sus objetivos y cuáles son sus efectos secundarios. Puede ser llevada a cabo durante o después de finalizado el proyecto.

RECOMENDACIONES

Considerar, desde el diseño de los proyectos, las diferencias en las características, en las necesidades y en el impacto según el género.



49

7. CUADRO COMPARATIVO DE LAS RECOMENDACIONES SOBRE EVALUACIÓN DE LOS PRINCIPALES ORGANISMOS INTERNACIONALES RELACIONADOS CON LA FORMACIÓN Y EL EMPLEO

INDICADORES MOMENTOS FASES RECOMENDACIONES EVALUACIÓN GÉNERO

UE ! Indicadores de recursos (inputs)

! Indicadores de realización (outputs)

! Indicadores de resultados (outcomes),

! Indicadores de impacto

Partiendo de la perspectiva de cómo el programa o proyecto tiene en cuenta la igualdad de oportunidades, lo que implica clasificarlo como neutro, que tiene en cuenta la IO o que está orientado hacia la IO

! La evaluación previa o evaluación ex -ante

! La evaluación intermedia

! La evaluación posterior o evaluación ex–post

Definir la situación de base e indicadores de contexto. ¸ Realizar el seguimiento operativo

# Definición de los indicadores de seguimiento. # Cuantificación previa o evaluación ex–ante. $ Aplicación de los indicadores de seguimiento.

La recogida de datos El análisis inicial de los datos Informes de evaluación intermedia

# Evaluación final o ex -post.

! Compromiso de alto nivel ! Concienciación ! Estructuras de

cooperación ! Distribución clara de

responsabilidades ! Expertos/as en asuntos

de “género” ! Seguimiento en todas las

fases

OIT ! Indicadores sobre validez del diseño

! Indicadores sobre proceso de ejecución

! Indicadores sobre desempeño: pertinencia, eficacia, eficiencia, sustentabilidad,

! Evaluación inicial ! Evaluación intermedia ! Evaluación final ! Evaluación a posteriori

Fase preparatoria

¸ Fase de evaluación

# Evaluación a posteriori

Incluir las cuestiones relativas al género desde las fases iniciales de planificación y diseño



50

INDICADORES MOMENTOS FASES RECOMENDACIONES EVALUACIÓN GÉNERO

causalidad BID ! Indicadores de fin

! Indicadores de propósito ! Indicadores de

componentes ! Indicadores de

actividades

! Evaluación ex–ante ! Evaluación ex–dure ! Evaluación ex–post

Identificación de la problemática ¸ Monitoreo

# . Evaluación intermedia

# Evaluación terminación

$ Evaluación ex-post

CEPAL Indicadores de: ! Efecto ! Impacto ! Cobertura ! Utilización ! Eficacia ! Eficiencia ! Efectividad

! Evaluación ex–ante ! Evaluación ex–post:

Evaluación de procesos Evaluación de impacto

Delimitar población

¸ Establecer unidades de análisis

# .Definir objetivos e hipótesis de la evaluación # Diseñar plan de análisis

$ Recoger información

# .Procesamiento de datos

# Análisis de los datos

& Informe de terminación

Considerar, desde el diseño de los proyectos, las diferencias en las características, necesidades e impacto según el género



51

8. LA EVALUACIÓN CON PERSPECTIVA DE GÉNERO SEGÚN OTROS ORGANISMOS Y ENTIDADES EXPERTAS

Lo que ha ofrecido este capítulo hasta el momento han sido las recomendaciones y orientaciones básicas sobre evaluación que, desde algunos de los organismos más relevantes del panorama internacional, se han propuesto. Pero además de estos organismos, el análisis realizado de la información secundaria ha posibilitado el acceso a toda una serie de documentos, que dada su excelencia u óptima aportación al tema, desean ser incluidos en el marco del presente estudio.

Se trata de un material de procedencia heterogénea y diversa, nacido del interés por el tema de una serie de organismos, de la ejecución de proyectos, o de la propia práctica de la evaluación. De él no se pretende extraer modelo alguno de evaluación, ni proponer una metodología con carácter ejemplar, sino intentar plasmar las principales enseñanzas, lecciones aprendidas, pautas y/o elementos esenciales sobre la evaluación que, desde el trabajo desarrollado por los organismos o por los y las profesionales, se han extraído y recopilado. Son enseñanzas, por tanto, nacidas de la experiencia y que podrán servir como pilar para futuras evaluaciones.

Algunos de estos documentos son valiosos por el método para la construcción de indicadores, otros por el sistema de los pasos en la evaluación que proponen, y algunos por la aportación que realizan a las cuestiones de género en la evaluación. Por este motivo, el patrón de análisis por el que se ha optado para el desarrollo de este apartado no sigue las pautas del anterior, sino que ha extraído de cada documento aquellos elementos que aportan mayor valor añadido al objeto del presente estudio.

Así, a continuación se presenta un repaso a las recomendaciones sobre evaluación que han sido sugeridas a través de manuales y guías por el Fondo Internacional de Desarrollo Agrícola (FIDA), el proyecto NOW Emprendedoras de la Mancomunidad del Norte de Tenerife, la Unión Mundial para la Naturaleza Humana (UINC), el programa PLANFOR del Ministerio de Trabajo y Empleo de Brasil, y la Evaluación Intermedia del Marco Comunitario Apoyo de Objetivo 3 del Fondo Social Europeo en España realizada por ESTUDIS por encargo de la Unidad Administradora del Fondo Social Europeo.



52

RECOMENDACIONES OFRECIDAS POR EL FONDO INTERNACIONAL DE DESARROLLO AGRÍCOLA (FIDA)

El Fondo Internacional de Desarrollo Agrícola (FIDA) publicó en 1995 una guía denominada Directrices básicas para la Evaluación de las Cuestiones de Género, orientada principalmente a proponer medidas para introducir la perspectiva de género en los proyectos llevados a cabo por dicho organismo destinados a personas de bajos ingresos y relacionados con la agricultura. Sin embargo, muchas de las premisas que aparecen reflejadas en el documento sirven como pautas con posibilidad de ser aplicadas a cualquier tipo de evaluación con perspectiva de género.

La guía parte de que la integración de las cuestiones de género es un principio básico, puesto que tanto los hombres como las mujeres tienen derecho a participar en todas las actividades y recibir todos los servicios y recursos de los proyectos equitativamente, un principio que en su aplicación exige que se informe por igual a hombres y mujeres sobre todos los servicios, recursos y actividades del proyecto, se le ofrezca a hombres y mujeres la misma oportunidad de participar y se formulen los requisitos necesarios para acceder a los diferentes servicios y recursos del proyecto de forma que no se excluyan a las mujeres.

Para ello, la clave estará en tener en cuenta las necesidades y limitaciones específicas de los hombres y las mujeres, un requisito, que según el FIDA, raramente es satisfecho en los proyectos por la falta de una evaluación de las necesidades reales de las mujeres, pero que tiene una importancia decisiva en la fase inicial de elaboración y debe incluirse en la identificación y evaluación ex –ante del proyecto y/o en la primera fase de la ejecución. Sin embargo, para el FIDA, se ha tendido a considerar a la mujer como un grupo aparte que tiene necesidades e intereses distintos o especiales y que para satisfacerlos lo mejor es elaborar pequeños “componentes específicos a favor de la mujer”. Esto, a su vez, ha llevado muchas veces a sustituir los servicios y recursos esenciales de los proyectos por otros menos importantes y menos productivos dirigidos a la mujer. El FIDA defiende en ese sentido la idea de que el género es una variable transversal, y que por tanto, debe estar integrado en todos los componentes de las evaluaciones y no con carácter puntual.

Así, para evaluar un proyecto en relación con las cuestiones de género deberán tenerse en cuenta varias cuestiones e indicadores claves, entre los que cabe destacar:

Durante el diagnóstico

! La distribución equilibrada de los servicios y los recursos de proyectos entre los hombres y las mujeres del grupo–objetivo. En este campo, sólo puede considerarse que un proyecto ha tenido éxito cuando los hombres y las mujeres de la misma condición socioeconómica de la población objetivo se han beneficiado por igual.



53

! En qué medida la diferencia de las necesidades, preferencias y limitaciones de los hombres y mujeres son reales o sólo aparentes y responden predominantemente a los estereotipos y prácticas discriminatorias imperantes que limitan las posibilidades de que las mujeres expresen sus necesidades y preferencias.

! En qué medida el suministro de servicios y recursos a las mujeres, incluso cuando se ofrecen los mismos servicios y recursos a los hombres y a las mujeres, ha de diferenciarse por género para atender más eficazmente las necesidades de ambos.

Durante la estrategia de integración

! En qué medida las desigualdades entre hombres y mujeres han impedido que las mujeres participaran efectivamente en los servicios y recursos del proyecto y se beneficiaran de ellos.

! En qué medida los servicios y recursos del proyecto han ayudado a superar las necesidades y limitaciones reales de los hombres y de las mujeres del grupo – objetivo.

De esta manera, el FIDA propone como cuestión esencial para la integración de la perspectiva de género en la evaluación de proyectos el considerar este aspecto como un elemento transversal, y no como medida puntual a integrar en alguna etapa del ciclo del proyecto, un hecho que termina provocando una menor eficacia de las acciones de los proyectos con respecto a las mujeres.

LA EVALUACIÓN DE PROYECTOS DE IGUALDAD DE OPORTUNIDADES PARA LAS MUJERES (PROYECTO NOW – EMPRENDEDORAS/TENERIFE - ESPAÑA)

La Mancomunidad del Norte de Tenerife en España, consciente de la problemática que viven las mujeres de su territorio, trabajó coordinadamente con distintos Ayuntamientos en un proyecto NOW Emprendedoras (New Opportunities for Women) financiado por la Unión Europea. Fruto de dicho proyecto se elaboró la Guía práctica para la evaluación teórico – metodológica de proyectos de igualdad de oportunidades para mujeres, una herramienta de trabajo útil a todo el personal que se dedica a procurar la igualdad real entre las personas, independientemente de su sexo.

La aportación de este documento se centra, sobre todo, en el análisis pormenorizado que realiza de las fases de la evaluación a través de una serie de etapas lógicas, que podrían resumirse de la siguiente manera:

! Una primera etapa de negociación con el equipo promotor de la evaluación y las personas evaluadoras. Esta etapa está dedicada a



54

clarificar la motivación, los objetivos perseguidos y las demandas expresadas por el equipo o institución que encarga la evaluación. Es la etapa en la que deberá definirse el enfoque de la evaluación, los recursos necesarios, el nivel organizacional, etc.

! Una segunda etapa de aproximación, estudio y comprensión de las características del proyecto. Consistirá en la familiarización con los objetivos, acciones y recursos del proyecto, de la que se podrán obtener numerosas ideas acerca de cuál podría ser el tipo de evaluación más oportuna. Esta primera aproximación suele realizarse a través de entrevistas con las personas que definieron, dirigen o gestionan el proyecto y mediante el análisis de toda la documentación existente.

! Una tercera etapa de decisión sobre la viabilidad de la evaluación, considerando dos cuestiones fundamentales: qué predisposición hay hacia la evaluabilidad y si realmente es evaluable el proyecto.

! Una cuarta etapa de establecimiento del tipo de evaluación que queremos realizar, es decir, se definirá cuál es el objetivo de la evaluación. En ese sentido, habrá de decidirse entre los siguientes tipos de evaluación:

- Evaluación de necesidades. Se centra en el análisis de la población destinataria u objeto de las actuaciones del proyecto, y en la valoración real de sus necesidades.

- Evaluación del diseño y planificación del proyecto. Se trata del análisis sobre las ventajas e inconvenientes de las estrategias elegidas y sobre el grado de adecuación, coherencia, articulación, etc., de éstas respecto al planteamiento global del proyecto y a la magnitud o características de la población a la que se dirige.

- Evaluación de la evaluabilidad. Es la evaluación de las posibilidades reales de evaluar el proyecto. La evaluación de la evaluabilidad debe sugerir, si se realiza de manera previa a la ejecución del proyecto, alternativas para una mejor definición.

- Evaluación de la implementación, que es la evaluación del proceso, del cumplimiento con la ejecución de las medidas previstas y de su instrumentalización.

- Evaluación de la cobertura, del alcance del proyecto sobre la población objeto.

- Evaluación de la calidad de las acciones desarrolladas, de los servicios ofrecidos y de las actividades realizadas.



55

- Evaluación de resultados, por la que se valorarán los logros o efectos de la intervención en la población de acuerdo a los objetivos específicos que se hayan perseguido.

- Evaluación del impacto. Es la evaluación de los resultados pero no sobre la población objetivo definida a priori sino sobre una población más amplia.

- Evaluación del esfuerzo, es decir, la medición del grado de ejecución presupuestaria.

- Evaluación de la eficiencia, que analiza la relación entre los recursos invertidos y los resultados obtenidos.

! Una quinta etapa de diseño de la evaluación, que consistirá en:

- Desglose de los objetivos, las pretensiones de alcance de la evaluación, cuáles serán las técnicas para la recogida y cómo se realizará el análisis.

- Identificación de las personas o colectivos participantes y definición de los roles de cada cual.

- Definición del Plan de actuación: ordenación de todos y cada uno de los elementos del trabajo, con definición expresa de las relaciones operativas y temporales entre las actividades, y de los cauces para realizar ajustes y correcciones a lo largo de la ejecución, lo que incluye:

a) Determinación y descripción de las actividades:

Recursos necesarios ¿cuáles y cuándo se necesitan?;

Tiempos de realización de las actividades;

Relación de dependencia entre esas actividades;

Personas que pueden realizarlas;

b) Normas y protocolos para cada actividad

Normas que unifiquen el trabajo de todas las personas participantes en la evaluación (mismos guiones de entrevistas, reglas de actitud, etc.). Todas/os deben saber: qué tienen que hacer, cuándo lo tienen que hacer, dónde, con quién y cómo.

c) Asignación de funciones y tareas de cada agente de la evaluación, delimitando e informando claramente a cada cual del organigrama de responsabilidades, el sistema de comunicación, el tipo de participación y los momentos en los que se solicita su colaboración.



56

d) Esquema de coordinación y comunicación. Organigrama donde se especifiquen las responsabilidades, los procesos de coordinación y los canales de flujo de comunicaciones.

e) Identificación de las relaciones de dependencia y temporalidad entre las actividades.

- Relación de los recursos necesarios.

- Calendarización. Gráficos de programación y seguimiento.

! Sexta etapa de ejecución de la evaluación. La ejecución de la evaluación comenzará con la recogida sistemática de la información y medición, continuará con el análisis de los datos obtenidos orientado a la obtención de conclusiones y la elaboración de propuestas de acción futuras, y la elaboración del/los informe/s de evaluación, que incluya:

- pre- conclusiones;

- aquellas preguntas relativas al impacto del proyecto, la eficacia de las acciones, etc., que permanecen sin respuesta y podrían ser objeto de evaluación en el futuro;

- recomendaciones operativas.

! Una última etapa de discusión de los resultados, utilización y difusión. Antes de difundir los resultados definitivos, es necesaria su discusión con el equipo promotor de la evaluación. Además de aportar matices a las conclusiones, será éste quien haga la selección de los contenidos a publicar. Las recomendaciones formuladas deben ser factibles, prácticas, y cabría la posibilidad de proponer una alternativa maximalista y otra que responda a lo mínimo a realizar.

En cuanto al procedimiento para la construcción de indicadores, la guía propone como primera medida definir el concepto a evaluar, es decir, delimitar los criterios de valor, que son aquellas variables sobre las que centrar la atención y sobre cuyo comportamiento se recoge la información para posteriormente elaborar un juicio. Una vez establecido el concepto de valor habrá que descomponerlo en múltiples dimensiones, a partir de las cuales se establecen los indicadores. Estos son definidos como la transformación de lo formal en lo lógico, del concepto al número. Es la operativización de las observaciones que vamos a realizar con el cumplimiento de determinado objetivo que es difícilmente medible de manera directa. A partir de ahí, se podrá construir un sistema de indicadores que se adecuen a las características del proyecto y a los objetivos de la evaluación –volumen de datos precisados, calidad, accesibilidad y recursos existentes para la recogida y análisis de estos.-. Lo que sugiere la guía es que, a pesar de que los conceptos requieren habitualmente de diferentes indicadores para conseguir abarcar todas sus dimensiones, no



57

es conveniente abusar de su número pues pueden convertirse fácilmente en una sobrecarga de trabajo que en realidad no haga excesivas aportaciones.

Esta guía, representa así, un manual de procedimiento para poner en marcha una evaluación que parta simultáneamente desde el diseño del proyecto, de manera que sean dos procesos paralelos de retroalimentación. Está orientada a la visión de la evaluación como un subproyecto dentro del proyecto, y que por tanto, se defina en concordancia con los principales elementos de este último.

EL SISTEMA DE MONITOREO Y EVALUACIÓN PROPUESTO POR LA UNIÓN MUNDIAL PARA LA NATURALEZA HUMANA (UICN)

En 1997, la Unión Mundial para la Naturaleza Humana, junto con la Red Nacional (REDNA), la Unidad de Facilitación Regional (UFAR) y la Fundación Arias, de Costa Rica, iniciaron el proyecto Hacia la Equidad, cuyo fruto fue la elaboración de una serie de módulos metodológicos para apoyar acciones hacia la igualdad de género en proyectos relacionados con el desarrollo rural. Específicamente sobre evaluación se han publicado dos módulos: el módulo 4 denominado Tomándole el pulso al género, donde se propone un sistema de monitoreo y evaluación sensibles al género, y el módulo 6 con el nombre de Ojos que ven … corazones que sienten, en el que se presenta el proceso para la construcción de indicadores de género.

Estos módulos parten de la concepción de que el seguimiento y la evaluación no pueden ser tratados por separado, ya que se trata de procesos entrelazados, en el que el primero alimenta y posibilita el segundo. Por tanto, toda propuesta de métodos y sistemas para la conformación de modelos de evaluación con perspectiva de género, pasa por analizar ambos aspectos. A este respecto, la definición que dan de ambos conceptos es:

! Monitoreo. Proceso continuo y sistemático que mide el progreso y los cambios causados por la ejecución de un conjunto de actividades en un periodo de tiempo, sobre la base de indicadores determinados con anterioridad. Se trata, por tanto, de un mecanismo que comprueba hasta qué punto se cumplen las metas propuestas durante la ejecución del proyecto, pero también revisa y da señales de advertencia sobre situaciones particulares o actividades problemáticas que no funcionan como habían sido planeadas y diseñadas.

En este sentido, el documento relaciona el monitoreo con la eficiencia, es decir, la relación entre el trabajo planificado y el ejecutado o la capacidad de realizar el trabajo.

! Evaluación. Es el proceso integral y continuo de investigación y análisis de los cambios más o menos permanentes que se materializan en el mediano y largo plazo, como una consecuencia directa o indirecta del quehacer de un proyecto en el contexto, la población y las organizaciones participantes. La evaluación se



58

relaciona, en este caso, con el análisis de los efectos e impactos, y con la eficacia.

La eficacia es definida como la medida que indica cuán cerca se está del objetivo, la capacidad de incidir en la realidad con la intención y orientación que se pretende. Los efectos se presentan como las modificaciones del comportamiento o el acontecimiento donde el proyecto ha influido, mientras que los impactos son los cambios más o menos permanentes y sostenibles a largo plazo que se experimentan en la población objetivo y en las organizaciones participantes en el proceso de desarrollo.

Para la construcción de un sistema de monitoreo y evaluación sensible al género, según estos manuales, deben tomarse en cuenta los siguientes pasos adaptados a las condiciones y necesidades de cada proyecto:

1. Tomar la decisión y organizar un sistema de monitoreo y evaluación asignando los recursos necesarios.

2. Seleccionar a las/os participantes, quién va a participar en los procesos de seguimiento y evaluación.

3. Establecer las variables y los indicadores, indicadores que no deben considerarse solamente como datos cuantitativos, sino también como instrumentos que midan opiniones, percepciones, juicios, etc. Los indicadores cualitativos y cuantitativos expresan dimensiones distintas, pero complementarias, sobre la realidad.

Para el establecimiento de los indicadores se recomienda partir del contexto, del que se extraerán las variables de entrada, de proceso y de producto a medir, a partir de las cuales se establecerá el método de medición.

Las variables de contexto, también llamadas como “calificadoras”, tienen una incidencia en todas las demás y ayudan a interpretar los resultados encontrados y los modulan. Se refieren a las características del territorio y a las relaciones entre hombres y mujeres que en él se dan. Las variables de entrada son los recursos de todo tipo destinados a eliminar las desigualdades entre hombres y mujeres. También se podrían considerar como variables de entrada alguna de las medidas tomadas, en el nivel formal, en las diferentes políticas de igualdad, etc. Las variables de proceso se caracterizan por tener un carácter más dinámico que las otras; hacen referencia a procesos seguidos en diferentes espacios para impulsar la equidad de género. Por último, las variables de producto son el núcleo central de la propuesta de indicadores de género que se desean establecer. Están constituidos por las variables o indicadores que se refieren a los efectos y consecución de los objetivos perseguidos por las diferentes medidas adoptadas.



59

En cuanto al método, consiste en el camino a seguir: un conjunto de sugerencias o propuestas sobre procedimientos o procesos que se pueden seguir para aplicar los indicadores de género. Para el manual de indicadores de equidad, es útil imaginarse dicho proceso como una Pirámide de Información: diferentes indicadores de equidad de género pueden ser construidos a partir de un mismo proceso de recopilación de información primaria. Es decir, más de una pirámide (=indicador) puede ser construida de la misma base de información. De manera que información muy importante puede ser utilizada para varios propósitos.

Cada una de las dimensiones que se establezcan como dimensiones a medir deberán contar con indicadores iniciales -que midan la situación de partida-, indicadores intermedios –que midan cuánto ha cambiado la situación de partida– e indicadores finales –que midan la situación al final del proyecto.

4. Establecer los instrumentos de recopilación de la información, a partir de la batería de indicadores construida.

5. Procesar la información. En esta fase se pretende sentar las bases para la construcción de un sistema integrado de indicadores de equidad de género, identificando si un indicador es inicial, intermedio o final, multiplicando el peso que corresponda a cada tipo de indicador –de más importante a menos importante-, según una escala de valor previamente establecida. Con la ponderación, cada uno de los indicadores responderán al avance en términos de equidad de género en las relaciones entre las mujeres y los hombres.

6. Elaborar informes intermedios y finales del estado de la cuestión.

Según la experiencia de las entidades que han trabajado en la elaboración de estos manuales, las principales dificultades que encuentran los proyectos a la hora de poner en marcha estos sistemas de monitoreo y evaluación con perspectiva de género se derivan de:

! una concepción prevaleciente de que evaluar con enfoque de género es complejo, propio de expertos y difícil de hacer aproximaciones;

! los aspectos cualitativos –insistentemente defendidos en estas guías para la realización de la evaluación de género– son poco científicos y medibles y, por tanto, no se pueden elaborar instrumentos para ellos;

! la carencia de puntos de partida. Se pretende crear sistemas de monitoreo y evaluación sin contar con indicadores ni elementos de análisis de género de los aspectos que se desean afectar. Al no contar con indicadores de los cambios deseados es más difícil medir los cambios;



60

! construcción de sistemas de monitoreo y evaluación en una institución o proyecto que no ha definido una política de equidad de género y no la ha integrado en su visión;

! falta de previsión de elementos de medición con relación a los cambios positivos o negativos de los varones.

Por tanto, a partir de las recomendaciones dadas por los y las expertas que han trabajado en la definición de los documentos analizados, la visión del género en la evaluación de políticas, programas y proyectos podrá ser integrada y entendida, no como una fuente de sobrecarga de trabajo sin funcionalidad, sino como una fuente de valor añadido en toda evaluación que se proponga.

RECOMENDACIONES METODOLÓGICAS DE EVALUACIÓN OBTENIDAS DEL PLANFOR (BRASIL)

El PLANFOR es un gran proyecto de formación profesional para la cualificación de los trabajadores y de las trabajadoras de Brasil, puesto en marcha por el Ministerio de Trabajo y Empleo del Gobierno Federal a partir de 1995. Su vigencia se extiende hasta el momento actual, siendo un proyecto prioritario del Gobierno.

PLANFOR propuso, desde el inicio de su implantación, un proceso de evaluación local –en cada Estado de Brasil- y nacional –con el conjunto de las acciones locales-. De las distintas actuaciones acometidas sobre evaluación, se ha redactado todo un material de apoyo sobre metodología de evaluación, que es el Documento sobre a Metodologia de Avaliaçao: Parâmetros Avaliativos do Planfor de la FAI, y la Guia de Avaliaçao, de la FAT.

Estos dos documentos proponen un modelo de evaluación adaptado a la estructura y al objeto de estudio –en este caso el PLANFOR-. Sin embargo, plantean una serie de reflexiones acerca de los conceptos y las metodologías de la evaluación que pueden generalizarse y aplicarse a otros programas y/o proyectos.

Así, lo primero que defiende este modelo evaluativo es que la evaluación, en este caso de políticas públicas, es necesaria desde el punto de vista de que transforma, mejora y corrige las actuaciones emprendidas. Desde el comienzo, este proceso ha de ser orientado a la construcción de indicadores sobre la eficiencia, eficacia y efectividad social de los programas, definidas éstas como:

! Eficiencia, entendida como el grado de aproximación entre lo previsto y lo realizado.

! Eficacia, expresada en el beneficio de las acciones obtenido por el grupo destinatario.



61

! Efectividad social, el impacto del proyecto como política pública desde el punto de vista más amplio de poblaciones, comunidades o sectores focalizados.

Cada uno de estos indicadores, según la guía metodológica, atenderán a un núcleo básico de cuestiones que son sintetizadas en nueve ítems o dimensiones de evaluación:

! la demanda del mercado de trabajo;

! atención de la población objetivo;

! adecuación de los programas ofertados;

! adecuación de las entidades ejecutoras;

! productividad y costes;

! gestación de los PEQ – Planes Estatales de Calificación -;

! gestación del PLANFOR;

! impactos para las personas formadas;

! impactos como política pública.

Para la recogida de datos sobre estos indicadores y dimensiones, las herramientas e instrumentos que se proponen son:

! El análisis documental de los programas.

! El análisis de los datos secundarios.

! Los grupos de discusión con los gerentes de las entidades participantes y los responsables de los programas de formación.

! Las entrevistas abiertas, semi–estructuradas y estructuradas con los informantes clave de los programas.

! Formularios/cuestionarios, con los gerentes, técnicos y responsables de los programas, así como los representantes de las entidades ejecutoras.

En el uso de estas herramientas, la guía de evaluación recomienda combinar y analizar diferentes modalidades de investigación, contemplando tanto fuentes primarias como secundarias, así como garantizar la confrontación de un foco tripartito de consulta formado por el Gobierno, los y las trabajadoras y el empresariado. Una vez más, la metodología de evaluación que se presenta defiende la utilización tanto de métodos cualitativos como cuantitativos.



62

Finalizada la recogida de los datos y sistematizados en indicadores referidos a cada una de las dimensiones mencionadas, deberá realizarse un informe de conclusiones en el que quede plasmada:

a) la eficiencia del programa, es decir, los niveles del cumplimiento de lo previsto, como la calidad, la optimización de costes, la adecuación de las acciones a las directrices de los Planes;

b) la eficacia, los beneficios concretos obtenidos por los beneficiarios;

c) la efectividad social, los impactos del programa como acción política pública.

En este mismo informe, además, estarán recogidas las recomendaciones sobre posibles medidas para adecuar y mejorar la eficiencia, eficacia y efectividad social de las acciones. Los resultados recogidos en dichos informes será importante que sean difundidos en lo que se refiere a las buenas prácticas y las lecciones aprendidas.

Pese a los esfuerzos realizados por componer instrumentos y materiales metodológicos de evaluación de programas, lo cual es sumamente relevante tratándose de un gran programa público, la incorporación de la perspectiva de género, no sólo en la evaluación, sino en el conjunto de los programas del PLANFOR, sigue siendo frágil. Tal y como expresan sus propios ejecutores, “faltan mecanismos de evaluación permanentes que permitan saber cómo están llegando las inversiones a las mujeres que lo necesitan. En este sentido, sólo se han medido variables como los niveles de ingreso, dejando a un lado las demás dimensiones de la exclusión”.

LA EVALUACIÓN CON PERSPECTIVA DE GÉNERO EN LAS POLÍTICAS COMERCIALES ENTRE LA UNIÓN EUROPEA Y LATINOAMÉRICA

El grupo de Educación Popular con mujeres (GEM) México, Network Women in Development Europe (WIDE), y el Centro de Intercambio y Servicios Cono Sur (CICSA), Argentina, en el marco del proyecto “Una perspectiva de género en las prácticas y políticas comerciales de la Unión Europea (UE) y de Latinoamérica”, han elaborado un modelo de evaluación con perspectiva de género. Su interés estriba en que para estas entidades, los temas de género deben incluirse para que las políticas comerciales contribuyan al desarrollo sostenible, la erradicación de la pobreza y el empoderamiento económico y social de las mujeres.

El objetivo de dicho estudio es contribuir a profundizar en el análisis del impacto de las políticas comerciales y del comercio internacional sobre las relaciones de género a través de la elaboración de herramientas.

Para ello se elaboran un conjunto de indicadores, los cuales permitirán conformar un cuadro ordenado y sintético de variables que puedan relacionarse entre sí, procurando



63

expresar una parte del fenómeno que se analiza e indicar y alertar sobre el sentido en que éste evoluciona.

Desde el punto de vista económico, el interés por incorporar la perspectiva de género en los acuerdos comerciales se basa en al menos dos fundamentos:

• La eficiencia. Se trata de contribuir a la comprensión sobre la incapacidad de los países, sectores o regiones para capitalizar sus oportunidades potenciales de comercio lo cual se relaciona al menos en parte, con rigideces y distorsiones de los mercados, incluyendo las que se relacionan con el género.

• Los efectos diferenciales del comercio. Guarda relación con que los beneficios de la expansión comercial pueden ser diferentes para hombres y mujeres, tanto como para diferentes grupos de mujeres, lo cual tiene implicaciones para los objetivos de reducción de la pobreza.

Ambos fundamentos están relacionados con dos principios que rigen la organización social: uno del ámbito económico, la división sexual del trabajo, y otro proveniente del ámbito cultural, la desvalorización de lo “femenino” repecto de lo “masculino” en el mundo social, económico, político y cultural.

Por este motivo el análisis de género de las políticas y acuerdos comerciales debe incorporar una evaluación acerca de la existencia de mecanismos que contribuyan a respetar y promover los derechos de las mujeres.

Así, teniendo en cuenta que las políticas no son neutrales al género, se plantean un conjunto de indicadores que permitan aproximarse al conocimiento de los efectos de las políticas comerciales y la expansión del comercio sobre las mujeres y las relaciones de género. Se aspira a que estos indicadores constituyan instrumentos adecuados para evaluar los impactos de las actuales políticas comerciales de la UE y de los acuerdos comerciales México-UE y Mercosur-UE.

El aporte de los indicadores de género y comercio deberán dar visibilidad a la problemática femenina asociada al comercio internacional, a las actividades productivas relacionadas con éste y a las políticas comerciales, y su evolución a lo largo del tiempo.

A la hora de formular los indicadores, éstos deben considerar:

• Los propósitos que se persiguen, pudiendo ser de corte técnico, como apoyo a los negociadores y a las autoridades responsables; de corte académico, orientados al trabajo de investigación, y de corte político.

• Los que aspiran a verificar la incorporación de la perspectiva de género en proyectos, programas y políticas.

Así los indicadores a utilizar, serán de tres tipos:



64

• Los de situación y los dinámicos, fundamentalmente de tipo cuantitativo, permiten evaluar los cambios en la situación de las mujeres y las relaciones de género respecto al comercio a través del tiempo.

• Los de voluntad política, de tipo cualitativo, referidos a la propia formulación y negociación de los acuerdos comerciales y los compromisos que asumen los distintos actores.

Indicadores de situación

Son básicamente descriptivos de la situación de las mujeres y las relaciones de género a través del tiempo, e intentan dar cuenta de las modificaciones en ciertas dimensiones, coincidentes con la evolución del comercio y la celebración de acuerdos comerciales.

Su evolución estará afectada por otros factores que no están directamente relacionados con las políticas comerciales, ya que:

• La incorporación de las mujeres al trabajo remunerado que debería resultar de la expansión del comercio, puede contribuir a la ruptura de la tradicional división del trabajo y en consecuencia, mejorar las posibilidades de participación económica y política de las mujeres. Por tanto interesa conocer la evolución de algunas variables, para responder a una serie de interrogantes como: ¿los resultados de la expansión comercial favorecen la autonomía económica de las mujeres por la vía de la disminución en la brecha de ingresos entre hombres y mujeres?, ¿aumentan o disminuyen las oportunidades de empleo para las mujeres?…..

• La posibilidad de mejorar la situación de las mujeres y las relaciones de género vía la expansión de los puestos de trabajo derivadas de la aplicación de las políticas comerciales se vincula a la manera en que éstas y el desarrollo del comercio afectan los niveles de segregación ocupacional y los salarios por sexo, y en general, la calidad de los empleos. Los indicadores diseñados responderán a preguntas relacionadas con la evolución del control de las mujeres sobre los medios de producción, la calidad de los empleos de las mujeres, etc.

INDICADORES DE SITUACIÓN DIMENSIONES/ INDICADORES DESCRIPTIVOS (Información estadística, series de tiempo)

1. Avances en las relaciones de género con relación a otros indicadores generales de desarrollo.

Índice de Género relativo al Desarrollo (IGD) 2. Evolución del acceso al mercado laboral para hombres y mujeres • Tasa de empleo • Tasa de empleo femenino • Tasa de empleo masculino



65

• Proporción de mujeres empleadas en el total del empleo • Proporción de mujeres desempleadas en el total de los desempleados • Tasa de desempleo • Tasa de desempleo femenino • Tasa de desempleo masculino 3. Características de la inserción laboral por género • Proporción de mujeres en el empleo total de las ramas de actividad orientados a la

exportación • Proporción de mujeres en el empleo total de las actividades sensibles a la competencia

internacional 4. Autonomía económica de las mujeres, control sobre los ingresos y situación

de los niños y otros indicadores de desarrollo • Proporción del salario femenino respecto al masculino (promedio) • Proporción del salario femenino respecto al masculino en ramas y sectores de actividad

orientados a la exportación • Proporción del salario femenino respecto al masculino en ramas y sectores de actividad

sensibles a la competencia internacional • Brecha salarial entre trabajadoras por sectores de actividad según orientación

exportadora • Proporción del ingreso femenino en el total de los ingresos • Proporción de las mujeres por debajo de la línea de pobreza • Jefatura femenina de los hogares en el total • Poder de compra de alimentos básicos de los ingresos de las mujeres • Participación de niños en hogares pobres sobre el total de los hogares 5. Cambios en el tiempo de trabajo no remunerado de las mujeres y en su

tiempo libre • Cantidad de horas promedio de trabajo femenino no remunerado • Cantidad de horas promedio de trabajo masculino no remunerado • Cantidad de horas destinado al tiempo libre de las mujeres • Cantidad de horas destinado al tiempo libre de los hombres • Extensión y cobertura del cuidado infantil 6. Segregación laboral y calidad del empleo • Índices de disimilitud ocupacional por rama de trabajo • Proporción de mujeres con contrato de trabajo permanente en actividades a la

exportación sobre el total de ocupados • Proporción de mujeres con cobertura de la seguridad social sobre el total de los

ocupados • Proporción de mujeres con cobertura de la seguridad social en actividades orientadas a

la exportación sobre el total de ocupados • Proporción de mujeres con contrato de trabajo permanente sobre el total de ocupados • Proporción de mujeres con contrato de trabajo a término sobre el total de ocupados • Proporción de mujeres con contrato de trabajo a término en actividades orientadas a

la exportación sobre el total de ocupados



66

7. Control de las mujeres sobre los medios de producción (capital, tecnología y tierras)

• Proporción del crédito para a producción orientada a la exportación recibido por mujeres

• Proporción de mujeres empresarias sobre el total • Proporción de mujeres sobre el total de micro y pequeños empresarios • Proporción de mujeres que reciben crédito para la producción orientada a la

exportación • Proporción de mujeres respecto a los hombres al asesoramiento y la capacidad

tecnológica en actividades orientadas a la exportación

Indicadores de voluntad política

Intentan reflejar los cambios en la voluntad de los distintos actores y en su incidencia. Relacionan las prácticas comerciales y los derechos de las mujeres, en la medida en que se refieren a:

• la existencia de mecanismos que garanticen la aplicación de normas internacionales de los derechos de los trabajadores y estándares laborales en los acuerdos comerciales;

• a la creación de instancias para la participación e incidencia ciudadana,

• a los mecanismos para la igualdad de género, la representación equitativa de los géneros entre los negociadores.

Con vistas a ello, será necesario analizar los acuerdos comerciales para verificar la voluntad política de los gobiernos en el cumplimiento de las metas de equidad entre los géneros y por lo tanto, en la posibilidad real de incorporar en el conjunto de las políticas públicas los criterios de género.

Esta voluntad política se expresa en las modalidades de negociación de los acuerdos comerciales, en los espacios que se crean para la incidencia de las organizaciones sociales y de mujeres, así como del movimiento sindical. Los cambios en las relaciones de género dependen también de la existencia de estas organizaciones sociales y su incidencia.

INDICADORES DE VOLUNTAD POLÍTICA

DIMENSIONES/ INDICADORES

Procesos de negociación y contenido de los acuerdos

• Existencia de cláusulas sociales en los acuerdos comerciales • Principales derechos consagrados por OIT a ser garantizados:

- libertad de asociación y convenios colectivos (Convención Nos. 87 y 98)



67

- prohibición del trabajo forzado (Nos. 29 y 105) - prohibición de discriminación (Nos. 100 y 111) - seguridad y salud ocupacional (NO. 155) - fijación de salarios mínimos (No 131 y 138)

• Proporción de mujeres en delegaciones oficiales en las negociaciones • Instancias de participación de los sindicatos en las negociaciones • Representación de las trabajadoras en las direcciones sindicales • Acciones de presión política y cabildeo desde la perspectiva de género por parte de los

sindicatos • Instancias de participación de los mecanismos oficiales para el avance de la mujer en

las negociaciones

• Instancias de participación de organizaciones de la sociedad civil incluidas las de las mujeres en las negociaciones

Indicadores dinámicos

Pretenden determinar si los cambios en los indicadores son coincidentes con cambios originados en las variables de comercio internacional, si estos cambios son de signo positivo o negativo, y cuál es la proporción de los mismos con relación a los producidos en las variables del comercio internacional.

Estos indicadores se presentan como elasticidades, o sea, como el porcentaje en que cambia una de las variables como consecuencia del porcentaje de cambio en otra de las variables. Para su cálculo sirven de base los indicadores de situación.

Por otra parte, este modelo ofrece una serie de recomendaciones desde el punto de vista de la evaluación, como son:

• El análisis de los efectos de género de los acuerdos comerciales, así como de otros que hacen al desarrollo sustentable, debe ser una responsabilidad asumida por las autoridades oficiales responsables de los mismos. Esto supone incluir el género tanto en las evaluaciones, en los procesos de negociación de los acuerdos como en sus posibles efectos.; identificar las políticas necesarias para reducir la desigualdad de género resultante de las políticas comerciales y la expansión del comercio, procurando aprovechar los beneficios o disminuir las posibles pérdidas.

• Debe asegurarse la desagregación por género de los indicadores generales de impacto del comercio e incluir indicadores específicos.

• Es aconsejable que se identifiquen los sectores clave en relación al comercio y se realicen estudios de caso, tanto en referencia a los sectores exportadores como a aquellos sensibles a la competencia de las importaciones.



68

• Los análisis de género realizados separadamente de otros más generales, deben contener una revisión global de la posición económica de las mujeres y el contexto general en relación a sus posibilidades de acceso al capital, a la tierra, a la educación, a la capacitación laboral y a la formación profesional. Asimismo deben incorporar al análisis la situación de las mujeres en el mercado de trabajo y las asimetrías entre los trabajadores de ambos sexos en términos de empleo, desempleo, brecha salarial y segregación laboral por sexo e incorporar un análisis de la economía de cuidado y de los costos y beneficios del comercio para la misma.

METODOLOGÍA PARA LA EVALUACIÓN DEL MARCO COMUNITARIO DE APOYO DE OBJETIVO 34 DEL FONDO SOCIAL EUROPEO EN ESPAÑA

Durante el periodo de programación anterior de los Fondos Europeos, correspondiente a los años 1994-1999, las autoridades españolas responsables de dichos fondos encargaron un gran número de evaluaciones a entidades expertas. El resultado de todo ello fue la redacción de múltiples documentos de evaluación sobre las acciones cofinanciadas por la Unión Europea, entre los que se pueden encontrar recomendaciones metodológicas para el seguimiento y la evaluación de programas y/o proyectos sociales.

Entre tales materiales está la Evaluación Intermedia del Marco Comunitario de Apoyo de Objetivo 3 del Fondo Social Europeo, llevado a cabo por la empresa ESTUDIS, en el que se presentan los primeros resultados extraídos de las actuaciones acometidas entre los años 1994 y 1997, pero en el que además aparecen recogidas las principales recomendaciones metodológicas de evaluación que deben ser aplicadas a lo largo del periodo restante.

Lo primero que se subraya es que los objetivos que habrán de regir tal evaluación serán los siguientes:

1) valorar la pertinencia de los objetivos y la validez de la intervención;

2) realizar un análisis crítico de los datos recogidos;

3) medir el grado de avance de las intervenciones;

4) explicar las posibles divergencias entre previsiones y realizaciones;

5) proponer los ajustes necesarios.

Para ello se tendrán que obtener y analizar informaciones cualitativas y datos cuantitativos. Las preguntas esenciales a las cuales debe responder la evaluación, desde un punto de vista cuantitativo, conciernen principalmente a:

4 Objetivo de la política estructural comunitaria que trata de la lucha contra el desempleo y la exclusión sociolaboral.



69

! La ejecución financiera, que compara la previsión inicial en la asignación de los fondos a cada una de las medidas con el grado de cumplimiento en cada periodo establecido.

! La ejecución física, que se controlará esencialmente a través de las cifras de beneficiarios y de las informaciones específicas de las cuales se dispone. Se comparará la ejecución realizada durante el periodo considerado con la previsión global de todo el periodo de ejecución.

! Las características de los beneficiarios, recogiendo el volumen y perfil de los demandantes de las acciones, así como de los beneficiarios, es decir, las características por sexo, edad, nivel de estudios, experiencia laboral anterior, colectivo, etc. A partir de estas informaciones básicas se podrán establecer los indicadores adecuados para detectar los aspectos más importantes para la valoración de las acciones y la estimación del grado de concentración de las mismas –por ejemplo, el porcentaje de hombres y mujeres, el de beneficiarios con título universitario, etc.-.

! La cobertura. La cobertura de las acciones se evaluará comparando en cada tipo de acción los beneficiarios con el universo de personas elegibles a participar en ellas;

! Los resultados, valorando no sólo los resultados cuantitativos de las acciones, sino también las informaciones existentes sobre la orientación de los beneficiarios en el momento de finalizar las acciones.

! La eficiencia de las acciones, estableciendo los ratios de coste más adecuados en cada caso –por ejemplo, coste/beneficiario-.

Para recoger los aspectos de carácter más cualitativo, el documento propone como herramienta de recogida de la información las encuestas y las entrevistas en profundidad con cada uno de los operadores responsables de las acciones. A partir de las informaciones recogidas deberán valorarse aspectos como:

! La pertinencia de las acciones, en función de la problemática específica de los operadores considerados y de las variaciones observadas en las condiciones generales del entorno socioeconómico.

! La concentración de las acciones en los colectivos y grupos prioritarios.

! La eficacia y eficiencia de las acciones realizadas.

! El funcionamiento del dispositivo de seguimiento puesto en aplicación.

! El partenariado y la participación de los actores sociales en la programación, seguimiento y evaluación de las acciones.



70

Por último, para ayudar a analizar los diferentes aspectos que han de cubrir la evaluación, se proponen tres tipos de indicadores:

! Indicadores de ejecución. Son los que permiten seguir el avance de las actividades programadas, tanto desde el punto de vista financiero –gastos y costes– como físico. Son indicadores muy útiles en las tareas de seguimiento que proporcionan una visión sintética de los problemas de ejecución y permiten un control de las desviaciones que pueden aparecer en la realización con respecto a las previsiones iniciales.

! Indicadores de resultados. Son los que dan una imagen aproximada del grado de consecución de los objetivos fijados a cada tipo de intervenciones. Están más relacionados con la intencionalidad de las acciones y con sus resultados esperados, principalmente en términos físicos y cualitativos.

! Indicadores de impacto. Son los que intentan estimar los efectos más globales sobre el entorno socioeconómico y la situación de los grupos objetivo.

Un ejemplo de los indicadores que podrían servir para medir estas cuestiones, en relación a la formación y el mercado de trabajo, ámbito en el que actúa el Fondo Social Europeo, sería el que aparece reflejado en el cuadro presentado a continuación.

Una vez más, las cuestiones de igualdad de oportunidades se limitan a medir el grado de participación, tanto en el desempeño como en los resultados, de mujeres y hombres en el proyecto.



71

INDICADORES PROPUESTOS PARA EVALUAR ACCIONES DEL FONDO SOCIAL EUROPEO

ASPECTOS A EVALUAR INDICADORES CONTENIDO TÉCNICO DE LOS INDICADORES

Grado de ejecución financiera Tasa de ejecución financiera en referencia a las previsiones iniciales

Volumen ejecutado/previsión inicial de ejecución

Grado de ejecución física Grado de cumplimiento de la previsión física total

Volumen de beneficiarios/previsión total de beneficiarios

Volumen y estructura de las actividades realizadas

Distribución de las acciones por tipos, categorías, especialidades, etc.

Dependerá del tipo de diseño

Riesgo de dificultades futuras de ejecución

Comparación ejecución actual/compromisos futuros

Nivel de ejecución conseguido por años/media anual prevista

Coste de las acciones Coste unitario Coste/hora/alumno

Características de los beneficiarios

Distribución de los beneficiarios por sexo, colectivo, edad, nivel de estudios, etc.

% de alumnos con matriculación superior

% de mujeres beneficiarias

Etc.

Tasas de inserción Tasa de inserción inmediata: % de ocupados/total de beneficiarios, en el mes que sigue a la finalización de la acción

Tasa de inserción a los 6 meses: % de ocupados/total beneficiarios después de 6 meses a la finalización de la acción

Tasa de colocación después del curso

Tipo de inserción Desglose de inserción por régimen jurídico (autoempleo, cuanta ajena, etc.)

Resultados en términos de inserción

Determinantes de la inserción Tasa de inserción según las características objetivas de los beneficiarios

Tasas de inserción según las características objetivas de la acción

Otros resultados favorables para los beneficiarios

Reinserción en procesos educativos y formativos

% de personas que continúan acciones formativas dentro de la FPO

% de personas que se reinsertan en la enseñanza reglada



72

ASPECTOS A EVALUAR INDICADORES CONTENIDO TÉCNICO DE LOS INDICADORES

Dificultad para insertarse % de los beneficiarios que tardan más de un cierto tiempo para conseguir un empleo

% que encuentra trabajo en la especialidad del curso

Calidad y sostenibilidad de los resultados

Durabilidad de la inserción conseguida % de los insertados por tipo y duración del contrato

Comparación entre la tasa de inserción inmediata y la diferida

Eficiencia de las acciones Indicadores de costes en función de resultados obtenidos

Coste/beneficiario

Coste/persona insertada

Utilidad de la acción para facilitar la colocación Tasa de contribución (% de exalumnos que considera que la formación le ha servido para encontrar empleo)

Mejora de la empleabilidad del beneficiario

Utilidad de la acción para el ejercicio de la profesión

Tasa de utilidad (% que considera que la formación tiene aplicación en su trabajo)

Efecto sobre las empresas Satisfacción de las empresas contratantes Respuesta de los jefes de personal a una encuesta de opinión

% de la población cubierta Número de beneficiarios reales/Total de beneficiarios potenciales Cobertura

Cobertura de las demandas expresadas % de beneficiarios/total demandantes

Concentración de los colectivos más necesitados

Participación de los grupos prioritarios en las actividades

% de los subcolectivos seleccionados como prioritarios dentro del total de beneficiarios de cada tipo de acciones

Diferencias entre mujeres y hombres en materia de inserción laboral

Diferencia entre la tasa de inserción de mujeres y hombres

Diferencias entre la tasa de autoempleo de las mujeres y hombres

Diferencias entre la probabilidad de obtener cierto tipo de contrato según el sexo

Diferencia entre mujeres y hombres sobre la duración media de su contrato

Igualdad de oportunidades

Efecto compensador dentro de las actividades % de mujeres en especialidad donde las mujeres están subrepresentadas



73

9. LA PERSPECTIVA DE LA EVALUACIÓN SEGÚN EXPERTOS Y EXPERTAS EN EVALUACIÓN Y GÉNERO

Como conclusión al análisis secundario de fuentes sobre evaluación y perspectiva de género, se ofrece un último apartado en el que se presentan distintas aportaciones que, fuera del marco institucional, han sido elaboradas por expertos y expertas en evaluación, y que ayudan a una compresión más próxima al concepto de evaluación y su relación con las cuestiones de género.

Este apartado podría haber sido enriquecido con multiplicidad de documentos y opiniones expertas, pero se ha optado por presentar un número restringido de ellas que sirvan como representatividad a las recomendaciones sobre evaluación que se están dando en el plano internacional. Las aportaciones que realizan a la cuestión no deben considerarse como claves finales en cada uno de los documentos, sino que la superposición de éstas permitirá un análisis más completo y global que sirva como punto de partida en la construcción de un modelo de evaluación con perspectiva de género.

LA EVALUACIÓN DE PROGRAMAS Y PROYECTOS SOCIALES SEGÚN OLGA NIRENBERG, JOSETTE BRAWERMAN Y VIOLETA RUIZ5

Olga Nirenberg, Josette Braweman y Violeta Ruiz publicaron en el año 2000 el libro Evaluar para la transformación: Innovaciones en la evaluación de programas y proyectos sociales, un documento, que en palabras de sus autoras, “no sirve como manual o receta para evaluar de forma universal todo tipo de proyecto o programa, pues no desarrolla instrumentos sino que procura transmitir la concepción de cuáles son los procesos requeridos y las orientaciones acerca de las formas de encararlos, para diseñar evaluaciones distintas para los diferentes programas o proyectos”. Se trata, por tanto, de un manual que expone los principios rectores de la evaluación, pero no construye un modelo, sino que propone la construcción de éste en base al objeto evaluable frente al que poner en marcha el proceso.

Para ello, el primer paso que dan las autoras es el de definir el concepto de evaluación de la manera siguiente: “una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables sobre las actividades, resultados e impactos de esos proyectos o programas, y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura”. Se trata, por tanto, de una visión de la evaluación como proceso de aprendizaje que conlleve cambios y mejoras en los ámbitos de intervención, es decir, un mecanismo que posibilite la transformación.

5 Olga Nirenberg, Josette Braverman y Violeta A. Ruiz son sociólogas especializadas en la evaluación de programas relacionados con la salud de niños y niñas, adolescentes y la maternidad. Destacan sus trabajos realizados sobre evaluación para UNICEF, CEADEL y el BID.



74

Este proceso, tal y como recoge el documento, vendrá marcado por la sucesión de una serie de pasos que se inscriben en el siguiente esquema:

PASOS A SEGUIR EN EL PROCESO EVALUATIVO

Programación de la Evaluación

! Definición del sujeto-objeto de la evaluación

! Establecimiento de la finalidad

! Identificación de la audiencia

! Determinación del nivel de análisis

! Clasificación de las dimensiones del análisis

! Definición de las variables

! Selección de los indicadores

! Determinación de las técnicas y de los utensilios de recogida de la información

! Determinación de la secuencia de actividades

! Identificación de responsables y actores participantes

! Establecimiento de la duración, frecuencia y periodicidad

! Estimación de los recursos necesarios

! Presupuestación

Ejecución de la evaluación

! Relevamiento de la información mediante el desarrollo de las actividades y la aplicación de técnicas e instrumentos

! Sistematización, procesamiento y análisis de la información

! Elaboración de informes

! Devolución a los actores y diseminación de conclusiones

Evaluación de la evaluación

! Análisis de la utilidad de los hallazgos

! Apreciación sobre la viabilidad del proceso evaluativo y del uso de resultados

! Juicio acerca de la pertinencia metodológica y ética

! Análisis de la confiabilidad de los procesos y hallazgos

Por otra parte, una de las aportaciones que contiene esta obra es la sistematización de las diferentes tipologías que pueden realizarse sobre evaluación, distinguiendo distintas categorías de evaluación según:

! El momento en que se realiza la evaluación. En este apartado se distingue entre evaluación ex–ante y evaluación ex–post. La evaluación ex–ante es la que se emprende antes de iniciar un programa o proyecto para tomar una decisión



75

relativa a si debe de implementarse o no. Se trata de establecer la pertinencia, la coherencia interna y la factibilidad del proyecto/programa.

La evaluación ex–post es la que se realiza una vez concluida la ejecución del proyecto. Se concentra en los resultados obtenidos para evaluar en qué medida se alcanzaron los objetivos previstos, cuáles han sido los efectos, buscados y no buscados. Para ello será imprescindible contar con lo que las autoras llaman “una línea de base”, o información diagnosticada de la situación inicial, para poder contrastarla con la situación final. En estas evaluaciones el foco está fijado en la eficacia, efectividad y eficiencia.

Además, una tercera tipología de evaluación según en el momento de ciclo del proyecto en el que se lleve a cabo, es la evaluación que se realiza durante la ejecución del proyecto, cuyo objetivo es el de evaluar en qué medida se están cumpliendo los objetivos, y posee una estrecha relación con el seguimiento. En este sentido, las tres autoras apuntan que el concepto de evaluación y seguimiento, aunque se consideren en la mayoría de los casos de manera separada, son dos aspectos que están presentes de forma indivisible en la evaluación del durante o evaluación continua.

! Quiénes realizan la evaluación. En función de quién realiza la evaluación, se pueden diferenciar dos grandes categorías: la evaluación externa, que es realizada por evaluadores que no pertenecen a la organización ejecutora del programa/proyecto, y la evaluación interna, que es la que llevan a cabo personas o grupos pertenecientes a la institución gestora del proyecto no involucrados directamente en su ejecución. Además, las autoras hacen referencia a la evaluación participativa, aquella evaluación que involucra a los destinatarios u otros actores de los proyectos en los distintos momentos del proceso de evaluación. La recomendación que realiza el libro sobre cuál es la forma más eficaz de evaluar es la de realizar evaluaciones mixtas, conformando un equipo constituido por evaluadores externos e internos con momentos de trabajo conjunto y momentos de trabajo independiente.

! Los propósitos y la índole de las decisiones que se esperan tomar en el futuro. La distinción que se hace en este apartado es la que existe entre evaluación formativa y evaluación sumativa. La primera se refiere al tipo de evaluación que se emprende con el propósito de mejorar una intervención en un momento determinado y para un grupo específico de personas. La segunda se emprende con el objetivo de obtener un juicio global sobre el valor de alguna intervención y debe producir información acerca de su efectividad y de las condiciones en las que puede ser eficaz en otras situaciones, momentos o lugares. También se distingue, aunque en opinión de las autoras son evaluaciones que han de ir de la mano, entre evaluación descriptiva y evaluación explicativa, siendo la primera de ellas la que tiene por objetivo pronunciarse respecto al éxito o el fracaso de un proyecto, y la segunda aquélla que se propone identificar los factores que explican esas situaciones de éxito o fracaso.



76

! Los aspectos a evaluar del programa o proyecto. La tipología que establecen en este apartado la realizan conforme a las etapas del ciclo del proyecto o programa y sobre la base de los componentes relevantes. Según la primera categoría se habla de evaluación de diseño y conceptualización, evaluación de desarrollo o implementación, y evaluación de resultados. Según sus componentes nos encontramos con la evaluación de insumos, evaluación de procesos y evaluación de resultados o impactos. Por último, también categorizan la evaluación según ciertos atributos, como son:

- la pertinencia, que se refiere a la adecuación de un programa o proyecto a las necesidades o demandas diagnosticadas en el origen;

- la idoneidad o suficiencia, que hace referencia a la capacidad de un programa o proyecto para contribuir a los objetivos y metas programados;

- la eficacia y la efectividad, que mide la capacidad del programa o proyecto para alcanzar los objetivos programados, y que no son más que expresiones de los resultados buscados. La diferencia entre ellas está en que la primera se refiere a la capacidad de un proyecto en alcanzar los objetivos en condiciones ideales, mientras que la efectividad se refiere a la comparación de los resultados obtenidos respecto de los esperados.

En cuanto a la utilización de metodologías cuantitativas o cualitativas aplicables a la evaluación, las autoras defienden que ambas deben aplicarse conjuntamente. Las técnicas cualitativas permiten al evaluador/a estudiar casos, hechos y temas en profundidad y detalle con los hallazgos obtenidos con grupos pequeños de casos y/o personas, que si bien no pueden siempre aplicarse en universos mayores, permiten elaborar hipótesis que luego podrán confirmarse aplicando otros métodos. Por su parte, las técnicas cuantitativas usan parámetros previamente estandarizados que miden reacciones, percepciones y opiniones de cantidades mayores de gente, lo que posibilita la generalización de las conclusiones obtenidas. La elección de la utilización de métodos cuantitativos o cualitativos, dependerá, según las autoras, de:

! la definición del problema a evaluar;

! la elección y explicitación del marco conceptual;

! la generación de hipótesis;

! la selección de técnicas;

! el trabajo de campo;

! el procesamiento, análisis e interpretación de los datos y resultados obtenidos.

En cuanto a las técnicas de recogida de la información, las autoras hacen un breve recorrido entre la multitud de técnicas utilizadas para la recolección de datos, como son: análisis de la información cuantitativa, análisis de la información secundaria



77

cualitativa, observación en el terreno, entrevista estructurada o semiestructurada a informantes claves o a un grupo, juicio de expertos y expertas, taller participativo, la encuesta, etc. Sin embargo, no se decantan por ninguna de estas técnicas a la hora de proponer un modelo evaluativo, sino que recomiendan la triangulación, es decir, la utilización de varias fuentes para evaluar un mismo aspecto o fenómeno, consiguiendo así una mayor confiabilidad de la información obtenida, un mayor entendimiento de los fenómenos bajo estudio, la reducción de los sesgos propios de cada técnica, fuente y profesional, y la validación de las apreciaciones evaluativas. Dado el abanico tan amplio de técnicas de recogida de datos, la cuestión residirá en cuál elegir, una elección, que tal y como expresan las autoras, deberá estar fundamentada en:

! cuál es el propósito de la evaluación;

! qué tipo de información se necesita como mínimo para los indicadores determinados;

! para quién es la información y quién va a hacer uso de los resultados;

! cómo se va a usar la información;

! cuándo es necesaria la disponibilidad de la información;

! momento en que se encuentra el proceso de ejecución del programa o proyecto;

! qué recursos tenemos disponibles –presupuestarios, humanos, tiempo, etc.-

Desde esta descripción de los principales elementos de la evaluación, se propone a continuación el cómo se construye un modelo de evaluación, que es definido como “una construcción basada en hipótesis teóricas sobre el funcionamiento de una realidad compleja, para su mejor comprensión y para provocar intervenciones eficaces que produzcan transformaciones deseables. Constituye una abstracción, una representación que se construye para comprender y explicar una realidad compleja; el modelo no es la realidad, pero facilita su comprensión para poder operar en ella”. Las características básicas que deberá poseer este modelo es que sea holístico - que incluya la totalidad de los aspectos de la gestión de los proyectos -, modular –que permita una evaluación enfocada a distintos aspectos según el estado de avance del proyecto -, flexible –que permita la introducción de cambios -, y que introduzca la perspectiva de los distintos actores.

Conociendo ya lo que es un modelo de evaluación y cuáles son sus características, habrá de construirse el esquema general del modelo evaluativo, que tal y como aparece en esta obra, podrá contener los siguientes apartados:



78

ESQUEMA DE LOS COMPONENTES DE UN MODELO EVALUATIVO

I. Precisiones Conceptuales

1. Marco teórico general

2. Las dimensiones y variables: definiciones conceptuales y operativas

II. Aspectos Metodológicos

1. Abordaje metodológico

2. Técnicas sugeridas/ Herramientas

3. Fuentes

4. Actores participantes

5. Cronograma de aplicación y focos

III. Matriz síntesis del modelo evaluativo

IV. Instrumento valorativo

La parte del marco teórico será la que refleje la concepción del cambio que sustenta la intervención social, poniendo de relieve los supuestos, los requerimientos contextuales, las estructuras necesarias y los procesos programados para obtener los resultados esperados. El marco conceptual hará referencia a “la teoría o concepción global del cambio sobre la que se basa la propuesta general de intervención, las definiciones de cada una de las dimensiones y variables que se incluyan en el modelo evaluativo, así como las definiciones operacionales de cada variable –los indicadores-“.

Las dimensiones son, según las autoras, “las principales líneas de acción y las estrategias que plantea el programa/proyecto”. Dentro de ellas, se pueden distinguir entre las sustantivas –que son las principales líneas de acción del proyecto-, las gerenciales o instrumentales –las que tienen que ver con los medios para el logro de las líneas estratégicas, tanto desde el punto de vista de lo material como de la gestión-, y las estratégicas –que hacen referencia a aspectos como la participación, la multidisciplinariedad, el sinergismo, etc.-. Una vez establecidas las dimensiones del proyecto, deberán especificarse en otras variables de menor complejidad, que a su vez requerirán de un proceso de operacionalización mediante la selección de los indicadores apropiados.

Los indicadores se definen, en este caso, como “una medida o apreciación, directa o indirecta, de un evento, una condición, una situación o un concepto. Son a su vez variables, aunque de menor nivel de abstracción, observables y medibles, que permiten inferir conclusiones apreciativas acerca de las variables correspondientes”, y se continúa diciendo que “los indicadores permiten organizar la recolección de la información, mediante la confección de instrumentos o protocolos que facilitan la estandarización requerida”. La selección de estos indicadores deberá realizarse teniendo en cuenta criterios de factibilidad para recolectar la información necesaria que les dote de valor, y responderá a criterios de validez –mide lo que realmente procura



79

medir-, confiabilidad –mide lo que ha ocurrido gracias al proyecto y no por otras circunstancias-, especificidad –refleja sólo los cambios en la cuestión y no otros-, representatividad –cubre todas las dimensiones del concepto-, etc.

Sobre esta base, el tipo de variables e indicadores que proponen, a modo de ejemplo, son los que aparecen recogidos en el siguiente cuadro:

TIPO DE VARIABLES/INDICADORES EJEMPLOS

De estructuras Equipamientos, herramientas, materiales, recursos humanos, reglamentos, sistemas de información…

De procesos Actividades, comunicación, asistencia técnica, encuentros entre actores, campañas…

De resultados

a) De productos

Materiales didácticos, documentos, convocatorias, personas capacitadas…

b) De efectos Cambios observables en los destinatarios, en las estructuras…

c) De impactos

Otros cambios observables en la población en momentos posteriores, en poblaciones más amplias, en otros contextos, en las políticas públicas…

Por último, dentro del modelo de evaluación deberá recogerse una lista de las técnicas que se utilizarán para la recogida de la información, con sus respectivos instrumentos, precisando a su vez las fuentes de extracción de los datos. A todo ello habrá que sumarle la anticipación de un cronograma destacando los momentos evaluativos y por qué estarán caracterizados –dimensiones de las variables que se medirán, técnicas, procesamiento de la información, etc.-.

A pesar de que esta obra no recoge entre sus líneas apreciaciones específicas pertinentes al género, sí sirve como modelo general de aplicación a cualquier tipo de proyecto social, y por tanto, de utilidad a la hora de formular y programar proyectos con participación de mujeres.



80

LA EVALUACIÓN DE LA FORMACIÓN POR MARÍA ANTONIA GALLART Y CLAUDIA JACINTO6

María Antonia Gallart y Claudia Jacinto, a través de la Red Latinoamericana de Educación y Trabajo, publicaron en 1998 el Manual de evaluación para experiencias de formación, en el que se propone una metodología completa para la evaluación de programas y proyectos de formación, enfocados a jóvenes de bajos ingresos, pero cuyos elementos pueden ser fácilmente transferibles a evaluaciones de programas y proyectos de formación y capacitación con perspectiva de género.

En palabras de las mismas autoras, este manual pretende ser “un instrumento útil para realizar evaluaciones de experiencia de base”, en el que se incluye un nivel teórico, en el que se aportan los conceptos metodológicos, un nivel operativo, en el que se señalan los aspectos a observar en una acción de evaluación, y por último, una guía que sirva como instrumento para desarrollar la evaluación.

En el primer nivel las autoras parten de la definición del objetivo de toda evaluación: “el propósito central de la evaluación es examinar en qué grado se logran los resultados esperados y si el logro se debe al programa o a otros factores que operan en el entorno social”. Para ello, será fundamental que se parta de una definición clara de:

! el grupo objetivo al que se dirige la intervención de formación;

! los objetivos de la intervención con respecto a los resultados esperados;

! los medios con los que se cuenta para realizar la evaluación;

! el nivel de análisis (experiencia aislada, institución formativa, programa nacional, etc.);

! la amplitud de las actividades cubiertas;

! el rol que se asigna a la retroalimentación, entre evaluación interna y evaluación externa.

Sobre este último aspecto las autoras apuntan a que se hace necesaria la complementariedad entre ambas, puesto que cada una de ellas está orientada a medir distintas dimensiones, tal y como se recoge en el cuadro siguiente:

6 María Antonia Gallart es socióloga y ha realizado distintos trabajos de investigación y evaluación para numerosos organismo internacionales, especialmente relacionados con América Latina. Actualmente pertenece a la Red Latinoamericana de Educación yTrabajo. Claudia Jacinto: Investigadora del Centro de Estudios e Investigaciones Laborales, Consejo Nacional de Investigación Científica y Técnica (CEIL-CONICET), coordinadora del área: trayectorias laborales y políticas públicas de formación y empleo de jóvenes



81

EVALUACIÓN EXTERNA (Resultados) EVALUACIÓN INTERNA (Proceso)

Medición de entrada: población objetivo, competencias de empleabilidad, historias ocupacionales previas.

Medición de salida: incremento de competencias generales y laborales, inserción, otros (autoestima, motivación…)

Inserción institucional: foco de la evaluación, articulaciones en la gestión institucional, adhesión a los fines organizacionales, grado de institucionalización.

Intervención en la formación: características de los usuarios, componentes de la formación (reclutamiento y retención de los usuarios, curriculum, material didáctico y equipamiento, actividades de aprendizaje, instructores), capacidad de reformular la formación, acompañamiento a la inserción en el mercado laboral.

Análisis del costo/producto: fuentes de financiación, local y equipamiento, recursos humanos.

Esta distinción está marcada a su vez por el hecho de que la evaluación externa se encuentra más cerca del análisis cuantitativo, mientras que la interna está mayormente referida al análisis cualitativo.

A partir de esta clasificación se pasa a la definición de los indicadores por tipo de dimensión:

EVALUACIÓN EXTERNA

VARIABLES DIMENSIONES INDICADORES

Inserción familiar Nivel socioeconómico de los padres

Continuidad en el hogar de origen

Características socioeconómicas del hogar actual

Ocupación y nivel educativo de los padres

Edad en que dejó el hogar de origen

Ingresos y número de miembros, tipo de vivienda y localización

Antecedentes educativos Educación formal

Educación no formal

Asistencia escolar pasada y actual

Nivel máximo alcanzado

Cursos de capacitación realizados

Antecedentes ocupacionales Si realizó o no trabajos anteriores

Tipo de inserción

Calificación del trabajo

Continuidad en el trabajo

Especificar trabajos anteriores

Ayuda familiar sin remuneración

Trabajos ocasionales no calificados



82


Tipo de empleador Trabajos formales

Rotación o permanencia

Tamaño y rama

Habilidades básicas Lectoescritura

Matemática aplicada

Lectura interpretativa de un texto simple

Capacidad de redactar un informe simple

Capacidad de resolver problemas en la vida cotidiana utilizando matemáticas

Habilidades técnicas Habilidades prácticas

Habilidades teóricas

Habilidades manuales

Desempeño de tareas comprendidas en una ocupación calificada

Competencias sociales Disciplina

Competencias sociales

Disciplina

Cumplimiento de horario

Capacidad de trabajo en común

Capacidad de recibir y transmitir información

Autoestima Autoimagen

Motivación

Perspectivas futuras

Estimación de su capacidad para conseguir un empleo

Razones para inscribirse en el curso

Imagen de su vida personal y ocupacional adulta

Participación/integración social Participación en instituciones o entidades intermedias

Participación en movimientos sociales, clubes.

EVALUACIÓN INTERNA


Contexto socio– económico local

Desocupación, pobreza, tipo de estructura productiva, densidad institucional

% desocupados, mercado de trabajo, instituciones locales

Inserción institucional Foco de la evaluación

Grado y tipo de relacionales

Institución, recursos obtenidos, actividades conjuntas, intercambio de



83

VARIABLES DIMENSIONES INDICADORES información, etc.

Grado de institucionalización Permanencia y formación de la institucionalización

Cobertura de funciones y división de trabajo

Comunicación

Importancia de la participación en el programa dentro de la estrategia institucional

Existencia de una organización mayor de la que se depende

Antigüedad de la institución

Velocidad de la circulación de la información

% de personal dedicado al programa

Etc.

La intervención de la formación

Proporción del total de actividades de la institución dedicadas a la formación

Población objetivo/población realmente atendida

Componentes de la formación

Otras actividades de la institución

Personal dedicado a la formación

Actividades de la formación

De esta forma, se ve que los conceptos de evaluación interna/evaluación externa no se distinguen por quien realiza la evaluación (como generalmente se ha encontrado en otros documentos), si no por la dimensión a la que hace referencia, es decir, al proceso (programa/proyecto/institucionalización) o a los resultados (incidencia sobre los y las beneficiarias).

Por último, también se hace un breve recorrido por las fases que deberá seguir el proceso de evaluación, que serían las siguientes:

a) definición de los objetivos del seguimiento y de las variables a medir;

b) definición y construcción de la muestra si no se investiga al total de la población;

c) construcción de las herramientas de recogida de datos;

d) etapas y cronograma de la ejecución de la evaluación;

e) análisis de resultados.



84

EL CONCEPTO DE EVALUACIÓN SEGÚN MARCELA ROMÁN7

Marcela Román elaboró en 1997 una Guía Práctica para el Diseño de Proyectos Sociales, un manual de trabajo para todas las personas que deseen formular proyectos de cariz social, y en la que, como no podría ser de otro modo, aparece contemplada la evaluación como un elemento clave en el diseño de los proyectos.

A pesar de que no se hace mención expresa a las cuestiones de género, esta guía representa un manual de acercamiento a las pautas esenciales de la evaluación, y por lo tanto, puede aportar valor al análisis realizado sobre propuestas de evaluación que realizan los y las expertas.

El diseño del proyecto que presenta Marcela Román es un diseño que se enmarca en las prescripciones realizas por el Marco Lógico y fundamentado en la misma filosofía del árbol de problemas que lo inspira. Dentro de este árbol de problemas, la evaluación es mostrada como una pieza indispensable que deberá estar presente en todo su desarrollo.

En concreto, cualquier intervención que se plantee necesita, según palabras de la misma autora, “un ajustado diagnóstico sobre la realidad que se aprecia como negativa y sobre la cual se actuará”. Es decir, todo proyecto nace de la identificación de un problema, a partir del cual se hace necesario un análisis más profundo, denominado diagnóstico, que identifique el grupo o los grupos afectados, las posibles estrategias para la solución del problema, las expectativas y posibles acciones de los distintos actores involucrados, así como una línea de base o conjunto de indicadores que definan el estado actual del problema. A este respecto, la autora define el concepto de indicador como “elemento verificable –mediante la medición u observación- necesario para comprobar los logros deseados…los indicadores nos señalan en qué se manifiesta en concreto una variable a medir o a observar”. Esos indicadores habrán de ser definidos, por tanto, en la etapa misma del diseño del proyecto, de lo que se extrae que dentro del mismo diseño del proyecto será donde se establezca la propuesta de evaluación.

Por este motivo, y aunque en alguno de sus párrafos Marcela Román habla de que las tres etapas de un proyecto son el diseño, la implementación, y la evaluación, no debe dejar de precisarse que el diseño de la evaluación será parte integrante del diseño mismo del proyecto.

La evaluación a la que hace referencia este texto es aquélla que viene definida por la autora como “una herramienta de aprendizaje en todos los ciclos del proyecto, desde el diseño, hasta la ejecución, el monitoreo y la evaluación ex–post, con el objetivo de establecer algunas normas y patrones para que los procesos o productos de la intervención sean eficaces”. Se trata, por tanto, de una concepción de la evaluación como “lección aprendida” de aplicación a futuros proyectos, más que como un fin en sí misma. De esta manera la evaluación “contribuye al conocimiento que fundamenta la

7 Marcela Román es antropóloga y profesora de Ciencias Sociales en la Universidad de Chile



85

intervención, aportando aprendizaje y conocimientos a los propios equipos de trabajo que abordan el problema”.

LOS INDICADORES DE GÉNERO DE TONY BECK, MORTON STELCNER Y RAJANI ALENXANDER8

La Agencia Canadiense de Desarrollo Internacional (ACDI) encargó en 1997 un trabajo de definición de indicadores de género a T. Beck, M. Stelcner y R. Alexander, cuyo fruto fue el documento de trabajo Por qué y cómo utilizar indicadores de género que fue publicado bajo el sello institucional de la ACDI en 1998.

Este manual para proyectos hace un breve repaso a las consideraciones fundamentales para la construcción de indicadores de género en el diseño de los proyectos. Por tanto, no se trata de un documento en el que aparezcan recogidos los elementos para el diseño de modelos de evaluación, sino que se concentra sobre uno sólo de sus elementos: los indicadores.

Según los autores y la autora, un indicador es una señal que mide los cambios en una condición o situación específica. Y en concreto, los indicadores de género tienen una función especial: “señalar en qué medida y de qué manera los programas y proyectos han logrado los objetivos y resultados previstos en materia de equidad de género”. Por este motivo, la recomendación general para la formulación de indicadores es que éstos deben estar estrechamente relacionados con los objetivos del proyecto.

Sin embargo, estos indicadores tienen sus límites, y ponen de ejemplo cómo un indicador puede medir la cuantía de personas que participaron en un proyecto pero no dar información sobre la naturaleza, grado o efecto de dicha participación. Es por este motivo que la metodología que se propone para la construcción de indicadores, pasa por clasificar los objetivos dentro de dos categorías:

! Categoría 1: objetivos cuyos resultados sean relativamente fáciles de cuantificar.

! Categoría 2: objetivos cuyos resultados son menos fáciles de cuantificar, que se refieren a procesos sociales.

De este modo, si los objetivos están más cerca de la categoría 1, probablemente utilizarán indicadores cuantitativos y especialmente de resultados, mientras que si lo están de la categoría 2, probablemente se concentrará más en indicadores de proceso, que por ello, se obtendrán a través del análisis cualitativo. En este sentido, aparece recogido en este manual de trabajo que “los objetivos de la categoría 1 están estrechamente relacionados con los cambios en las necesidades prácticas de las 8 Tony Beck es miembro de Estudios Asiáticos de la Universidad de British Columbia, Morton Stelcner del Departamento de Economía de la Universidad Concordia y Rajani Alexander analista principal de políticas de la División para la Integración de la Mujer al Desarrollo y a la Equidad de Género de la Agencia Canadiense de Desarrollo Internacional (ACDI)



86

mujeres, y los objetivos de la categoría 2 están estrechamente relacionados con los intereses estratégicos de las mujeres”.

Teniendo es cuenta estas cuestiones, los indicadores deberán seleccionarse para cada etapa del ciclo del proyecto y en función de los objetivos de cada una de ellas. Además, habrán de considerarse factores externos que afectan al proyecto. Por tanto, el plan de trabajo para la utilización de indicadores que se propone pasa por:

1. definir los objetivos;

2. identificar los factores externos que pueden constituir riesgos;

3. elegir las categorías de indicadores apropiadas y establecer un marco cronológico;

4. realizar un análisis cualitativo.

A partir de ahí los autores y la autora realizan una clasificación de los indicadores con su correspondiente definición, que es la siguiente:

! Indicadores de entrada: se refieren a los recursos asignados al proyecto.

! Indicadores de proceso: miden las actividades de utilización de los recursos asignados a un proyecto. Sirven para controlar los logros en curso de la ejecución de un proyecto y especialmente la progresión hacia los resultados deseados.

! Indicadores de salida: miden los resultados intermedios.

! Indicadores de resultado: se relacionan directamente con los resultados a más largo plazo de los proyectos.

! Indicadores cuantitativos: son mediciones numéricas de cambio.

! Indicadores cualitativos: son las percepciones.

En el ciclo del proyecto los indicadores de resultado deben ser el foco principal, ya que son los que permiten evaluar mejor los resultados. Además, indicadores cuantitativos y cualitativos deben ser utilizados conjuntamente de manera que se validen unos a otros: es el proceso de triangulación.

Por último, para proceder a seleccionar los indicadores que medirán los cambios producidos en un proyecto, se establecen los siguientes criterios de elegibilidad:

! Los indicadores deben ser elaborados con la ayuda de un enfoque participativo y, donde sea posible, se debe apelar a la participación de todos los involucrados.



87

! Los indicadores deben corresponder a los objetivos.

! Los indicadores elegidos deben incluir indicadores de riesgos y elementos de habilitación.

! Un indicador debe ser definido para cada una de las etapas del ciclo del proyecto.

! Es necesario elegir indicadores cualitativos y cuantitativos.

! Todos los indicadores deben ser desagregados por sexo.

A pesar de que en este manual de trabajo la profundización en las cuestiones de género no se da, sí aporta valor añadido a los documentos presentados hasta el momento por la clasificación en las categorías 1 y 2 de los objetivos y su correspondencia con el análisis cuantitativo y cualitativo, un modelo para la construcción de indicadores que puede ser de utilidad a la hora de diseñar la evaluación de un proyecto.

LAS PREGUNTAS GUÍA EN LA PLANIFICACIÓN CON ENFOQUE DE GÉNERO POR ROSABEL AGUIRREGOMEZKORTA, Mª JOSÉ MORENO Y ENCARNACIÓN MARTÍNEZ

Por último, se presenta una breve reseña de un documento de trabajo que realizaron R. Aguirregomezkorta, M.J. Moreno y E. Martínez, bajo la coordinación de M. Guzmán Guerrera y Mª Antonia Cobacho, para la Junta de Andalucía en España.

Este documento ofrece una serie de pautas para el control de la perspectiva de género en los proyectos en cada una de sus fases, a partir de una serie de preguntas claves o preguntas guía que se recogen en el cuadro siguiente:

PREGUNTAS GUÍA PARA EL CONTROL DE LA PERSPECTIVA DE GÉNERO EN LA PLANIFICACIÓN DE PROYECTOS

MOMENTO DE LA PLANIFICACIÓN

PREGUNTAS GUÍAS

Definición de las causas que motivan la intervención

! En el diseño del proyecto ¿se han analizado las necesidades y los intereses de las mujeres?

! ¿Qué tipo de diagnóstico se ha realizado?

! ¿Se han identificado los obstáculos que limitan la participación de las mujeres en el proyecto y se han establecido condiciones que favorezcan su participación?

Definición de las actuaciones

! ¿Participan activamente las mujeres en la realización del proyecto desde el comienzo?

! ¿Se ha previsto y se ha recurrido a la intervención de personas



88

MOMENTO DE LA PLANIFICACIÓN

PREGUNTAS GUÍAS

expertas en género en alguna fase del proyecto? ¿En cuál?

Formulación de objetivos

! Los objetivos generales ¿responden a las necesidades de mujeres y hombres? ¿la selección de objetivos toma en cuenta la división de funciones y responsabilidades entre mujeres y hombres?

! Los objetivos específicos ¿señalan a quién va dirigido y a quién se espera que beneficie el proyecto, estableciendo distinción entre mujeres y hombres? ¿a qué necesidades prácticas y estratégicas de mujeres y hombres responde el proyecto?

Definición del grupo destinatario

! ¿En qué categoría puede clasificarse el proyecto (específicamente femenino o proyecto que incluye la perspectiva de género)?

Definición de metodologías de proceso

! ¿Se ha realizado un estudio social en función del género para identificar los obstáculos a la participación de las mujeres en las actividades del proyecto?

! Durante la elaboración del proyecto ¿se ha consultado a los y las participantes, estableciendo distinción entre mujeres y hombres, para saber si los medios utilizados resultan adecuados?

! ¿Es el plan de participación razonable en términos de obstáculos (tiempo, financieros, etc.) que prevén el consentimiento, la capacidad y la posibilidad de participación de mujeres?

Evaluación del impacto económico

! El proyecto ¿ha contribuido a mejorar los ingresos económicos? ¿de quiénes? ¿quiénes se han beneficiado de forma directa y quiénes de forma indirecta?

! ¿El proyecto ha generado empleo? ¿qué tipo de empleo? ¿quiénes se han beneficiado? ¿cómo?

Evaluación del impacto social

! ¿Qué cambios ha producido el proyecto? ¿qué cambios para los hombres? ¿y para las mujeres?

! ¿Qué tipo y nivel de participación se ha conseguido de mujeres y de hombres?

! ¿Qué opina el grupo beneficiario de los logros y actividades del proyecto?

! ¿Qué impactos, positivos y negativos, se observan en hombres y en mujeres?

Con ello se pretende que la perspectiva de género sea una cuestión evaluada en todo el ciclo de planificación, implementación y evaluación del proyecto global, cuyas preguntas guía sirven de checklist a la hora de baremar la consideración de las cuestiones de género dentro de los proyectos y sus resultados, también con pertinencia de género.



89

10. CONCLUSIONES

El análisis realizado de las distintas metodologías, herramientas, recomendaciones, etc., de evaluación sugeridos por cada una de las entidades, organismos y personas expertas consideradas, hace posible extraer una serie de puntos comunes en forma de conclusiones.

A este respecto debe mencionarse que, con carácter general, en pocos de los análisis expuestos se ofrece un modelo con herramientas concretas de evaluación con perspectiva de género. La tendencia está en presentar metodologías generales de evaluación, orientaciones principalmente a programas y proyectos de corte social, e independientemente proponer medidas para que dentro de estas evaluaciones se tengan en cuenta las cuestiones específicas de género. Este hecho contrastado parte, una vez más, de la circunstancia de que los modelos de evaluación se han diseñado en la medida en que existe un objeto concreto de evaluación, y no de manera abstracta, lo que conlleva que indudablemente estos modelos se adapten al objeto, en el que la perspectiva de género no ha sido considerada en origen.

Solamente se proponen modelos de evaluación con perspectiva de género cuando el objeto de evaluación es un programa o proyecto de igualdad de oportunidades/género, cuya temática está centrada en este aspecto; unos modelos que, por otra parte, son en su mayoría más o menos restrictivos de cara a definir los instrumentos de evaluación, ajustándose a las circunstancias, contextos, participantes, etc., a partir de los cuales se ha desarrollado dicho programa/proyecto.

Por todo lo anterior, de la compilación y el análisis efectuado no cabe extraer directamente un modelo completo de evaluación con integración de la perspectiva de género. Sin embargo, sí se pueden recopilar una serie de conclusiones básicas sobre la evaluación y el género que aparecen, repetidamente, en estos documentos.

Es el caso de los indicadores, de forma general, con distintas denominaciones pero con una funcionalidad similar, se propone que sean de tres tipos: indicadores de entrada –que miden las características del contexto, de los y las participantes, y de los recursos con los que se cuenta para desarrollar el programa/proyecto-, los indicadores de resultados –que van midiendo en cada etapa del proyecto cómo se va cubriendo los objetivos establecidos-, y los indicadores de impacto, que miden los resultados más allá de los objetivos y grupos destinatarios de los que se partía, es decir, la repercusión que ha tenido en el contexto y en los y las beneficiarias indirectas a medio plazo. Además, todos los documentos hacen especial hincapié en que estos indicadores deberán permitir medir aspectos como la eficacia, la eficiencia, la pertinencia o la cobertura del proyecto, lo que significa:

! La eficacia. Si el proyecto ha logrado los objetivos desde el punto de vista de las actuaciones y de los beneficios experimentados por los grupos destinatarios;



90

! La eficiencia. Si el proyecto ha sido rentable, comparando los resultados obtenidos con los recursos invertidos;

! La pertinencia, que relaciona las necesidades de partida con las actuaciones llevadas a cabo para suplirlas;

! La cobertura, es decir, cuánta población con necesidad de ser atendida en el proyecto se ha beneficiado finalmente.

Sobre los momentos de la evaluación, con carácter general se puede afirmar que las recomendaciones van enfocadas a que se realicen cuatro tipos de evaluaciones: una evaluación ex–ante, que analice la situación de partida y la pertinencia del proyecto frente a esa situación; una o varias evaluaciones intermedias, que consistirán básicamente en ir analizando los resultados periódicamente arrojados por el seguimiento, y que servirá para reconducir y tomar decisiones acerca de cómo se está ejecutando el programa/proyecto; una evaluación final, en la que se recojan los resultados definitivos del proyecto tras su ejecución completa; y una evaluación ex–post, cuyo objetivo será comprobar la sustentabilidad e impacto del proyecto un tiempo después de haber sido finalizado.

Respecto al género, la definición que más se ha encontrado sobre qué es lo que se evalúa, es la de medir la distinta situación de la que parten hombres y mujeres para el desarrollo del proyecto y sus diferentes necesidades, y cómo las actuaciones contribuyen a disminuir las desigualdades entre los sexos en función de las necesidades detectadas.

Por último, la recomendación que más se repite para realizar una buena evaluación de género, una recomendación que nace y se sustenta en la experiencia en evaluación de los distintos organismos incorporados al análisis, es la de incluir las cuestiones relativas al género desde el diseño y la planificación de las actuaciones. Las cuestiones relativas al género, tal y como apuntan estos organismos, deben estar presentes en todas las fases del ciclo del proyecto, y no considerarlas solamente a la hora de evaluar.

En definitiva, la perspectiva de género no debe restringirse a la etapa de evaluación, sino que debe ser una variable más incluida en el ciclo completo de los programas y proyectos. Solamente partiendo de un análisis de las distintas situaciones de hombres y mujeres en el contexto de intervención y considerando la variable “sexo” como una más de las variables a controlar, se podrá llevar a cabo una buena evaluación con perspectiva de género. Sin embargo, esta circunstancia aparece más como algo deseable que como una realidad tangible en la mayoría de los casos, por la imposibilidad de encontrar programas o proyectos que desde el inicio se hayan planteado dicha perspectiva de análisis.

Sólo hay pertinencia de género antes de abordar el problema. Una vez abordado, la pertinencia del género de las actuaciones termina por ser un imposible a medir. De ahí la necesidad de su transversalidad.



91

ANEXO: MODELO DE EVALUACIÓN CON PERSPECTIVA DE GÉNERO PARA PROGRAMAS DE FORMACIÓN DISEÑADO POR ENRED CONSULTORES



92

EL MODELO DE EVALUACIÓN CON PERSPECTIVA DE GÉNERO DISEÑADO POR ENRED CONSULTORES

Enred consultores, partiendo del análisis de modelos de evaluación de distintos organismos internacionales, ha elaborado en el año 2001 un modelo de evaluación con perspectiva de género que ha sido adaptado para la evaluación de programas de formación y capacitación técnica financiados por el Banco Interamericano de Desarrollo (BID).

El objetivo básico de dicho modelo es el de aportar las herramientas necesarias para la evaluación, desde una perspectiva de género, del impacto, calidad y sostenibilidad de programas y acciones formativas cuyo fin sea la inserción en el mercado laboral y el desarrollo de la empleabilidad, así como el grado de institucionalización de los logros de las políticas y prácticas de género en los organismos de formación.

Para ello el modelo de evaluación diseñado, parte de un marco conceptual basado en el esquema de análisis de la realidad de Ken Wilber, quien considera que cualquier dimensión de la realidad hay que visualizarla en términos de holones o totalidades partes. Cada holón, es decir cada realidad, dispone de cuatro planos que configuran un eje con cuatro cuadrantes, relacionándose el cuadrante superior izquierdo con la subjetividad del yo (la mente, el pensamiento, las emociones), el cuadrante superior derecho con la objetividad del ello (el cerebro, las neuronas), el cuadrante inferior izquierdo es el reino de lo subjetivo colectivo (los valores, las normas, los estereotipos) y el cuadrante inferior derecho hace referencia a lo interobjetivo (lo social).

Trasladado al sistema sexo – género, el cuadrante de la subjetividad del yo estaría representado por el concepto de género, el de la objetividad del ello por el del sexo, el subjetivo colectivo por la cultura patriarcal y el interobjetivo por el sistema de producción/reproducción. Pero yendo más allá, la aplicación del análisis de realidad de Willber a los programas de formación quedaría definido por un perfil subjetivo de las personas que participan en los programas, su perfil objetivo, el entorno cultural en el que se inscriben y el entorno material.

La aplicación del esquema de análisis de la realidad de Willber a los programas de formación, realizada por Enred Consultores, puede quedar reflejada de la siguiente manera:



93

ESQUEMA DE ANÁLISIS DE LA REALIDAD DE KEN WILLBER

Social Colectivo

Subjetivo Objetivo

Intersubjetivo Interobjetivo

YO ELLO

NOSOTROS ELLO

IndividualIntencional ConductualIndividual

ColectivoCultural

(Interior, No visible, Significado,Interpretación, Fondo, Inmaterial,Mente…)

(Exterior, Visible, Hecho, Empírico,Superficie, Forma, Material, Cuerpo…)

(Valores, Creencias, Instituciones, Normas,Símbolos, Mitos, Lenguajes, Relaciones…)

(Bases materiales, Sistemas de producciónde bienes y servicios…)

Estadios históricos:Arcaico, Mágico, Mítico, Racional, Centáurico

Estadios históricos:Recolector, Hortícola, Agrario, Industrial, Informático



94

APLICACIÓN AL SISTEMA SEXO – GÉNERO

Subjetivo Objetivo


YO (LA PERSONA) ELLO (SU REALIDADSOCIOBIOLOGICA)

NOSOTROS ELLO

Individual Género SexoIndividual

ColectivoCultura patriarcal

(Inserción en el rol de género, conciencia de+ - valía, adaptación a expectativascolectivas y comportamiento consecuentecon ellas)

(Diferencias biológicas/conductuales en función delsexo: cerebro, sistema hormonal, aparato reproductor)

(Prevalencia de las necesidades y valoresmasculinos, segregación de papeles en funcióndel género, ocultación del valor social del sistemareproductivo)

(Especialización de hombres y mujeres en tareasproductivas/reproductivas diferentes)

Hombre/MujerMasculino/Femenino

Macho/Hembra

Sistema deproducción yreproducción

Colectivo

SPM SPDX

Sistema deproducción parael mercado

Sistema deproduccióndoméstica (no se“ve” pero existe eincide)



95

APLICACIÓN A LOS PROGRAMAS DE FORMACIÓN

De esta manera el modelo de evaluación diseñado propone evaluar la formación a partir del análisis de cuatro dimensiones:

• Perfil objetivo de los y las participantes.

• Perfil subjetivo de los y las participantes.

• Entorno cultural de los programas: institucional, formativo, familiar y comunitario.

• Entorno material de los programas: mercado de trabajo, sistema reproductivo.

En función de este esquema de análisis y teniendo en cuenta que el objetivo del modelo de evaluación es el de medir el impacto, la calidad y la sostenibilidad de los programas y acciones formativas, los ejes que se contemplan son:


Entorno Cultural

•Entorno institucional/formativo•Entorno económico/empresarial•Entorno familiar•Entorno comunitario

•Mercado de trabajo•Sistema de produccióndoméstica

Persona(perfil subjetivo)

Persona(perfil objetivo)

Entorno Material



96

1. Impacto

Tres ejes de análisis se contemplan a tal efecto (ex – ante y ex –post):

% Personas beneficiarias (su perfil objetivo y subjetivo)

Hay que distinguir:

- Perfil de Entrada: es necesario diferenciar las categorías de usuarios y asuarias de los programas de formación para predecir comportamientos, aplicar/controlar tratamientos y lograr una comprensión completa de sus resultados. A tal efecto hay que considerar la interrelación de variables objetivas y subjetivas, esto permitirá establecer perfiles tipo de empleabilidad, pudiendo analizarse así las diferencias de base entre los distintos público objetivo de la formación

- Perfil de Salida, una mejora al final de la participación en un programa del perfil psicoprofesional del /la participante incidirá en sus perspectivas de mejorar a medio plazo su empleo/empleabilidad

- Impacto, el resultado de los programas se verá afectado en función de cuáles sean los perfiles de los y las participantes y de cómo éstos se vean modificados en virtud de la pertinencia y calidad de la experiencia formativa.

% Programas

Un programa realmente exitoso desde una perspectiva de género habría de influir no solo en el saber sino en el saber que se sabe, en al disponibilidad para el empleo y en otros factores íntimamente ligados a los roles de género, así como en la disposición de herramientas que incrementen el margen de maniobra de los y las participantes para superar las barreras.

% Entorno

La empleabilidad, vista desde una perspectiva de género, no puede desconsiderar el efecto que los factores extra-profesionales tienen en la situación, posicionamiento y decisiones de las mujeres en relación con el mercado de trabajo. Por tanto, se hace necesario tener en cuenta otras variables que, a nuestro entender, inciden de forma dinámica –y decisiva- en la vida y oportunidades laborales de las mujeres (papel y apoyos de la institución, papel y apoyos de la familia, comportamiento frente a la natalidad, alimentación de redes sociales….).

2. Calidad

El objetivo de este nivel de análisis será verificar que el ciclo completo del programa cumple con un mínimo de requisitos que garanticen que el proceso de la formación apunta efectivamente hacia el logro de las metas fijadas. En este sentido, la calidad la



97

estaríamos definiendo en función de la presencia/ausencia de una serie de atributos vinculados - entre otros- a los siguientes espacios de análisis:

a) Cómo se planificó la oferta formativa

b) Qué niveles de concertación y participación de los actores fueron establecidos

c) Cuál fue el mecanismo para la convocatoria y selección de participantes

d) Qué tipo de contenidos tiene la formación

e) Qué tipo de metodologías se utilizan y cómo se organiza la formación

f) Con qué recursos cuenta el programa

g) Qué estrategia o plan de sensibilización, formación y evaluación se estableció para garantizar el adecuado desempeño de las/os docentes

h) Cómo se ha definido el plan de seguimiento y evaluación interna

i) Si ha sido prevista una estrategia de intervención en el entorno familiar y comunitario de las/os participantes

3. Institucionalización

La presencia del enfoque de género a nivel contextual - institución promotora- y a nivel de programa - acciones formativas y complementarias- genera condiciones de cambio estructural que pueden ser verificadas en el corto, medio y largo plazo, y fortalece la sostenibilidad de los logros alcanzados. Desde este punto de vista, el modelo de evaluación propuesto prestará una especial atención a dos cuestiones clave:

a) la evolución de los programas a medio y largo plazo (¿continuaron? ¿se proyectaron? ¿con financiación interna o externa? ¿permearon en el conjunto de la entidad sus metodologías, culturas, valores, equipos…? ¿se crearon redes internas o externas),

b) las interrelaciones positivas o negativas que se producen entre programas e instituciones/entidades a la hora de fortalecer la institucionalización de la dimensión de género, sobre la base de tipologizar ambos en función de su grado de innovación, existencia de culturas de género, apertura e interacción con los actores del entorno, etc.

Para medir estos ejes del análisis, el modelo elaborado por Enred consultores estipula que han de tenerse en cuenta los siguientes aspectos a la hora de definir los indicadores que respondan a cada uno de estos presupuestos de partida:

a) Dentro del perfil objetivo de los beneficiarios y las beneficiarias:



98

1. El perfil formativo

2. El perfil económico

3. El perfil laboral

4. El perfil familiar

5. El perfil comunitario

b) En lo que respecta al perfil subjetivo:

1. Manejo de sí mismo o de sí misma

2. Capacidad de proyección

3. Capacidad de intervención

4. Capacidad para los recursos humanos

5. Visión global y sistémica

6. Capacidad de implicación

7. Capacidad de gestión

c) En cuanto al contexto del programa:

1. Entorno material: entorno general, mercado de trabajo, sistema de producción doméstico

2. Entorno institucional/formativo

3. Entorno económico/empresarial

4. Entorno familiar

5. Entorno comunitario

d) Sobre el programa de formación:

1. Para qué: las metas del programa

2. Qué: contenidos del programa

3. Quiénes: actores del programa

4. Con qué: logística y recursos



99

5. Cómo: proceso del programa

Para operativizar e instrumentalizar la recogida de información sobre estos parámetros de análisis, las herramientas diseñadas por el Enred Consultores han sido nueve cuestionarios en total más una “lista de control” para el evaluador/a, y que son los que se detallan a continuación:

Componente Nombre del material

Guía general con “lista de control” para el evaluador/a Contexto Material Cultural Personas beneficiarias Entrada Salida Seguimiento posterior Programas Fase inicial Fase intermedia (similar al de Fase final) Fase final Fase seguimiento posterior

Las dimensiones e indicadores contemplados en cada uno de los cuestionarios son las que se recogen en los cuadros siguientes:

I. Entorno material: algunas dimensiones e indicadores

Dimensiones Indicadores

Entorno general & Demarcación territorial & Perfil demográfico & Indicadores de pobreza

Mercado de trabajo & Características del mercado de trabajo local & Niveles de actividad, empleo y desocupación & Desarrollo de tejido empresarial

ENTO

RN

O M

ATER

IAL

Sistema de producción doméstica & Características de los hogares & Tasas de fecundidad general y adolescente & Cobertura, costos y accesibilidad del sistema educativo



100

II. Entorno cultural: algunas dimensiones e indicadores


Entorno institucional/formativo & Sistemas de toma de decisiones, grupos de trabajo, mecanismos de coordinación

& Sistemas de almacenamiento y difusión del saber hacer institucional

& Mapa de cooperación con actores externos, intensidad y nivel estructural de esa relación

Entorno económico/empresarial & Estructura empresarial de la zona & Indicadores de innovación empresarial & Normativa laboral vigente & Participación femenina en organizaciones empresariales

Entorno familiar & Legislación de maternidad/paternidad vigente & Normas nacionales y/o adhesión a convenios nacionales

sobre responsabilidades compartidas & Niveles de violencia doméstica & Prácticas y clima cultural vigente sobre el trabajo de

cuidado y atención de niños y personas mayores

Ento

rno

cultu

ral

Entorno comunitario & Asociacionismo comunitario & Clima relativo al papel social de la mujer Participación de las mujeres en la vida general de la comunidad



101

III. Cuestionario de entrada de personas beneficiarias


Conocimientos & Nivel de instrucción formal y no formal Composición del hogar & Condición de actividad, ingresos, conocimientos, etc. del

resto de los integrantes del hogar Vivienda & Zona de residencia, tipo de tenencia y construcción, acceso

a servicios públicos Salud & Tipo y lugar de atención sanitaria. Embarazos y controles

prenatales Empleo & Características del empleo actual o del último. Tipo de

empleo, beneficios sociales y perfil de la empresa Ingresos & Tipo y destino de los ingresos Trabajo en el hogar & Tareas que se realizan, ayudas disponibles Tiempo libre & Actividades desarrolladas. Personas con las que se lo

comparte

PER

FIL

OB

JETI

VO

Participación comunitaria & Tipo y grado de participación en actividades Autopercepción & Mirada sobre la autoestima, autonomía, conciencia de

capacidades, aceptación propia y ajena, hiperresponsabilidadPercepción del entorno & Opiniones sobre las diferencias de sexo-género en el entorno

social, empresarial y local Empleabilidad (factores subjetivos)

& 1. Manejo de sí mismo/a, 2 Capacidad de proyección, 3 Capacidad de intervención, 4 Capacidad para las relaciones humanas, 5 Visión global y sistémica, 6 Capacidad de implicación y 7 Capacidad de gestión

Perspectivas sobre el empleo & Motivos para buscar empleo, tipo y características del empleo “deseado”

Perspectiva sobre la comunidad & Principales problemas comunitarios, posibles soluciones

PER

FIL

SUB

JETI

VO

Perspectivas sobre el futuro & Expectativas sobre el futuro y sobre la capacitación



102

IV. Cuestionario de salida de personas beneficiarias


Evaluación de la capacitación recibida

& Contenidos, docentes, recursos, lugar, duración, etc.

Uso del tiempo & Cambios y conformidad con el uso actual del tiempo disponibleEmpleo & Características del empleo actual o del último. Tipo de empleo,

beneficios sociales y perfil de la empresa Trabajo en el hogar & Tareas que se realizan, ayudas disponibles, cambios

apreciados

PER

FIL

OB

JETI

VO

Planes para el futuro & Con relación a la formación, el empleo, las condiciones materiales de vida, la familia y la comunidad

Autopercepción & Mirada sobre la autoestima, autonomía, conciencia de capacidades, aceptación propia y ajena, hiperresponsabilidad (contraste con el momento de inicio)

Percepción del entorno & Opiniones sobre las diferencias de sexo-género en el entorno social, empresarial y local (contraste con el momento de inicio)

PER

FIL

SUB

JETI

VO

Empleabilidad (factores subjetivos)

& 1. Manejo de sí mismo/a, 2 Capacidad de proyección, 3 Capacidad de intervención, 4 Capacidad para las relaciones humanas, 5 Visión global y sistémica, 6 Capacidad de implicación y 7 Capacidad de gestión (contraste con el momento de inicio)

V. Cuestionario de seguimiento posterior de personas beneficiarias


Formación & Cambios en la formación formal e informal obtenida con posterioridad al Programa o curso

Uso del tiempo & Cambios y conformidad con el uso actual del tiempo disponibleEmpleo & Características del empleo actual o del último. Tipo de empleo,

beneficios sociales y perfil de la empresa Ingresos & Tipo y destino de los ingresos Trabajo en el hogar & Tareas que se realizan, ayudas disponibles Familia & Cambios en la familia Tiempo libre & Actividades desarrolladas. Personas con las que se comparte Participación comunitaria & Tipo y grado de participación en actividades Condiciones materiales de vida

& Cambios o mejoras de la vivienda

Relación con el Programa & Opiniones sobre el Programa o Curso realizado



103

VI. Cuestionario de Programas (inicio)

Dimensiones Indicadores Datos generales Nivel territorial en el que actúa, tipo de institución, ámbito

de intervención... Los servicios y actividades Tipo de oferta formativa, procedimientos que se utilizan,

modalidad y especialidad de los servicios que brinda Las personas beneficiarias Perfil de las personas beneficiarias de los servicios por

sexo, edad, sector de especialidad formativa, situación familiar, etc.

Las personas que trabajan Cantidad del personal de la institución, proporción de mujeres, situación laboral, grado de rotación del personal, etc.

Las relaciones de cooperación Cooperación con otras entidades, realización de convenios o acuerdos, etc.

Los sistemas de información y prospección

Disponibilidad de sistema de información, tipo de información que ofrece, etc.

Los sistemas de seguimiento y evaluación Seguimiento, tipo de evaluación que se realizará, difusión y debate de los resultados

PER

FIL

DE

LA I

NST

ITU

CIÓ

N

La perspectiva de género e igualdad de oportunidades

Cómo se trabaja el Programa desde esta perspectiva

Perfil general Características generales del Programa, objetivos generales y específicos, etc.

Gestación, diseño y planificación de la oferta formativa

Quién y por qué propuso la realización del Programa, gestación, sistematización de procedimientos –manual operativo-, etc.

Selección, capacitación y puesta en marcha del equipo formativo

Unidad ejecutora central, técnicos y docentes. Cuántas personas conforman o conformarán la unidad de coordinación, requisitos de selección, nivel formativo del equipo

Concertación y participación de los actores

Acuerdos formales con empresas, intercambio de experiencias...

Promoción externa e interna del Programa Tipo y forma de promoción, medios por la que se realiza, otras actividades de sensibilización sobre el Programa...

Convocatoria y selección de participantes Población objetivo, cupos, fuentes de identificación de los y las potenciales beneficiarias, criterios de selección...

Ejecución del Programa o Acción formativa

Contenidos y duración del Programa, metodología, accesibilidad de la formación Recursos

Gestión Interna del Programa o Acción formativa

Procedimientos de gestión y justificación administrativo financiera, rutinas administrativas y de seguimiento

Seguimiento, evaluación y retroalimentación/difusión de los resultados

Base de datos disponibles, diseño del seguimiento y la evaluación, actividades de retroalimentación y/o difusión de los resultados

EL P

RO

GR

AM

A O

AC

CIÓ

N F

OR

MA

TIV

A

Valoración del Programa Valoración general y específica del Programa. Logros, dificultades y sugerencias de mejora



104

VII. Cuestionario de Programas (intermedia - final)

Dimensiones Indicadores Gestación, diseño y planificación de la oferta formativa

Quién y por qué propuso la realización del Programa, gestación, sistematización de procedimientos –manual operativo-, etc.

Selección, capacitación y puesta en marcha del equipo formativo

Perfil de la unidad ejecutora central, técnicos y docentes. Nivel formativo del equipo, capacitación ofrecida

Concertación y participación de los actores Acuerdos formales con empresas, intercambio de experiencias realizadas. Valoración de las mismas

Promoción externa e interna del Programa Tipo y forma de promoción, medios usados, otras actividades de sensibilización

Convocatoria y selección de participantes Población objetivo, fuentes de identificación de los y las beneficiarias, criterios de selección utilizados

Ejecución del Programa o Acción formativa Presupuesto, contenidos, metodologías, accesibilidad, recursos y plazos

Gestión Interna del Programa o Acción formativa

Ejecución financiera y circuitos y procedimientos administrativos

Seguimiento, evaluación y retroalimentación/difusión de los resultados

Base de datos disponibles, seguimiento y la evaluación, actividades de retroalimentación y/o difusión de los resultados

Integración del Programa en la realidad institucional

Nivel de apoyo e implicación de la Institución / Entidad en el desarrollo del Programa

Valoración del Programa Valoración general y específica del Programa. Logros, dificultades y sugerencias de mejora

EJEC

UC

IÓN

Y G

RA

DO

DE

CU

MP

LIM

IEN

TO D

E LA

S M

ETA

S P

REV

ISTA

S

Expectativas de futuro Expectativas generales y sobre institucionalización de la dimensión de género e igualdad de oportunidades

VIII. Cuestionario de Programas (seguimiento posterior)

Dimensiones Indicadores Gestación, diseño y planificación de la oferta formativa Selección, capacitación y puesta en marcha del Equipo

Concertación y participación de los actores Promoción externa e interna del Programa Ejecución del Programa o Acción formativa Gestión Interna del Programa o Acción formativa Seguimiento, evaluación y retroalimentación/difusión de los resultados

Componentes del Programa

Integración del Programa en la realidad institucional Valoración del Programa Avances, retrocesos y sugerencias Institucionalización del Institucionalización de la dimensión de género e igualdad

PR

OG

RA

MA

O A

CC

IÓN

FO

RM

ATI

VA

Programa de oportunidades

INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO...

Documents

Transcript of INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO...