EVALUACIÓN DE LA MEDIACIÓN · plantean Aguilar y Ander-Egg (1992) la evaluación sólo tiene...

EEVVAALLUUAACCIIÓÓNN

DDEE LLAA

MMEEDDIIAACCIIÓÓNN

PPrrooggrraammaa ddee FFoorrmmaacciióónn aa DDiissttaanncciiaa

Divulgación Dinámica, S.L.

OOObbbjjjeeetttiiivvvooosss:::

Adquirir una visión inicial de los fines y

funciones a los que la evaluación puede servir en los procesos y programas de mediación, diferenciando la evaluación formativa de la sumativa, y tomando en consideración la importancia de ambas en el diseño de procesos evaluativos.

Conocer diferentes perspectivas y formas

de enfocar los procesos de evaluación de la mediación, apreciando la complementariedad existente entre los diversos enfoques.

Iniciar en la planificación y desarrollo de procesos de evaluación de la mediación, diferenciando sus distintas fases, y seleccionando los procedimientos más adecuados para cada una de ellas.

Reflexionar sobre los factores y criterios que deben inspirar los procesos de mediación para aumentar su efectividad, tomando conciencia de la relevancia que las cuestiones técnicas y éticas adquieren en dichos procesos.

CCCooonnnttteeennniiidddooosss:::

LA EVALUACIÓN COMO ESTRATEGIA PARA OPTIMIZAR LOS PROCESOS Y PROGRAMAS DE MEDIACIÓN: CONCEPTO, FINES, FUNCIONES Y MODELOS Concepto de Evaluación; Fines de la Evaluación; Funciones de la Evaluación; Modelos (Modelos de evaluación basados en un esquema tradicional, objetivista y externo; Modelos de evaluación basados en un esquema participativo-subjetivista y básicamente cualitativo e interno). PLANIFICACIÓN Y DESARROLLO DE LA EVALUACIÓN Facetas y Momentos de la Evaluación; Diseño de Evaluaciones: Guía para realizar la evaluación de la mediación; Adaptación y Aplicación de la Evaluación a las Fases del Proceso de Mediación. EFICACIA DE LA MEDIACIÓN EL INFORME DE EVALUACIÓN: CARACTERÍSTICAS, AUDIENCIAS Y ESTRUCTURA EVALUACIÓN DE LA EVALUACIÓN: MEJORA DE LOS PROCESOS EVALUATIVOS

Programa de Formación a Distancia – Divulgación Dinámica, S.L.

1 EVALUACIÓN DE LA MEDIACIÓN

LA EVALUACIÓN COMO ESTRATEGIA PARA OPTIMIZAR LOS PROCESOS Y PROGRAMAS DE MEDIACIÓN: CONCEPTO, FINES, FUNDIONES Y MODELOS

Vivimos en una sociedad cada día más compleja, más democrática y llena de problemas. Los conflictos crecen de forma inevitable y, junto a ellos, aparece la necesidad de buscar nuevas formas de resolución y tratamiento de las divergencias. La mediación no es un procedimiento de resolución de conflictos exclusivo, es una de las posibles fórmulas. Pero sin duda alguna, es el proceso más aceptable y satisfactorio. Y como en cualquier actividad, toda intervención puede ser mejorada, resultando necesario para ello los procesos de evaluación. ¿Para qué sirve entonces la evaluación? ¿A qué se enfoca esta actividad? Desde nuestro punto de vista, la finalidad última de la evaluación es contribuir a la mejora y optimización de la acción, en este caso, de la acción mediadora. Esta contribución de la evaluación a la mejora se hace evidente en momentos históricos como el actual, caracterizados por el cambio social, ya que la evaluación se convierte en un fenómeno de gran relevancia (De la Orden, 2000).

1.

1. Concepto de Evaluación; 2. Fines de la Evaluación; 3. Funciones de la Evaluación; 4. Modelos (Modelos de evaluación basados en un esquema tradicional, objetivista y externo; Modelos de evaluación basados en un esquema participativo-subjetivista y básicamente cualitativo e interno).



Las connotaciones que la palabra “evaluación” suele tener, no siempre son agradables. A menudo, la evaluación se percibe como amenazante o ingrata, pues asociamos esta palabra a inspección, control y, por supuesto, a juicio de valor que se concreta en una calificación. El significado de la palabra “evaluar” es estimar, apreciar, señalar o calcular el valor de algo (R.A.E., 2001), por tanto, evaluación se refiere a la acción y efecto de evaluar, un verbo cuya etimología se remonta al francés évaluer. En un sentido amplio, evaluación podríamos ponerlo en relación con valoración (reconocer o estimar el valor, el mérito o las cualidades de una persona o cosa) y supone un juicio acerca de algo. Ya que la evaluación es un proceso orientado a emitir un juicio de valor y la valoración es necesaria cuando se quiere mejorar un determinado programa, proyecto o intervención. La evaluación como proceso debe entenderse como facilitador de la toma de decisiones. En términos generales, se puede decir que la evaluación se enfoca a juzgar el valor (eficacia, eficiencia, pertinencia,...) de un objeto, con el fin de tomar decisiones sobre el mismo que ayuden a mejorar dicho valor o mérito, utilizando para ello un procedimiento sistemático de recogida y análisis de valoración de acuerdo con el método científico. "Evaluar es formular juicios de valor acerca de un fenómeno conocido, el cual vamos a comparar con criterios que hemos establecido de acuerdo a unos fines que nos hemos trazado". (Zubiria, J. 1994). La evaluación es un componente básico en toda actividad. Independiente de la forma cómo se hace: sistemática, informal, organizada, explícita o implícita; siempre está presente en una acción. Evaluar es valorar... Independiente del enfoque y concepción que se asuma en relación a la evaluación, se debe rescatar el sentido esencial de evaluar: "valorar". Hay que reconocer que la evaluación es fundamentalmente un juicio acerca del valor o mérito del objeto que es evaluado, y no simplemente un hecho de asignar valores, símbolos, frases o dictámenes. De otro lado, hay que tener siempre presente, que en el acto de evaluar está la persona como eje central.

1.1. CONCEPTO DE EVALUACIÓN



Evaluar es valorar para tomar decisiones... El acto de evaluar tiene la finalidad de permitir una adecuada toma de decisiones en relación al objeto de la evaluación. Asumir esta precisión significa reconocer que la evaluación no es un fin en sí misma, sino un instrumento de un proceso mayor. Evaluar es valorar para tomar decisiones que implican:

• Alternativas, es decir una gama de posibilidades para ser elegidas, por

consiguiente no existe un único camino. • Decisiones que nos llevan hacia una u otra dirección previamente

identificada. • Participación y poder, pues en el acto de decidir deben tener injerencia

todos los sujetos involucrados en la valoración. Para que ello se produzca es básico la participación que posibilita la capacidad de influir en la decisión y, por tanto, tener poder para opinar, decidir y cambiar decisiones.



De los posibles fines de la evaluación, destacamos:

Emitir juicios de valor o comparar, Corregir errores, Modificar procesos, Tomar decisiones.

Es habitual señalar la comparación como una de las actividades propias de la evaluación. Así, en toda evaluación es constante una pretensión de comparar un patrón de deseabilidad (imagen-objetivo hacia la cual se orienta la acción) con la realidad y, por otro lado, la preocupación por alcanzar eficazmente los objetivos planteados (Cohen y Franco, 1993). Como resultado de esta comparación entre lo deseable y lo existente se genera un juicio de valor sobre la realidad sometida a evaluación. Por ello, es de gran importancia poner de manifiesto la utilidad de la evaluación como medio para corregir errores y poder modificar cursos de acción. Como plantean Aguilar y Ander-Egg (1992) la evaluación sólo tiene sentido en la medida en que sirve para tomar decisiones concretas. La necesidad de la evaluación viene dada porque permite una retroalimentación acerca de lo que se está haciendo, a fin de que se pueda mejorar en sucesivas ocasiones. Asimismo, sirve para proporcionar información objetiva que pueda fundamentar las decisiones de los responsables de un programa o proyecto. Una de las características básicas de la evaluación es su carácter instrumental, es decir, la evaluación no constituye una finalidad en sí misma, sino que su propósito es el de ayudar al proceso de toma de decisiones.

1.2. FINES DE LA EVALUACIÓN



Diferentes autores han reflexionado sobre las funciones de la evaluación. Fernández-Ballesteros (1995a), señala cuatro funciones de la evaluación:

Contabilidad pública y base para nuevas decisiones presupuestarias: La evaluación puede ayudar a decidir sobre nuevas asignaciones presupuestarias con base en la eficacia y eficiencia demostrada por el programa.

Justificación de decisiones, en tanto que se solicita la evaluación para justificar las acciones emprendidas.

Actuaciones sobre el programa, es decir, para ayudar a decidir si el

programa debe ser sustituido, mejorado o eliminado.

Contrastación de teorías. Con ciertas precauciones –puesto que no es lo mismo evaluar que investigar-, podemos decir que, de alguna forma, la evaluación de los efectos de un programa supone una forma de investigación de las hipótesis subyacentes al mismo.

Desde nuestro punto de vista, la finalidad última o función de la evaluación es una sola: optimizar los procesos de mediación. Este análisis de la función de la evaluación, por otra parte, no puede pasar por alto los usos de la misma, que tradicionalmente han sido divididos en dos categorías: la evaluación formativa y la sumativa.

Las diferencias entre ambos tipos de funciones responden tanto al momento de su aplicación, como al tipo de decisiones a que dan lugar. Esto se relaciona bastante con las distintas facetas del programa que pueden ser objeto de evaluación:

La evaluación de carácter formativo, se centra en las fases previas al

desarrollo del programa (determinación de necesidades), en su planificación y diseño, en su desarrollo, lo que permite el perfeccionamiento de la intervención y, a través de ella, el perfeccionamiento del producto.

La evaluación sumativa se centra básicamente en los resultados,

productos e impacto del programa.

1.3. FUNCIONES DE LA EVALUACIÓN



En este apartado queremos destacar la falta de acuerdo y la diversidad de opiniones existente sobre el tema de la evaluación. Aquí optamos por diferenciar sólo dos enfoques generales en la evaluación de programas: uno que agrupa a modelos que pueden caracterizarse como tradicionales, objetivistas, y básicamente cuantitativistas y externos, y otro en el que se incluyen modelos participativos-subjetivistas y básicamente cualitativos e internos. 1.4.1. Modelos de evaluación basados en un esquema tradicional,

objetivista y externo En el siguiente cuadro se presenta un resumen de los modelos y propuestas que adoptan una perspectiva objetivista y externa respecto de la evaluación. En todos ellos, la evaluación se orienta a la toma de decisiones desde un planteamiento eficientista, es decir, se trata de que la información aportada por la evaluación sea de utilidad a la hora de rentabilizar los recursos invertidos para el logro de los objetivos del programa. En estos modelos, el evaluador es generalmente un profesional externo al programa, que actúa en calidad de técnico especializado en el manejo de las técnicas e instrumentos de recogida y análisis de datos. Desde estos modelos, por otra parte, se busca una información objetiva obtenida a partir de instrumentos estandarizados, cuestionarios cerrados, pruebas objetivas, etc. y analizada, generalmente, de forma estadística.

1.4. MODELOS



RESUMEN DE LAS PRINCIPALES CARACTERÍSTICAS DE LOS MODELOS BASADOS EN UN ESQUEMA TRADICIONAL-OBJETIVISTA Y EXTERNO

FINALIDAD

METODOLOGÍA

CONTENIDOS

ENFOQUE

C

onse

cuci

ón d

e ob

jetiv

os

(Tyl

er)

Medición de los logros

educativos

Cuantitativa Resultados Externo

Pl

anifi

caci

ón

educ

ativ

a (C

ronb

ach)

Valoración del

proceso y producto educativo

Cuantitativa

U (unidades de evaluación)

T (tratamiento) O (operaciones)

Externo

C

.I.P.

P.

(Stu

ffleb

eam

)

Información para la toma de

decisiones

Cuantitativa

C (contexto) I (input)

P (proceso) P (producto)

Externo

C

.S.E

. (A

lkin

)

Información

para la determinación de decisiones

Cuantitativa

Valoración de necesidades

Planificación del programa

Instrumentalización Progresos Resultados

Externo

O

rient

ado

al

clie

nte

(Scr

iven

)

Análisis de necesidades de

clientes

Cuantitativa-Cualitativa

Efectos (evaluación final)

Recursos mediacionales y

procesuales (evaluación intrínseca)

Externo

Ev

alua

ción

de

pro

gram

as

educ

ativ

os

(Pér

ez J

uste

)

Valoración y toma de

decisiones

Cuantitativa-Cualitativa

Programa en sí mismo Programa en su

desarrollo Programa en sus

resultados

Externo-Interno



1.4.2. Modelos de evaluación basados en un esquema participativo-

subjetivista y básicamente cualitativo e interno Desde este esquema evaluativo se prima la preocupación por los procesos y por las personas que en ellos participan, adoptándose una perspectiva más subjetivista. La evaluación atiende, como algo fundamental, a los procesos que tienen lugar para la consecución de los resultados. De hecho, estos modelos (sintetizados en el siguiente cuadro) surgen como reacción a los planteamientos objetivistas en los que no se tiene en cuenta el punto de vista de las personas implicadas en los procesos evaluados. Se adopta una perspectiva esencialmente interna de la evaluación. El evaluador se sitúa en el marco natural en que se desarrolla el programa, asumiendo, por lo general, una actitud dinamizadora del cambio y de observación participante. Se trata de que los participantes y/o usuarios reflexionen sobre el proceso llevado a cabo, como medio de mejora.

RESUMEN DE LAS PRINCIPALES CARACTERÍSTICAS DE LOS MODELOS BASADOS EN UN ESQUEMA PARTICIPATIVO-SUBJETIVISTA E INTERNO

FINALIDAD

METODOLOGÍA

CONTENIDOS

ENFOQUE

O

rient

ació

n ad

vers

aria

(W

olf,

Ow

ens)

Determinar

opiniones para conseguir decisiones

consensuadas

Cuantitativa-cualitativa

Cualquier aspecto del programa Interno

C

rític

a ar

tístic

a (E

isne

r)

Interpretación crítica de la acción

educativa

Cualitativa

Contexto Procesos educativos Procesos emergentes

Relaciones de procesos Impacto en contexto

Interno

Ev

alua

ción

re

spon

dien

te

(Sta

ke)

Valoración de respuestas a

necesidades de participantes

Cualitativa Debate sobre todo el programa Interno

Ev

alua

ción

ilu

min

ativ

a (P

arle

tt y

Ham

ilton

) Iluminación y

comprensión de componentes del

programa

Cualitativa Sistema de enseñanza y

medio de aprendizaje

Interno



Ev

alua

ción

de

moc

rátic

a (M

cDon

ald)

Interpretación de

la acción educativa para su

mejora

Cualitativa Elementos que

configuran la acción educativa

Interno

En general, de todos los modelos basados en enfoques participativos-subjetivistas, es destacable el carácter activo y de compromiso, tanto del evaluador como de los propios sujetos implicados en el proceso, así como la riqueza de la información y las asunciones formativas y sumativas a lo largo del mismo. Entre sus limitaciones suelen citarse los problemas de credibilidad externa, los inconvenientes propios de las dinámicas de grupo y la posibilidades de control del mismo (Carballo, 1990). No queremos finalizar este apartado sin mencionar una propuesta más reciente que tiene un notable valor desde la perspectiva de la mediación. Nos referimos a la empowerment evaluation, conceptualizada en el texto de Fetterman (1996). Este autor define esta forma de evaluación como el uso de los conceptos de la evaluación, de sus técnicas y estrategias para fomentar la mejora y autodeterminación de los participantes de un programa. Como plantean Bartolomé y Cabrera (2000), este enfoque de evaluación es especialmente útil para el trabajo con personas que sufren algún tipo de discriminación y/o marginación. En este sentido, Cabrera (2000) sugiere que la empowerment evaluation utiliza los beneficios de la metodología de la evaluación para el desarrollo de habilidades de autoevaluación que permitan a las personas, organizaciones y comunidad a mejorar por sí mismas sus actuaciones, y a favorecer el cambio social necesario para que las situaciones resulten más justas y equitativas.



PLANIFICACIÓN Y DESARROLLO DE LA MEDIACIÓN

I Teniendo en cuenta la complejidad del proceso evaluativo, sus fines diversos y que puede realizarse conforme a enfoques también diversos consideramos que solo es posible hacer una referencia general al proceso de planificación y desarrollo de la evaluación, indicando aquellos aspectos que requieren mayor atención y dejando al profesional de la mediación la ardua tarea de adaptar a situaciones concretas las recomendaciones generales que aquí vamos a sugerir. En numerosas ocasiones identificamos la tarea de evaluar con una acción a posteriori de algo, una vez que ha ocurrido. En realidad esta idea es poco correcta, ya que la evaluación puede (y debe) realizarse tanto con anterioridad a la intervención (evaluación de necesidades y evaluación del diseño), como durante la misma (evaluación del desarrollo), como con posterioridad a ella (evaluación de los resultados). En términos generales, podemos señalar cuatro momentos esenciales del proceso de evaluación de programas:

2.1. FACETAS Y MOMENTOS DE LA EVALUACIÓN

A posteriori Durante Antes

Evaluación de necesidades.

Evaluación del diseño y

Planificación de la intervención.

Evaluación del proceso.

Evaluación de resultados.

2.

1. Facetas y Momentos de la Evaluación; 2. Diseño de Evaluaciones: Guía para realizar la evaluación de la mediación; 3. Adaptación y Aplicación de la Evaluación a las Fases del Proceso de Mediación.



Es importante mencionar que todas estas facetas de la evaluación pueden no darse conjuntamente en cada evaluación concreta. Así, hay procesos evaluativos que afectan a todos los momentos aquí señalados, mientras que otros procesos se limitan a ser evaluaciones de necesidades, de diseño, etc. Evaluación de necesidades

Todo programa surge como respuesta a una realidad problemática o una situación en la que se manifiesta un conjunto de necesidades. Es por ello que la evaluación de necesidades se convierte en la fase previa de la planificación de una intervención, ya que de sus resultados dependerán las metas de esta intervención. De esta forma, la evaluación de necesidades asegura la funcionalidad de la intervención a desarrollar -aspecto muy importante como criterio de calidad-, en tanto que facilita que la intervención en mediación sea coherente con las aspiraciones, expectativas y necesidades de individuos y grupos (De la Orden, 1999).

Por otra parte, a la hora de proceder a la evaluación de necesidades es de gran importancia conocer los diferentes tipos de necesidades que podemos encontrar, ya que de ello depende la calidad de la evaluación. Así, Moroney (1977) hace una propuesta que puede resultar muy útil a tal efecto. Este autor diferencia entre:

Necesidades normativas, que son aquellas definidas por el experto de

acuerdo con criterios o estándares establecidos a priori. Necesidades percibidas, que son aquellas necesidades subjetivas que

los usuarios manifiestan en los diferentes procedimientos de recogida de información (como, por ejemplo, una encuesta).

Necesidades expresadas, que se derivan de los registros y datos sociodemográficos existentes en una comunidad (por ejemplo, el número de reclamaciones recibidas por un determinado servicio está expresando un funcionamiento inadecuado del mismo).

Necesidades relativas, que se refieren a principios de comparación entre lugares, personas,...

Evaluación del diseño y la planificación del programa

En la evaluación del diseño, la evaluación debe asegurar la adecuación del diseño de la intervención mediadora y su coherencia interna, es decir, la congruencia entre sus diferentes componentes: objetivos, contenidos, estrategias, ambientes, materiales,... En esta etapa destacan como instrumento básico de recogida de información las técnicas observacionales y las entrevistas.



De esta forma, los resultados de la evaluación del proceso pueden llevar a constatar que existe una discrepancia entre la planificación y la ejecución de un programa y, en consecuencia, adaptar una a la otra. Es decir, redefinir el diseño de la intervención o lograr su adecuada implementación.

Evaluación del proceso

La evaluación del proceso o de la implementación persigue descubrir los defectos de planificación en los procedimientos y en su realización durante el proceso de ejecución del programa. Desde el punto de vista de la mejora de la intervención mediadora, la evaluación del desarrollo o evaluación de la puesta en práctica de la intervención es una fase esencial, que se realiza durante la ejecución de la misma. Su objetivo consiste en establecer en qué medida se está cumpliendo y realizando el programa, identificando hasta qué punto los distintos elementos constituyentes del mismo se están llevando a la práctica de forma conveniente.

Evaluación del producto o los resultados

Finalmente, es necesario proceder a la evaluación del producto o de los resultados. Ello implica determinar la eficacia, efectividad y la eficiencia de la intervención (según la clasificación de la OMS, 1981). Así, de forma general, puede decirse que la finalidad de la evaluación del producto consiste en valorar, interpretar y juzgar los logros de la intervención desarrollada. De esta forma, puede decidirse si el programa debe prolongarse, repetirse, generalizarse a otros contextos, eliminarse, etc. A diferencia de la evaluación del diseño y del proceso, la evaluación del producto se centra en los efectos generados por el programa, en su proyección hacia el exterior. No importa tanto saber si el programa funciona bien o mal, sino si logra o no los objetivos que pretendía (Jiménez Lara, 1996c). A lo anterior debemos añadir la evaluación de la eficiencia, que se preocupa por determinar si los costos del programa justifican los resultados esperados. Se trata de determinar si los resultados obtenidos están en relación con los recursos y medios puestos a disposición de la consecución de objetivos. Alude, por tanto, a la relación coste/beneficio, que en contextos más sociales podría intercambiarse por coste/eficacia o coste/utilidad, ante la dificultad de



cuantificar económicamente el valor de los logros de programas específicos de mediación. En lo que se refiere a las técnicas y procedimientos de recogida de información, la evaluación de resultados permite un uso variado de procedimientos como pruebas objetivas; los cuestionarios y entrevistas (estructurados o no); el análisis de indicadores; los autoinformes; etc. En relación con el primero de los grupos apuntados – pruebas objetivas como tests o escalas - estos procedimientos demuestran especialmente su utilidad en la medición de los logros atribuibles al programa. No debemos olvidar que la evaluación del producto persigue eminentemente determinar si se han conseguido o no los objetivos de la intervención. Esta constatación exige instrumentos que permitan realizar mediciones que nos informen de cómo aumentan o disminuyen las variables objeto de nuestro interés (actitudes, aptitudes, conocimientos sobre técnicas de resolución de conflictos, escucha activa...). No obstante, es conveniente completar la información que aportan los procedimientos basados en la medición con las opiniones de usuarios y otros colectivos implicados directamente en el programa. Para ello los procedimientos idóneos son los basados en la encuesta (entrevistas y cuestionarios), sin olvidar los que se basan en el grupo (dinámicas grupales, grupo de discusión, etc.). En definitiva, nuevamente en el uso de procedimientos diversos descansará la calidad de la información recogida e indirectamente, de la evaluación realizada.



Un buen diseño de la mediación es aquel que propicia las condiciones óptimas para que se logren resultados, independientemente de que estos lleguen a conseguirse. El mediador ha de conseguir, adoptando diferentes enfoques de rol, que las partes:

Entiendan como objetivo principal de la mediación, el desarrollar un proceso que conduzca a un acuerdo, si es posible y deseable por ambas partes.

Se comuniquen, hablen con los mismos marcos de referencia, y entiendan los intereses, los objetivos y las necesidades que recíprocamente les motivan.

Se traten con respeto en un plano de igualdad, llegando si es posible a sentirse como un grupo de resolución de problemas que mutuamente les atañen.

Aborden los problemas con actitud abierta y comprensiva hacia las necesidades e intereses legítimos del otro.

Presenten nuevas ideas y adopten, si es posible, una perspectiva no distributiva de los problemas que les han llevado al proceso de mediación.

Elaboren acuerdos construidos y deseados por las propias partes, ya que ésta será la mejor garantía de cumplimiento una vez que éstas vuelvan a la relación organizacional cotidiana.

Es necesario que hagamos patente, ya desde el principio, la dificultad inherente del proceso de evaluación de programas, ya que dicho proceso será muy diferente en función de múltiples aspectos. Así, la perspectiva seleccionada -por ejemplo, externas vs. interna- influirá notoriamente en las fases y tareas del proceso evaluador. Lo mismo puede decirse de la complejidad o extensión que tenga el programa. Hemos decidido presentar aquí un modelo general que responde a lo que entendemos como fases y/o tareas esenciales en toda evaluación. Es evidente que esas fases y tareas tendrán que adaptarse a las características concretas de cada evaluación a desarrollar. No nos parecen incompatibles las perspectivas interna-externa o cuantitativa-cualitativa cuando se habla de evaluación, por lo que nuestra propuesta de trabajo trata de integrar estos dobles enfoques en su conceptualización.

2.2. DISEÑO DE EVALUACIONES: GUÍA PARA REALIZAR LA EVALUACIÓN DE LA MEDIACIÓN



Teniendo en cuenta todo lo anterior, y basándonos en diferentes trabajos que han abordado el diseño de la evaluación (Alvira, 1991; Aguilar y Ander-Egg, 1992; Cohen y Franco, 1993; Fernández-Ballesteros, 1995c; García y Ramírez, 1996; Rueda, 1996; Martín y Sarrate, 1999; Gobantes, 2000; López de Ceballos, Merlo y García, 2001), consideramos que las fases y tareas implicadas en la planificación de evaluaciones, pueden resumirse en las siguientes: 11.. PPllaanntteeaammiieennttoo ddee llaa eevvaalluuaacciióónn

Toda evaluación comienza por una demanda que es necesario explicitar, analizar y consensuar. A lo largo de esta fase se trata de plantear las líneas esenciales de lo que va a ser el proceso evaluativo, intentando ver cuáles son los diferentes puntos de vista existentes en torno al mismo, de manera que resulte posible implicar a todas las personas participantes en el programa objeto de evaluación. Preguntas como ¿quién solicita la evaluación?, ¿para qué?, ¿qué se pretende evaluar?, ¿cuáles son las características del programa a evaluar?, ¿cuál será el papel de los evaluadores?, ¿qué se espera de las personas que participan en el programa?, ¿qué obstáculos pueden aparecer durante el proceso?,... son las que ocuparán esta primera fase de la evaluación. Una de las cuestiones a abordar en esta fase inicial es la finalidad de la evaluación, es decir, se trata de dilucidar el para qué de la misma y cuál será su uso práctico, ya que ambos aspectos delimitarán el resto del diseño (Gobantes, 2000). En el proceso de negociación e intercambio inicial, el evaluador (o los evaluadores) debe indagar acerca de las razones por las que se demanda la evaluación (rendir cuentas, tomar decisiones, mejorar, generar conocimientos...), atendiendo, para ello, a todas las personas implicadas en el programa, es decir, a las diferentes audiencias. Dentro de esta negociación inicial, es importante también dejar claro cuál va a ser el rol de la persona o personas que realizan la evaluación y, por supuesto, qué se espera también de quiénes participan en el programa. Igualmente, una tarea preliminar que también forma parte de esta primera fase se refiere a la necesaria familiarización con el programa por parte de quien/es realiza/n la evaluación (Alvira, 1991; Gobantes, 2000). Es evidente que quienes van a realizar la evaluación deben conocer con alto grado de detalle las características del objeto de evaluación, en este caso, el programa. A las tareas ya mencionadas, autores como Alvira (1991) y Fernández-Ballesteros (1995c) añaden la evaluación de la evaluabilidad del programa,



que persigue determinar si la evaluación del mismo es factible y viable, antes de proseguir con el resto de fases y tareas asociadas al proceso evaluador.

22.. DDeetteerrmmiinnaacciióónn ddee llaass ccuueessttiioonneess aa eevvaalluuaarr

Una de las tareas más relevantes y complejas en el proceso de evaluación se refiere a la delimitación de qué se va a evaluar. Una vez que, como consecuencia de la fase anterior, se ha analizado el programa y sus diferentes componentes, los evaluadores están en disposición de proponer sobre qué elementos del programa debe focalizarse la evaluación. Este proceso requiere de la participación de las personas implicadas en el programa. En este sentido, Jiménez Lara (1996b) plantea que los usuarios de la evaluación, con la ayuda de quienes la realizan, son los que han de determinar los contenidos de la misma. En cualquier caso, el evaluador deberá ayudar a los usuarios a decidir cuáles de las cuestiones planteadas sería oportuno investigar, en función de la utilidad esperada de la evaluación y de los recursos que sería necesario destinar a esa investigación, para llegar así a un acuerdo sobre los objetivos de la evaluación (Jiménez Lara, 1996b). Los indicadores hacen referencia a un contexto específico según el concepto o dimensión de que forman parte. Hay algunos criterios que los indicadores deben cumplir. Aguilar y Ander-Egg (1992) proponen, en esta línea, cuatro requisitos mínimos: independencia -cada indicador se usará para una sola meta-, verificabilidad –en tanto que permitan comprobar empíricamente los cambios que se van produciendo a través del programa, teniendo el mismo significado para todos los participantes-, validez -que permitan valorar todos y cada uno de los objetivos de la evaluación- y accesibilidad -que la obtención de información en torno al mismo no resulte excesivamente difícil y costosa. El proceso a través del cual se transforman las dimensiones o conceptos en indicadores es complejo y requiere una profunda reflexión por parte de las personas que realizan la evaluación. En esencia, consiste en (Aguilar y Ander-Egg, 1992; Cohen y Franco, 1993; etc.):

1. Definir el concepto o dimensión que se desea evaluar, lo que supone

descomponerlo en todos los aspectos que lo integran y aclarar las relaciones que se establecen entre estas partes. La deducción de las sub-dimensiones lleva a la partición del concepto, que formalmente debe ser exhaustiva (que las sub-dimensiones cubran todo el concepto o dimensión) y excluyente (las sub-dimensiones no deben superponerse o interceptarse entre sí).



2. Formular propiamente los indicadores. Para ello hay que formular un

número más o menos amplio de expresiones en las que, en su conjunto, aparezcan reflejados todos los matices o aspectos implícitos y explícitos en la definición dada a la dimensión y sub-dimensiones en que ésta se ha descompuesto. Además, estos indicadores deben referirse de forma exclusiva a uno solo de estos aspectos y no a varios a la vez, lo que contribuiría a la falta de claridad y precisión de los indicadores finalmente elaborados. Por otra parte, su formulación debe hacerse en términos que permitan su contrastación empírica.

3. Con algunos de los indicadores, así formulados, pueden elaborarse índices. Estos índices permiten resumir la información proporcionada por varios indicadores (tienen, por tanto, un carácter fundamentalmente cuantitativo).

Cabe tener en cuenta que los indicadores, de forma aislada, sólo reflejan aspectos parciales de la realidad que se pretende evaluar. Como sugieren Aguilar y Ander-Egg (1992), el indicador es un dato que es síntoma de algo, pero no es ese “algo”. Así, “los indicadores pueden ser instrumentos útiles de aproximación a una realidad concreta, pero son eso: instrumentos de aproximación, no la realidad “(Aguilar y Ander-Egg, 1992:116).

33.. SSeelleecccciióónn ddeell ddiisseeññoo ddee llaa eevvaalluuaacciióónn yy ppllaanniiffiiccaacciióónn ddee llaa rreeccooggiiddaa yy

aannáálliissiiss ddee llaa iinnffoorrmmaacciióónn El diseño de la evaluación intenta responder al cómo, es decir, cómo se va a recoger la información, en qué momento, cuántas veces, en qué grupos, etc. El diseño dependerá, por un lado, de los objetivos de la evaluación y, por otro, del tipo de evaluación a realizar. En cualquier caso, el diseño de evaluación es un plan que asegura una recogida de datos organizada y sistemática. El diseño, no obstante, no sólo implica un plan en la recogida de información, sino que es la única vía para contestar a las preguntas evaluativas que exigen una comparación. Así, ¿cómo podemos estar seguros de que se producen cambios y mejoras como consecuencia del programa si no establecemos mecanismos que nos permitan realizar esta comparación (pretest-postest, comparación con un grupo de control,...)? Dentro de esta fase, otra tarea de gran importancia es la que se refiere a la selección y preparación de las técnicas e instrumentos de recogida de información. En general, las técnicas de recogida de información que se pueden utilizar en un proceso de evaluación son muchas y variadas por lo



que resulta difícil describirlas todas con exhaustividad. Aquí vamos a clasificarlas en cuatros grandes grupos según lo que, a nuestro parecer, es más característico de cada grupo de ellas. Los tres primeros grupos incluyen a (Padilla, 2002a y b):

Los procedimientos que recogen la información desde un esquema que consiste en la percepción/interpretación de un observador. Aquí se encuadrarían todos los procedimientos observacionales, desde los más a los menos sistematizados y bajo diferentes formatos de registros (diario de campo; listas de control; etc.).

El esquema de aprehensión de la realidad desde la interrogación

(formulación de preguntas) nos permite diferenciar las técnicas de encuesta, entre las que destacamos el cuestionario y la entrevista (estructurada y no estructurada).

El esquema de aprehensión de la realidad con base en su medición,

desde el cual se sitúan los tests, las escalas y las pruebas objetivas.

En nuestra opinión, los procesos de evaluación son tan complejos y afectan a tantas variables y posibles fuentes de información que resulta necesario utilizar en ellos una combinación de procedimientos a fin de sondear más exhaustivamente la realidad objeto de valoración. Cada grupo de procedimientos presenta ventajas y limitaciones en función del objetivo o finalidad al que sirven y las condiciones bajo las cuales se aplican.

Siendo, como es, un proceso participativo, no va a resultar nada fácil poner en práctica la evaluación. El papel que, en su desarrollo, desempeñan las personas que realizan la evaluación es esencial. Respecto al rol del evaluador, López de Ceballos, Merlo y García (2001) plantean que una actitud clave de los evaluadores tanto externos como internos, es la empatía con la institución y con las personas que la integran.

Como ya se ha destacado, conseguir la implicación en el proceso de evaluación de las personas participantes en el programa es una cuestión fundamental para asegurar la utilización de los resultados. Para ello es esencial que el evaluador sepa establecer una relación de comunicación continua con estas personas.



A modo de introducción proponemos en el siguiente cuadro, una guía para el análisis y evaluación del proceso de mediación.

Los mediadores explican en la premediación las características de la mediación. I O

Propuesta de mejora

Los protagonistas del conflicto están dispuestos a colaborar.

I O Indica en qué se nota

Los mediadores se presentan a sí mismos y a las partes en conflicto, y explican las reglas y normas del proceso.

I O Propuesta de mejora

En la fase de “información”, los mediadores utilizaron las siguientes habilidades: SI/NO Frecuencia*

Ejemplos

Parafraseo

Preguntas abiertas

Escucha activa

Empatía

En la frase en la que se aclara el problema indica ejemplos de: - Intervenciones que ayudaron a clarificar los

hechos, intereses, sentimientos y necesidades de las partes.

En la frase de aclaración de problemas ¿se utilizó correctamente la técnica de resumir? I O

Propuesta de mejora

En la fase en la que se proponen soluciones: Qué estrategias utilizaron:

2.3. ADAPTACIÓN Y APLICACIÓN DE LA EVALUACIÓN A LAS FASES DEL PROCESO DE MEDIACIÓN



Cuáles evitaron:

En la fase de acuerdo, indica y explica el por qué:

Qué lo ha posibilitado

¿Resuelve el problema?

¿Es equilibrado? ¿Satisface a las 2 partes?

¿Es realista?

¿Posibilita la mejora de la relación?

Los mediadores han actuado coordinadamente.

SI

NO

Propuesta de mejora

El/los mediador/es han sido imparciales en su actuación.

SI

NO

Propuesta de mejora

Indica las habilidades más destacadas de los mediadores y los momentos en que se producen.

Indica los errores más destacados del equipo de mediación y los momentos en que se producen.

* Mucho- Adecuado - Poco - Nada



Aspectos generales

Una vez que hemos analizado la importancia de la evaluación y detallado sus principios de actuación y fases, damos un paso más en los niveles de concreción de dicho proceso, para aterrizar en la adaptación y aplicación de los principios y modos de evaluación a los procesos de mediación. Sabemos que la tarea evaluativa, en sí misma compleja, en el campo de la mediación reviste especial dificultad por las lagunas de experiencias y materiales diseñados y evaluados en este sentido. Por la necesidad de que el profesional de la mediación cuente con herramientas, teóricas y prácticas, que le lleven a la evaluación de las intervenciones que planifica y aplica con unas garantías de calidad, nos insertamos en este apartado en cómo pueden adaptarse y aplicarse los principios de la evaluación al campo de la mediación. En función de quién emprenda la intervención y de qué fines pretenda con ella, plantearemos la evaluación con una u otra finalidad, y la orientaremos de uno u otro modo. Tanto en sus momentos iniciales de análisis de la realidad, recogida y análisis de la información de interés a considerar en el proceso de mediación, en la planificación y desarrollo del mismo, así como en la propia fase de resolución de conflictos y transformación de contextos o ambientes. Lo que queremos plantear con ello es que el proceso de mediación contiene características propias que lo hacen peculiar y diferente a otro tipo de procesos. Estas mismas diferencias, que quedan visibles en todas las fases en las que la mediación se desarrolla, se hacen patentes de la misma manera en la evaluación. La resolución de conflictos es un aspecto primordial que aparece en los procesos mediacionales y que no tiene lugar en otro tipo de evaluaciones. En la evaluación de los procesos mediacionales es necesario partir de una serie de aspectos generales, como:

La temática que tratamos en la mediación. Qué tipo de conflicto se está dando o está teniendo lugar, y si hay más posibles conflictos relacionados o encadenados.

Los aspectos que están relacionados o que derivan de la situación conflictiva: agentes implicados, contexto /ambiente...

Cómo se ha iniciado el proceso de mediación y qué factores o agentes están implicados en el mismo.



Cómo es percibido dicho conflicto por cada una de las partes implicadas, tanto en su generación como en su solución.

Qué se pretende conseguir por cada una de las partes implicadas y qué tipo de acuerdos se han tomado y cómo.

Qué mecanismos se han contemplado en la planificación y, de ellos, cuáles se han puesto en marcha para asegurar la consecución de esos acuerdos y facilitar la mediación.

Si han aparecido algunas causas que han posibilitado o no dicho proceso de mediación: por qué se ha dado o por qué no.

Cómo se han ido tomando las decisiones, qué aspectos han prevalecido, y cómo se han analizado.

Cómo se plantea su solución y el sentido / significado que ésta tiene para cada una de las partes implicadas. Ello estará relacionado con aspectos tan importantes en la fase de resolución de conflictos como:

1. La disposición o disponibilidad para la resolución del conflicto que

tenga cada una de las partes implicadas. 2. Con el grado de implicación, compromiso y responsabilidad ante el

propio conflicto, aspectos que estarán relacionados con el significado que le atribuyan al mismo y la importancia vital / profesional que tenga su solución.

3. Con el grado de cumplimiento y consecución de los acuerdos tomados en el proceso de mediación, que llevarán a la resolución del conflicto.

Respecto a la solución final que se tome en el proceso de mediación.

¿Existe acuerdo real y explícito entre todas las partes implicadas o hay alguna en desacuerdo? Éste es un aspecto muy importante a considerar en la evaluación de los conflictos que se medien, ya que si esto ocurre es muy posible que el conflicto no llegue a solucionarse y, por tanto, la mediación no llegue a su fin. ¿Es la mejor solución de entre todas las posibles?, ¿Se plantea un amplio abanico de posibilidades de elección?, ¿Cómo llegamos a la posible solución de entre las alternativas consideradas…

Con todo ello nos damos cuenta que la evaluación del proceso de mediación, no es un proceso a posteriori y desconectado con el proceso mismo de mediación, sino intrínseco en todas sus fases.



Adaptación y aplicación de la evaluación al proceso de mediación

Teniendo presente las distintas fases en las que se desarrolla el proceso de mediación, a la hora de pensar en la evaluación es necesario establecer una serie de indicadores y criterios analíticos en cada una de dichas fases. No olvidando, a su vez, que estos dependerán en buena medida de las intenciones y propósitos que queramos cumpla nuestra evaluación. Si en todo proceso de mediación hay una fase previa a la recepción de la demanda en la que tenemos que recoger información detallada y acercarnos a la problemática (establecer quién demanda, qué demanda y para qué), tendremos que establecer criterios evaluativos con respecto al proceso de recogida de información y medición. Tendremos, también, en esta fase que establecer criterios con respecto a la evaluación de la mediación en torno a cómo se establece el contacto entre la persona que media y la/s que realiza/n la demanda. Ello será muy importante, como paso previo, a las primeras toma de decisiones entre ambas partes, que posibilitarán, o no, el inicio del proceso de mediación. Ejemplo de indicadores o criterios evaluativos que podemos plantearnos en esta primera fase del proceso de mediación son:

Con respecto al proceso de recogida de información: ¿Cómo se

inicia el proceso de recogida de información? ¿Cómo es entendido éste por el / la profesional de la mediación? ¿Qué técnicas e instrumentos se utilizan para el diagnóstico de la situación conflictiva? ¿Se diseñan instrumentos para tal fin? ¿Cómo se acerca al objeto de estudio? ¿Se recoge información de todas y cada una de las partes implicadas…

Con respecto al inicio del proceso de mediación: ¿Cómo se establece el contacto entre el objeto de mediación y el / la profesional que interviene en el mismo? ¿Establecemos una primera conexión entre las diferentes partes implicadas? ¿Qué clima se fomenta en el primer contacto entre todos los implicados…

En la fase de recepción de la demanda será muy importante que establezcamos criterios de evaluación en torno al rol y funciones de la persona encargada de la mediación. Hacemos hincapié en esta fase en su formación y en la propia experiencia y bagaje en estos procesos, tanto en su diseño e implementación, como en la capacidad de cambio y mejora con el mínimo coste de tiempo.



Será fundamental en esta fase evaluar las palabras iniciales y la forma en que comience el proceso de comunicación entre el profesional de la mediación y las partes implicadas en la demanda. Si en estos primeros momentos se establece un clima de relajación y confianza se favorecerán la toma de decisiones y acuerdos tomados durante ésta fase y en posteriores. Además de ello, ya ejemplificado en la fase anterior, debemos prestar atención a criterios como:

¿Cómo se llega a los primeros acuerdos? ¿Se llega a un buen nivel de compromiso con los mismos? ¿Se recoge información a la vez que se da?, es decir, ¿se devuelve

información a la demanda, estableciéndose un proceso bidireccional de resolución de conflictos?

¿La situación que nos lleva a establecer el proceso de mediación surge desde la demanda?

¿Se deja libertad de expresión a las partes implicadas a la hora de explorar, analizar y responder a la situación conflictiva?...

Llegados a la fase de información en el proceso de mediación debemos de contar con un conocimiento y control profundo de la problemática ante la cual mediamos. Se trataría de tener cuanta más información mejor de la situación conflictiva ante la que nos situamos, y de barajar todas las alternativas posibles para la resolución de la misma. Por tanto, de cara a establecer cuestiones y criterios de evaluación desde esta fase, es importante que prestemos especial atención a la necesidad de fijar prioridades en el proceso de mediación iniciado. Por este motivo, es fundamental que atendamos a aspectos como:

¿Qué conocimiento y dominio de técnicas para evitar enfrentamientos

entre las partes implicadas tiene la persona que se encarga del proceso de mediación?

¿Utiliza técnicas como la de “normalización” u otras, que permiten minimizarlos, o no prevé tales aspectos?

¿Qué capacidad de síntesis y análisis muestra en el proceso? ¿Se recogen en él los puntos de vista de las diferentes partes implicadas? ¿Cada una de ellas muestra sinceramente y hace explícitos los intereses que persiguen con el proceso de mediación?

La fase de negociación es la más compleja de todo el proceso de mediación, aunque todas son igualmente importantes y necesarias para que éste llegue a buen fin. Es fundamental el conocimiento y dominio de ciertas técnicas de negociación por parte de la persona que media en tales procesos. Pues bien, éste sería uno de los posibles criterios de evaluación relevantes en esta fase:



¿Conoce la persona que interviene como mediador técnicas de negociación?

¿Emplea una diversidad de ellas? ¿Lo hace de una manera correcta, utilizando la técnica adecuada en función de cada necesidad, momento, situación a la que se enfrenta...?.

Con respecto al mediador/a: ¿Posibilita un ambiente para que se generen cuantas más soluciones mejor? ¿Ayuda a seleccionar las opciones más válidas y alternativas posibles? ¿Sabe reconducir situaciones? ¿Sabe examinar las ventajas y desventajas de cada una de las alternativas señaladas?... En cuanto al proceso mismo de mediación: ¿Cómo se ha establecido? ¿De un modo realista y sincero, basado en la negociación, democracia y diálogo entre las partes implicadas, o en la dirección, control y dominio sobre una de ellas?... Con respecto a las partes implicadas en la demanda: ¿Se comprometen en el análisis del conflicto, en la generación de alternativas y en el consenso para su resolución? ¿Se establecen acuerdos sinceros y realistas, o se generan nuevos conflictos?... En la fase de resolución del proceso de mediación las cuestiones importantes con respecto a la evaluación que podemos establecer irían, principalmente, en cuanto al informe de evaluación:

¿Ha sido elaborado en su grado máximo de adaptación al contexto y lenguaje de cada una de las partes implicadas en el proceso de mediación?

¿Se han redactado en términos claros los acuerdos tomados? ¿El informe de evaluación del proceso de mediación ha sido un

documento aceptado por todos, o alguna de las partes implicadas no lo reconoce como suyo?...

Por último, sabemos que el proceso de mediación no concluye con la resolución del conflicto, sino que es necesaria una fase de seguimiento. Ésta posee también una relevancia especial desde el punto de vista de la evaluación de la mediación, ya que mediante los criterios y cuestiones que establezcamos en ella podemos evaluar los efectos del proceso de mediación seguido a medio y largo plazo. De la misma manera, podemos establecer cambios a partir de ellos con una mayor validez y eficacia. Se plantean aspectos como:

¿Se han cumplido los acuerdos tomados de manera correcta?



¿Es conveniente que se realice algún tipo de modificación para la optimización del proceso de mediación seguido?

¿Qué efectos tiene nuestro programa de mediación y todo el proceso seguido en las partes implicadas?...

A continuación, introducimos algunos aspectos más que pensamos pueden ser de interés y en los que podemos profundizar teniendo en cuenta tanto los diferentes modos de evaluación, como los posibles contextos en los que se desarrolla la mediación.

Evaluación colectiva

La mediación puede llevarse a cabo de manera colectiva en contextos educativos, familiares, sociales y de desarrollo comunitario. Nos referimos a ella como aquellos procesos en los que se hace necesaria la mediación, interviniendo la persona que hace de mediador/a y las diferentes partes implicadas en el mismo y que realizan la demanda. Las diferentes partes que intervienen en la resolución del conflicto son las implicadas en la evaluación. Sería una evaluación interna, donde el mediador tendría este rol: “mediar” entre las partes implicadas, asesorar, orientar... en la toma de decisiones de cara a la resolución del conflicto, pero éstas partirían del propio grupo y se analizarían en y a partir del mismo. Sería un proceso cíclico de intervención y de evaluación. Si constatamos esta idea en todas las fases evaluativas obtendríamos diferentes momentos en el desarrollo de la evaluación de la mediación:

ANTES: Fase pre-analítica, de constatación del conflicto

Se trata de acercarnos al conflicto a resolver y plantear posibles dudas, advertencias, observaciones... ante el proceso de mediación que vamos a iniciar. Siempre desde el propio grupo (nos referimos a partes implicadas en la mediación). También sería una fase en la que se establecerían los objetivos, funciones, y las principales cuestiones y criterios de evaluación. Así como las tareas y/o actividades (rol) a desempeñar por cada una de las partes implicadas en el proceso.

DURANTE: Fase analítica, de evaluación de los conflictos en sí mismos

Se trataría una vez que se ha planificado el proceso de mediación, y se han barajado alternativas posibles de resolución del conflicto planteado, ver si la elegida o seleccionada desde el consenso de todas las partes implicadas es la que nos llevará a la consecución de los objetivos previstos con anterioridad por el propio grupo: la resolución del conflicto



y transformación de situaciones/ contextos/ambientes. Esta etapa nos permite prever en qué medida nos acercamos o nos alejamos del objetivo previsto. Importante también con respecto al tiempo de consecución de logros y cambios.

DESPUÉS: Fase de cambio, entendido como mejora de la situación conflictiva

Tras un tiempo desarrollado el proceso de mediación planificado, nos disponemos en esta fase a una revisión analítica del mismo. Considerando los objetivos que se habían establecido desde las partes implicadas en la mediación. Se trataría de volver a los mismos desde la situación actual, y analizar la situación para la cual comenzamos el proceso de mediación, pero ahora como a cierta distancia. Es decir, a partir de un mayor conocimiento de la misma, y de un intercambio sincero y profundo con las partes implicadas, y estableciendo un compromiso real de cambio. De esta manera, se matizan y completan los objetivos establecidos y decide sobre la posibilidad de dejar los mismos o de adaptarlos. El último paso de este proceso de evaluación sería la propuesta última de soluciones a las partes implicadas, puesta en común y análisis de las evaluaciones de cada cual desde lo que cada uno vive, siente, interpreta....

Evaluación individual

En los casos en los que el proceso de mediación es iniciado mediante la demanda de dos clientes, la evaluación se desarrollaría de una manera más concreta o puntual entre ambos. Digamos que la situación puede ser más simple, ya que en ella están implicados menos demandantes y/o contexto. La situación evaluativa se desarrollaría entre la persona que hace de mediadora y los clientes. El objetivo sería evaluar la situación dada entre ambos, y obtener la opinión sincera de cada cual ante la situación a resolver. A partir de aquí, se trataría de identificar qué aspectos de la misma son relevantes para cada uno de los miembros y de analizar la realidad sentida por cada cual. En este proceso analítico la capacidad empática del mediador ejerce un papel esencial, ya que permitirá a los clientes comunicar sus percepciones y sentimientos sobre la situación conflictiva y la forma en que se plantea la mediación de una manera más clara y sincera.



Autoevaluación

La autoevaluación es también un aspecto importante que pensamos debe contener la evaluación del proceso de mediación. Es la evaluación que hace la persona o el equipo mediador de su propia actividad con el grupo o clientes con los que inicia y desarrolla el proceso. Esta evaluación es importante que se realice de una manera objetiva e imparcial que ponga el acento en la eficacia de la labor que como mediadores se realiza y no enfocada al éxito personal o propio como profesionales. De esta manera, la persona o el equipo que establece la mediación deberá llevar a cabo la autoevaluación de manera sincera, realista y estableciendo esta fase con una gran capacidad de autoanálisis. Es importante que evaluemos los roles y funciones desempeñados en cada una de las fases desarrolladas en el proceso de mediación: observación, co-mediación, desempeño de tareas, conocimiento, capacidad analítica, responsabilidad, toma de decisiones... Para ello, algunas de las cuestiones de evaluación que la persona o el equipo que interviene en el proceso de mediación puede plantearse al término de sus actuaciones son:

¿Se ha iniciado el proceso de mediación con cierto equilibrio entre los agentes implicados y con el propósito de utilidad ante los problemas planteados y de mediar realmente ante los mismos?

¿Cuál es nuestra actitud ante los mismos y nuestro comportamiento y estilo con las partes implicadas?

¿Qué clima grupal somos capaces de mantener? ¿Provocamos nosotros mismos conflictos nuevos?¿es un ambiente relajado y distendido, que favorece la resolución misma del conflicto?

¿Nos esforzamos en que todas las personas implicadas intervengan y en escuchar todas las opiniones y alternativas posibles?

¿Qué deficiencias o lagunas importantes se detectan desde el inicio del proceso de mediación hasta sus últimas fases?

¿Llegamos a la resolución del conflicto? ¿Qué aspectos podemos considerar como positivos, que han facilitado el proceso de mediación? ¿Qué aspectos han obstaculizado el mismo y han impedido su optimización?...

Como aspectos interesantes a considerar en la evaluación del proceso de mediación, seguido estarían los recursos y materiales utilizados en el mismo. También los distintos profesionales que han intervenido en la mediación: ¿Ha sido un solo profesional o un equipo? ¿Por qué?...



Y para analizar la efectividad de la mediación se indagaría en:

¿El (equipo) mediador escuchó a las partes? ¿El (equipo) mediador trató a las partes equitativamente? ¿El (equipo) mediador llegó a entender los intereses de las partes? ¿El (equipo) mediador ayudó a las partes a comprender los intereses de

la otra parte? ¿El (equipo) mediador implicó a ambas partes en la generación de

alternativas que facilitasen el acuerdo? ¿El (equipo) mediador proveyó de una interpretación de la ley o de un

contrato relevante para el caso? ¿Ayudó eso a resolver el caso? ¿Se resolvió el caso o se mitigó el conflicto? ¿Recurrirían de nuevo las partes al mismo (equipo) mediador? ¿Por

qué sí? ¿Por qué no?

Valoración del proceso

A la hora de ajustar los programas de mediación que se puedan llevar a cabo a través de instituciones o a nivel de justicia restaurativa (por ejemplo programas de mediación escolar, programas de mediación intercultural, programas de mediación penal...) es necesario realizar una valoración de los mismos que incluya los procesos de mediación tanto desde la perspectiva de los mediadores como de las partes. Esta valoración suele realizarse mediante pruebas realizadas para cada programa/institución, habitualmente cuestionarios semicerrados que incluyen diferentes aspectos desde la perspectiva de las partes: cómo se enteraron de la mediación, nivel de voluntariedad en su participación, percepción de imparcialidad del mediador, nivel de satisfacción con el desarrollo de la mediación y con los acuerdos....) y desde la perspectiva del mediador (descripción cualitativa de la naturaleza y características del conflicto, valoración del grado de compromiso de las partes, actitudes de colaboración inicial y a lo largo del proceso, valoración de las expectativas de las partes al inicio y al final de las partes, descripción del proceso llevado a cabo y de las técnicas utilizadas, valoración de los acuerdos y grado de esfuerzo para alcanzarlos...).

Comunicación del proceso de mediación

En ocasiones es necesario entregar los acuerdos alcanzados, bien a órganos judiciales o a responsables de las instituciones o entidades de las que forman parte los mediados, con el objetivo de que sean reconocidos como tal, garantizar su aplicación y permitir la modificación de medidas o la aplicación



de los beneficios estipulados por haber participado/llevado a cabo un proceso de mediación para la resolución de conflictos.



EFICACIA DE LA MEDIACIÓN I A nivel general, los resultados de la mediación como técnica de resolución de conflictos son siempre positivos, ofreciendo tanto a nivel de medios de comunicación como en comunicaciones técnicas (Serrano y Mirón, 2003) una visión positiva de los procesos mediadores. En una revisión sobre mediación en casos de divorcio (Kelly, 1996) ésta técnica resulta eficaz, propicia un alto nivel de acuerdos y resulta muy bien valorada por los protagonistas de conflicto. En relación a, por ejemplo la mediación laboral, ésta técnica de resolución de conflictos resulta mucho más eficaz que otras alternativas como pueden ser la conciliación o el arbitraje. Pero ¿cuáles son las condiciones que pueden propiciar el éxito o el fracaso del proceso de mediación?

Condiciones que no aconsejan la intervención de un mediador (Rubin y col. 1994):

Alto nivel de hostilidad entre las partes Actitud desconfiada hacia la figura del mediador Presencia de conflictos que afectan a cuestiones de principios

religiosos, morales... Escaso compromiso con la intervención Poder claramente desigual entre las partes Alto nivel de conflicto interno

Criterios de aplicación para evaluar el éxito de la mediación (Carnevale,

1993): Justicia o equidad, que asegura la protección de los intereses de las

dos partes Satisfacción de los participantes, referida a la consecución de los

objetivos de las partes en conflicto y la minimización del posible daño. Efectividad general, que tiene que ver con la calidad de la mediación, su

permanencia y carácter operativo Eficiencia, relativa a las consideraciones de tiempo y coste

Criterios de éxito de la mediación a corto plazo (Diego y Guillen, 2008):

La firma del acuerdo El grado de satisfacción con el proceso El grado de aceptación y compromiso con los acuerdos

3.



La rapidez del proceso El cumplimiento de lo acordado por las partes

La eficacia de la mediación a largo plazo se evalúa en base a la permanencia

y compromiso en los acuerdos y en la mejora contrastada de las relaciones entre las partes.

A la hora de valorar la eficacia es necesario diferenciar la satisfacción de las

partes con el acuerdo alcanzado frente a la satisfacción de las partes con el proceso de mediación.

Según Serrano (1996) existen tres grupos de factores que dan cuenta de la

eficacia de la mediación: las características del mediador la naturaleza de la disputa características de las partes

Respecto a las características del mediador, aspectos como la edad, el sexo, estudios o nivel socioeconómico aparecen como características influyentes en la eficacia del proceso pero, más que estas características las partes señalan como relevantes del mediador aspectos que pueden mejorar tras el entrenamiento como son la imparcialidad y habilidades sociales y de comunicación. A la hora de mostrar satisfacción con el mediador las partes difieren en base a: las oportunidades que han tenido para expresarse, su participación en la definición final de la propuesta y en su percepción sobre la neutralidad del mediador. Respecto a la naturaleza de la disputa, en los informes analizados, se señala más que el tema del conflicto la intensidad del mismo, pareciendo la mediación más eficaz en conflictos de baja o media intensidad. Respecto a las características de las partes o protagonistas del conflicto la investigación señala como relevante del éxito del proceso: la motivación de las partes para el acuerdo, el compromiso con la mediación o el mediador y el equilibrio de poder entre las partes.



EL INFORME DE EVALUACIÓN: CARACTERÍSTICAS, AUDIENCIAS Y ESTRUCTURA

Todo informe -sea de evaluación, de investigación o de diagnóstico- debe responder a la pregunta que ha tratado de evaluar, investigar o diagnosticar. Al mismo tiempo, debe cumplir este cometido presentando sus resultados de forma ordenada, sistemática y clara, así como apropiada para la audiencia a la que va destinado. Aunque, en algunos casos y para ciertos destinatarios, los informes pueden ser orales, en este apartado nos centramos en los informes

escritos que deben acompañar a toda evaluación. Como ya se ha indicado, las personas que realizan la evaluación y que, en consecuencia, elaboran el informe, deben hacer un importante esfuerzo por que éste sea entendido y comprendido por todos aquellos sujetos a los que va dirigido. Es por esta razón que resulta muy importante identificar y conocer bien a la audiencia antes de confeccionar el informe de evaluación. Una de las primeras cuestiones para enfatizar la utilización de los resultados es la identificación de los usuarios potenciales del informe de evaluación, con el fin de ofrecerles la información que necesitan. Esto implica analizar las situaciones y problemas específicos que se dan en cada contexto y programa evaluados: audiencias implicadas, posibilidades de acceso a la información, tipos de informes a elaborar, etc. (De Miguel, 2000b). En toda evaluación existen muchos “implicados” que, en mayor o menor medida, pueden hacer uso de los informes siempre que estos les ofrezcan informaciones oportunas y asequibles. López de Ceballos, Merlo y García (2001) plantean cómo en ocasiones se confeccionan varios informes, distinguiendo entre un documento amplio de uso estrictamente interno, y los elementos de su contenido que pueden ser difundidos hacia fuera. Sin embargo, los autores citados se muestran partidarios de la elaboración de un solo informe, lo que resulta no sólo más sencillo, sino también

4.



más fuerte y potente, ya que a través de él se envía un único mensaje que transmite un acuerdo general. En líneas generales, en la elaboración de informes hay que prestar atención a:

Explicitar siempre los datos originales sobre los que se basan las inferencias.

Remarcar con expresiones del tipo “tal vez”, “probablemente”, “parece que” nuestras afirmaciones cuando no estamos completamente seguros de ellas.

Ajustar el lenguaje y terminología a los destinatarios. El objetivo es que éstos entiendan perfectamente el contenido del informe.

En general, el lenguaje ha de ser claro, preciso, sin florituras innecesarias y sin ambigüedades. Un informe lleno de ambigüedades y generalidades seguramente produzca una interpretación errónea. Asimismo, conviene evitar el uso de palabras vulgares y chabacanas que resten seriedad y rigurosidad al informe y diagnóstico realizados.

Como regla general, no deben usarse abreviaturas. Usar una ortografía, gramática y puntuación correctas para evitar que

se deteriore la imagen del profesional y del contenido del informe.

Algunos autores (Morris, Fitz-Gibbon y Freeman, 1987; Aguilar y Ander-Egg, 1992; Colás y Rebollo, 1993; Amezcua, 1996b; etc.) han realizado propuestas de los apartados que deben contemplarse en la elaboración y presentación del informe evaluativo. Teniendo en cuenta sus sugerencias, y siendo conscientes de que las peculiaridades del proceso de evaluación desarrollado (perspectiva y modelo seguido, temática en la que versa el programa, etc.) pueden afectar en gran medida al informe y su contenido y estructura, una propuesta de los apartados que deben incluirse en un informe de evaluación puede ser la siguiente:

Indicación del profesional, institución o colectivo que realiza la

evaluación y emite el informe. Sumario, en el que se resuma brevemente el contenido del informe. Descripción del programa que ha sido objeto de evaluación, indicando

toda la información relevante en torno al mismo: breve historia, objetivos, características, actividades, recursos, institución que lo pone en marcha, apoyo económico,...

Descripción del estudio evaluativo, lo que implica hablar del proceso de evaluación desarrollado, haciendo referencia a los contenidos de la evaluación, sus fases, los indicadores utilizados, el método y los procedimientos de recogida de información y de análisis de la misma, etc.

Presentación de los principales resultados, procurando que dicha presentación sea clara y recurriendo para ello a herramientas como las



tablas, gráfica, mapas conceptuales, etc. En definitiva, a todo aquello que facilite que la información sea fácilmente legible.

Discusión de los resultados y valoración. Ya decíamos al principio del módulo que en toda evaluación se da un proceso de comparación del que surgen juicios de valor. Es por esto que no es suficiente con describir los resultados, sino que en el informe se deben comparar esos resultados con los referentes que se usan en la evaluación (necesidades, metas del programa, etc.) y emitir la oportuna valoración.

Conclusiones y recomendaciones, que constituyen la toma de decisiones posterior a la valoración. Es decir, la valoración realizada en el paso anterior debe llevar a tomar decisiones que se encaminan a plantear mejoras en la realidad evaluada. Estas recomendaciones, por otra parte, se refieren fundamentalmente al programa, pero deben aludir también a futuras evaluaciones, lanzando aquellas sugerencias que puedan ser de interés.

Finalmente, queremos destacar que, desde el punto de vista del profesional o profesionales que realizan la evaluación, el informe constituye una oportunidad para reflexionar sobre el trabajo desempeñado. Así, realizar el informe supone un proceso de distanciamiento y reflexión que permite que el profesional se percate de los errores cometidos, de las deficiencias detectadas en el proceso, etc. Ello contribuirá a la mejora continua de su actuación profesional.



EVALUACIÓN DE LA EVALUACIÓN: MEJORA DE LOS PROCESOS EVALUATIVOS

Hasta ahora hemos venido haciendo hincapié en el hecho de que la evaluación se orienta a la mejora (en nuestro caso, de los procesos y programas de mediación). Es importante que nos planteemos cómo se puede mejorar la propia evaluación, asumiendo que ésta es un proceso que también puede ser perfeccionado y optimizado. La metaevaluación consiste precisamente en eso, en la práctica de evaluar la evaluación. En general, puede decirse que la metaevaluación está vinculada a una perspectiva crítica desde la cual ninguna evaluación puede ser considerada definitiva. Como plantean De la Orden y Martínez de Toda (1992), la metaevaluación es un juicio de valor sobre la evaluación, la determinación de su valor y mérito. Por otro lado, ha de pensarse que la metaevaluación contribuye a que sea posible asegurar la calidad frente a los usuarios de la evaluación, permitiendo identificar los sesgos que pueden darse en el proceso evaluador. Estos sesgos pueden afectar a la forma en que se interpretan los datos, la selección de la metodología, la discusión de los resultados, etc. Stufflebeam (1978) diferencia entre la metaevaluación formativa y la sumativa. La primera se aplica antes de que se realice la propia evaluación a fin de ayudar a llevar a la práctica el proyecto evaluador. La sumativa, por su parte, consiste en la valoración del mérito de las evaluaciones realizadas. La metaevaluación no sólo puede aplicarse a la calidad general de la evaluación, sino que también puede afectar a cada una de las partes del proceso: a las necesidades, al diseño, al desarrollo, a los resultados... Cualquier faceta de la evaluación puede, por tanto, ser cuestionada. Desde la propuesta del Joint Committtee on Standards for Educational Evaluation (1981) se propugnan cuatro condiciones básicas a reunir por la evaluación: utilidad, viabilidad, adecuación o propiedad y exactitud.

La categoría de utilidad engloba las normas necesarias para que la evaluación sea informativa, realista y transmisible. Se ocupan de determinar

5.



si la evaluación satisface las necesidades prácticas de información de los implicados en el programa o intervención.

Las normas de viabilidad se refieren a que la evaluación sea realista,

prudente y económica. Es decir, se preocupan por que el proyecto de evaluación se pueda realizar en el contexto real al que se ha de aplicar, consumiendo sólo los medios materiales y temporales necesarios.

A través de las normas de adecuación (o de probidad o eticidad) se

pretende asegurar que la evaluación sea conducida legal y éticamente, y con la debida preparación. Este grupo de normas sirven para asegurar que se protejan los derechos de las personas afectadas por la evaluación.

Las normas englobadas en la categoría de precisión o exactitud insisten

en asegurar que la información producida por la evaluación sea técnicamente adecuada y las conclusiones se ajusten a los datos.

Queremos finalizar esta revisión de cuestiones en torno a la evaluación de la mediación insistiendo en la necesidad de evaluar la propia evaluación. Si, como mediadores aspiramos a mejorar continuamente nuestro trabajo, debemos someterlo a control, con el fin de detectar sus puntos fuertes y débiles. De esta forma podremos tener una visión realista y ajustada sobre la calidad del mismo, así como sobre sus limitaciones.



BBiibblliiooggrraaffííaa Aguilar, M.J. y Ander-Egg, E. (1992). Evaluación de servicios y programas

sociales. Madrid: Siglo Veintiuno.

Alvira, F. (1991). Metodología de la evaluación de programas. Madrid: CIS.

Colás, M.P. y Rebollo, M.A. (1993). Evaluación de programas. Sevilla: Kronos.

De Miguel, M. (2000b). La evaluación de programas sociales: fundamentos y enfoques teóricos. Revista de Investigación Educativa,

Diego, R. y Guillen, C. (2006). Mediación: Proceso, tácticas y técnicas. Madrid

Espinoza, M. (1983). Evaluación de proyectos sociales. Buenos Aires: Humanitas.

Fernández Sierra, J. y Santos Guerra, M.A. (1992). Evaluación cualitativa de programas de educación para la salud. Málaga: Aljibe.

García Herrero, G. y Ramírez Navarro, J.M. (1996). Diseño y evaluación de proyectos sociales. Zaragoza: Certeza.

Joint Committtee on Standards for Educational Evaluation (1981). Standards for evalutaions of educational programas. Projetcs and materials. New York: McGraw Hill.

Rueda, J.M. (1996). Programar, implementar proyectos, evaluar: instrumentos para la acción. Zaragoza: Certeza.

Stufflebeam, D.L. et al. (1971). Educational evaluation and decision-making. Itasca, IL: Peacock.

Stufflebeam, D.L. y Shinkfield, A.J. (1987). Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidós-MEC.

Suares, M. (1996) Mediación: conducción de disputas, comunicación y técnicas. Barcelona.

EVALUACIÓN DE LA MEDIACIÓN · plantean Aguilar y Ander-Egg (1992) la evaluación sólo tiene...

Documents

Transcript of EVALUACIÓN DE LA MEDIACIÓN · plantean Aguilar y Ander-Egg (1992) la evaluación sólo tiene...