El marco de evaluación en FEAPS · cuando Skinner escribe Walden dos, una utopía política,...

FEAPS OBRA SOCIAL

El marcodeevaluaciónenFEAPS

Cuadernos Divulgativos FEAPS

Documento2 14/12/86 10:31 Página 1

EQUIPO DE TRABAJOFélix Arregui

Luis Miguel García CastroJuan José Lacasta

Ángeles López FraguasCarlos PereyraJavier Tamarit

Noviembre 2002 / Octubre 2004/Septiembre 2006

General Perón, 32, 1º2820 MadridTelfs: 91 556 74 13Fax: 91 597 41 05E-mail: [email protected]


ÍNDICE

Presentación

Introducción

Capítulo I: Nuestro enfoque de evaluación

◆ Qué entendemos por evaluación

◆ Función y propósitos de la evaluación

◆ Principios generales y criterios operativosde la evaluación

Capítulo II: De qué evaluación hablamos

◆ Los niveles de evaluación en FEAPS

1. FEAPS como Movimiento

2. Las organizaciones de FEAPS

3. El sistema cliente de FEAPS: personascon discapacidad intelectual y familias

◆ Ámbitos y dimensiones de la evaluación

- Ámbitos de la evaluación

- Dimensiones de la evaluación

1. ¿Qué?2. ¿Para qué?3. ¿Cómo?4. ¿Quién?5. ¿Cuándo?6. ¿Para quién? (resultados)7. La séptima dimensión (¿con qué?)

Capítulo III: Fases de la evaluación (¿cómohacer la evaluación?)

Recursos bibliográficos

Anexo: Razones para no evaluar


La sabiduría, la habilidad para llegar al núcleo de la cuestión en

situaciones concretas, se adquieredespacio; es una disciplina de

experiencia, imaginación e historia,no de inteligencia desnuda.

M. NOVAK, Ascent of the Mountain, Flight of the Dove


PRESENTACIÓN

Este documento pretende, como objetivoprimordial, aportar una propuesta,resumida pero global, acerca de lo quepodría ser un enfoque de evaluaciónadecuado a la complejidad propia delmovimiento FEAPS, basado en la filosofíay los valores que lo caracterizan. Hemosbuscado un marco de evaluación -propiode FEAPS- que posibilite el desarrollo dela ropa a medida y el prêt-a-porter. Portanto, en él se sugiere cómo este enfoquepuede incorporar las distintasmetodologías y procedimientos deevaluación que permitan recogerinformación, valorarla y utilizarla paragenerar mejoras.

Hemos huido de presentar unaelaboración académica de la cuestión dela evaluación y nuestro propósito ha sidoseleccionar aquellas ideas y reflexionessobre el tema que consideramos deinterés práctico, dentro de un contexto deacción práctica y profesional en laprestación de apoyos y servicios apersonas, familias, organizaciones,instituciones y otros agentes sociales. Nohemos buscado tanto el rigor científicocomo la reflexión práctica, aunque,lógicamente, una de nuestras fuenteshayan sido las disciplinas científicas quese ocupan de la evaluación.

El documento contiene lo que sería elmarco común de todos los aspectos deevaluación que hemos consideradorelevantes en FEAPS. Aspiramos a quesirva de apoyo a todos aquellos quetienen algún tipo de responsabilidad enprocesos de cambio y mejora encualquiera de los ámbitos y niveles quecomponen el movimiento FEAPS

La Confederación Española deOrganizaciones en favor de las Personascon Discapacidad Intelectual (FEAPS), es


un amplio movimiento de base socialarticulado en federaciones de ámbitoautonómico que agrupan a asociacionesy otro tipo de entidades en las queparticipan personas con discapacidadintelectual, familias, socios, profesionalesy voluntarios que comparten un proyectosocial de atención a la discapacidadintelectual.

La realidad de FEAPS es vasta yheterogénea, no se trata de un problemade magnitud y cualidad, no es sólo difícily complicada, es esencialmentecompleja. La naturaleza de estacomplejidad radica en la diversidad deestructuras y sistemas imbricados, condiferentes niveles de desarrollo, pero conuna misma tarea social (una misión)realizada por personas para personas. Siesta foto fija la ponemos en movimientohacia un futuro (una visión) de trazostodavía borrosos, que tiene quealcanzarse de una determinada forma(con valores), podemos hacernos unaidea de lo que queremos decir.

En resumen, FEAPS es unaorganización de organizaciones quetienen una misión, una visión de futuro,unos valores y una filosofía comunes entorno a la discapacidad intelectual. Larazón de ser de FEAPS, su misión actual,es mejorar la calidad de vida de laspersonas con discapacidad intelectual ysus familias.

En los últ imos cuarenta años laorganización ha crecidoexponencialmente en cantidad y calidad,aunque con un desarrollo desigual.Desde el compromiso y el voluntarismoque caracteriza el surgimiento delMovimiento y las organizaciones, se haido caminando hacia una mayorprofesionalización de sus servicios.Profesionalización que no conlleva lapérdida del compromiso social, alcontrario, pone a las organizacionesante la responsabilidad de desarrollaruna cultura de la evaluación.


El camino de la calidad, el desarrollo yla mejora que ha emprendido FEAPSrequiere apuntalar los progresos, lasprácticas, sus procesos y sus resultados.Esto no es posible sin objetivar unapercepción y valoración compartidas delos mismos que conducen a la necesidady responsabilidad de desarrollar unacultura de la evaluación.

Para terminar esta breve presentación,y parafraseando a Descartes, podríamosdecir “Evalúo, luego pienso”, dando a laactividad de evaluación el carácter depilar clave en la construcción de unaorganización inteligente como deseamosque sea el Movimiento FEAPS.


INTRODUCCIÓN

Adentrarse en el terreno de la evaluaciónimplica encontrarse de frente con una serie deinterrogantes cuya justificación y respuesta espreliminar a cualquier tipo de acciónevaluativa: ¿qué es evaluar?, ¿qué se evalúa?,¿para qué se evalúa?, ¿cuáles son lospropósitos de la evaluación?, ¿qué se hace conlos resultados que se obtienen?, ¿qué papelcumplen los implicados?, ¿qué garantías devalidez y calidad debe cumplir un proceso deevaluación?... Es el conjunto coherente derespuestas a estos interrogantes lo que noshace elegir un determinado enfoque deevaluación y no otro.

Cuando evaluamos, valoramos

Nos parece imprescindible comenzar con laclarificación aportada por la profesoraFernández Ballesteros (1996) que señala que“valoración” y “evaluación” son dos términossinónimos en lengua castellana (ambosderivan del latín “valere” -valorar-, términoque se refiere a la acción de justipreciar, tasar,valorar o atribuir un cierto valor a una cosa).En inglés, sin embargo, existen dos términosque en su uso técnico tienen un significadodiferente: “evaluation” y “assesment”.“Evaluation” se refiere a valoraciones deobjetos, programas, obras de arte, etc.,mientras que “assesment” es utilizado parareferirse a personas, por ejemplo parareferirse a la evaluación psicológica de unindividuo. Sin embargo, en castellano, ambosvocablos se han traducido mediante la palabraevaluación. Nosotros utilizaremosindistintamente los dos términos castellanos–valoración y evaluación- para referirnos a lamisma operación, tanto dirigida a personascomo a objetos.


En general todas las definiciones deevaluación tienen que ver con la ideaexpresada de atribuir un cierto valor a algo,pero cada una de ellas resalta un aspecto delfenómeno complejo de la evaluación. En elcapítulo I de este documento entraremos adeterminar qué definición preferimos y porqué.

Evaluamos para decidir:saber científico y saber práctico

En relación a las preguntas sobre qué y paraqué evaluar vemos necesario aclarar que noestamos en el ámbito de las teorías científicas,sino en el de las teorías de la acción práctica.Una teoría práctica, a diferencia de una teoríacientífica, no pretende describir ni explicarhechos, sino prescribir tipos de conducta o deacción para lograr fines que se considerandeseables. Una teoría científica pretendecontestar a la pregunta: “¿qué ocurre?”; unateoría práctica, por su parte, a la pregunta:“¿qué tenemos que hacer?”. Por ejemplo,cuando Skinner escribe Walden dos, unautopía política, aunque esté basada en susinvestigaciones sobre aprendizaje no estáactuando como científico; sí lo hace, encambio, cuando formula sus hipótesis acercade cómo se explican los procesos deaprendizaje basados en el condicionamientooperante.

Las teorías prácticas versan sobre la acciónhumana y prescriben cómo debe ser ésta enbase a la “deseabilidad” de determinadosfines u objetivos, así como al conocimiento delos procedimientos para alcanzarlos dadasunas determinadas circunstancias de partida.Puesto que su pretensión es recomendar oprescribir no puede ser contrastada con laexperiencia, como es el caso de las teoríascientíficas, pero eso no quiere decir que nopuedan ser criticadas o no hayaprocedimientos de decisión sobre su validez(Lacasta, J.J., López, A., Tamarit, J., 2001;Moore, T. W., 1988).


Traemos a colación esta reflexión porquesabemos que la literatura especializadadescribe tres características principales delproceso de evaluación: 1) implica un procesode toma de decisiones; 2) implica solución deproblemas y 3) requiere la generación ycomprobación de hipótesis (Fernández-Ballesteros, R., De Bruyn, E. E. J., Godoy, A., yotros, 2003). Nuestro enfoque de evaluaciónse sitúa, entonces, en la perspectiva de la tomade decisiones que antecede a la acción, viendola solución de problemas y el tratamiento dehipótesis como procesos dependientes de ladecisión. Por tanto, el enfoque queproponemos tiene como función aportarinformación valorada, juicios de valor, juicioscríticos -o como queramos referirnos alproducto que la evaluación nos depara-, paraayudarnos a decidir cuestiones del tipo de:

qué tenemos que hacer, es decir,

cuál es nuestra finalidad;

por dónde tenemos que caminar,

es decir, cuál es nuestra estrategia;

qué curso de acción debemos seguir,

es decir, cuáles deben ser

nuestras buenas prácticas,

y otras cuestiones similares.

Sobre qué tenemos que decidir

La reflexión anterior nos lleva de la mano arecordar que la finalidad fundamental denuestras organizaciones, de FEAPS comomovimiento social, es mejorar la calidad devida de las personas y de sus familias através de un sistema de prestación de apoyosy servicios al que debemos conseguirmantener en una dinámica de mejorapermanente.


Proponer un marco de evaluación paraFEAPS nos lleva, entonces, a plantear unenfoque de la evaluación que, sin simplificar lacomplejidad de los hechos ni las posibilidadesde futuro, sin supeditarlos ciegamente a lametodología, nos ayude a movernos entreambos. Un enfoque que permita integrar elconocimiento científico y lo ponga al serviciode las personas, evitando caer en elcientificismo, “en considerar a la ciencia, enespecial a la ciencia experimental, comoparadigma y monopolio de objetividad,racionalidad y eficacia” (Alonso, C. J., 1999).Puesto que entre las finalidades fundamentalesde las organizaciones que integran elMovimiento FEAPS se encuentran la defensade derechos y la mejora de los sistemas deprestación de servicios, de y para las personascon discapacidad intelectual y sus familias,consideramos que tales metas pertenecen alámbito práctico y de la acción, que exigen untipo de racionalidad que no sólo se ocupe delos medios sino de los fines.

Cómo podemos ayudarnosa tomar mejores decisiones

Los cambios y las mejoras no dependen solode las intenciones sino también de lasacciones, en una interacción que las nutre ymodela recíprocamente (Elster, J., 1996).Nuestro enfoque de evaluación pretendecontribuir a esta interacción, haciendoexplícitas y observables tanto las intencionescomo los resultados de la acción. Estavisibilidad o transparencia favorece el análisiscrítico y la discusión racional. Las teorías quehoy impulsan nuestro movimiento y nuestrasorganizaciones (calidad de vida, paradigmade apoyos, calidad, etc.) no se asientan en“verdades” absolutas ni científicamenteverificadas, son opciones de convivencia socialque se validan por su impacto en las personasy en sus vidas, de ahí que sea ineludible eldebate constante de los implicados. ParaPopper (1997) el método correcto de discusióncrítica comienza preguntando si las


consecuencias de la teoría son todasaceptables. Nosotros preguntaríamos si lasconsecuencias para las organizaciones y laspersonas son todas aceptables o si, por elcontrario, la teoría tiene consecuenciasindeseables para ellas. Siendo así conscientesde la falibilidad de nuestros métodos y de laposibilidad de sustituir y modificar nuestrasteorías y prácticas por otras mejores.


CAPÍTULO I

NUESTRO ENFOQUE DEEVALUACIÓN

◆ Qué entendemos por evaluación

Nos encontramos con una enorme variedad dedefiniciones sobre evaluación, unas másamplias y genéricas, otras más concretas yoperativas. Todas ellas se mueven dentro dedos ejes de coordenadas: uno, la importanciade buscar datos de forma válida y fiable y elotro la de interpretarlos o valorarlos a travésde la emisión de juicios razonados.Presentamos a continuación algunasdefiniciones que hemos encontrado en losdiferentes estudios sobre evaluación utilizados.Cada una resalta uno o varios aspectos dentrodel abanico de significados del concepto deevaluación:

◆ “Supone la estimación del mérito de unobjeto” (Scriven, 1967).

◆ “En qué medida los objetivos de unprograma se han alcanzado” (Tyler, 1950).

◆ Evaluar “es separar lo malo de lo bueno”(House, 1980).

◆ “La provisión de información para la tomade decisiones sobre una intervención”(Cronbach, 1981).

◆ Evaluación “es una operación sistemática,más o menos compleja, de recogida deinformación, verificación y análisis, al finalde la cual se realiza un juicio de valor encuanto a la calidad del programaevaluado, considerado globalmente o através de uno o varios de los elementos quele componen.” (Servicio de Control Internode la UNESCO).


La definición propuesta en nuestro enfoquees la siguiente:

“Evaluar es estimar el valor oel mérito de algo

con el propósito de mejorarlo”

Evaluación implica, por tanto, una emisiónde juicios de valor sobre una variedad derealidades referidas a organizaciones,servicios, programas, tangibles o intangibles,y personas.

Anteriormente, en la introducción, hemosvisto que el término valoración se utiliza comosinónimo de evaluación. De hecho, la idea devalorar algo es consustancial a los resultadosde un programa o de una intervención; porejemplo, para Cronbach (1990) “valoración”es “la recogida e interpretación de evidenciasobre el funcionamiento y las consecuencias deun servicio social, terapéutico o educativo”.

Por tanto creemos con House (2001), que noes posible una evaluación independiente de unmarco de valores, en sus propias palabras:“(...) Los enunciados evaluativos estáncompuestos por afirmaciones de hechos y devalores entremezcladas, mezcladas, como lamayoría de las afirmaciones que se hacen enevaluación”. Recogemos su concepciónbasada en la idea de un continuo de datos ohechos y valores, que representa la trabazónentre ellos. En materia social, donde entran enjuego las preferencias, los gustos e intereses,individuales y sociales, es ineludible laconsideración de que no existen datos ohechos puros.

En esta perspectiva se le ha dado alconcepto de evaluación el siguiente campo designificados:

◆ Operación que pretende comprender larealidad que se va a evaluar, es decir, quepermite realizar un análisis global,


sistemático y regular de todo el ámbito deactuación del que se trate.

◆ Acciones destinadas a recoger información,analizarla, interpretarla y emitir un juicio devalor sobre la misma.

◆ La evaluación no se refiere sólo a losresultados de una intervención, sinotambién a los procesos gracias a los que selogran aquellos.

◆ Descubrir los puntos fuertes y débiles paratomar decisiones de mejora.

◆ Todo ello, dentro del marco referencial de lamisión y los valores de la entidadresponsable de la evaluación (objeto deevaluación).

◆ Función y propósitos de laevaluación

Como venimos diciendo la evaluación no tienesentido fuera de un marco de valores, quetiene que ver con los fines que el MovimientoFEAPS se propone y que orientan todas y cadauna de sus acciones. Así pues, la evaluaciónen FEAPS debe enmarcarse en el horizonteético compartido por la organización(“Código ético de FEAPS”).

La evaluación no es un fin en sí misma sinoque siempre forma parte de un proceso másamplio para el que cumple una función ypropósitos determinados.

Este proceso más amplio al que nosreferimos tiene una estructura cíclicacompuesta por evaluación, toma de decisión(generalmente expresada en forma deplanificación) y ejecución. Esta concatenaciónde operaciones no necesariamente ha de sersucesiva, sino que puede tener caráctersimultáneo.


La razón fundamental por la queevaluamos es realizar una toma dedecisión informada y razonada,previa a emprender una acción ocurso de acciones, de manera quese garantice el cumplimiento de

la Misión en el marco éticoque ésta ha asumido.

En términos generales encontramos lossiguientes propósitos en el enfoque deevaluación que proponemos para FEAPS:

◆ Establecer la importancia de algo entérminos de la misión y los valores de laorganización FEAPS.

◆ Proporcionar a cualquiera de los agentesimplicados en la evaluación (directivos,gerentes, técnicos y profesionales,voluntarios, entidades financiadoras,usuarios y sociedad) la oportunidad deconocer y comprender la realidad,participar en la toma de decisiones sobre loque hacer para mejorar y dar razones delas actuaciones de cada uno.

◆ Ayudar a orientar las actuaciones, en elsentido de mantenerlas, corregirlas oeliminarlas.

◆ Aprender a orientar y garantizar lasactuaciones, en un proceso de mejoracontinua.

Además de estos propósitos de caráctergenérico, cada evaluación debe clarificar cuáles su razón de ser específica, su “para qué”.


◆ Principios generales y criteriosoperativos de la evaluación

LA EVALUACIÓN

Es un valor organizacional.

Ha de orientarse por los valores deFEAPS.

Está motivada por razones éticas y deresponsabilidad social.

Es una herramienta para intervenir ymejorar.

Contribuye al debate crítico.

Es un proceso continuo.

Está abierta a diferentes metodologíassi responden al objetivo.

Debe dar voz a todos los implicados

- La evaluación es un valor organizacional.Una organización que evalúasistemáticamente es una organización másinteligente, capaz de aprender, decomprender lo que se necesita en su entornoy lo que se espera de ella. La cultura de laevaluación “marca una diferencia” decalidad entre las organizaciones.

- La evaluación, a su vez, está orientada porlos valores de FEAPS y otros propios de laactividad evaluadora. Consideramosespecialmente los siguientes:

- Transparencia - Participación

- Veracidad - Accesibilidad

- Respeto - Eficacia

- Calidad


Estos valores ponen límites éticos al uso deprocedimientos, herramientas y técnicas.

➝ La evaluación está motivada por razoneséticas y de responsabilidad social en elsentido de que:

◆ Es una exigencia de la buena prácticaprofesional, especialmente en los casosde servicios a personas.

◆ Es necesario dar cuenta a los ciudadanosy a la sociedad del uso de los fondos ybienes públicos entregados.

➝ La evaluación no es un fin en sí misma, esuna herramienta para intervenir y mejorarlas prácticas de los profesionales, directivos,socios, voluntarios, etc.

➝ La evaluación afecta también al propiomodelo global de prestación de servicios yde intervención (valores, misión,...), en lamedida en que contribuye con susvaloraciones al debate crítico sobre losmismos.

➝ La evaluación no se realiza en un momentopuntual, sino que se trata de un procesocontinuo, que debe ser planificado,organizado y evaluado. La responsabilidady el liderazgo de los procesos de evaluacióncorresponden al nivel estratégico, propio dela dirección de la organización. Ya que nose puede evaluar todo, es necesario decidircuál es la información relevante que senecesita para la intervención.

➝ Está abierta metodológicamente a todotipo de procedimientos, técnicas einstrumentos, siempre que respondan alobjetivo de la evaluación o al tipo de objetoque se quiere evaluar.

➝ La evaluación debe dar voz a todos losimplicados en ella (personas, familias,profesionales, etc.), es decir, ha de tener enconsideración los intereses de todos losimplicados en el proceso de evaluación y,


por tanto, debe que ser participativa ynegociada.

Los criterios más operativos que incluimos son:

◆ Es necesario buscar soportes deformalización de la información para queno se pierda y pueda transmitirseadecuadamente a los diferentesdestinatarios de la evaluación.

◆ El informe de evaluación será respetuoso,fundamentado, comprensible y útil para susdestinatarios. Además responderá a clavesde código ético profesional y del códigoético de FEAPS.

◆ El uso de los datos deberá estar sujeto a laconfidencialidad.


CAPITULO II

DE QUÉ EVALUACIÓNHABLAMOS

En este capítulo proponemos un esquemalógico que nos permita organizar el conjuntode necesidades de evaluación en elmovimiento FEAPS, dada su complejidadorganizativa. Para ello hemos identificado, enprimer lugar, los diferentes nivelesorganizativos cuyo funcionamiento queremosevaluar y, en segundo lugar, los ámbitos ydimensiones a tener en cuenta en cualquierade esos niveles, configurando así el sistema deevaluación que proponemos.

◆ Los niveles de evaluación enFEAPS

La razón de establecer niveles de evaluaciónen FEAPS es poner algo de orden paraacometer su complejidad. Los niveles deevaluación que hemos establecido se ajustan alas grandes categorías organizativas en lasque se ha configurado el movimiento FEAPSque son: las personas para las que trabaja ysus familias, el nivel organizativo que darespuesta directa e indirecta a sus necesidadesde mejora de calidad de vida, y el movimientoFEAPS como gran organización deorganizaciones que comparten un proyecto.

1. FEAPS como Movimiento

Es el conjunto de organizaciones FEAPS quecomparten una Misión, una Visión y unosValores, junto con las estrategias de las que seoriginan grandes líneas de acción.

La evaluación de este nivel implica evaluar elcumplimiento de la Misión y el acercamiento ala Visión de futuro en el marco de los Valoresaceptados. Este proceso implica revisar elsentido y los logros de los planes estratégicosde FEAPS.


2. Las organizaciones de FEAPS

Incluye entidades y estructuras: Centros,Servicios, Equipos, Asociaciones,Federaciones y Confederación, etc.

3. El sistema cliente de FEAPS: personascon discapacidad intelectual y familias

Este nivel se refiere a los clientes finales(actuales y potenciales) de FEAPS.

◆ Ámbitos y dimensiones de laevaluación

◆ Ámbitos de la evaluación

Son las grandes áreas que hemosidentificado en la realidad FEAPS, de las quenecesitamos información valorada paramejorar la intervención.

- Personas con discapacidad intelectual.

- Familias.

- Profesionales y voluntarios.

- Organizaciones y programas (centros yservicios, asociaciones, federaciones).

- Entorno (el ámbito de “entorno” tienecarácter transversal, es decir, es necesarioincluir la evaluación del entorno en todos ycada uno de los ámbitos de evaluación).

◆ Dimensiones de la evaluación

Por “dimensiones” entendemos todos losposibles aspectos o variables que van acondicionar o determinar cómo realizar laevaluación. Hemos considerado relevantes lassiguientes dimensiones, para cualquier acciónevaluativa:


1. ¿Qué? Objeto o contenido que se quiereevaluar en cada ámbito. Pueden serpolíticas, programas, procesos,características de una persona, calidad devida familiar, etc.

2. ¿Para qué? Identificación del objetivo de laevaluación.

3. ¿Cómo? Conjunto de metodologías,herramientas, fuentes de datos einformación, técnicas, indicadores, etc.Son los instrumentos necesarios para larealización de la evaluación.

4. ¿Quién? Personas o equipos responsablesde realizar la evaluación; pueden seragentes externos o internos a laorganización.

5. ¿Cuándo? Periodos y momentos deevaluación.

6. ¿Para quién? La respuesta a esta preguntadefine cuáles tienen que ser los resultadosde la evaluación; ya que estos son unconjunto de datos interpretados y valoradospor el evaluador para los destinatarios einteresados. Requiere identificar eldestinatario, la modalidad del informe, losdatos, la interpretación de los mismos y eljuicio de valoración. Conviene diferenciarentre destinatarios e interesados en unaevaluación.

La séptima dimensión no se suele consideraren la mayoría de las evaluaciones. Es la queestima los recursos económicos y otrosrecursos necesarios para la realización de laevaluación. Respondería a la pregunta: ¿Conqué recursos?

Evaluar siempre es requisito de hacerlo bien.Por tanto, los recursos económicos no deberíanser un obstáculo para la evaluación. En losprogramas de la UNESCO estiman los costescorrespondientes a la evaluación de losmismos, entre el 0,5% y el 1% de los costestotales del programa.


Esqu

ema

del m

odel

o de

eva

luac

ión

de F

eaps

NIV

ELES

DE

LA E

VALU

AC

IÓN

I Mov

imie

nto

FEA

PS

II O

rgan

izac

ione

s FE

APS

III S

iste

ma

Clie

nte

ÁM

BITO

S¿Q

UÉ?

¿PA

RAQ

UÉ?

¿CO

MO

?¿Q

UIÉ

N?

¿CU

ÁN

DO

?¿P

ARA

QU

IÉN

?¿C

ON

QU

ÉRE

CU

RSO

S?

DIM

ENSI

ON

ES


CAPÍTULO III

FASES DE LA EVALUACIÓN

Fase 1. Identificar y justificar lanecesidad de una evaluación

Qué hay que evaluar, para qué, es decir, conqué objetivo y para quién, quién realiza, deforma directa o indirecta, el mandato o elencargo de la evaluación.

Fase 2.- Preparación

Consiste en analizar las dimensiones de laevaluación que no han sido analizadas en lafase anterior: cómo, quién, cuándo, con qué.

Fase 3. Puesta en marcha detodas las acciones diseñadas

Comunicar a las personas implicadas el o lospropósitos de la evaluación. Obtenerconsentimiento en caso necesario.

Recoger información.

Analizar la información.

Valorar la información: formular un juicio, darsignificado a la información.

Fase 4.- Elaboración del informeo informes

Fase 5.- Comunicación de resultados

Fase 6.- METAEVALUACIÓN

Se evalúa la propia evaluación y suefectividad. A esto se le llama metaevaluación:en qué medida la evaluación ha servido.


Aspectos de metaevaluación

Entendemos por metaevaluación el conjunto decuestiones que hay que tener en cuenta a lahora de evaluar los propios planes deevaluación. Fundamentalmente, significaidentificar las exigencias de un proceso deevaluación válido, que sirva a los intereses ynecesidades de los clientes para los quetrabajan los evaluadores.

Los aspectos básicos sobre los queconsideramos necesario indagar son lossiguientes:

1. Contraste entre lo que queríamos hacer yel proceso realizado.

2. Evaluación en relación a los objetivos, enel sentido de comparar lo quepretendíamos y los resultados obtenidos:¿Ha cumplido el proceso de evaluación losobjetivos formulados?

3. En relación a los destinatarios,encontramos dos cuestiones clave quetienen que ver con el resultado de laevaluación expresado en el informe final:Primera, ¿la evaluación realizada es verazy creíble?, y segunda, ¿el informerealizado es satisfactorio, satisface lasnecesidades formuladas en el encargo?

4. Presentamos un cuadro con un resumen delas cuestiones a plantearse en cada una delas dimensiones de toda evaluación.


Dimensiones

Qué

Para qué

Cómo

Quién

Cuándo

Para quién

Relación coste/beneficio

Criterios demetaevaluación:pertinencia, relevancia, etc

¿El objeto evaluado haservido para el propósitode la evaluación?

¿Se ha cumplido el objetivode la evaluación?

¿El proceso seguido hatenido las garantíaspretendidas?

Los evaluadores hancumplido las condiciones decompetencia y deontologíapropias del oficio.

La planificación temporal seha cumplido.

Los destinatarios hanquedado satisfechos(credibilidad, utilidad,inteligibilidad).

¿Ha habido eficiencia? ¿Hasido razonable el coste enrelación a los resultadosobtenidos?


RECURSOS BIBLIOGRÁFICOS

Alonso, J. A. (1999). La agonía delcientificismo. (Una aproximación a la filosofíade la ciencia). Pamplona: EUNSA.

Elster, J. (1996). Tuercas y tornillos. Unaintroducción a los conceptos básicos de lasciencias sociales. Barcelona: Gedisa.

Fernández-Ballesteros, R., De Bruyn, E. E. J.,Godoy, A., y otros. (2003). Guías para elproceso de evaluación (GAP): una propuesta adiscusión. Papeles del Psicólogo, 84, 58-70.

Fernández-Ballesteros, R., (1996). Evaluaciónde programas. Una guía práctica en ámbitossociales, educativos y de salud. Madrid:Síntesis.

House, E. R. (1994). Evaluación, ética y poder.Madrid: Morata.

House, E. R., Howe, K. R. (2001). Valores enevaluación e investigación social. Madrid:Morata.

Lacasta, J.J., López, A., Tamarit, J. (2001).Manuales de Buenas Prácticas de FEAPS. Unproceso de calidad. (O el esfuerzo de un sectorpor situarse en nuevos paradigmas). 537-580.En Verdugo Alonso, M. A., Jordán de Urries, F.B. (2001). Apoyos, Autodetermiación yCalidad de Vida. Salamanca: AmarúEdiciones.

Moore, T. W. (1988). Introducción a la Teoríade la Educación. Madrid: AlianzaUniversidad.

Popper, K., (1997). El mito del marco común.(En defensa de la ciencia y la racionalidad).Barcelona: Paidós Ibérica.

UNESCO, (2003). Evaluation: conceptsfondamentaux.http://www.unesco.org/ios/eng/evaluation/tools/outil_01f.htm.


ANEXO

RAZONES PARA NO EVALUAR

Conocedores de la realidad en nuestra

organización (FEAPS), somos conscientes de

las dificultades que cualquier propuesta de

evaluación supone. Identificamos al menos tres

fuentes de dificultad para el cambio:

a) Deficiencias estructurales: Relacionadas

con los recursos, nos falta de todo,

ordenadores, sistemas de información

extensa y compartida, profesionales en

ello, etc.

b) Deficiencias culturales: Provenimos de una

tradición que ha hecho más hincapié en la

evaluación individual que en la de

programas, servicios, políticas, etc. En

estos temas carecemos de hábitos y

experiencia.

c) Deficiencias políticas: Más miedo que

voluntad, más microintereses que intereses

generales.

Todas juntas son un cóctel paralizante, por

ello ofrecemos a continuación algunas

“buenas” razones para evitar la evaluación,

de modo que sea posible mantener la

inmovilidad pero eliminar la angustia o salvar

la cara. Cuando una sola razón no es

suficiente se pueden dar dos o tres, por

ejemplo “nuestro proyecto es diferente y los

costes son demasiado altos”. Sin embargo,

hay que ser cuidadoso en no dar razones

contradictorias: “estamos constantemente

evaluando nuestro proyecto” y “es imposible

evaluarlo”.


• Nuestro proyecto es diferente.

• Figúrate el jaleo que ocasionaría.

• El proyecto es demasiado limitado.

• Siempre hemos trabajado así.

• A la organización no le gustaría.

• Ya hemos sido evaluados.

• No es necesaria una evaluación

• Nuestro calendario se ha retrasado pordificultades financieras.

• No es asunto nuestro.

• Es un proyecto experimental.

• No está incluida en el presupuesto.

• Aún no instalamos el equipamiento.

• ¿Intenta enseñarme mi trabajo?

• El proyecto todavía no está listo para serevaluado.

• Es una trampa.

• Estamos en la estación de las lluvias.

• El cambio altera las cosas demasiado.

• No tenemos tiempo.

• Hemos hecho lo que pusimos.

• No la hemos hecho nunca antes.

• Ha habido cambios en el gobierno.

• No es responsabilidad mía.

• Es un proyecto piloto.

• Seamos realistas.

• El equipamiento aún no ha llegado.


• Aún no estamos listos para hacerla.

• El director ha cambiado.

• Debe haber un motivo oculto.

• Es fiesta nacional.

• No estoy convencido de que sirva.

Este muestrario recoge algunas de lasoriginales respuestas de los directores deproyectos a las propuestas de evaluación de la

UNESCO1. Al parecer no somos los únicosque nos encontramos en esta situación.

1 Adaptado dehttp://www.unesco.org/ios/eng/evaluation/tools/outil_11e.htm


Cuadernos Divulgativos FEAPS

General Perón, 32, 1º2820 MadridTelfs: 91 556 74 13Fax: 91 597 41 05E-Mail: [email protected]


El marco de evaluación en FEAPS · cuando Skinner escribe Walden dos, una utopía política,...

Documents

Transcript of El marco de evaluación en FEAPS · cuando Skinner escribe Walden dos, una utopía política,...