EXPERTO EN FORMACION CONTINUA EN LAS …dmgr.eresmas.net/seminario/mod 6 evaluacion.pdf · tiene...

161
EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 1 EXPERTO EN FORMACION CONTINUA EN LAS ORGANIZACIONES SOCIALES MÓDULO 6 LA EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS Guillermo Domínguez Fernández

Transcript of EXPERTO EN FORMACION CONTINUA EN LAS …dmgr.eresmas.net/seminario/mod 6 evaluacion.pdf · tiene...

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 1

EXPERTO EN FORMACION CONTINUA

EN LAS ORGANIZACIONES SOCIALES

MÓDULO 6

LA EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Guillermo Domínguez Fernández

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 2 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 3

SUMARIO

1. ORGANIZACIÓN DEL MÓDULO ......................................................................................................................7 1.1. Objetivos de aprendizaje ..............................................................................................................................7 1.2. Estructura de contenidos ..............................................................................................................................8 1.3. Mapa conceptual.........................................................................................................................................11

2. ANTES DE EMPEZAR.....................................................................................................................................15 2.1. Recomendaciones para el autoestudio.......................................................................................................15 2.2. Sistematización del conocimiento previo ....................................................................................................16

3. JUSTIFICACIÓN DEL MÓDULO. ....................................................................................................................21 3.1. La evaluación como proceso de investigación evaluativa para la mejora de la formación:

Construcción, fase y elementos. .................................................................................................................21 3.2. Ideas y pautas para la elaboración de guías e instrumentos de las distintas fases del proceso de

evaluación...................................................................................................................................................24

4. UNIDAD DIDÁCTICA. ......................................................................................................................................29 4.1. Evaluación de aprendizajes y seguimiento de alumnos..............................................................................30

4.1.1. Contenidos de la Unidad Didáctica ....................................................................................................30 4.1.2. Actividades. ......................................................................................................................................132

5. EN RESUMEN................................................................................................................................................149

6. GLOSARIO DE TÉRMINOS...........................................................................................................................153

7. BIBLIOGRAFÍA DE REFERENCIA ...............................................................................................................157

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 4 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 5

ORGANIZACIÓN DEL MÓDULO

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 6 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 7

1. ORGANIZACIÓN DEL MÓDULO

1.1. OBJETIVOS DE APRENDIZAJE

OBJETIVO GENERAL:

• Sensibilizar a los participantes sobre la importancia de la evaluación en el ciclo formativo y desarrollar en ellos capacidades específicas.

OBJETIVOS ESPECÍFICOS:

Reflexionar sobre la necesidad de desarrollar el proceso de evaluación paralelo y convergente al proceso de la acción formativa (previos a la planificación y diseño curricular, durante su desarrollo y aplicación, al final de la actividad formativa y posteriormente a su finalización y transferencia y aplicación) si el formad@r quiere mejorar constantemente su actividad y hacer de ella un proceso continuo de formación profesional.

Ser capaz de configurar y estructurar un proceso de evaluación en torno a sus fases (inicial, procesual, final y demorada o diferida) como un proceso sistemático de recogida de datos fiable y validado, que le permita en todo momento reelaborar y replantearse su actividad profesional y definir sus necesidades de formación.

Conocer, identificar y diferenciar los distintos conceptos y concepciones de evaluación, según su finalidad, objeto, metodologías, instrumentos y agentes intervinientes, sobre todo, los modelos cuantitativos y cualitativos.

Saber elaborar un plan de evaluación, ya sea del alumnado participante, de forma individualizada, de una actividad formativa o de un programa, teniendo en cuenta las cuatro fases y los elementos en cada una de ellas.

Ser capaces de diseñar, aplicar y reelaborar una guía de evaluación en función de diferentes variables (alumnado, tipo de actividad formativa y organización, recursos, posibilidades y limitaciones, finalidad, agentes intervinientes, tiempo, etc.) y aplicarla, recogiendo los datos y sabiéndolos utilizar en la mejora de las actividades formativas y del desarrollo profesional del formad@r en cada contexto de formación sociolaboral.

Conocer los elementos básicos que configuran la evaluación de competencias profesionales y su aplicación, a través de la elaboración de una guía y la aplicación de los instrumentos de evaluación para la recogida de datos.

Conocer y saber aplicar diferentes estrategias de registro de la información y de seguimiento individualizado del alumnado.

Conocer y saber aplicar diferentes procesos de evaluación de impacto de aprendizajes

profesionales.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 8 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

1.2. ESTRUCTURA DE CONTENIDOS

JUSTIFICACIÓN DEL MÓDULO

La evaluación como proceso de investigación evaluativa para la mejora de la formación: Construcción, fases y elementos.

• La evaluación como proceso de investigación evaluativa para la mejora a través de la integración interactiva y convergente del proceso de diseño y desarrollo curricular y el de evaluación.

• Configuración y construcción del concepto de evaluación: concepciones y autores.

• Propuesta (Hipótesis) de configuración de un proceso de evaluación del alumnado participante, de una actividad formativa o de un programa: fases y elementos.

Ideas y pautas para la elaboración de guías e instrumentos de las distintas fases del proceso de evaluación.

• Concepto y definición de los diferentes elementos y fases que configuran un proceso de investigación evaluativa del alumnado participante, de la actividad formativa y de los programas.

• Propuesta (Hipótesis) de configuración de un proceso de evaluación del alumnado

participante, de una actividad formativa o de un programa a través de las fases y los

elementos (indicadores y criterios).

• Propuesta (hipótesis) de la configuración de un proceso de evaluación del alumnado participante, de la actividad formativa o de un programa de a través de las fases y elementos: guía e instrumentos.

UNIDADES DIDÁCTICAS

Principios teóricos-prácticos de evaluación educativa: El concepto de la evaluación de la formación como proceso de mejora continua de las actividades formativas y de perfeccionamiento profesional: integración interactiva y convergente del proceso de diseño y desarrollo curricular y el de evaluación.

• Configuración y construcción del concepto de evaluación: concepciones y autores.

• Propuesta de configuración de un proceso de evaluación del alumnado participante, de una actividad formativa o de un programa: fases y elementos.

• Actividades de aplicación: Elaboración de las bases para la configuración de un proceso de evaluación de la formación

La evaluación de competencias profesionales: conceptos, habilidades, destrezas y procedimientos, y actitudes y valores (predisposiciones y prejuicios).

• El concepto pluridimensional de competencia: ejes y zonas de validación.

• Guía para la evaluación de competencias.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 9

• Instrumentos para la evaluación de competencias.

• Actividades de aplicación: elaborar unos criterios, indicadores e instrumentos para la evaluación de competencias.

Las estrategias de registro de la información y seguimiento individualizado de alumnado.

• Características y principios del modelo que subyace a la guía de evaluación: estrategias de registros y seguimiento.

• Fases del proceso del desarrollo y aplicación de la guía.

• Elementos de la guía.

• Estructura de la guía (instrumentos): orientaciones para su utilización por parte del formad@r.

• Actividades de aplicación: indicadores y criterios e instrumentos para el registro de la información y el seguimiento del alumnado participante.

La evaluación de impacto de aprendizajes profesionales, de las actividades formativas y de programas formación.

• El concepto de la evaluación de impacto: niveles y ámbitos.

• Fases del proceso del desarrollo y aplicación de la guía.

• Estructura de la guía (instrumentos): orientaciones para su utilización por parte de del formad@r.

• Actividades de aplicación: indicadores y criterios de la evaluación de impacto e instrumentos para la recogida de datos (escalas, entrevistas y cuestionarios).

Actividades de autoevaluación.

Resumen.

Glosario.

Bibliografía: Básica comentada y de ampliación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 10 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 11

1.3. MAPA CONCEPTUAL

UNA EVALUACIÓN...

SIRVE PARA LA MEJORA DE LA ACTIVIDAD FORMATIVA Y DEL FORMADOR (INNOVACIÓN Y CAMBIO)

Cuando se configura y se estructura como un proceso de investigación evaluativa que recoge los datos de forma sistemática, fiable y validado.

TIENE VALIDEZ Y FIABILIDAD COMO PROCESO DE INVESTIGACIÓN EVALUATIVA:

Cuando define previamente sus fases y elementos de cada una de ellas (indicadores, criterios, metodología e instrumentos, audiencia y agentes, tiempos, etc.)

DEFINE LOS INDICADORES Y CRITERIOS:

Cuando define los objetivos y criterios de evaluación en términos de competencias con sus dimensiones (ejes y zonas).

Y SE ESTRUCTURA DE FORMA EFICIENTE:

Cuando define estrategias e instrumentos de recogida de datos y seguimiento del alumnado y de las actividades formativas.

INTEGRANDO LA ACTIVIDAD FORMATIVA Y LA ACTIVIDAD EVALUADORA

Cuando desarrolla un sólo proceso interactivo y convergente entre la acción formativa y la acción evaluadora, empezando el proceso por la evaluación diagnóstica.

CONSTATA SU VALIDEZ Y FIABILIDAD DEL PROCESO INTERACTIVO (FORMACIÓN Y EVALUACIÓN)

Cuando a través de la evaluación de la transferencia de aprendizajes y el impacto de la formación se demuestra la consecución de objetivos internos y externos que se han ido planteando durante el desarrollo de los dos procesos de formación y de evaluación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 12 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 13

ANTES DE EMPEZAR

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 14 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 15

2. ANTES DE EMPEZAR

2.1. RECOMENDACIONES PARA EL AUTOESTUDIO

• Alrededor de cualquier área de conocimiento se manejan de forma reiterada, dos o tres conceptos que son el eje organizador de todo el desarrollo conceptual. Busque en este material de autoestudio y en la Bibliografía de referencia y descubra cuáles son esos conceptos básicos en el caso de la Evaluación de aprendizajes profesionales y seguimiento de los alumnos.

• Una vez que maneje comprensivamente los conceptos básicos, intente encontrar algún espacio del material de autoestudio o de la Bibliografía de referencia donde se plasmen prácticamente los conceptos básicos.

• Intente buscar ejemplos reales en su propio entorno profesional de aplicaciones prácticas de los conceptos básicos de la evaluación de los aprendizajes profesionales y de su seguimiento.

• Identifique en el ámbito donde desarrolla su actividad profesional una lista de problemas, que podrían tener solución si su organización tuviera claramente definidas las orientaciones para desarrollar los procesos de evaluación de los aprendizajes de los alumnos/as adquiridos en la acción formativa.

• Intente crear ejemplos de aplicación de los conceptos básicos de la evaluación de aprendizajes a su propio contexto profesional.

• En torno a la evaluación existe cierto grado de confusión, debido a que no todo el mundo la entiende de la misma manera. Esta disparidad de criterios produce prácticas evaluativas diferentes. Con este Módulo se intentará aclarar esta disparidad y se concibe a la evaluación como una herramienta necesaria e imprescindible en cualquier actividad formativa.

¡Ponga a trabajar a su imaginación!

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 16 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

2.2. SISTEMATIZACIÓN DEL CONOCIMIENTO PREVIO

Una de las fases más importantes en todo proceso de evaluación es la extracción e interpretación de los datos que surgen de la aplicación de diferentes técnicas e instrumentos a contextos concretos. Por este motivo, hemos considerado oportuno completar este punto con diversas actividades relacionadas con la interpretación y valoración de los resultados extraídos de un cuestionario de evaluación de cursos de formación.

Para ello, te proponemos algunos cuadros extraídos de un cuestionario de evaluación final realizado a los participantes que configuran los cursos de las Acciones Formativas 1998/99 impartidas por UGT.

La información reflejada en este punto se transfiere del “Informe Global de los Cursos Realizados 1998-1999”, elaborado por CENSOR (Consultoría y Evaluación de Procesos).

Del cuestionario que se distribuyó para conocer la evaluación general del curso por parte de los participantes, hemos seleccionado los cuadros referentes a la valoración de los contenidos del curso y a la labor de los formadores a lo largo del mismo.

- Valora los siguientes aspectos de los contenidos del curso (muy satisfactorio-nada satisfactorio)

Muy satisfactorio

Satisfactorio Poco satisfactorio

Nada satisfactorio

N.C.

Selección de los temas

376

592

34

2

37

Profundidad con que se han elaborado

178

628

173

12

50

Facilidad de comprensión

365

567

56

5

48

Utilidad para tu labor sindical

428

445

73

8

87

Subtotal Contenidos

1347

2232

336

27

222

En función de los datos reflejados en este cuadro, ¿serías capaz de responder y completar las siguientes cuestiones?

1. ¿Qué destacarías de los datos que hacen referencia al ítem de selección de los temas?

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 17

2. ¿Qué hecho consideras más irrelevante en el ítem que hace referencia a la profundidad con que se han

abordado los contenidos, en relación al ítem anterior?

...................................................................................................................................................................................

...................................................................................................................................................................................

3. ¿Destacarías alguna relación entre los datos más representativos del ítem facilidad de comprensión de los contenidos y el ítem: utilidad de los contenidos para la labor sindical cotidiana?

...................................................................................................................................................................................

...................................................................................................................................................................................

4. En general, ¿cómo consideras que han valorado los participantes los contenidos del curso?

...................................................................................................................................................................................

...................................................................................................................................................................................

5. ¿Qué estrategias de mejora plantearías en los cursos de acuerdo a los datos reflejados en el cuadro?

...................................................................................................................................................................................

...................................................................................................................................................................................

- Valora la labor de los Formadores del curso respecto a lo siguiente (mucho, bastante, poco, nada)

Mucho Bastante Poco Nada N.C.

Contribución a la comprensión

536

453

30

1

21

Preocupación por aprendizaje

525

433

41

6

36

Conocimiento de la materia

620

356

27

0

38

Facilitar la participación

586

372

36

3

44

Adaptación a los contenidos

380

465

83

25

88

Subtotal Formadores 2647 2079 217 35 227

En relación a la tabla que hace referencia a la labor de los formadores.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 18 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

6. ¿Consideras que los formadores han desarrollado una tarea eficaz en el desarrollo del curso? ¿Sobre qué razones te fundamentas?

...................................................................................................................................................................................

...................................................................................................................................................................................

7. De las labores desempeñadas por el formador y que se reflejan en la tabla, ¿cuál crees que ha sido la menos satisfactoria para los participantes?

...................................................................................................................................................................................

...................................................................................................................................................................................

8. ¿Qué soluciones de mejora propondrías para que no ocurriese esta situación en futuros cursos?

...................................................................................................................................................................................

...................................................................................................................................................................................

9. A modo general y en cualquier situación formativa, si tras haber realizado un cuestionario final de evaluación del curso, los resultados en relación a la labor del formador son bastante positivos, ¿mejorarías algún aspecto para futuros cursos, o como los resultados han sido positivos, no haría falta cambiar y/o mejorar nada, ya que éstos serían los mismos en otras acciones formativas futuras?

...................................................................................................................................................................................

...................................................................................................................................................................................

10. Si al interpretar los datos completos de un cuestionario de evaluación final del curso la valoración ha sido, en líneas generales, bastante satisfactoria ¿podemos asegurar una buena transferencia de los conocimientos, habilidades y actitudes adquiridos por los alumnos a sus puestos de trabajo? ¿Cómo podrías evaluar esta transferencia?

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 19

JUSTIFICACIÓN DEL MÓDULO

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 20 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 21

3. JUSTIFICACIÓN DEL MÓDULO.

3.1. LA EVALUACIÓN COMO PROCESO DE INVESTIGACIÓN EVALUATIVA PARA LA MEJORA DE LA FORMACIÓN: CONSTRUCCIÓN, FASE Y ELEMENTOS.

Como introducción y para facilitar la comprensión del tema parece necesario, primeramente, clarificar algunos conceptos de evaluación y relacionarlos con los conceptos de diseño de intervención curricular y su aplicación y desarrollo en el marco de la actividad diaria de un formador.

El primer aspecto que hay que resaltar, es la necesidad de que todo formador tenga presente la necesidad permanente de considerar la evaluación como un proceso paralelo y continuamente convergente e interactivo con el diseño y el desarrollo del curriculum.

De esta forma, la evaluación se debe considerar, no como una actividad al final del proceso de formación, sino como un proceso integrado y convergente con el diseño y desarrollo del curriculum de la actividad formativa:

a) Que comienza antes del proceso de diseño con la evaluación inicial o diagnóstica de la detección de necesidades y la definición de los grupos destinatarios, lo que le va a permitir definir diseños y ofertas formativas más adaptadas a los beneficiarios de ese servicio.

b) Que durante el proceso de aplicación del diseño y desarrollo de la actividad formativa podamos recoger información para cambiar y mejorar algunos aspectos de la misma, a través de la evaluación en la fase procesual o de tipo formativo.

c) Que va a permitir, no sólo saber cuáles son los resultados de la acción formativa en términos de aprendizajes y satisfacción de los asistentes, sino también de las metodologías y actividades realizadas, ponentes y otras serie de aspectos, que incluso nos deben facilitar, no sólo la mejora de esa actividad, sino la propuesta de otras nuevas a través de la evaluación final o de contraste.

d) Por último, en la fase demorada, saber cuál es el impacto de esa actividad formativa a través de la evaluación de impacto en sus tres ámbitos (individual, organizacional o grupal y social) y su nivel de transferencia y mejora de otras actividades del trabajador.

Es importante reseñar el carácter de proceso desarrollado permanentemente en sus cuatro fases, pero también integrado y paralelo de forma interactiva con el diseño y desarrollo del curriculum y con la actividad profesional del formador. La evaluación como un proceso permanente es la única forma de que el formador pueda mejorar su actividad, defina sus necesidades de formación y genere un proceso constante de innovación y cambio de los procesos en los que está implicado.

Por esa razón, en esta Unidad 6 nos vamos a centrar en esta coordenada: la evaluación como proceso integrado con el diseño y desarrollo curricular y que el resultado de la integración de ambos procesos se

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 22 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

convierta en un proceso continuado de innovación y mejora de la actividad del formador (la evaluación como el instrumento más importante y eficaz para la mejora de los formadores).

Este proceso integrado estaría configurado por tres ejes o procesos: el de intervención y de investigación autoevaluativa contrastada, el de investigación autoevaluativa de la actividad docente y el de la innovación y cambio como consecuencia de las dos anteriores. Todos ellos están integrados en un cuarto eje procesual de carácter helicoidal, que se convierte en un proceso de formación permanente y autoformación del personal docente y no docente, incluido el equipo directivo en su propia actividad de organización y gestión en su centro.

De ahí, que este apartado tenga cuatro ejes en continua convergencia:

1. La evaluación como un proceso de investigación autoevaluativa y valorativa de las estrategias de intervención del docente;

2. la investigación en la propia actividad y organización de un centro;

3. la innovación de la oferta formativa y el cambio; y

4. la integración de estos procesos como un proceso de formación permanente y autoperfeccionamiento.

Como punto de partida parece oportuno aclarar algunos principios teóricos y prácticos (concepciones y conceptos o términos) que vamos a utilizar y que deben ser clarificados desde el principio, como parte de ese aprendizaje significativo, y primer paso para la construcción de cualquier conocimiento y su aplicación o transferencia posterior.

En estos momentos, el estado de la cuestión en el campo de la evaluación da por zanjada la disyuntiva del posicionamiento radical de evaluación con metodologías e instrumentos cuantitativos o cualitativos, por el concepto de dos metodologías que se pueden utilizar indistintamente y de forma complementaria, como lo plantean los trabajos de Cook y Reichardt (1986), el de Taylor y Bogdan (1994) o el de Denzin (1978) con la propuesta de la triangulación y contraste de métodos e instrumentos.

Como introducción al tema de evaluación y para clarificar conceptos que utilizaremos después como conocimientos previos, ¡nos ha parecido conveniente reproducir el siguiente cuadro sobre las diferencias entre los planteamientos cuantitativos y cualitativos dentro del campo de la evaluación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 23

Evaluación cuantitativa Evaluación cualitativa Fundamentos

Positivismo lógico Empirismo

Fenomenología. Hermeneútica.

Naturaleza de la realidad

Objetiva, estática, única, dada, fragmentable, convergente

Dinámica, múltiple, holística, construida, divergente.

Finalidad de la evaluación

Explicar, predecir, controlar los fenómenos, verificar teorías. Leyes para regular los fenómenos.

Comprender e interpretar la realidad, los significados de las personas, percepciones, intenciones.

Relación sujeto/objeto

Independencia. No se afectan. Investigador externo. Sujeto como “objeto” investigación.

Dependencia. Se afectan. Implicación investigador. Interrelación.

Valores

Neutros. Investigador libre valores.

Explícitos. Influyen en la investigación.

Teoría/práctica

Disociados, constituyen entidades distintas. Teoría, norma para práctica.

Relacionadas. Retroalimentación mutua.

Criterios de calidad

Validez, fiabilidad, objetividad. Credibilidad, confirmación, transferibilidad.

Instrumentos / Estrategias

Cuantitativos, medición de tests, cuestionarios. Experimento.

Cualitativos. Investigador principal instrumento.

Análisis de datos Cuantitativo: estadística. Cualitativo: inducción analítica. Cuadro 1: Comparación entre evaluación cuantitativa y cualitativa (Díez Gutiérrez y Domínguez Fernández, 1996).

Como cierre de esta introducción y de la filosofía y posicionamiento del propio trabajo, parece oportuno reproducir lo que Fernández Pérez (1988) desarrolla acerca de la evaluación "el alumno debe demostrar su nivel de aprendizaje a través de la propia autoevaluación de su proceso ". Estos dos elementos: la evaluación como un proceso de valoración y formación del propio alumnado participantes en las diferentes actividades y no como instrumento de control del profesor o formador; y el carácter de autoevaluación como proceso en el que debe intervenir el propio alumnado, los formadores y otros agentes internos y externos a los procesos formativos y su carácter de estrategia de autoperfeccionamiento y mejora, son dos coordenadas que presiden la filosofía de este trabajo.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 24 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

3.2. IDEAS Y PAUTAS PARA LA ELABORACIÓN DE GUÍAS E INSTRUMENTOS DE LAS DISTINTAS FASES DEL PROCESO DE EVALUACIÓN.

Dada la importancia de la evaluación como proceso de investigación evaluativa, cuyo fin es la recogida de datos con el objetivo final de mejorar la actividad profesional del formador y, en general, todos los aspectos desarrollados en torno a la actividad formativa, es necesario también planificar este proceso y, por esa razón, nos ha parecido oportuno estructurar un apartado en torno a una guía que paute y oriente este proceso, recogiendo diferentes estrategias de registro de la información y seguimiento del alumnado, así como la utilización posterior de estos datos para futuras propuestas de actividades formativas.

La evaluación de las acciones formativas ayudan a reorientar y reajustar la acción que se está llevando a cabo, así como a poner en marcha nuevas ofertas formativas que recojan, teniendo en cuenta las conclusiones obtenidas en este proceso, las mejoras necesarias.

Desarrollar estrategias encaminadas a la mejora de la formación, aplicando las técnicas e instrumentos adecuados, es el objetivo que debe perseguir el formador en su actividad profesional. Para ello, éste debe planificar adecuadamente el proceso de evaluación determinando todos los elementos que intervienen en un plan de este tipo (fases, indicadores, criterios, metodología, etc.). Además debe poseer conocimientos sobre el diseño y aplicación correcta de las técnicas e instrumentos así como de recogida y tratamiento de los datos para poder tomar decisiones que afecten a la mejora de las acciones formativas.

Para llevar a cabo estas tareas, existen diferentes modelos de evaluación, como veremos en un primer apartado de esta Unidad Didáctica, pero el modelo de registro y seguimiento a través de una guía, que se presenta, está dirigido a la formación continua y posee un carácter interno y democrático. Éste trata de facilitar la mejora de las actividades formativas partiendo de una primera adecuación al contexto del propio plan de evaluación (las organizaciones sociales).

Por todo ello, presentamos una Guía de Evaluación de la Formación Continua, que pretende facilitar la evaluación que deben realizar los formadores. Esta Guía y el conjunto de instrumentos que en ella se encuentran recogidos deben entenderse como una propuesta abierta, pudiéndose realizar las adaptaciones que sean necesarias para su aplicación.

Con el objetivo de localizar la Guía en un marco teórico, hemos explicado en un primer momento, el modelo de evaluación adoptado, presentando a continuación la estructura de la Guía de evaluación (fases y elementos) y los instrumentos y técnicas que la configuran como tal con algunas pautas para su utilización

Para situar el modelo que se presenta en este documento a través de la Guía, se ha basado en diferentes documentos y experiencias que relacionamos a continuación, y que trataremos en anteriores apartados de esta misma Unidad Didáctica:

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 25

1. Análisis de la situación actual de la práctica evaluativa de la Formación Continua:

• Análisis de las experiencias de evaluación de la Formación Continua a nivel nacional e internacional,

• Búsqueda y análisis bibliográfico.

2. Análisis comparativo de los enfoques de evaluación:

• Estudio comparativo de los diferentes autores encuadrados en modelos teóricos y prácticos de evaluación (enfoque cuantitativo y cualitativo).

3. Elaboración teórica del Modelo de Evaluación de la Formación Continua en las Organizaciones Sociales.

Estos análisis nos llevaron a elaborar un modelo propio (definido por la finalidad del mismo, el contexto en el que se iba a aplicar y la validación del mismo), teniendo en cuenta aspectos de los diferentes enfoques.

Por esta razón, en nuestro modelo mixto, en el que tienen cabida la metodología e instrumentos cualitativos y cuantitativos, nos planteamos un modelo abierto, flexible y polivalente, es decir, que responda a diferentes finalidades, situaciones y escenarios de formación, destinatarios, y esté en continua reelaboración. Todas estas características se reflejan claramente en la Guía de Evaluación de la Formación Continua que presentamos en esta Unidad.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 26 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 27

UNIDAD DIDÁCTICA

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 28 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 29

4. UNIDAD DIDÁCTICA.

INFORMACIÓN TEMÁTICA GENERADORA

GAN, F. (1995): Manual de técnicas e instrumentos de formación en la empresa Barcelona, Apóstrofe. (pp. 307-308).

“El término ‘evaluación’ evoca, para quienes no están familiarizados con los ámbitos de Formación-trabajo, las

situaciones clásicas de examen de la época escolar, que a través de sus diversas variantes: escrito, oral, tipo

test, ‘trabajos’ sobre temas, etc., tenían como fin –y siguen teniendo- dilucidar el grado de aprovechamiento –los

aprendizajes- conseguido por los alumnos. Las características de estas pruebas suelen tener en común para los

que aprenden la obligación de comprender y memorizar los contenidos de la materia o asignatura. En la medida

en que en esos momentos puntuales de prueba se decide el éxito o fracaso de la labor de un largo período –

trimestre, curso completo- la evaluación se ha convertido (a pesar de haberse intentado desdramatizar y mejorar

metodológicamente introduciendo los conceptos de ‘evaluación continua’) en una temática de escasas simpatías

–genera pensamiento colectivo, es considerada como una acción aislada o ‘aislable’, como si la evaluación fuera

un asunto un tanto artificial, poco habitual y relegado a la esfera académica o estudiantil.

En realidad, las situaciones de evaluación son constantes en nuestra vida cotidiana, y tienen una proyección

mucho más amplia: la que deriva de nuestra valoración de hechos, objetivos, personas, con conclusiones que

determinan nuestra conducta; así ocurre cuando valoramos la relación precio-calidad de un producto, la

alternativa de salir con unos amigos o quedarnos en casa, e incluso la actitud hacia nosotros de las personas

con las que mantenemos una relación más o menos permanente, puesto que su actitud condiciona sin duda

nuestra respuesta hacia ellas.

Así pues, la evaluación es un hecho social e inevitable en la existencia de las personas, si bien los factores que

la configuran en la vida cotidiana suelen ser intuitivos, emocionales, y si son racionales, lo son en la medida en la

que la persona analiza internamente –por sí sola- o con otros –comentando las razones, motivos- las variables

supuestamente objetivas del ente valorado.

[...] En formación-trabajo, la evaluación es una necesidad, pues constituye, con carácter general, la acción o

proceso que estudia la diferencia entre lo ocurrido y lo previsto, determinando además, en función de los

resultados, el grado de eficacia obtenido respecto al conjunto de recursos y esfuerzos invertidos en la acción.

Tiene, por tanto, mayores connotaciones que las que sugiere el hecho de examinar a los alumnos.

Ese enfoque supone atender a una concepción integral que contemple, si no todas, el máximo de variables

intervinientes en el programa, y desde luego aquellas que han supuesto inversión o empleo significativo de

recursos (materiales, humanos, financieros...).”

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 30 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

4.1. EVALUACIÓN DE APRENDIZAJES Y SEGUIMIENTO DE ALUMNOS

4.1.1. CONTENIDOS DE LA UNIDAD DIDÁCTICA

I. PRINCIPIOS TEÓRICOS / PRÁCTICOS DE LA EVALUACIÓN EDUCATIVA (DE LA FORMACIÓN)

1.- EVOLUCIÓN Y CONSTRUCCIÓN DEL CONCEPTO DE EVALUACIÓN.

Como se ha planteado anteriormente, es necesario definir el concepto de evaluación, para ello es conveniente hacerlo a través de diferentes autores, que en diferentes épocas han definido el término dentro de diferentes concepciones, contextos y tendencias.

En este trabajo utilizaremos el método de la construcción del concepto de la evaluación como metodología didáctica y estructura del contenido que puede facilitar la comprensión del mismo.

La estructura constructivista de este apartado sobre el concepto de la evaluación la vamos a configurar en tres grandes tendencias o concepciones, siguiendo el trabajo de Tejada (1989;1999) y la propuesta de su cuadro que desarrollaremos más adelante: a) modelos cuantitativos; b) modelos mixtos; y c) modelos cualitativos.

Hay muchas y diversas definiciones del concepto de evaluación. Algunas de las más destacadas pueden ser la del Joint Committee on Standards for Educational Evaluation, que entiende por evaluación el "enjuiciamiento

sistemático de la valía o el mérito de un objeto" (1987). O la de Arnal, que la define como "proceso, o conjunto

de procesos, para la obtención y análisis de información significativa en que apoyar juicios de valor sobre un

objeto, fenómeno, proceso o acontecimiento, como soporte de una eventual decisión sobre el mismo. Esta

decisión dependerá, en parte, del grado de adecuación a un elemento referencial o criterio" (1992: 213).

Siguiendo otros trabajos y definiciones, pero especialmente los que reiteradamente citaremos, de Stufflebeam y Shinkfield (1987) y de Tejada (1989;1999) -particularmente el de 1999-, nos parece relevante citar diferentes tendencias y perspectivas, que complementen y resuman las que a continuación desarrollaremos.

Tenbrinck (1984:19) define la evaluación como "Proceso de obtener información y usarla para formar juicios que

a su vez se utilizarán en la toma de decisiones".

Pérez Gómez (1985: 431), a su vez, define la evaluación como "Proceso de recogida de datos y provisión de

evidencias sobre el funcionamiento y evolución de la vida en el aula, en base a las cuales se forman decisiones

sobre la posibilidad, efectividad y valor educativo del curriculum".

Fernández Pérez (1989), estima que los caracteres fundamentales de una evaluación es que sea “válida, fiable,

útil con la máxima economía al individuo que aprende, al profesor ‘con’ el que aprende y a la sociedad en cuyo

seno aprende”.

Stufflebeam (1989) nos dice que “la evaluación de programas es el proceso de identificar, obtener y

proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 31

y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones, solucionar los

problemas de responsabilidad y promover la comprensión de los fenómenos implicados”

Pérez Juste (1992) nos ofrece una definición muy completa sobre la evaluación de programas al afirmar que consiste en un “proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa-

valiosa, válida y fiable-, orientado a valorar la calidad de un programa, como base para la posterior toma de

decisiones de mejora tanto del programa como del personal implicado y, de modo indirecto, del cuerpo social en

que se encuentra inmerso”.

House (1994), nos dice que “la evaluación aboca un juicio acerca del valor de algo [...] con la pretensión de

llevar a una decisión respecto a una determinada forma de actuar [...] debe, además, ser creíble y comunicable”.

Ferrández (1993: 11): "Emitir un juicio valorativo sobre una realidad educativa en función de unos datos y con el

propósito de tomar decisiones a respecto"

Tejada (1989; 1999: 33), por último, define la evaluación por tres indicadores básicos para él "Un proceso

sistemático de recogida de información" que " implica un juicio de valor [...] pero no necesariamente en la toma

de decisiones" y "orientada hacia la toma de decisiones [...] a la mejora de la práctica […] que la evaluación ha

de ser un medio, pero no un fin en sí misma".

Dentro de la formación para el trabajo parece interesante destacar una definición más para cerrar este punto:

Gan y otros (1995: 308) destacan que “en formación-trabajo, la evaluación es una necesidad, pues constituye,

con carácter general, la acción o proceso que estudia la diferencia entre lo ocurrido y lo previsto, determinando

además, en función de los resultados, el grado de eficacia obtenido respecto al conjunto de recursos y esfuerzos

invertidos en la acción. Tiene, por tanto, mayores connotaciones que las que sugiere el hecho de examinar a los

alumnos”.

Teniendo en cuenta diferentes aportaciones, entre ellas, las que hemos desarrollado anteriormente, puesto que nos han parecido las más significativas, podemos definir la evaluación como:

"Un proceso de valoración e investigación evaluativa en el cual, teniendo en cuenta las diferentes finalidades

y objetos o dimensiones de cada una de las fases de la misma, se recoge la máxima información posible

sobre el proceso de enseñanza-aprendizaje, de acuerdo a una serie de metodologías, técnicas e

instrumentos, que se han creído los más adecuados, con el fin de emitir juicios respecto a un modelo de

intervención que posibiliten tomar decisiones respecto al mismo con la finalidad de mejorarlo para

intervenciones sucesivas y de conseguir un mayor impacto y transferencia de los mismos".

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 32 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Para hacer un recorrido de carácter constructivista de la evolución del concepto de evaluación se han tenido en cuenta tres grandes paradigmas o modelos de la evaluación, que han ido apareciendo cronológicamente por este orden:

MODELOS CUANTITATIVOS, LLAMADOS TAMBIÉN LA CONCEPCIÓN CONDUCTISTA, RACIONAL-CIENTÍFICA O EFICIENTISTA.

A principios de la década de los sesenta en Estados Unidos y la década de los setenta (Ley General de Educación de 1970) en España aparece este modelo o concepción, que definía el currículum como una programación por objetivos, en la cual lo importante era definir en términos de conducta y de estímulo los objetivos a alcanzar para conseguir la respuesta deseada, también términos de conducta, o de resultados como criterios e indicadores de evaluación de logros y aprendizajes.

El concepto de evaluación para esta concepción viene marcado por la obtención de los datos prefijados y la comprobación de las hipótesis definidas a priori. La evaluación tiene como propósito recoger los resultados finales del proceso y valorar la eficacia del mismo en función de los porcentajes de obtención de los objetivos prefijados.

Los resultados se convierten en el eje de la evaluación, y el "qué" es la pregunta que define el objeto de la misma (conductas, capacidades, destrezas, habilidades, etc.).

La consecuencia de esta concepción es que la evaluación en una actividad puntual desarrollada al final del proceso de enseñanza-aprendizaje exterior en parte al mismo (puesto que los objetivos y criterios viene definidos por agentes externos a los que intervienen en el proceso), y en el cual lo que se busca son datos de carácter cuantitativo (las veces en términos de porcentajes que se ha realizado una conducta, y las veces o porcentajes que se ha realizado de acuerdo con los objetivos propuestos), para lo cual se utilizan métodos, técnicas e instrumentos de carácter cuantitativo (cuestionarios, test y entrevistas cerradas o semicerradas, entre otros).

Modelo cuantitativo.Concepción conductista,racional-científica oeficientista.

Modelo mixto. Modelo de lasconcepciones humanistas delcurriculum.

Modelo Cualitativo. Concepción Cognitivistao constructivista.

El proceso de intervención era, por tanto, sólo un instrumento para conseguir losresultados apropiados.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 33

Dentro de esta corriente, hay que ubicar, entre los autores a:

Tyler (1950: 69), quien define la evaluación como un "proceso que determina hasta que punto se han conseguido los objetivos educativos " (Tejada, 1999: p.31).

Blom y otros autores (1971), quienes coordinan las famosas taxonomías para la formulación de objetivos, base de todas las programaciones por objetivos, símbolos de esta corriente, el cual definió la evaluación como "reunión sistemática de evidencias a fin de determinar si en realidad se producen ciertos cambios en los alumnos y establecer el grado de cambio de cada estudiante" (Tejada, 1999: p.31).

Stufflebeam (1950-1987) creador, a través de la coordinación de una comisión de evaluación de Enseñanza Secundaria del modelo CIPP (las siglas corresponden a las palabras Contexto, input o entrada, proceso y producto, de esta forma planteaba por primera vez la necesidad de considerar la evaluación como un proceso y no como una actividad terminal aislada dentro del proceso de la programación), punto de referencia de los modelos de transición entre los modelos cualitativos y cuantitativos y Shinkfield (1987) autores de un análisis (el más completo y detallado de diferentes aportaciones, que ha servido de base para la estructuración de este punto en esta Unidad Didáctica, quienes definen la evaluación como "proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones, solucionar problemas de responsabilidad y promover la comprensión de los fenómenos implicados" (p.183).

Esta concepción es la que subyace en el planteamiento de la Reforma Educativa de la Ley General de 1970 de Villar Palasí y se desarrolló plenamente en el contexto socio-político de los Planes de Desarrollo. La consecución de los objetivos-resultados en cada uno de los sectores (educación) era la prioridad para el desarrollo económico del país.

MODELOS MIXTOS O EL MODELO DE LAS CONCEPCIONES HUMANISTAS DEL CURRICULUM.

Durante la década de los setenta se dan los Movimientos de Renovación Pedagógica, basados en la concepción humanista más radical y en posturas políticas de cambio y ruptura respecto al régimen franquista, que plantean posturas diferentes a los movimientos eficientistas, teniendo más en cuenta la individualización personalizada del aprendizaje y, por lo tanto, el concepto de evaluación y logros conseguidos por cada persona, según sus características y especificidad y no en relación sólo a medidas cuantitativas standards de medias proporcionales de toda la población a la que se evalúa.

Esta es una etapa importante en la construcción del concepto de la evaluación, al evaluarse no sólo los datos o resultados finales de un proceso, sino cómo se desarrolla ese proceso, el esfuerzo de los alumnos participantes y los logros conseguidos desde el comienzo del proceso enseñanza-aprendizaje. Ya no sólo son importantes los resultados (el Qué) conseguidos, sino también el esfuerzo realizado en el proceso de la obtención de estos resultados, el punto de partida de esa persona en el proceso, sus características, expectativas, motivaciones, etc. (el Cómo).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 34 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

En este modelo, los autores utilizan diferentes métodos e instrumentos más cualitativos (entrevistas abiertas, entrevistas grupales, grupos de discusión y diferentes metodologías del campo de la sociología, que veremos más adelante, aunque en muchos caso con la concepción y la finalidad eficientista y racional de demostrar ciertas hipótesis previas y procesos cerrados de recogida de datos).

La concepción humanista, frente a la concepción eficientista y racional, que definía el currículum como una programación por objetivos, va a definir el curriculum como una programación por actividades.

Para esta concepción, lo importante es plantear diferentes posibilidades de estrategias de intervención que permitan múltiples procesos de aprendizaje, según las diferencias y características personales del alumnado participante en las actividades formativas, que configuran el grupo de aprendizaje, con el fin de que se autorealicen como personas durante el proceso.

Para los humanistas ya no son sólo importantes los datos o resultados finales, sino, sobre todo, el esfuerzo realizado por el alumno, teniendo en cuenta su punto de partida (conocimientos, características personales, posibilidades intelectuales, situaciones personales, etc.) y como referencia para valorar los resultados obtenidos. Este esfuerzo estaría relacionado con las actitudes del alumno respecto al aprendizaje y con la valoración más afectiva que conductual que el profesor debería realizar del esfuerzo y las actitudes demostradas por su alumno.

Para ello, tendrá que utilizar indistintamente métodos, técnicas e instrumentos de carácter cuantitativo, con el fin de valorar los resultados del alumno, y métodos, técnicas e instrumentos de carácter cualitativo (percepciones personales, entrevistas, etc.) para poder valorar el esfuerzo y, sobre todo, las actitudes y el desarrollo personal del alumno como individuo durante el proceso.

Todo ello lleva a la utilización de metodologías mixtas, y a convertir la evaluación en un proceso paralelo al

proceso de aprendizaje, pero que converge al final del mismo con él, todavía con claros matices de evaluación sumativa o final, aunque la palabra más utilizada por los humanistas es la evaluación continua.

Los autores que propusieron modelos de evaluación que más reflejan esta concepción serían, por una parte, los de Stufflebeam (1987) con el modelo CIPP (que lo estudiaremos en el apartado de los modelos), Scriven

De esta forma, el concepto de evaluación complementa su dimensión de valoración de los procesos de aprendizaje a través de los logros y los resultados con otros aspectos actitudinales y afectivos que realizan las personas implicadas en él.

La finalidad de la evaluación será la de valorar el proceso desarrollado por el alumnodurante su aprendizaje, y el cómo lo ha realizado será el objeto de la evaluación de estaconcepción.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 35

(1967) con el "modelo de evaluación orientada al consumidor" ha definido la evaluación como " la valoración sistemática del valor o mérito de las cosas, y ha subrayado que los evaluadores deben ser capaces de llegar a juicios de valor justificables más que de medir cosas o determinar que las metas han sido alcanzadas" (Stufflebeam y Shinkfield, 1987: 343) y Stake (1976) con su propuesta del modelo respondiente o de cliente plantea que la evaluación tiene dos funciones: la descripción y el juicio de un programa y el evaluador " debe hacer referencia, simplemente a las opiniones de la gente acerca del programa y no juzgarlas, clasificarlas o sintetizarlas (Stufflebeam y Shinkfield, 1987: 253).

Esta concepción de la evaluación como evaluación continua, en la que se valora el esfuerzo individual del alumno con sus características personales, además de los resultados, es el que subyace en los planteamientos que proponían los grupos de Renovación Pedagógica en las Escuelas de Verano y que, más tarde, se vieron reflejados de una manera oficial en los Programas Renovados de EGB, desarrollados durante la etapa del Gobierno de la UCD.

En el plano de las necesidades reales del trabajo del docente, es a partir de esta aportación cuando comienza la obligación de cualificar la valoración de las notas cuantitativas con la valoración cualitativa de la actitud del alumno, que en la mayoría de los casos reflejaba más un paralelismo con la nota cuantitativa, que una reflexión cualitativa de todo el proceso, lo que le confería más un carácter de evaluación puntual final sumativa, que el carácter de evaluación procesual y continua que debería haber tenido.

MODELOS CUALITATIVOS.

En la década de los ochenta y en España en la década de los 90 (con la aparición y desarrollo de la LODE en 1985 y de la LOGSE en 1990) aparece otra tendencia que también utiliza métodos mixtos de evaluación, como es la concepción Cognitivista o Constructivista, aunque se desarrollan más los métodos cualitativos, como son la observación, las dinámicas de grupos de discusión y entrevistas grupales, entre otros. En España esta concepción o corriente llega posteriormente con la LOGSE, que la corriente o concepción sociocrítica con la LODE, que utiliza de forma preponderante los métodos cualitativos.

Para la concepción cognitivista la evaluación de procesos cognitivos y la toma de decisiones son los elementos claves y objetivos de la misma

Para esta concepción, el currículum se define como un diseño abierto, en constante reelaboración y construcción, que se sustenta, sobre todo, en dos variables: la psicología evolutiva y el desarrollo biológico de la mente humana (siguiendo los trabajos de Piaget) y la adaptación a este desarrollo de la construcción epistemológica del conocimiento que se imparte (siguiendo los trabajos de Bruner, Ausubel, con el aprendizaje significativo, y Novak y Godwing con los mapas conceptuales). Este planteamiento, algunos autores como Huebner (1985), entre otros, lo han denominado de reelaboración o reconceptualización del currículum, por que, según ellos, vuelve a considerar los objetivos de conocimientos como elementos fundamentales del currículum, aunque no estén definidos en términos de conducta, sino de procesos mentales.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 36 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Para esta concepción, la evaluación, además de los resultados, debe centrarse, sobre todo, en los procesos desarrollados durante la intervención didáctica.

El objeto de esta concepción serán los procesos mentales desarrollados (cómo se han realizado) y su relación con los resultados. Esta concepción utilizará también métodos de carácter mixto, al tener que mezclar los métodos de carácter cualitativo para percibir, analizar y valorar los procesos mentales que subyacen y métodos cuantitativos para valorar los resultados de estos procesos.

Los autores y modelos que podemos citar dentro de esta concepción, y que luego veremos en el apartado de modelos, son los que ya hemos visto de Stake (1976) y en parte el de Scriven o el modelo "respondiente" o del cliente (1967) o de evaluación respondiente, pero sobre todo el de Stufflebeam, que ya hemos analizado, Aunque dentro de esta corriente es necesario hacer una mención especial a Suchman y Cronbach.

Cronbach (1963: 244; 1980), con su modelo de planificación evaluativa, define la evaluación como "Proceso de recopilación y utilización para tomar decisiones".

Suchman (1967), con su método científico de la evaluación, plantea la evaluación como " un proceso de emitir juicios de valor" y la distinguía de la investigación, que la definía como "procedimientos de recopilación y análisis de datos, que aumentan la posibilidad de demostrar, más que de asegurar, el valor de alguna actividad social" (Stufflebeam y Shinkfield, 1987: 112).

Esta concepción es la que subyace en el planteamiento de la Reforma del Sistema Educativo actual, la LOGSE, y el planteamiento de la evaluación que realiza el Diseño Curricular Básico (DCB) (MEC, 1989, pp. 35-37), el cual se plantea la evaluación como proceso, cuyo objetivo es "recoger la información y realizar juicios de valor necesarios para la orientación y la toma de decisiones respecto al proceso de enseñanza y aprendizaje" (p. 35).

Como objeto de la evaluación plantean cuatro preguntas:

La finalidad de esta concepción serán, esencialmente, los procesos cognitivos, es decir valorar los procesos mentales que desarrollan los alumnos durante el proceso deaprendizaje y los resultados de los mismos, que son la toma de decisiones.

La evaluación, de esta forma, se convierte en un proceso, con distintas fases oactividades, en el cual se combina la evaluación de los procesos durante el desarrollo delproceso de enseñanza-aprendizaje (evaluación inicial y procesual) y la evaluación de los resultados (evaluación final).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 37

En este planteamiento echamos de menos dos preguntas básicas ¿A quién y para quién se evalúa? y ¿Para qué se evalúa? Tanto la finalidad y las personas a las que beneficia la evaluación, son aspectos fundamentales que nos ayudarían a centrar el concepto ético de la evaluación (House, 1995) y el concepto de autoevaluación y de una cultura de calidad de la evaluación, frente al concepto de una cultura de evaluación de la calidad de la enseñanza, que plantea la LOPEGCE, como veremos más adelante.

El desarrollo de este planteamiento a través de los diferentes documentos, que han ido apareciendo, cada vez hacen más hincapié en los objetivos, los objetivos terminales, de carácter psicologísta y academicista o de conocimientos de materias, con lo cual cada vez se va potenciando más el concepto de evaluación, en la que los procesos se evalúan en función de los resultados finales y se contrastan con los objetivos prefijados anteriormente por el MEC, o el departamento correspondiente. Todo ello, dentro de un contexto socio-político de carácter economicista y tecnológico, como es la clasificación de la mano de obra dentro del Mercado Único Europeo.

La otra concepción es la concepción sociopolítica y crítica, en la cual la evaluación es más valoración de los procesos y resultados en función de las variables y los criterios internos y, sobre todo, externos al proceso de formación, fundamentalmente basados en aspectos sociológicos y políticos o ideológicos, que le dan sentido final a la evaluación y al propio proceso formativo.

Para esta concepción, el currículum se define como un proceso de investigación e interacción dialéctica entre la teoría y la práctica, cuyo objetivo es cambiar la teoría a través de la práctica, y esta a través de la teoría. Para ellos es cada vez más importante el concepto de la ética de la evaluación (House, 1995).

De esta forma, cambiar la práctica se convierte en algo más que en un simple cambio educativo, su principal objetivo es cambiar la realidad socio-política en donde se desarrolla esa práctica. El currículum desde esta

¿Para qué evaluar? Para "orientar al propio alumno y guiar el proceso de enseñanza y aprendizaje". (p. 37).

¿Qué evaluar? Las capacidades, que deben definirse en los objetivos generales.

¿Cómo evaluar? De forma continua e individualizada, de carácter criterial, no normativa.

¿Con qué? ¿qué evaluar? Los instrumentos cuantitativos o cualitativos (estudio de casos, etc.).

¿Cuándo evaluar?Proceso de evaluación continua configurada por tres fases: la inicial, la formativa y la sumativa, ésta última como elemento esencial de la fase inicial de otros procesos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 38 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

perspectiva se convierte en un instrumento de cambio social, en el cual el formador, a través de la investigación del mismo, se convierte en un agente de cambio social. A esta concepción, Carr y Kemmis (1988), la denominan crítica por el posicionamiento que debe adoptar la educación y el formador respecto a la sociedad.

Esta concepción rechaza el concepto de evaluación como control, puesto que significa una reproducción del sistema social. Para estos autores, la evaluación tiene sentido como una valoración del proceso en el que tanto evaluador como evaluado forman un sólo equipo y han participado y pactado la definición de los criterios, que van a servir como puntos de referencia en la evaluación.

La finalidad de la evaluación consiste en definir, en función de las variables contextuales y de los agentes que intervienen en el proceso de enseñanza-aprendizaje, los criterios de evaluación, de tal forma que sean el resultado de una negociación, es decir, un pacto, un consenso, en el cual todos participen al definir la lógica de la eficacia, fiabilidad y utilidad de los mismos para evaluar el proceso y los agentes que intervienen en él, a través de la definición de los indicadores y criterios.

El objeto de la evaluación viene determinado por la contestación a las preguntas, en esta concepción, como son "para qué" o "por qué", es decir, la evaluación de las variables y criterios que suelen definirse en el diagnóstico del contexto y de la realidad en la cual se va a desarrollar el proceso de enseñanza-aprendizaje.

Para esta concepción, los criterios de evaluación se suelen definir en función de la visión o posicionamiento respecto a esa realidad y la formación y, a partir de ese momento, sesgan todo el proceso evaluativo haciendo relativa toda la valoración del proceso y, sobre todo, la validez de los datos obtenidos, que se deberá buscar en relación con el análisis de las variables y los criterios definidos, y no como verdades objetivas aplicables a todos los contextos y realidades socio-educativas.

Para conseguir la validación y valoración de todo el proceso, estos autores buscarán fundamentalmente los datos cualitativos que les ayuden a descubrir y a percibir lo que subyace bajo una realidad y su apariencia externa, incluso la de los procesos que pueden ser en gran parte ficticios, ritos litúrgicos de carácter normativo y social para dar una apariencia externa de estabilización. Por esa razón, utilizarán métodos, técnicas e instrumentos de carácter cualitativo (estudios de casos, sociogramas, y, sobre todo, la observación y la entrevista) tomados de las ciencias sociales, y, sobre todo, del trabajo de campo y de los métodos de investigación de la etnografía (Knapp, 1986; Woods, 1987) y de la antropología (Erickson, 1989), y de métodos como el estudio de casos (Campbell, 1986 y Trend, 1986), o la triangulación de métodos que proponen diferentes autores (Denzin, 1983; Bogdan y Taylor, 1984 y Santos, 1990, entre otros).

Deja de tener significado la evaluación para alguien ajeno al proceso y se convierte en unavaloración interna de los procesos con el fin de cambiar y mejorar el mismo y, sobre todo,para que mejoren su actividad aquellos que la han realizado.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 39

La evaluación se considerará también como un proceso de valoración configurado por tres fases: la inicial o diagnóstica, la procesual o formativa, llamada por algunos también iluminativa y la final o sumativa.

El proceso de evaluación, desde esta perspectiva, se convierte en un proceso de investigación del currículum desde su diseño hasta su aplicación y recogida de datos, con el objetivo de ir variando continuamente el diseño (teoría) en función de su interacción con la realidad (práctica), y de reelaborar continuamente su diseño en función de los datos que se van recogiendo, y teniendo como objetivo transformar la realidad social sobre la que se interviene como docente.

Entre los autores y modelos que han trabajado este tema, y de los que hablaremos posteriormente, se pueden citar a Parlett y Hamilton (1977) con su modelo iluminativo, el modelo holístico o de Mc Donald (1985) y el crítico artístico o de Eisner (1985; 1987), en los que se hace especial hincapié en metodologías de tipo cualitativo.

Esta es la concepción que se intentó desarrollar y que subyace en el modelo de la LODE (1985), como primera fase de la Reforma Educativa, aunque después, la LOGSE intentará adaptarla al curriculum desde una nueva perspectiva: desde la perspectiva de la construcción del concepto de la evaluación y de la educación, esta concepción es posterior a la cognitivista, pero en España no fue así, como hemos visto.

Como en toda definición, es importante buscar el significado de los conceptos que se han utilizado en la misma.

Para ello, parece oportuno utilizar la metodología de la construcción contextualizada del

concepto como una metodología para la explicación y comprensión del mismo y de las

dimensiones que lo configuran. La pirámide, que a continuación desarrollamos, nos puede

ayudar a visualizar esta construcción y evolución del concepto en tres fases, dimensiones o

conceptos. Esta pirámide nos permite ver la construcción epistemológica del concepto de

evaluación, siguiendo los paradigmas que han marcado las diferentes orientaciones de

evaluación y que posteriormente desarrolló.

Esta pirámide podría ser la representación gráfica y conclusión de la evolución de la construcción del concepto de la evaluación, que hemos desarrollado en este apartado.

Sin embargo, para esta concepción la fase más importante es la inicial o diagnóstica,puesto que de una buena valoración o evaluación diagnóstica del contexto o de la realidadsocio-educativa, como punto de partida inicial, depende el desarrollo del proceso y losresultados obtenidos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 40 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Situación Actual del Concepto de Evaluación: ¿Modelo Cuantitativo o Modelo Cualitativo?

Desde que en el año 1983 aparece el trabajo de Pérez y Gimeno (1985) sobre " La enseñanza su teoría y su práctica", en el que estos autores desarrollan en la introducción del apartado de la evaluación su alternativa a la evaluación cuantitativa, a través de la evaluación cualitativa con los trabajos de autores anglosajones, ha comenzado una reflexión dialéctica entre los didactas por dilucidar si son mejores las metodologías cuantitativas o cualitativas para la evaluación, que a nuestro modo de entender, queda en gran parte zanjada a partir de los trabajos de Cook y Reichardt (1986) en los que se habla de falsa disyuntiva o de superación del enfrentamiento respectivamente.

Este proyecto, como se podrá comprobar, estaría dentro de esta concepción de superación de la disyuntiva, en función de la utilización de métodos cuantitativos y métodos cualitativos (aquéllos que buscan la información que subyace a la realidad y a los fenómenos y los procesos, y de los criterios que la configuran, y que ayudan a analizarla, comprenderla y conocerla mejor para su intervención). Para observar, analizar la realidad y elaborar los criterios de evaluación, es necesario comenzar por métodos de carácter cualitativo (entrevista, observación, etc.), pero si queremos corroborarlos en otros contextos o campos, esto nos lleva a la utilización de métodos

Cuadro 1: Pirámide de construcción del concepto de evaluación (Domínguez, 1993; 1997, p. 140), ampliada y adaptada para este trabajo (Domínguez, 2000).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 41

mixtos o en cierta medida de carácter cuantitativo (cuestionarios, entrevistas cerradas, etc.). En esta línea, parece oportuno señalar los trabajos de Denzin (1983), Bogdan y Taylor (1984), Beltrán (1990; 1993), Sabirón (1990), Santos (1990).

Ahora bien, debajo de esta utilización mixta de los diferentes métodos no hay que desechar una diferencia de concepciones y actitudes frente a la evaluación y a la formación en general, que no suele ser ambigua. La finalidad y el objeto con el que utilizamos uno u otro método marca un posicionamiento claro, aunque nos sirvamos de métodos cualitativos, y hacen explícito el currículum oculto y la actitud de nuestro planteamiento y posicionamiento respecto a la evaluación, que suelen definirse a través de los criterios de evaluación.

Siguiendo los trabajos de Filstead (Cook y Reichardt, 1986), Ferrández (1990), Giménez (1990), Tejada (1989; 92), se puede decir que hoy la corriente mayoritaria es la de considerar la evaluación como un proceso de investigación evaluativa del proceso de enseñanza-aprendizaje, lo cual plantea la evaluación como una recogida de información (complementar los datos recogidos con metodología e instrumentos cuantitativos con los cualitativos), que nos ayudan a emitir juicios y a tomar decisiones, con el fin de mejorar los procesos (la actividad del alumnado y del formador), y de proponer nuevas propuestas de intervención de carácter innovador, que posibiliten el autoperfeccionamiento en la actividad del formador, del programa formativo o de la organización.

Esta concepción de la evaluación como proceso de valoración e investigación evaluativa, como hemos podido ver, debe tener en cuenta como finalidad no sólo los resultados (capacidades y conductas) y el "qué", sino también los procesos (actitudinales y afectivos y cognitivos y de toma decisiones) el "cómo" y los criterios y variables el "por qué" o el "para qué". Todo ello aplicado a la formación para el empleo, nos plantea la necesidad de centrar la evaluación en las competencias (como proceso dinámico y en desarrollo, producto e impacto necesario de la formación), lo que desarrollaremos en el segundo apartado.

Es un proceso en el cual hay varias fases, que coinciden, como veremos más adelante, en el apartado de instrumentos y metodologías (guía), con diferentes tipos de evaluación. En cada una de estas fases, de acuerdo con la finalidad de la misma, se deberán utilizar distintos modelos de evaluación, que conllevan diferentes metodologías, técnicas e instrumentos de evaluación, según las necesidades en su actividad profesional.

Todo ello, nos lleva a considerar la evaluación, como hemos visto antes, como una valoración asumida y pactada, debido a la elaboración de los indicadores y criterios con la participación de agentes internos y externos que puedan estar implicados en los procesos formativos, y que este carácter de valoración del mismo se

La complejidad de la realidad parece favorecer la utilización de diferentes métodos,según la finalidad que tengamos en cada caso o fase y según el objeto de la evaluación.

Estos dos criterios nos deben ayudar a decidir cuál de los métodos parece que pueda ser el más oportuno.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 42 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

convierte en un elemento clave para su finalidad de formación y mejora de la actividad de las personas e instituciones que intervienen.

La evaluación considerada como proceso de valoración y de investigación autoevaluativa contrastada del diseño y del modelo de intervención es la pieza clave para el cambio, porque detecta necesidades de mejora de los programas, de la organización y de las necesidades de formación de los formadores, que deben ser la base de los planes de formación.

Estudio Comparativo de Diferentes Modelos de Evaluación y Autores.

En este apartado, vamos a seguir el cuadro que a continuación se desarrolla sobre modelos de evaluación, basado en el artículo de Pérez (1983) y el de Tejada (1992; 1999), al cual se han añadido algunos aspectos. Hemos elegido este cuadro, porque nos parece por su sencillez el más apropiado para la comprensión de la construcción del concepto de la evaluación y la ubicación de los diferentes autores citados dentro de cada modelo y sus características diferenciales, su comprensión y, sobre todo, para que cada formador pueda elaborar su propio concepto y modelo de evaluación, según su posicionamiento ideológico respecto a la formación y las características del contexto o institución en las que desarrolla su actividad profesional.

Como se puede apreciar, el cuadro tiene dos coordenadas: la vertical y la horizontal. En la horizontal superior se han colocado los modelos de los más cuantitativos (Tyler y Stufflebeam), pasando por los mixtos (Scriven, Stake), a los más cualitativos (Parlett y Hamilton y Eisner).

En la coordenada vertical se han tenido en cuenta los elementos de la evaluación. En el primer cuadro se define el tipo de evaluación. En el punto 1 y 4 los organizadores previos y las cuestiones previas, en definitiva, las finalidades de cada modelo o los criterios prioritarios a la hora de evaluar. El segundo apartado es el objeto de la evaluación de cada modelo, o qué es lo que evalúa. El tercer apartado es la audiencia o para quién evalúa cada modelo. El quinto apartado la metodología o cómo evalúa cada modelo. El sexto apartado son los instrumentos y técnicas o con qué evalúa cada modelo. El séptimo apartado, el autor o creador del modelo, y el último apartado, cómo se desarrollaría un proceso de evaluación desde la perspectiva de cada uno de esos modelos (Tejada, 1989; 1999).

Creemos que no es necesario un mayor desarrollo de estos autores, puesto que ya los desarrollamos en el trabajo que realicé en 1992 para un texto del PFP de la U.N.E.D., y que hemos descrito anteriormente, siendo una mera repetición, puesto que sustancialmente estoy de acuerdo con la propuesta desarrollada en él (Domínguez, 1992; 1997). Por otra parte, me interesa utilizar este espacio del Proyecto en otros aspectos y cuestiones, que creo más actuales e importantes.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 43

CUANTITATIVOS MIXTOS CUALITATIVOS Estudios basados en los objetivos

Toma de decisiones Sin referencia a retos orientados al consumidor

E. respondiente E. iluminativa Crítica Artística

Organizador previo

- Objetivos. - Situaciones decisivas. - Necesidades y valores sociales. - Problemas localizados. - Problemas y necesidades localizados.

- Efectos.

Objeto

- Relacionar los resultados con los objetivos.

- Proporcionar conocimientos suficientes y una base valorativa para tomar y justificar decisiones.

- Juzgar los métodos relativos de bienes y servicios alternativos.

- Facilitar la comprensión de las actividades y su valoración en una teoría determinada y desde distintas perspectivas. - Ayuda a los clientes.

- Estudio del programa de innovación intentando clasificar cuestiones, ayudar al innovador y otras partes interesadas e identificar los procedimientos y aspectos del programa que pueden conseguir los resultados deseados.

- Ofrecer una representación y valoración de la práctica educativa y sus consecuencias dentro de su contexto.

Audiencia

- Planificadores y directivos del programa.

- Los que toman las decisiones. - Los consumidores (la sociedad en general).

- Comunidad y grupo de clientes en zonas locales y los expertos.

- Innovadores y personas involucradas.

- Comunidad y grupo de clientes en zonas locales.

Cuestiones previas

- ¿Qué estudiantes alcanzan los objetivos?

- ¿Cómo planificar, ejecutar y reciclar, para promover el crecimiento y desarrollo a un coste razonable?

- ¿Cuál es el valor de un programa, dados sus costes, las necesidades concretas de los consumidores y los valores de la sociedad en general?

- ¿Cuál es la historia de un programa, sus antecedentes, operaciones, efectos secundarios, logros accidentales, resultados?

- ¿Cómo opera o funciona un programa, cómo influyen en él los contextos a que se aplica?

- ¿Cuáles son las características y cualidades emergentes de una clase o programa que se está evaluando?

Metodología

Cuantitativa - Planificación experimental. - Comparación entre grupos.

Cuantitativa - Planificación experimental. - Valoración de necesidades. - Observación. - Estudios piloto.

Cuantitativa-Cualitativa - Planificación experimental. - Evaluación sin metas. - Análisis de coste. - Comparación – descripción.

Cualitativa. - Descripción. - Estudio de casos.

Cualitativa - Estudio de casos.

Cualitativa - Estudio de casos.

Instrumentos y técnicas

- Pruebas objetivas. - Test estandarizados de rendimiento pedagógico. - Observación predeterminada. - Análisis de tareas.

- Revisión de documentos. - Audiciones. - Entrevistas. - Test diagnósticos. - Visitas. - Escalas de autoevaluación.

- Listas de control. - Test diagnósticos. - Entrevistas. - Informes. - Etc.

- Informes. - Entrevistas. - Sociodrama. - Observación.

- Observación. - Entrevista.

- Crítica estadística.

Pioneros Tyler Stufflebean Scriven Stake Parlett Eisner

Proceso

- Establecer metas u objetivos. - Definir los objetivos en términos de comportamiento. - Escoger o desarrollar técnicas e instrumentos. - Recopilar datos. - Comparar los datos con los objetivos.

- Análisis de tareas - Plan de obtención de información. - Plan para el informe sobre resultados. - Plan para la administración del estudio.

- Valoración de necesidades. - Evaluación de metas. - Comparación con otras alternativas. - Examinar según coste y efectividad. - Combinación de la evaluación del personal con la del programa.

- Descripción. Antecedentes, transacciones y resultados. - Juicio. Antecedentes, transacciones y resultados..

- Observación. - Investigación. - Explicación.

- Descripción. - Interpretación. - Valoración.

Cuadro 2: Comparación entre las propuestas de diferentes modelos y autores que han marcado pautas en el campo científico de la evaluación (Tejada, 1989; 1999, p. 151).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 44 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

2.- UNA PROPUESTA SINTÉTICA Y COMPRENSIVA DEL CONCEPTO DE EVALUACIÓN: LA EVALUACIÓN COMO PROCESO DE INVESTIGACIÓN AUTOEVALUATIVA PARTICIPATIVA Y CONTRASTADA Y SU INTERACCIÓN CON EL DISEÑO Y MODELO DE INTERVENCIÓN EN LA FORMACIÓN (CURRICULUM Y EVALUACIÓN). DEFINICIÓN, FASES Y ELEMENTOS.

Cualquier diseño curricular o de intervención de los formadores para desarrollar actividades formativas debe contener y partir de un plan del proceso de autoevaluación, con el fin de poder definir los vacíos y las necesidades de formación del personal docente y no docente, puesto que son procesos y aspectos del mismo, que deberán desarrollarse en paralelo y además de forma convergente. En primer lugar, porque sólo de esta forma se facilitará una mayor coherencia entre ambos y, en segundo lugar, porque en realidad sólo de esta forma se podrá interaccionar la teoría con la práctica al aplicar el diseño y recoger los datos de la aplicación del mismo.

Si consideramos la evaluación como un proceso de valoración e investigación autoevaluativa contrastada y participativa, que nos ayude a recoger datos para saber en qué podemos mejorar nuestra actividad, como veremos más adelante, sólo podremos llevarlo a la práctica cuando ese proceso esté desarrollado como plan de investigación y definidas todas sus hipótesis en el diseño curricular o de intervención organizativa, que se va a experimentar, a través de su aplicación, puesto que ello va a conllevar la aparición de datos, que deberemos recoger para evaluar el modelo de intervención en todas sus dimensiones.

Todo ello nos debe llevar a una nueva concepción de diseño de intervención que vamos a denominar Diseño de Intervención Abierto, bajo las siglas de D. I. A., frente a los diseños curriculares de claro matiz psicologísta y academicista, como se puede denotar en los planteamientos de diseños curriculares del MEC. El Diseño de Intervención Abierto, sin olvidar los aspectos cognoscitivos y psicologistas, llama la atención mucho más en el contexto socio-educativo, en el que se desarrolla ese diseño de intervención (problemas de aprendizaje, laborales y vivencias, motivaciones, necesidades y expectativas) del grupo con el que se comparte el modelo de intervención.

El Diseño de Intervención Abierto también plantea un nuevo concepto de diseño como un plan de intervención abierto, que debe y puede ser continuamente reelaborado, ya sea por los formadores y por todos los miembros intervinientes en estos programas formativos, puesto que está en constante reconstrucción a través de la continua recogida de datos (plan-proceso de evaluación incorporado) e incorporación de los mismos a la reelaboración de ese diseño para su aplicación posterior en las fases siguientes de la intervención, corrigiendo aquellas variables o premisas que no se estuvieran comportando de acuerdo a las previsiones de nuestro plan inicial, y, que de no tener en cuenta esos errores o variaciones, pueden hacer fracasar nuestro plan, sólo por seguirlo tal cual lo habíamos diseñado, sin tener en cuenta nuestra realidad.

Por último, sólo un Diseño de Intervención Abierto de estas características, que lleve incorporado un diseño intervención de carácter abierto y contextualizado, y un plan de evaluación como un proceso de investigación evaluativa de recogida de datos y reelaboración constante del modelo de intervención, puede hacer posible un

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 45

proceso de investigación sobre la actividad del formador, como un proceso de detección de errores y necesidades y como base de su propio autoperfeccionamiento, sin el cual es imposible hablar de mejora de la actividad formativa y de innovación.

2.1.- Definición de la Evaluación como un Proceso de Investigación del Diseño y Modelo de Intervención Abierto y como base para la innovación curricular y la mejora de la actividad formativa.

Antes, durante y después de que se haya aplicado (experimentado) el diseño curricular durante el desarrollo de la actividad formativa y recogido los datos de esta aplicación o experimentación, es cuando debe comenzar un proceso de reflexión y procesamiento de los mismos por parte de todos los miembros intervinientes, con el fin de poder sacar conclusiones, que les posibiliten la elaboración de nuevas líneas de intervención, que le ayuden a mejorar su actividad, tanto en los procesos como en los resultados e impacto, sin olvidar las variables, con las características de una auténtica innovación.

Todo este proceso que todos los profesionales de la formación solemos hacer, ya sea de forma intuitiva y mental o de forma sistemática e implícita, siguiendo algún modelo de innovación o investigación (ver trabajo recomendado de A. González Soto), y de acuerdo a alguna metodología de carácter cualitativo o cuantitativo, por escrito (diarios, entrevistas, publicación, etc.), vídeo u otros instrumentos, debe ser recogido para su posterior utilización.

Todo ello, también nos lleva a buscar un nuevo concepto de evaluación dentro de otras coordenadas.

La evaluación concebida como control con el fin de validar un certificado o una capacitación profesional de un determinado nivel, ha dejado paso al concepto de evaluación como valoración participativa de los miembros que protagonizan el proceso de enseñanza-aprendizaje, cada uno (formadores y alumnado participante, así como otros miembros o agentes intervinientes, ya sean internos o externos a una organización) con su rol y funciones, pero con el fin de mejorar cada uno el proceso que ha desarrollado.

Para el alumnado participante, la evaluación debe ser un proceso en el cual valore con su formador aquellos aspectos positivos y negativos de su proceso de aprendizaje con el fin de mejorar y que le sirva como un elemento más de ese aprendizaje.

Para el formador, esta misma valoración por parte del alumno de su proceso de aprendizaje le debe ayudar como primer paso de la valoración de su propia actividad como proceso de enseñanza, en la que debe solicitar la participación del alumno y su opinión valorativa sobre el mismo, tanto en los aspectos positivos como negativos. Así mismo, de otros agentes participantes respecto a los diferentes aspectos que configuran la organización y el funcionamiento del centro.

De esta forma, se puede deducir que el concepto de evaluación como un proceso de investigación autoevaluativa contrastada conlleva también situarnos en nuevas coordenadas en este campo. Estas coordenadas nuevas nos llevan a considerar la evaluación como un proceso de valoración e investigación configurado en varias fases, en las que se utilizan diferentes tipos y modelos de evaluación,

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 46 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

técnicas e instrumentos en cada una de ellas, frente al concepto de evaluación como una actividad realizada al final del proceso de enseñanza-aprendizaje.

Por otra parte, este proceso no es sólo un proceso de evaluación complejo, de carácter participativo, en el que deben participar diferentes profesionales y alumnos con diferentes roles y funciones, sino que tiene la finalidad de valorar y recoger sistemáticamente unos datos, con el fin de definir mejor las variables y los grupos destinatarios que van a intervenir en ese y otros procesos, perfeccionar los procesos, mejorar los resultados y su impacto, y proponer innovaciones e investigaciones sobre la función del formador y de otros miembros intervinientes en los procesos de la oferta formativa.

Esta es la filosofía que subyace como currículum oculto a todo el planteamiento de una cultura de calidad de esta concepción de la evaluación, que se sustenta en tres ejes claves: autoevaluación participativa y contrastada, proceso de investigación y recogida sistemática de datos, y mejora e innovación de la actividad formativa y todos sus agentes intervinientes, no sólo de la actividad del formador.

Este planteamiento del Diseño Curricular como un Modelo de Intervención Abierto (DIA) de la actividad formativa del formador y su convergencia e interacción con la Evaluación como un Proceso de Investigación Autoevaluativa participativa y contrastada es el que se recoge de forma gráfica en el siguiente cuadro (cuadro 3), que definiría la propuesta del concepto de evaluación y que va a servir de marco teórico a la propuesta práctica, que desarrollaremos en los siguientes apartados.

La evaluación de esta forma concebida se convierte en un proceso de investigación autoevaluativa participativa y contrastada, y del diseño de intervención y del centro y su experimentación parala mejora de la calidad de su actividad y su autoperfeccionamiento como profesional.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 47

2.2..- Fases y Elementos de un Proceso de Investigación Autoevaluativa Contrastada y Participativa (evaluación): Bases para la elaboración de un Plan de Evaluación de la Formación.

A continuación, proponemos las bases para elaborar un proceso de investigación evaluativa de una oferta formativa o de un curso, en relación con la propuesta del concepto de evaluación que antes hemos desarrollado.

Esta propuesta del plan, como se puede ver en cuadro 3, tiene como bases dos coordenadas: a) La coordenada vertical que son las fases y tipos de evaluación; y b) la segunda coordenada, la horizontal, son los elementos que hay que tener en cuenta en cada fase. El resultado de estas dos coordenadas debe ser la concreción de cada uno de estos elementos en cada una de las fases, como se puede ver en el cuadro 4.

Cuadro 3: El proceso de investigación evaluativa como un proceso integrado con el diseño de

intervención, su aplicación y experimentación (Domínguez y otros, 1993; 1997, p. 139), ampliado y

adaptado para este trabajo (Domínguez, 2000).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 48 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

2.2.1. Fases y tipos de la evaluación.- Cuando hemos hablado de diferentes tipos de evaluación, nos hemos referido también a diferentes concepciones de evaluación, aunque no sean sinónimos. Esta simplificación, no muy rigurosa, tiene como fin facilitar la comprensión del proceso y su aplicación práctica.

Cuando hemos definido el concepto de evaluación sumativa (realizada en la fase final), hemos descrito las aportaciones de los conductistas (Tyler, Metffessel y Michael y en parte Stufflebeam, entre otros). Cuando hemos hecho referencia al segundo tipo de evaluación, la evaluación formativa (desarrollada en la fase procesual), hemos descrito las aportaciones de los humanistas y cognitivistas (Stufflebeam, Scriven, Stake, Cronbach). Y, por último, cuando nos estamos refiriendo al tercer tipo de evaluación, la evaluación diagnóstica (realizada principalmente en la fase inicial), nos estamos refiriendo a las aportaciones que han realizado los socio-críticos al concepto de evaluación (Parlett y Hamilton, Mc Donald, Denzin, Bogdan y Taylor, y Santos entre otros). La evaluación de impacto o de transferencia en la fase demorada es una de las fases menos estudiadas y citaremos algunas de las aportaciones del campo de la formación ocupacional, que veremos en sucesivos apartados, sobre todo, en el apartado cuarto de esta Unidad Didáctica 6.

De todo ello, se puede deducir que la construcción del concepto de evaluación ha provocado la aparición de diferentes tipos de evaluación, según las diferentes aportaciones realizadas por las diferentes concepciones y autores pero, de forma paralela y simultáneamente, se ha producido también el desarrollo de diferentes fases de la evaluación como proceso. Mientras que la concepción conductista se centraba en la evaluación como una actividad final, es decir, la evaluación final (fase final) del proceso de enseñanza-aprendizaje y la relacionaban con el concepto de evaluación sumativa, los humanistas y cognitivistas daban más importancia a la evaluación durante el proceso, la evaluación procesual (fase procesual) y la relacionaban con el concepto de evaluación formativa.

Por último, los sociocríticos se centraban en las variables y criterios que deberían tener en cuenta a la hora de definir el proceso de intervención evaluativa, y se centraban en la fase inicial, como el momento clave para desarrollar la evaluación diagnóstica. A pesar de ello, no se puede identificar cualquier tipo de evaluación con una fase solamente, aunque si se puede relacionar generalmente a cada tipo de evaluación con una fase por sus finalidades y características.

A pesar de ello, parece oportuno y coherente, pero, sobre todo, necesario de cara a su comprensión y a la aplicación posterior por parte del docente, unir los diferentes tipos de evaluación con las diferentes fases de evaluación, como lo hemos desarrollado en el anterior párrafo, en un proceso de valoración e investigación evaluativa configurado por fases, cada una con un tipo de evaluación.

El proceso de investigación evaluativa estará configurado por las siguientes fases, que hemos relacionado con los diferentes tipos de evaluación, aunque esa relación no tiene por qué ser siempre la misma (fases y tipos de evaluación), con el fin de facilitar las bases para la construcción de un modelo (su modelo) por parte de cada formador:

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 49

A) Fase inicial y evaluación de tipo diagnóstica.- Es la fase en la que el formador debe planificar el plan de evaluación como un proceso a desarrollar o un modelo de intervención evaluativa. Es una fase que coincide con el análisis de variables del diseño curricular o de intervención, como ya hemos visto. Es la fase en la que se debe realizar el diagnóstico de la situación, de ahí la relación entre fase inicial y evaluación diagnóstica, aunque el tipo de evaluación diagnóstica se pueda utilizar en otras fases.

Con esta serie de actividades de diagnóstico, el formador va a poder definir las variables, los criterios de evaluación, así como los indicadores y, en función de ellos, diseñar o elaborar el diseño de intervención, dentro del cual debe estar comprendido y desarrollado el proceso de investigación evaluativa como un plan a aplicar por fases.

Esta fase es la que tiene más importancia para los socio-críticos, y hoy, en general, para la mayoría de los expertos. Es la fase en la que se detectan las variables que pueden incidir, las prioridades del modelo de intervención y los criterios de evaluación como si se tratase de hipótesis de una investigación, a experimentar posteriormente, y sobre la base de ellas se deben diseñar el modelo de intervención y evaluación, así como la aplicación o experimentación de los mismos y las fases en las que se va a desarrollar.

Es la fase en la que se deben detectar los grupos de incidencia dentro del grupo destinatario de la formación, su perfil, características personales y sociolaborales, sus necesidades formativas en función de sus problemas, sus motivaciones e intereses y sus expectativas (personales, profesionales, etc.), y de acuerdo con mi concepción de la formación como profesional de la misma, las prioridades a la hora de definir mi modelo de intervención, teniendo en cuenta los recursos del centro y del contexto socio-educativo en el que desarrollo mi actividad. De acuerdo con estas prioridades, defino mi diseño de intervención y el plan de evaluación del mismo.

Este diseño, así como el plan de evaluación, debe ser sólo una propuesta que debo compartir con mis compañeros de formación y con el alumnado participante con los que estoy compartiendo la actividad formadora, con el objetivo de enriquecerlo y puedan participar en su reelaboración definitiva, de tal forma que puedan considerarlo como un diseño y como un plan de evaluación suyo, sobre todo, lo relacionado con los criterios y, por lo tanto, lo consideren un compromiso de responsabilidad respecto a su actuación en el desarrollo del proceso de enseñanza-aprendizaje.

En esta fase, coincidiendo con el análisis de las variables que pueden incidir en elproceso de enseñanza-aprendizaje, se debe diagnosticar, a través de diferentesmétodos, técnicas e instrumentos, cuál es la situación de partida, el contexto y la realidaden la que se va a desarrollar el modelo de intervención, sobre todo, la detección denecesidades y la definición de las características de los grupos destinatarios de lasacciones formativas.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 50 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

La negociación y el pacto con los alumnos y los compañeros docentes para realizar planes comunes son las piezas esenciales a la hora de saber cómo actuar y desarrollar esta fase. Los métodos y técnicas de carácter cualitativo son las más recomendables, en general. Métodos como la valoración de necesidades, la

observación, la percepción, la interpretación, la descripción y el estudio de casos, que se realizan, sobre todo, a

través del trabajo de campo, con la utilización de técnicas como son el test diagnóstico, y, sobre todo, los

informes, las entrevistas, los sociogramas, la observación y la percepción. En este aspecto la aplicación de los métodos y técnicas e instrumentos que han aportado ciencias como la antropología y la etnología (trabajos ya citados como los de Knapp, Erickson, Trend, Campbell, Woods y Santos, entre otros) han traído a la didáctica y a la evaluación e investigación perspectivas insospechadas, y han abierto nuevos campos de investigación.

B) Fase procesual y evaluación de tipo formativa.- Esta es la fase en la que el docente debe aplicar, y experimentar a la vez, el plan de evaluación, recogiendo los datos y la información que la aplicación del mismo vaya arrojando. Esta fase debe coincidir con la fase de aplicación y experimentación del diseño de

intervención.

Esta fase es a la que dan más importancia los humanistas y cognitivistas, recogidas en las aportaciones de trabajos como los Stufflebeam (en parte), Scriven, Stake y Cronbach y Suchman, entre otros, al considerar el desarrollo del proceso de enseñanza como el objeto de la evaluación, teniendo como finalidad el perfeccionamiento del proceso a través de la recogida de datos de su experimentación.

La aplicación del diseño de intervención y de evaluación y la recogida de datos del mismo son los ejes de esta fase y el objetivo de la misma. El fin de la evaluación del proceso, y, por lo tanto, su función dentro del proceso de evaluación, es la recogida de datos para perfeccionar y reelaborar el modelo de intervención y el de evaluación y poder reelaborar las siguientes fases del proceso y otras experiencias de intervención que se hagan posteriormente. De ahí, que a este tipo de evaluación se llame formativa, porque esta es la finalidad de las actividades evaluativas del proceso durante esta fase, la de recoger datos que sirvan para mejorar el proceso, como una actividad formativa y de perfeccionamiento del proceso de enseñanza-aprendizaje, pero también de los que han intervenido en él, de ahí su importancia dentro de los dos procesos, el de intervención y el de evaluación.

En esta fase, el docente deberá aplicar el diseño de intervención como modelo y, a través del plan de evaluación y recogiendo los datos referentes al comportamiento de las variables que se habían previsto (composición de los grupos, nivel de conocimientos, motivaciones, expectativas, necesidades, etc.), comprobar la coherencia y

A la luz de los datos que vayan apareciendo a través de la aplicación del plan deevaluación, dicho diseño debe reelaborarse con el fin de mejorarlo y obtener mejores resultados.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 51

acierto de las prioridades definidas, de la idoneidad del modelo de intervención, el nivel de los contenidos y la metodología elegida, los medios y recursos utilizados, e incluso el propio plan de evaluación, en cuanto a los criterios y el plan del mismo. Es una fase en la que se contrasta entre el diseño de intervención y los resultados que se esperaban y la aplicación del modelo de intervención y los resultados que se recogen.

En este contraste está la diferencia entre la teoría y la práctica, la diferencia entre la concepción y la realidad de la práctica formadora de cada uno, la diferencia entre lo que me hubiera gustado hacer, o lo que quería haber hecho, y lo que he hecho realmente o he podido hacer. Es un momento en el cual se debería reflexionar sobre estas diferencias, puesto que a través de ellas pueden descubrir los docentes sus propias necesidades de formación, con las que elaborar su propio proceso de autoperfeccionamiento.

Por otra parte, la recogida de datos, al ir apareciendo éstos durante la aplicación o experimentación, se necesita llevar a cabo con cierta sistematización, de acuerdo con algún modelo, metodología o técnica e instrumento, para su procesamiento y utilización, en los diseños de intervención posteriores, que deberán tener el carácter de innovación (propuesta de innovación del segundo trabajo), su publicación (descripción de los datos recogidos), o conclusiones de la experimentación realizada como investigación.

De ahí la importancia de la evaluación en esta fase, como una actividad de recogida de datos con cierta sistematización y metodología fiable y científica. De lo contrario la rutina, las intuiciones y los juicios infundados pueden ser la base de nuevas experiencias bien intencionadas, pero con escasa validez, sobre todo, de mejora de la calidad de la actividad realizada, del autoperfeccionamiento de quien la realiza.

Es una fase, como hemos visto anteriormente, que por su carácter formativo debe estar abierta a una constante reelaboración que nos permita la utilización de nuevas metodologías, técnicas e instrumentos, y que nos posibilite recoger la máxima información posible, incluso aquella que ni siquiera se había previsto, pero que a luz de la información que va llegando puede convertirse en prioritaria.

En esta fase los métodos como la observación, la planificación experimental, la comparación y la descripción, valoración y contraste de necesidades y el estudio de casos es lo que más se está utilizando, últimamente, junto con las técnicas de análisis de tareas, aplicación de tests, cuestionarios abiertos y cerrados, revisión de trabajos y documentos e informes (de carácter escrito, sonoro o vídeo), entrevistas y sociogramas; entre otros, pueden servir de ayuda eficaz para la recogida de datos.

La fase procesual, por sus finalidades, utiliza el tipo de evaluación formativa, y deberealizarse teniendo en cuenta, por una parte la aplicación del diseño, tal como se habíaprevisto en el modelo de intervención, pero abierto a una constante reelaboración, enfunción de los datos que se vayan recogiendo, y que deben ser los indicadores de losaspectos que deben ser rectificados para una mejora o puesta a punto del modelo ensucesivas etapas y experiencias de intervención.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 52 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Los trabajos de Stufflebeam (1950; 1987), con el modelo CIPP, de Scriven (1967), con el modelo de evaluación sin metas o del consumidor y el de Stake (1976), con el modelo respondiente o del cliente, así como alguno de carácter cualitativo, como el modelo iluminativo de Parlett y Hamilton (1985) o el holístico de Mc Donald (1985), pueden ayudarnos a elaborar nuestro propio modelo de intervención evaluativa formativa en esta fase.

Fase final y evaluación sumativa como contraste, validación y valoración de los datos.- En esta fase el formador deberá recoger los resultados obtenidos y relacionarlos con el esfuerzo y recursos que se han invertido en su logro, y contrastarlos con las premisas de partida en el análisis de las variables (necesidades, características de los grupos destinatarios y sus expectativas y motivaciones) y el diseño de intervención.

Como hemos visto más arriba, este tipo de evaluación sumativa, que se realizaba prioritariamente en la fase final, como la actividad que cerraba el proceso de enseñanza-aprendizaje y el currículum o programación, es la fase y el tipo de evaluación más importante para la concepción conductista, cuya finalidad era la de comprobar a través de los resultados, si se habían conseguido los objetivos prefijados. Hoy esta fase se ha enriquecido al configurarse dentro de un proceso más amplio, complejo, y más rico que sólo la consecución de unos resultados, en el cual la obtención de datos y resultados se reparte a lo largo de las tres fases y la responsabilidad de la evaluación también. Por otra parte, además de los datos cuantitativos y resultados académicos, se buscan otros resultados y otros datos y logros.

En esta fase, el formador debe recoger los resultados del proceso, en todas sus modalidades cuantitativas y

cualitativas, y en todas sus dimensiones académicas, profesionales, personales, en aspectos referentes a la solución de problemas planteados, satisfacción de motivaciones, necesidades y expectativas, que tenían los diferentes agentes del proceso enseñanza-aprendizaje, o que han podido surgir a partir del desarrollo del mismo, valoración del esfuerzo realizado y relación entre esfuerzo y resultados y comprobación de las variables, hipótesis y criterios, de los que se partió en el análisis de la realidad y la elaboración del diseño.

Todos estos datos, su procesamiento y reflexión, tienen que servir para reelaborar todo el proceso de enseñanza-aprendizaje, incluido el plan de evaluación, con el fin de poder elaborar una propuesta de carácter innovador (que tenga las características de un modelo de innovación) e incluso de un proyecto de investigación. Esta es precisamente la función y el sentido que tiene la evaluación como una valoración de la actividad de todos los participantes en el proceso de enseñanza-aprendizaje (alumnado, formadores y otros agentes y

La finalidad de esta recogida sumativa de todos los datos del proceso no es otraque la de poder emitir juicios, contrastando estos datos más que sumándolos como unaoperación matemática, con una fundamentación fiable y validada, que permitaelaborar nuevas estrategias de intervención, como diseños de innovación oinvestigación en la actividad docente con adultos en su contexto real, ycontrastarla con la eficiencia de los procesos y de los resultados.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 53

miembros implicados en los procesos formativos) para mejorar su actividad y la calidad del mismo, así como una actividad de autoperfeccionamiento. De ahí, la importancia de la evaluación sumativa (contrastar todos los datos de todo el proceso) como fase final de un proceso y comienzo del siguiente, dando a la actividad docente continuidad de mejora y cambio permanente y dotándola de cierto rigor y fiabilidad a través del método científico de la evaluación como investigación evaluativa.

Es una fase en la que cada uno de los participantes debe responsabilizarse de los resultados y contrastarlos con los criterios y las prioridades que tenían al participar en el diseño de intervención. Los resultados desde esta perspectiva son responsabilidad e implicación de todos y, por lo tanto, todos deben participar en la valoración de los mismos, puesto que de esta forma la nueva propuesta se convierte en un nuevo diseño de intervención y de evaluación participativo y democrático, asumido por todos.

En esta fase, los métodos más utilizados son los de carácter cuantitativo, porque facilitan la recogida de datos, sobre todo de carácter académico, que siguen siendo prioritarios en los procesos actuales. Los métodos más utilizados siguen siendo la comparación entre grupos, la planificación experimental y la valoración de

necesidades, con técnicas e instrumentos como los tests, los cuestionarios (abiertos y cerrados), las pruebas

objetivas, el análisis de tareas, y las escalas de observación. Con la llegada de los métodos cualitativos, los etnográficos, sobre todo, los trabajos de campo y los estudios de casos, aparecen técnicas e instrumentos más abiertos como son los cuestionarios de autovaloración, entrevistas, observación de los procesos, valoración de

informes, documentos y trabajos personales.

Los trabajos de Tenbrink (1984) y Stufflebeam (1987), así como los clásicos de Tyler (1951) y Taba (1971), entre otros, pueden ayudar a comprender y a valorar la aportación conductista a la evaluación desde perspectivas más amplias que las tradicionales, como Lafourcade o Mager entre otros, así como los trabajos de Rodríguez Dieguez y Beltrán (1990), como una aportación actualizada de los mismos.

Fase diferida y tipo de evaluación de impacto o transferencia de la formación.- Esta es una fase que no ha sido investigada por una corriente específica y que en estos momentos constituye uno de los retos más importantes de la evaluación educativa y, sobre todo, de la evaluación de la formación.

Por otra parte, no sólo es necesario saber el impacto de la formación y en qué dimensiones se ha producido, sino también la transferencia de ese aprendizaje en su puesto de trabajo y en su perfil ocupacional de forma más amplia (itinerario profesional y de formación).

La evaluación de la formación meses después de haberse realizado con el fin desaber cual ha sido el impacto real de la formación en diferentes ámbitos delalumnado participante: el social, el organizacional o del grupo o entorno laboral y el personal y entorno particular.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 54 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Para este tipo de evaluación parece más conveniente la utilización de metodologías e instrumentos cualitativos, como son las entrevistas individuales y grupales, los grupos de discusión, la observación y, en

menor medida, los cuestionarios, pero éstos deben ser, por lo menos, semiabiertos o abiertos, más que metodologías e instrumentos de tipo cuantitativo y cerrados, con el fin de recoger el impacto y la transferencia en todas sus dimensiones y detalles.

Todavía hay una gran escasez de trabajos dentro de este campo, por lo que salvo en el campo del impacto ambiental, no hay estudios experimentales o teorías validadas sobre el impacto de la formación. De ahí, la importancia del esfuerzo que se pretende desarrollar en el apartado 4 de esta Unidad y en la experiencia práctica de este Módulo.

2.2.2. Elementos de la evaluación.- Siguiendo los trabajos de Tenbrink (1984), Pérez (1983), Stufflebeam y Shinkfield (1987), Tejada (1989; 1999) y Jiménez (1990; 1999), y Santos (1990;1999), entre otros, podemos decir que uno de los aspectos más importantes de la evaluación es definir los elementos que configuran su dimensión constitutiva. Estos elementos también nos sirven de indicadores para analizar los diferentes modelos de evaluación que utilizaremos como una de las coordenadas para la propuesta de bases para la elaboración de nuestro modelo y plan de la intervención del proceso de investigación evaluativa.

Los elementos que hay que tener en cuenta al analizar cualquier modelo de evaluación o en cada una

de las fases y tipos de evaluación son los siguientes: a) audiencia, b) la finalidad, c) objeto, d) metodología y técnicas, e) instrumentos.

a) La audiencia de la evaluación.- Aunque tradicionalmente con este término se describe a qué grupo de personas se va a evaluar, ¿a quién?, sin embargo, en este campo habría que contraponer diferentes concepciones y definiciones de este término.

Si partimos del concepto de evaluación como un proceso experimental, objetivo y cuantitativo, como fue el concepto de evaluación de los conductistas, el concepto de audiencia es el indicado anteriormente ¿A quién se va a evaluar? ; pero si tomamos como referencia el concepto de evaluación como un proceso de participación, en el que los participantes intervienen democráticamente, en el que interesan los procesos y su comprensión, a través de un análisis cualitativo de los mismos, la pregunta y el concepto del término cambia y lo que nos preguntamos no es ¿A quién?, sino ¿Para quién?, con el fin de mejorar la intervención de las personas que han participado en los procesos, o para que puedan ser controlados, medidos y evaluados a través de los resultados, por otras personas. Es decir, debo valorar para mejorar o evaluar para controlar.

Esta ambivalencia de la definición de este concepto, en la que bastantes autores no estarán de acuerdo, me vuelve a plantear un posicionamiento respecto a la formación, y a la evaluación en particular, sobre la evaluación para la reproducción y control del sistema, o la evaluación como valoración de los aprendizajes como procesos de emancipación y autonomía y para el autoperfeccionamiento. Mientras la primera perspectiva sería de la concepción conductista, y en parte humanista y cognitivista, en la cual la división del trabajo llega al proceso de

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 55

evaluación, y dónde una persona externa es la que decide la finalidad. Si partimos de la finalidad, la audiencia, metodología, instrumentos, etc., y otra persona aplica las pruebas y recoge los datos.

En la actualidad, la concepción que cada vez tiene más apoyo es la de considerar dentro de la evaluación el carácter de un equipo evaluador, en el que cada uno tiene su rol, pero todo el mundo participa, y sobre todo, es el equipo el que decide democráticamente sobre las variables, los criterios y elementos de la evaluación, la audiencia son ellos, y se hace para mejorar la calidad de los procesos y para generar procesos de mejora y autoperfeccionamiento, no de control contra nadie.

El formador y sus alumnos deben ser el eje de este proceso de evaluación, y el evaluador (asesor o experto externo) además de convivir y participar en este contexto, tiene el rol de apoyo, de ayuda, y debe facilitar los medios, instrumentos, y elementos del conocimiento, que posibiliten a los otros miembros elaborar su propia concepción y su propio modelo de intervención. En esta línea, se ha desarrollado el presente trabajo y su propuesta final al ofrecer las bases para que cada profesor elabore su propio modelo de proceso de valoración e investigación evaluativa.

Como dice Fernández Pérez (1988), el mejor indicativo de la adquisición de un aprendizaje es que un alumno sea capaz de autoevaluarse sobre el mismo (tenga claro los criterios de evaluación).

b) La finalidad de la evaluación.- Algunos autores se refieren a este elemento (Pérez, 1985; Tejada, 1989; 1999) como cuestiones previas u organizadores previos (ver cuadro que se adjunta de diferentes modelos en el apartado anterior).

El concepto actual de evaluación, a partir de la aportación de la corriente sociocrítica, sobre todo, da especial importancia a este elemento considerándolo, el eje de la evaluación. Esta situación ha provocado, si hacemos un repaso a las concepciones anteriores, que en los modelos de reproducción del sistema, las finalidades del sistema educativo, durante la década de los setenta y gran parte de la década de los ochenta, han sido definidas por agentes externos a la ejecución de los procesos, como ha sido el MEC (modelos conductista, humanista y cognitivista, este sólo en parte) que los ha especificado a través de los diferentes niveles de objetivos, dejando al docente sólo la labor de ejecutarlos y cumplir por medio de los resultados, la consecución de los objetivos que determinaban estas finalidades.

La situación actual del nuevo concepto de evaluación exige que estas finalidades deben ser el resultado de un proceso de participación y compromiso de todos los agentes que intervienen y, por ello, cada uno tendrá su rol en la responsabilidad respecto a la consecución de estas finalidades. Las finalidades se convierten así en un pacto entre los participantes en la evaluación respecto a los criterios que se deben tener en cuenta a la

La finalidad se definiría como el por qué o para qué se evalúa, que se define a través de los criterios o variables que tenemos en cuenta al evaluar.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 56 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

hora de intervenir cada uno en los procesos de enseñanza-aprendizaje, y en un compromiso y responsabilidad personal y como grupo.

c)Objeto de la evaluación.- Para la mayoría de los autores que hemos mencionado en este apartado, el objeto de la evaluación es aquel aspecto del proceso de enseñanza-aprendizaje sobre el que se va evaluar, recoger información y emitir un juicio. El objeto de la evaluación es la respuesta al "qué", ¿Qué es lo que voy a evaluar?.

Como hemos podido ver en el apartado de las concepciones, no todas han tenido el mismo objeto de evaluación, ni ha tenido la misma importancia para todas. Así, para los conductistas era el auténtico eje de la evaluación, puesto que la función del docente era la de ejecutar los planes de evaluación; la pregunta más importante era ¿qué?. Para estos autores, el objeto de la evaluación eran los objetivos, en términos de conducta, con el fin de comprobar cuantitativamente, a través de los datos numéricos y porcentajes, si se habían conseguido a través de los resultados, y en qué nivel. En esta concepción, son los hechos aparentes, observables y medibles (conductas, capacidades, destrezas) los únicos que pueden dar fiabilidad y objetividad a una evaluación.

A partir de los humanistas y cognitivistas comienza un proceso en el cual cada vez el objeto de la evaluación van a dejar de ser los hechos, para dejar su lugar a los fenómenos y a la comprensión de los mismos y no a la objetividad y control de un proceso a través de los datos y resultados. Con esta nueva perspectiva, cada vez toman mayor importancia, además de los resultados finales, o consecuencia de un proceso, el "cómo" se ha producido éste, puesto que de él dependerán los resultados, es decir, actitudes y no conductas y comportamientos y procesos mentales de toma de decisiones.

Con la concepción sociocrítica, el objeto de la evaluación son los criterios y las variables (las causas) de cómo se ha desarrollado un proceso, que posteriormente ha tenido determinados resultados. Se preocupan más por la realidad y el contexto socio-educativo en el que está ubicada ese aula, como el origen de muchas de las razones y causas, que ayuden a comprender y a analizar más cualitativamente (más ricos en detalles causales y procesuales) esos resultados.

Desde esta perspectiva, no sólo es necesario que se llegue a un consenso entre todos los intervinientes en el proceso de evaluación sobre el objeto de la misma, sino que es imprescindible para la comprensión de los fenómenos y procesos que se desarrollan en el aula, que todos los que han participado en ellos den su opinión sobre los mismos, en cuanto a las causas, el desarrollo de los mismos y los resultados.

En este planteamiento, la finalidad de la evaluación va a ser definida en función de losintereses y expectativas de los diferentes agentes que intervienen en el proceso: de lasorganizaciones de formación, y de los alumnos (como grupo social y cultural o laboral eindividual), del formador o formadores y del evaluador externo si lo hubiera.

Sólo de esta forma, cuando se tengan todas las perspectivas del fenómeno, sepuede tener una visión más completa y tomar decisiones fundamentadamente.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 57

d) Metodología y técnicas de la evaluación: Modelos cuantitativos, mixtos y cualitativos.- En evaluación, como en casi todos los aspectos de la didáctica, los métodos y su utilización dependen de la concepción o finalidad del profesional que las utilice. Por lo tanto, es importante recalcar que bajo cualquier método hay una intención explícita o implícita, lo que se llama currículum oculto, como dice Lundgren (Gimeno, 1988), que es el elemento clave para valorar un proceso y clarificarlo. La utilización de diferentes métodos y modelos debería depender de las finalidades, pero no siempre hay esa coherencia, ni es tan fácil analizar una realidad sólo con la utilización de determinados métodos, la complejidad de la misma nos hace necesaria también la utilización de diferentes métodos y modelos.

Desde los autores más clásicos, Tyler (1973), Metffessel y Michael (1967), Stufflebeam (1987) por citar algunos, hasta los más cualitativos, Mc Donald (1983), Erickson (1990), o Santos (1990; 1999), definen los métodos y las técnicas como modos de evaluar y responder a la pregunta de ¿Cómo? ¿De qué forma voy a evaluar?. Cada autor ha desarrollado un método y un modelo de acuerdo a un contexto y a un problema determinado, y en función de su concepción respecto a la evaluación, ha diseñado su propio modelo de intervención evaluativa, lo que significa que más que métodos y técnicas, se debería hablar de modelos de evaluación, lo que implica que cada uno debe elaborar el suyo propio, como proponemos en este trabajo. No se puede aplicar un método o un modelo sin analizar quién lo usó, en qué contexto, con qué finalidad y cuáles fueron los resultados, entre otros aspectos.

La concepción conductista, al basarse en métodos y modelos de investigación de carácter positivista, transferidos desde las ciencias naturales, necesitaba utilizar métodos y técnicas que cuantificaran los resultados, puesto que era la única posibilidad, para ellos, de dar fiabilidad y validez a los resultados obtenidos y verificar o no las hipótesis de partida. Todo ello lleva a la utilización de planificaciones de carácter experimental, en las cuales la realidad y los resultados han sido prefijados anteriormente, y el proceso de evaluación (de investigación evaluativa) sólo tiene como fin corroborar y ratificar las hipótesis y los resultados. Es un proceso cerrado en el cual la realidad debe adaptarse a la teoría y a la concepción que subyace de la misma, definida por el evaluador, casi siempre externo. Un buen estudio sobre métodos y técnicas de carácter cuantitativo se recogen en el libro Tenbrink (1984) (listas de control y escalas de evaluación, planes de entrevistas, instrumentos sociométricos, proyectos y tareas y tests), Stufflebeam y Shinkfield (1987) (primeros capítulos dedicados a los métodos tylerianos) y Rodríguez Dieguez y Beltrán (1990).

Frente a esta concepción, en gran parte utilizada también por los humanistas y cognitivistas, se está desarrollando, cada vez más y adquiriendo cada vez mayor importancia, la utilización de métodos transferidos desde las ciencias sociales, sobre todo, desde la antropología y la etnología.

En estas ciencias, lo que se busca es la interpretación de los fenómenos, a través del análisis de la realidad, de acuerdo al conocimiento de los códigos culturales (criterios de significados) que la configuran y que le dan el sentido real que tienen.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 58 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

La utilización de nuevos métodos de carácter cualitativo transferidos de ciencias sociales como la antropología y la etnología ha traído un cambio importantísimo a la concepción de este elemento con la aparición de métodos cualitativos, en los cuales el investigador (evaluador) tiene que participar y vivir en esa cultura (como un antropólogo o etnólogo) para poder conocer los códigos y significados (criterios), que ayuden a analizar (evaluar) una realidad, a través de los fenómenos que se desarrollan y, por lo tanto, comprender esa realidad en todas sus dimensiones con el objetivo de poder intervenir como un compromiso social.

Estos métodos de carácter cualitativo utilizan planteamientos abiertos en constante reelaboración, combinan diferentes métodos, según las finalidades, el contexto y el objeto, y suelen ser flexibles en la utilización de diferentes técnicas e instrumentos, según las necesidades que el descubrimiento de la realidad les van demandando. Entre estos métodos está, sobre todo, la descripción y el estudio de casos.

Entre los trabajos que estudian estos métodos, puede ser interesante la consulta de Cook y Reichardt (1986) (los estudios de casos de Campbell y Trend y las técnicas etnográficas de Knapp), Woods (1987) (la etnografía y la utilización de la observación, la entrevistas y materiales escritos), Giménez (1990) (la observación, la entrevista, las técnicas sociométricas, cuestionarios, inventarios y test y pruebas de rendimiento), Beltrán (1990), Santos (1990) y Sabirón (1990) (la triangulación de métodos), Erickson (1990) y Stufflebeam y Shinkfield (1987) ,que recogen una síntesis de diferentes modelos de investigación cualitativa, comparándolos con modelos de evaluación cuantitativa.

e) Instrumentos de la evaluación.- Este apartado está muy vinculado con el anterior, y en parte ya está explicado. Casi todos los autores definen este elemento con la pregunta: ¿Con qué voy a evaluar?. Cuáles son los medios que voy a utilizar para recoger los datos o la información que necesito o que pueda ir apareciendo a lo largo del proceso. Paralelamente a los métodos, como es lógico, han ido evolucionando los instrumentos y las técnicas de evaluación.

Los primeros trabajos de carácter cuantitativo, sobre todo, los conductistas, y en parte los humanistas y algunos cognitivistas, como Tyler, Stufflebeam y en parte Scriven, utilizan técnicas como son las pruebas objetivas, test estandarizados y de diagnóstico, cuestionarios, pruebas de rendimiento, observación predeterminada, análisis de tareas y escalas de autovaloración y listas de control. De todos ellos hemos hecho referencia en el apartado anterior (métodos) y los autores en los que se puede encontrar una descripción más detallada de sus características y modo de aplicación.

La mayoría de estos autores eligió estos instrumentos y estas técnicas, porque su objetivo era, fundamentalmente, el de medir y controlar un proceso a través de los resultados, por eso buscaron instrumentos que les ayudasen a cuantificar las veces que ese hecho se había producido y en qué nivel.

Estos instrumentos han sido transferidos, sobre todo, de la psicología y, dentro de ella, de la concepción llamada psicología del test y de la conductista, en los cuales la estadística y sus métodos era la técnica de análisis insustituible, y que repercutía directamente en la reflexión sobre los datos, y, sobre todo, de las conclusiones que se derivaban, como hemos visto en el apartado anterior, cuando hemos hablado de los métodos cuantitativos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 59

A partir de los humanistas, y, sobre todo, con los cognitivistas y socio-críticos los métodos cualitativos se van imponiendo y con ellos las técnicas e instrumentos de carácter cualitativo.

Autores como Stake (1976), Parlett y Hamilton (1976), Cronbach (1980), Eisner (1985; 1987), Mc Donald (1985), Denzin (1983), Bogdan y Taylor (1984), Sabirón (1990) y Santos (1990), entre otros, utilizan las entrevistas, cuestionarios abiertos, la observación, los informes, los sociogramas, la crítica estadística, la triangulación de métodos, etc., como técnicas e instrumentos.

Para los autores cualitativos, más que instrumentos lo que utilizan son técnicas, puesto que su objetivo es la interpretación de los procesos y hechos, y para ello necesitan técnicas que engloban varios instrumentos. Estas técnicas son abiertas y flexibles, es decir, no son planes cerrados, sino que según se va desarrollando el proceso de evaluación, el contexto y la información que se va recogiendo van demandando nuevas técnicas y la utilización de nuevos instrumentos, que no estaban previstos, pero que a la luz de la nueva situación son necesarios. También son técnicas pluralistas, como la triangulación de métodos, que pueden utilizar en un mismo proceso técnicas de carácter cualitativo como son la observación y percepción o la entrevista y, por otra parte, el cuestionario abierto o cerrado, de carácter cuantitativo.

El análisis e interpretación de los datos ya no se hace a través de métodos estadísticos, sino a través de estudios de campo, viviendo y participando en esa realidad. De ahí, ciertos sesgos que pueden surgir en el procesamiento de información y las conclusiones, porque no sólo el investigador o evaluador puede llegar a decodificar los significados, sino que a veces puede identificarse con los mismos, desfigurando la interpretación de los fenómenos.

Elementos de un modelo

Proceso inv. Evaluativa ¿Cuándo?

Audiencia ¿A quién?

¿Para quién?

Finalidades Indicadores ¿Para qué?

Objeto Criterios ¿Qué?

Metodología Procedimientos Técnicos

¿Cómo?

Instrumentos ¿Con qué?

1. Fase inicial y tipo de Ev Diagnóstica. - Tipo de alumno - Variables del curriculum

2. Fase procesual y tipo de Ev. Formativa. - Recogida de datos sobre la aplicación del diseño. - Actividades - Interacción

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 60 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

3. Fase Final y tipo de Ev. Sumativa o de contraste. Contraste entre: - Resultados: aprendizajes - Recursos Humanos invertidos en los procesos. - Costes del programa - Solución y satisfacción de problemas y necesidades, expectativas y motivaciones de los grupos.

4. Fase demorada y tipo de Ev. De impacto o transferencia. - Comprobar los efectos de la formación (ámbitos individual, organizacional y social). - Transferencia de los aprendizajes adquiridos.

Cuadro 4: Fases y elementos de un plan de un proceso de investigación autoevaluativa aplicados al diseño de intervención de una actividad formativa.

Como se puede apreciar, la concepción que cualquier docente tiene sobre la educación y la evaluación va a determinar la actitud y definición de cada uno de los elementos, lo cual nos lleva a plantearnos la relación que suele haber entre las teorías de la reproducción del sistema y del currículum y los planteamientos de tipo exclusivamente cuantitativos, y, por otra parte, la relación que hay entre las teorías de la emancipación y autonomía del sistema y del currículum y los planteamientos abiertos de la evaluación cualitativa, utilizando diferentes métodos, técnicas e instrumentos de carácter cualitativo y cuantitativo en el mismo proceso de evaluación.

Teniendo como punto de partida este plan de evaluación basado en fases y elementos de cada fase, se ha desarrollado, lo que en los siguientes apartados llamaremos Guía de intervención para el desarrollo de un proceso de investigación evaluativa para un formador.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 61

II. EVALUACIÓN DE COMPETENCIAS PROFESIONALES. CONCEPTOS (CONTENIDOS), PROCEDIMIENTOS Y ACTITUDES.

Siguiendo la estructura del primer apartado de clarificar previamente los conceptos que se van a utilizar para luego aplicarlo a situaciones y actividades concretas, una vez clarificado el concepto de evaluación, se ha creído conveniente clarificar el concepto de competencia, con el fin de facilitar la compresión de la guía que proponemos en el siguiente apartado y de los instrumentos y ejemplos que proponemos en el último apartado.

1. CONCEPTO DE COMPETENCIA: EJES.

Nuestra propuesta de definición de competencias está basada en dos coordenadas: los tres ejes, que a continuación desarrollamos para su comprensión y como introducción para la propuesta de Guía e instrumentos concretos de evaluación de competencias y la coordenada operativa de contenidos, procedimientos y actitudes. Antes de centrarnos en ésta, citaremos diferentes autores, según vayamos recogiendo diferentes aspectos de sus propuestas.

El concepto de competencia ha sufrido importantes cambios, como se puede constatar a través de la lectura de diversos autores como Pereda (1996; 1998), Tanguy (1998), y Ruano-Borbalan (1998), quienes realizan una clasificación de las competencias a través de tres categorías, teniendo en cuenta la clasificación de la UNESCO (1995), como un concepto más integral, siendo éstas: a) Saber: es decir, un conjunto de conocimientos que permitirán a las personas realizar los comportamientos incluidos en la competencia; b) Saber hacer: esto es, ser capaz de aplicar los conocimientos que se poseen a la solución de los problemas que plantea el trabajo en grupo (en suma, estamos hablando de aptitudes y habilidades); y, c) Saber estar: no basta con hacer eficaz y eficientemente las tareas incluidas en el puesto de trabajo; es preciso, también, comportarse de la forma adecuada, en función de las normas y reglas de la cultura, en suma de la organización. Es claro, que en este caso, estamos hablando de actitudes, valores, intereses y rasgos de personalidad.

En esta misma línea, Pereda (1998) añade 2 categorías más: a) Querer hacer: es preciso que la persona quiera llevar a cabo los comportamientos que componen la competencia, lo que equivaldría a la motivación; y b) Poder hacer: es un aspecto que muchas veces se olvida, ya que no se refiere a características personales, sino de la organización, y que, sin embargo, es importante a la hora de trabajar con un enfoque de competencias. Nos referimos a disponer de los medios y recursos necesarios para llevar a cabo los comportamientos definidos.

Este concepto más integral se refuerza en los planteamientos de Mertens (1996; 1998), que teniendo en cuenta los planteamientos de Gonczi y Athanasou (1996) y de Hopper (1997), entre otros, distingue dos enfoques acerca de la competencia laboral: el estructural y el dinámico. Son complementarios, aunque partan de aspectos diferentes de la Formación Profesional ante las características del mundo del trabajo actual.

• Desde el enfoque estructural, tal y como ha explicado Mertens (1998), se entiende que la competencia consiste en: “formar a las personas en un conjunto de conocimientos, habilidades, actitudes y aptitudes requeridos para lograr un determinado resultado en un ambiente de trabajo.” A

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 62 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

continuación, analiza dos facetas que plantea esta definición. La primera faceta es la enumeración de un conjunto de atributos de la persona, que no se limitan al conocimiento, sino que incluyen las habilidades, actitudes, comunicación y personalidad. La segunda faceta es la relación explícita que se establece entre esos atributos y el resultado o desempeño requerido.

• Para explicar el enfoque dinámico, Mertens (1998) parte del contexto de la evolución del mercado en que se desenvuelven las organizaciones. En la dinámica del mercado se observan cuatro dimensiones: la mayor complejidad en los parámetros bajo los cuales se ofrecen los productos y servicios; la tendencia hacia la apertura de los mercados; el mayor dinamismo en los mercados y la mayor exigencia en los niveles de parámetros bajo los cuales opera el mercado.

Esta definición integral la complementa con los trabajos de Parker y Jackson (1994), y Parker y Slaughter (1994), que consideran que la definición de la competencia laboral requerirá que se revisen no sólo las funciones sino también el contexto tecnológico y organizativo en que éstas se dan, con el propósito de que se generen contenidos técnicos de mayor profundidad en las tareas, evitando los impactos negativos sobre las condiciones de trabajo en las variables aquí señaladas. En este sentido, la definición de la competencia laboral se convierte en un espacio de negociación y también en un potencial de conflicto.

En la propuesta de definición de competencia, que a continuación vamos a desarrollar, se han tenido en cuenta también algunas otras aportaciones como son: la de CEDEFOP (1994); la de la Comisión de las Comunidades Europeas (1995); la de Requejo, Sarramona y Martínez (1996); la de Retuerto (1996); la de Dalziel, Cubeiro y Fernández (1996), entre otras muchas.

Teniendo en cuenta estas aportaciones, podríamos definir el término de competencia desde una perspectiva integral (distintas dimensiones y tipos que hemos descrito) de la siguiente forma:

Con todo ello, concluye que la gestión por competencia laboral en la empresasurge ante la necesidad de acortar la distancia entre el esfuerzo de la formacióny el resultado efectivo.

Por todo ello, el desarrollo de la empresa/organización dependerá de la capacidadde aprendizaje para asimilar y desarrollar estas dimensiones, es decir, losaspectos únicos de la organización que la hacen destacar positivamente son losque conforman sus competencias claves, que generalmente son las relacionescríticas que tienen configuradas para movilizar los recursos que contribuyen a ladinámica de innovación, a la mejora continua de producto y del proceso.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 63

Esta definición de competencia hay que ubicarla en el contexto de la Creación y Generación de la Sociedad del Conocimiento y puede servirnos, a través de sus dimensiones, no sólo para definir el concepto multidimensional de la competencia, como ahora veremos a continuación, sino también la evaluación y validación de la misma por ejes y por zonas.

De esta definición se pueden deducir los diferentes tipos y dimensiones de las competencias, que las vamos a configurar como diferentes ejes y zonas de una competencia, dentro del concepto multidimensional e integral de las competencias, con el fin de facilitar la comprensión de la propuesta de guía e instrumentos que realizamos en los siguientes apartados de este segundo punto.

Esta definición diferencia varias dimensiones de una competencia: saber, saber hacer y saber transferir (como síntesis saber ser, estar, querer y poder), pero estas dimensiones no son compartimentos estancos, sino que deben ser integradas como capacidades dentro de un todo que da respuesta a situaciones concretas. Por esa razón, parece conveniente situarlas en diferentes ejes, que intentan captar la realidad en todas su dimensiones configurando zonas de desarrollo y cualificación.

Estos ejes nos ayudarían a definir estas dimensiones de la competencia de manera poliédrica como los ejes de un rombo multidimensional (aunque ahora sólo sea tridimensional). Estos ejes, que a continuación vamos a desarrollar, están definidos a partir de diferentes trabajos y en dos coordenadas:

a) Considerar la organización del trabajo dentro del concepto no sólo de organizaciones inteligentes (Schön y Argyris, 1978; 1994; Sthal, Nyhan, y D’Aloja, 1993, entre otros) u organizaciones en continuo aprendizaje (Aubrey y Cohen, 1996; Castells, 1998), sino de organizaciones que generan y crean conocimientos (Nonaka y Takeuchi, 1995).

b) Ubicar este concepto de organización dentro de un contexto más amplio, como es el de la Sociedad Cognitiva o del Conocimiento (CEE, 1996:1997) y la Sociedad en Red (Castells; 1998) y sus consecuencias en los nuevos conceptos y tipos de competencias (Comisión de las Comunidades Europeas, 1995; Reinbold, 1996; Mertens, 1996; 1998; entre otros.), que hemos citado anteriormente.

Tras el análisis de estas aportaciones, hemos llegado a la conclusión de configurar el concepto de competencia de forma poliédrica o multidimensional, sobre la base de dos coordenadas: los ejes que les

“Aquellas capacidades que debe adquirir una persona para facilitar su integración en uncontexto sociolaboral, desde una perspectiva crítica y creativa de carácter constructivo, que le

permita analizar, definir y aplicar estrategias de intervención que den solución a problemas

concretos en un contexto determinado (saber, saber hacer y saber procesar y tomar decisiones)

y los pueda transferir a otros problemas y contextos diferentes (saber ser, comunicarse y

relacionarse, saber estar y saber transferir)”.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 64 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

vamos a llamar escenarios o dimensiones, de acuerdo con el modelo de detección de necesidades que denominamos con el mismo nombre (Domínguez, 1996; 1999) y zonas de cualificación y desarrollo de las dimensiones.

1.1. Los Tres Ejes-Escenarios Que Configurarían Las Dimensiones Que Constituye Una Competencia Son Los Siguientes.

Directamente relacionados con todas estas aportaciones, la propuesta de este trabajo se configuraría sobre la base de tres ejes o escenarios que harían convergentes y complementarios las distintas dimensiones de una competencia.

Estos tres ejes o escenarios que configurarían las dimensiones de una competencia sería las siguientes:

A) Eje-escenario de capacitación o de saberes (siguiendo el planteamiento UNESCO): En este eje ubicamos las dimensiones o tipos de competencias referidas al saber, saber hacer y saber transferir (este último configurado por el saber ser, estar, pensar, decidir, querer, poder, etc.). En este eje, la cualificación de la competencia debería configurarse cuando una unidad de competencia o competencia ha llegado al nivel más alto de la escala. No sólo se conoce un conocimiento, es decir, se sabe aplicar o utilizar en un contexto y problema concreto, sino que además, se sabe utilizar en otros problemas y contextos diferentes, que incluso ni siquiera se conocen, de forma creativa, generando nuevos conocimientos y “saber hacer” como resultado de la experiencia y el conocimiento.

La transferencia debe ser la cualificación clave de cualquier competencia, como lo defienden diferentes autores como la OIT (1995); Bellier (1997), y Mertens (1996; 1998), entre otros.

Es preciso señalar que, desde nuestra perspectiva, las categorías de saber estar, saber ser, saber pensar, saber tomar decisiones, saber convivir, querer y poder, entre otras, que proponen autores como Vázquez (1996) o Pereda (1996; 1998), siguiendo las pautas marcadas por la NVQ (1995) y la UNESCO (1995), entre otros, las englobamos dentro de un concepto que nosotros denominamos saber transferir.

Consideramos que la actuación de los profesionales de la formación no puede limitarse solamente a lo que quieren hacer o a lo que los recursos de su institución le permita o puedan hacer, sino que deben tratar de dar solución a situaciones nuevas de forma creativa con los medios y recursos que tienen o tratar de

Entendemos este concepto como la capacidad que tiene la persona para ubicarse en el medio, comunicarse con los demás (saber estar, convivir y ser) y desarrollar valores como: la responsabilidad, la actitud crítica, la actitud constructiva, la flexibilidad yversatilidad para buscar nuevas alternativas y estrategias, aplicando en otros ámbitos lo aprendido, innovando y estableciendo propuestas de mejora (querer, poder, innovar, etc.).

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 65

conseguir nuevos recursos, o bien, haciendo de las limitaciones nuevas posibilidades de la organización lo que hemos considerado generar y crear conocimiento, no sólo gestionarlo.

B) Eje-escenario espacio temporal o contextual (estructural, procesual o situacional y dinámico): En este eje ubicamos las dimensiones que hacen referencia a la temporalidad de una competencia. La dimensión estructural enfatiza la importancia de establecer una fuerte relación entre las características del individuo (conocimientos, habilidades, actitudes, comunicación y personalidad) y el resultado de su trabajo, como elementos que configuran la base de un perfil ocupacional, a partir de las competencias base (de formación de base y de las específicas básicas de una profesión) (Retuerto, 1996). El desarrollo de las competencias reduce esta distancia al centrarse en la capacidad real del sujeto para realizar determinadas tareas o funciones. Por tanto, es necesario incluir en el currículo no sólo determinados conocimientos y habilidades, sino que éstos, además, deben coincidir con los objetivos y el contexto global de la organización.

La dimensión procesual o situacional sería la dimensión de la competencia que definiría el proceso en que está integrada y que configura su propio proceso de desarrollo, constituyendo un eje interno externo, que permite el desarrollo dinámico y situacional de la misma dentro de la organización.

La dimensión dinámica estaría configurada por las nuevas competencias que demandan las nuevas necesidades de cambio de una profesión y su adecuación de los perfiles profesionales. El enfoque dinámico se centra en el contexto en el que actualmente se desenvuelven las organizaciones, caracterizado por la movilidad y los continuos cambios del mercado de la sociedad y de la gestión de conocimiento. Es necesario, por lo tanto, el desarrollo de competencias, a través del currículum, que permitan a la organización destacar en el contexto, mediante procesos de innovación.

Entre los autores que hemos tenido en cuenta para definir este eje habría que destacar, entre otros, a Gonczi (1997), Gonczi y Athanasou (1996) Adams (1997), Hopper (1997) y Mertens (1996; 1998).

C) Eje-escenario organizacional o de gestión del conocimiento (nivel individual, grupal y de la organización): Consideramos que es necesario diferenciar entre las competencias individuales, grupales y organizacionales, ya que nos encontramos en una etapa de continuas innovaciones, donde los conocimientos tecnológicos y científicos tienen una importancia creciente en la profesionalidad, cuando cada vez resulta más importante lo que las personas piensan, cómo se relacionan y cooperan en el lugar de trabajo y cómo interactúan con su entorno productivo. Parece necesario desarrollar estos niveles de competencias, para conseguir una formación de calidad.

Dentro de las competencias individuales estarían aquellas que le permitirían al individuo emprender actividades que requieran planificación, ejecución y control autónomos, así como capacidad para aprender por sí mismo. Las competencias grupales recogen aquellas capacidades que van a permitir al sujeto establecer un clima óptimo para el trabajo en equipo, favoreciendo la interdisciplinariedad y la coordinación entre especialistas de diversos campos. Las competencias relativas a la organización van a permitir crear estructuras abiertas, flexibles y polivalentes, posibilitando el contacto con otras organizaciones que configurarán una red inteligente de

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 66 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

comunicación fluida. Todas ellas son competencias que han sido demandadas por cada uno de estos entornos, que son diferentes.

Entre los autores de los que hemos recogido el contenido de este eje, estarían los de Coombs (1991), Parker y Jackson (1994), Parker y Slaughter (1994), Comisión de la Comunidades Europeas (1995), UNESCO (1995), Requejo, Sarramona y Martínez (1996), Hopper (1997) y el mismo Mertens (1996;1998), que lo aplica a las organizaciones sociales.

1.2. Las Tres Zonas de Desarrollo y Formación o de Certificación y Cualificación.- Estos tres ejes-escenarios o dimensiones configurarían tres zonas de desarrollo y formación o de certificación y cualificación de la competencia (indicadores y criterios para su evaluación):

a) Zona de Formación Básica: Toda competencia debe estar configurada y ayudar a desarrollar la formación básica de cualquier participante, a través del eje estructural del perfil de cualquier profesión (lo que marca la esencia de su perfil por encima del tiempo y el espacio), de la capacidad de saber los conocimientos básicos de esta profesión y del nivel individual de este aprendizaje. Sin esta zona no habrá capacidad para desarrollar la zona de polivalencia debido a que las capacidades para responder a nuevas situaciones están directamente relacionadas con las capacidades y competencias básicas adquiridas previamente (formación inicial y continua).

b) Zona de Formación Ocupacional: Toda competencia debe ayudar a la adaptación de cualquier participante en los procesos formativos a una situación laboral y a un puesto de trabajo, ya sea más o menos polivalente o de especialista, en el cual sea capaz de hacer y aplicar los conocimientos básicos adquiridos a una situación concreta laboral y de trabajo en un grupo. Sería el nivel grupal en el eje organizacional, el situacional en el eje espacio-temporal y la capacidad de saber hacer.

c) Zona de Formación Polivalente para creación y gestión del conocimiento (innovación y cambio): Toda competencia debe facilitar y posibilitar la capacidad de respuesta de los participantes en los procesos formativos a nuevas situaciones laborales de los perfiles profesionales y a contextos diferentes. Para ello, deberá tener en cuenta la dimensión dinámica del eje espacio temporal, ser capaz de adaptarse de forma creativa y crítica a las nuevas situaciones, a través del desarrollo de diferentes capacidades (actitudes, aptitudes y valores) para saber transferir lo que ha aprendido para situaciones concretas a otras más diversas y complejas. Esto conlleva que la adquisición de esta competencia permite colaborar con el desarrollo organizativo dentro de lo que se llama en estos momentos la gestión del conocimiento para afrontar la innovación y cambio continuo.

Estas zonas darían como consecuencia tres dimensiones de la formación integral y de la validación de la cualificación de la misma y de las competencias a adquirir para conseguir la configuración de los perfiles profesionales, como se puede ver en el cuadro 5, que a continuación se desarrolla:

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 67

Estas competencias están siempre, o casi siempre, avaladas por certificaciones profesionales que las definen desde una forma general como, por ejemplo, conocer y dominar las bases psicopedagógicas y didácticas que influyen en el proceso de enseñanza aprendizaje, o unidades de competencias más específicas, como analizar las diferentes teorías que configuran el campo de la pedagogía.

La competencia formal y la competencia real no siempre van unidas y el debate actual se centra en cómo facilitar la adquisición de la segunda, o en el caso de que ya se posea, cómo evaluarla de manera que el trabajador pueda tener una certificación de esas competencias. Aquí radica la importancia de la introducción del concepto de competencia, ya que su estructuración en “Unidades de competencia” parece que va a facilitar la evaluación, y por lo tanto, la certificación de la formación que los trabajadores han adquirido a través de su experiencia profesional.

En este marco es en el que habría que situar la segunda coordenada que es el eje de esta Unidad: la competencia como un proceso en continuo desarrollo y dinámico, según la evolución del contexto y sus nuevas demandas frente al función o tarea y competencia de carácter conductual. Esta competencia sería la

Grupal Procesual

Saber Hacer ZONA DE FORMACIÓN OCUPACIONAL

IndividualSaber Estructural

Dinámico

Saber Transferir

Organizacional ZONA DE FORMACIÓN POLIVALENTE, INNOVACIÓN Y CAMBIO

ZONA DE FORMACIÓN BÁSICA

Cuadro 5: El concepto pluridimensional de las competencias: ejes y zonas de desarrollo (criterios de validación) (Domínguez, 1999;2000)

Pero como no siempre estas competencias están reconocidas, en la actualidad, se puededistinguir entre la competencia formal, obtenida a través de un título profesional, y la competencia real, que posee aquella persona que consideramos capacitada pararesolver un problema.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 68 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

confluencia de las tres zonas y ejes o escenarios, que configurarían y se aglutinarían en torno a tres tipos de capacidades:

2. PROCESO DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES: DEFINICIÓN DE PERFILES, UNIDADES DE COMPETENCIAS, OBJETIVOS ESPECÍFICOS Y CRITERIOS DE EVALUACIÓN GUÍA.

Intentando ser coherente con el planteamiento del concepto de evaluación como proceso de investigación evaluativa y de acuerdo con el concepto de competencia que acabamos de desarrollar, a continuación, en este segundo apartado se va a desarrollar como ejemplo teórico/práctico la evaluación de una unidad de competencia cono es la de evaluación de un perfil del formador, que nos permite desde la propia reflexión de los destinatarios de este material de autoaprendizaje contrastar la teoría que proponemos con su propia actividad profesional y con el Módulo de esta misma actividad formativa del Experto en Formación Continua (Módulo VI los principios teóricos/prácticos de la evaluación educativa).

Toda la información que a continuación se desarrolla está recopilada del Proyecto de investigación de "Itinerario formativo del formador" (Proyecto – 1998,1999), financiado por FORCEM y elaborado por la Escuela Julián Besteiro (UGT) y la Universidad Complutense de Madrid (UCM), dirigido por Guillermo Domínguez Fernández.

Esta estructura de proceso/ejemplo teórico práctico que se ha dado a este apartado nos obliga a configurarlo de la siguiente forma:

Los conocimientos, conceptos y contenidos o el saber o conocimiento de baseque es necesario para realizarcualquier competencia.

Las destrezas o procedimientos, que sería loque debe saber hacer con esos conocimientospara solucionar problemas concretos oresponder a una determinada demanda, comosegunda dimensión del saber

Las actitudes, que serían las capacidades previaso predisposiciones para generar el resto de lascapacidades (el conocer determinados conceptos ycontenidos y saberlos aplicar a situacionesconcretas), entre estas actitudes habría quedestacar la capacidad para saber transferir loaprendido a situaciones nuevas, la innovación y lacapacidad de apertura y flexibilidad para el cambio.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 69

- Determinación del perfil profesional y competencias para su evaluación. En este apartado se va a seguir la nomenclatura y las propuestas del INEM y el MEC como referentes teóricos, para ello, hemos tomado como base los siguientes documentos: INEM (1995): Metodología para la ordenación de la

Formación Profesional; MEC (1997): Metodología para la definición de las titulaciones profesionales.

Para la determinación de los perfiles profesionales, es necesario realizar en un primer momento un análisis del contexto de su realidad laboral mediante la revisión de diferentes fuentes, en segundo lugar, es necesario desarrollar los siguientes aspectos.

- Establecimiento de la Competencia Genérica: Una vez realizado el análisis del contexto, hemos establecido la Competencia Genérica, que nos ha ayudado a definir y establecer el Perfil Profesional. La Competencia Genérica se ha definido como la expresión global de la profesionalidad requerida para el desempeño de la labor formativa, en la que se explicitan las grandes funciones que la caracterizan, junto a las capacidades que permiten ejercerlas eficazmente en relación con el entorno profesional en que se desarrollan, respecto a los niveles requeridos en el empleo. El perfil viene definido por dicha Competencia Genérica.

Como ejemplo teórico/práctico hemos desarrollado la propuesta que se hizo para este Experto en Formación Continua.

COMPETENCIA GENÉRICA DEL FORMADOR: El formador elabora, desarrolla y aplica, instrumentos de detección de necesidades. Analiza los datos y obtiene conclusiones que le permiten definir grupos destinatarios. Atendiendo a esta diversidad, elabora y desarrolla, diseños curriculares que presenta en diferentes instituciones para su financiación. Selecciona, elabora y desarrolla las estrategias metodológicas y los recursos didácticos más apropiados a las características del grupo destinatario. Planifica y ejecuta un plan de evaluación de los procesos y resultados.

Elaboración del curriculum formativo y la definición de objetivosespecíficos y criterios de evaluación.

Determinación del perfil profesional y competencias para su evaluación

Establecimiento de Unidades de Competencia

Identificación de las Realizaciones

Definición de los criterios de Ejecución

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 70 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

De este perfil y su competencia genérica hemos escogido como ejemplo concreto la Unidad de competencia de esta Unidad Didáctica: la de evaluación

- Establecimiento de Unidades de Competencia.- A partir de la Competencia Genérica definida, hemos identificado diferentes Unidades de Competencia, que definen las grandes funciones para el desempeño de la actividad profesional, en este caso del formador, representa una parte significativa y fundamental de la misma y pueden reflejar grandes etapas del proceso de trabajo o técnicas fundamentales, dando lugar a productos acabados o servicios concretos.

Cada Unidad de Competencia estará referida, por tanto, a una de estas grandes funciones en la que quedarán englobadas las competencias profesionales requeridas para su desempeño eficaz.

El conjunto de Unidades de Competencia conformará la globalidad de la ocupación en el marco de la Competencia General definida.

De las cinco Unidades de competencias que configuran la competencia genérica del formador, se ha creído conveniente seleccionar la Unidad de Competencia de la evaluación, que se numeró como la quinta.

Unidad de Competencia 5: Planificar, elaborar y aplicar un plan de evaluación, que permita realizar un seguimiento formativo del grupo destinatario para verificar los niveles de cualificación adquiridos aplicando las técnicas e instrumentos apropiados, así como facilitar la toma de decisiones para la mejora de la formación.

- El tercer paso: Identificación de las Realizaciones. Una vez determinadas las Unidades de Competencia que caracterizan la ocupación, se procedió a derivar las Realizaciones que la conforman.

Las Realizaciones surgen de la disgregación de la Unidad de Competencia y constituyen elementos profesionales independientes que hacen referencia a los procesos, técnicas o productos parciales de la misma, expresando además los logros técnicos, funcionales y de calidad que se esperan en el ejercicio profesional de la ocupación.

Las Realizaciones se han expresado, de manera que contemplen, tres aspectos fundamentales:

• Qué hace o qué función cumple el trabajador (contenidos o conocimientos).

• Cómo lo hace (técnicas y/o procedimientos).

• Para qué lo hace: resultados y logros del trabajo (estos aspectos van a tener una influencia recíproca en las actitudes y valores como prejuicios y predisposiciones previas).

Para una mayor comprensión de este ejemplo, se ha creído conveniente plantar la tabla, que desarrollamos en el siguiente paso, relacionando las realizaciones con los criterios de ejecución.

- Definición de los criterios de Ejecución.- A cada realización se han asociado criterios de ejecución, entendiendo como criterios de ejecución: las pautas que permiten valorar como adecuado/inadecuado, satisfactorio/insatisfactorio, el desempeño de la realización.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 71

Estos criterios de Ejecución se han establecido teniendo en cuenta tres aspectos fundamentales:

• Saber: conjunto de conocimientos que permitirán a las personas realizar los comportamientos incluidos en la competencia.

• Saber hacer: ser capaz de aplicar los conocimientos que se poseen a la solución de los problemas que plantea el trabajo. En suma estamos hablando de actitudes y habilidades.

• Saber transferir: no basta con hacer eficaz y eficientemente las tareas incluidas en el puesto de trabajo; es preciso también, que la persona sepa comunicar y aplicar en otros ámbitos lo aprendido.

REALIZACIONES CRITERIOS DE EJECUCIÓN

1. Diseñar un plan de evaluación basado en el grupo destinatario y la acción formativa y elaborar una guía de evaluación. 2.Seleccionar y elaborar las técnicas e instrumentos de recogida de datos adecuados a la consecución de los objetivos previstos en planificación de la evaluación. 3. Aplicar los instrumentos seleccionados para recoger datos con el fin de verificar el nivel de cualificación alcanzado por los participantes y para evaluar los elementos del proceso formativo. 4. Tomar decisiones a partir de los datos obtenidos para mejorar e innovar el proceso de formación y la actividad del formador

1.1. Definiendo y determinando los distintos modelos de evaluación existentes. 1.2. Seleccionando el modelo de evaluación en función del grupo destinatario y de las características de la acción formativa. 2.1. Planificando el proceso de evaluación de la acción formativa (indicadores y criterios). 2.2. Elaborando una guía de evaluación (cuándo evaluar, qué evaluar, cómo, por qué, con qué,...). 3.1. Aplicando los instrumentos y técnicas seleccionados. 3.2. Recogiendo y analizando los datos obtenidos. 4.1. Introduciendo oportunamente los reajustes necesarios a lo largo de la acción formativa para mejorarla. 4.2. Verificando el nivel de cualificación alcanzado por el grupo destinatario. 4.3. Analizando todo el proceso formativo y elaborando propuestas de mejora.

- Elaboración del curriculum formativo y la definición de objetivos específicos y criterios de evaluación. Partiendo de las Unidades de Competencia y sus Realizaciones, contemplados en el Perfil Profesional y procediendo a un tratamiento pedagógico de las mismas, se elabora, en esta fase, los Módulos formativos, que recogen aquellos contenidos necesarios para la adquisición de las Competencias Profesionales de la ocupación.

Estructuración de contenidos en Módulos profesionales: Los Módulos Formativos se derivan de las Unidades de Competencia identificadas en la ocupación. A cada Unidad de Competencia se han asociado uno o varios Módulos Formativos que serán definidos a partir del tratamiento pedagógico de los contenidos formativos analizados, agrupándolos de acuerdo con los criterios que definen al Módulo Formativo.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 72 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Se entiende por Módulo Formativo el conjunto de conocimientos profesionales que, estructurados pedagógicamente:

• Responden a una etapa significativa del proceso de trabajo.

• Representan una fase significativa del proceso de aprendizaje.

• Constituyen las Unidades básicas para la evaluación del mismo.

Para constituir los Módulos Formativos, se ha utilizado un criterio de globalización de contenidos, cuidando en la selección y agrupación de estos contenidos formativos derivados de una o varias Unidades de Competencia:

• Que los conocimientos profesionales sean coherentes y homogéneos entre sí, constituyendo un conjunto interrelacionado de contenidos teóricos, prácticos y de profesionalidad en cuanto a:

• Aspectos Técnicos.

• Procedimientos.

• Actitudes profesionales.

• Que pueda constituir una Unidad independiente, tanto a efectos formativos, como de evaluación.

El Módulo Formativo cumple, además, los siguientes requisitos:

• Su denominación integra y define de manera concisa el contenido del Módulo.

• El nivel de los contenidos formativos se corresponde con el nivel profesional de la ocupación, reflejando en el perfil profesional.

En algunos casos, un mismo Modulo Formativo podrá ser común a diferentes Perfiles Profesionales, de modo que permite la articulación de la formación en Itinerarios formativos.

Organización interna de los Módulos Formativos: Una vez identificados los Módulos Formativos que están asociados a una o varias Unidades de Competencia, se ha llevado a cabo la organización interna de los mismos en función de los conocimientos profesionales previamente analizados.

El criterio que se ha aplicado para la organización de los contenidos (conocimientos profesionales interdisciplinares) del Módulo Formativo es que deben seguir una ordenación pedagógica progresiva, yendo de los conocimientos más simples a los más complejos, de los más concretos a los más abstractos, de manera que se facilite el proceso de aprendizaje.

Para estructurar internamente el modulo formativo se ha partido de los objetivos de aprendizaje, de acuerdo con el siguiente proceso:

• Establecimiento del objetivo general. Se ha definido haciendo referencia a las capacidades que el participante debe alcanzar al finalizar el proceso de aprendizaje.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 73

• Derivación de los objetivos específicos. Partiendo del objetivo general, se han determinado los núcleos de interés en torno a los cuales se definen los objetivos específicos o metas parciales que deberá alcanzar el alumnado participante en la formación para llegar a cumplir el objetivo general.

En cada Módulo Formativo se deben especificar los criterios que permitirán evaluar el aprendizaje referido a sus contenidos formativos.

El punto de partida para definir estos criterios de evaluación serán los objetivos específicos formulados en cada Módulo, que a su vez estarán en consonancia con los contenidos formativos incluidos en el mismo.

Para dar coherencia a este proceso en el que finalmente se trata de evaluar la formación derivada de las Unidades de Competencia, se tomarán como referencia para identificar los criterios de ejecución definidos en cada Unidad de Competencia.

MÓDULO VI: La Evaluación (hace referencia a la Unidad de Competencia 5: Planificar, elaborar y aplicar un plan de evaluación que permita realizar un seguimiento formativo del grupo destinatario para verificar los niveles de cualificación adquiridos aplicando las técnicas e instrumentos apropiados, así como facilitar la toma de decisiones para la mejora de la formación.)

OBJETIVO GENERAL:

Evaluar el nivel de cualificación alcanzado por el grupo destinatario y desarrollar estrategias encaminadas a la mejora de la formación, aplicando las técnicas e instrumentos adecuados.

OBJETIVOS ESPECÍFICOS CRITERIOS DE EVALUACIÓN Planificar el proceso de evaluación. Diseñar y aplicar técnicas e instrumentos de evaluación. Analizar los datos obtenidos. Determinar la cualificación alcanzada por el grupo destinatario. Determinar posibles reajustes para mejorar la acción formativa.

Determinar con precisión todos los elementos que intervienen en un plan de evaluación (fases, indicadores, criterios y metodología). Integrar esos elementos en una guía de evaluación. Determinar las metodologías y los instrumentos más adecuados para la evaluar las competencias adquiridas por el grupo destinatario y su cualificación (certificación). Determinar los instrumentos más adecuados para evaluar la acción formativa. Aplicar correctamente las técnicas e instrumentos determinados. Recoger y analizar los datos. Establecer el nivel de competencia alcanzado por el grupo destinatario y su cualificación (certificación). Analizar si los elementos considerados en el diseño y aplicación de la acción formativa han sido los adecuados para alcanzar la cualificación pretendida. Determinar las medidas necesarias para la mejora de las actividades de la acción formativa o para introducir los requisitos que se consideren oportunos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 74 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

CONTENIDOS

1. Concepto de evaluación y elementos de un plan de evaluación.

2. Guías y estrategias para la evaluación: recogida de datos.

3. Análisis de los datos y elaboración de nuevas estrategias de intervención.

3. PROCEDIMIENTOS, METODOLOGÍAS E INSTRUMENTOS PARA LA EVALUACIÓN DE COMPETENCIAS: GUÍA.

Este modelo entiende la evaluación como la emisión de juicios de valor acerca de la calidad de una actividad formativa, a partir de un proceso sistemático de recogida y tratamiento de la información, capaz de permitir a los implicados en dicha actividad la toma de decisiones, con el propósito último de contribuir a su mejora.

El proceso de evaluación queda recogido en el siguiente gráfico:

En definitiva, entendemos la evaluación como una reflexión sobre la práctica y con ella extraer conclusiones que permitan mejorar.

El modelo adoptado responde a cinco características fundamentales:

• Orientación a la mejora: el objetivo central del modelo de evaluación es facilitar la mejora de la actividad formativa. No se puede olvidar que se trata de evaluar un curso de formación impartida por

OFERTA FORMATIVA Diseño de la ofertaformativa. Aplicación

Reelaboración de la ofertaformativa.

CONTEXTO Organización social

− Objetivos. − Necesidades.

Resultados:

− Mejorar los planes de formación.

− Organización de la formación.

− Mejora de la acción sindical.

− Mejora de la imagen externa.

− Mejora de la afiliación..

− ...

PLAN DE EVALUACIÓN Evaluación: - Inicial: de Diagnóstico y Detección denecesidades. − Procesual: de

perfeccionamiento o mejora.

− Final: de Contraste.

- Demorada o diferida: de

Impacto.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 75

una organización social, de la que son destinatarios un gran número de sujetos implicados a su vez en el campo de la formación y que esta experimentación producirá importantes efectos personales e institucionales.

• Carácter interno: Entre las posibilidades existentes para llevar a cabo un proceso de evaluación de la actividad que se quiere experimentar desarrollada, se ha optado por una de carácter interno. Ello quiere decir que este modelo se inserta en el bien conocido campo de los programas de autoevaluación institucional. Así, tanto los agentes de la evaluación como los participantes en la misma y sus principales destinatarios provienen en buena medida de la propia organización sindical.

• Participación democrática: El objetivo de esta investigación y la adopción de un modelo de autoevaluación interna obliga a ser especialmente cuidadosos con el estilo de participación que se promueve en su realización concreta. Si se quiere utilizar la autoevaluación como un elemento de dinamización institucional y de mejora de la actividad formativa a experimentar, hay que promover la participación de todos los implicados e interesados en dichas tareas. Y, por ello, hay que subrayar el carácter democrático de dicha participación. Ello implica tomar en consideración los aspectos éticos asociados a la evaluación, estableciendo un modelo respetuoso para con los principios de veracidad, coherencia, credibilidad y justicia que deben regirla.

• Adecuación al contexto: El modelo que se ha elegido se debe adecuar al contexto concreto en que ha de desarrollarse. La organización social y sus profesionales de la formación tienen unas características distintivas propias que los diferencian de otras instituciones más específicamente orientadas a la formación continua.

• Realismo y viabilidad: A la hora de decidirse por un modelo de evaluación no se puede hacer abstracción de las circunstancias concretas en que habrá de aplicarse. En el caso concreto de la evaluación de esta actividad formativa que en este proceso de investigación se trata de experimentar, hay que tener en cuenta en primer lugar la gran heterogeneidad de los participantes. Algunos de ellos pueden contar con amplios conocimientos teóricos, mientras que otros pueden poseer una capacitación eminentemente práctica. Por este motivo, los instrumentos de evaluación elaborados deberán de recoger esa diversidad de situaciones de partida, de intereses y de motivación.

De acuerdo con la definición de evaluación y estas características del modelo evaluativo adoptado para la evaluación del programa formativo, hemos desarrollado un conjunto de actividades de evaluación de las competencias adquiridas de los participantes, las cuales se han plasmado en una Guía de Evaluación de las Competencias que constituye la concreción práctica del modelo adoptado. Así, el objetivo de este informe de desarrollar Instrumentos de Evaluación de las Competencias adquiridas es en definitiva una Guía de instrumentos o técnicas que recogen toda la evolución de los participantes durante la implementación de la acción formativa.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 76 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Además, la Guía pretende ser una herramienta que ayude a evaluar la actividad formativa que se experimenta en este proyecto, para que se pueda elaborar una oferta formativa definitiva que responda a las necesidades, expectativas, intereses y motivaciones reales de los destinatarios, directos y potenciales, de esta acción.

Los tres objetivos que están presentes durante el proceso de evaluación, ayudan a la elaboración de los instrumentos de recogida de información y a facilitan el análisis de los datos. Estos objetivos son:

Igualmente, se ha de tener conciencia y realizar una transferencia de los datos obtenidos a la organización para que puedan implantarse en las acciones formativas futuras las mejoras de esta experimentación.

Bajo la perspectiva de que la evaluación forma parte de la misma formación, que es algo integrado en ella y no una actividad independiente, sus objetivos y su metodología deben adaptarse a la secuencia de la formación, ya que cada momento del programa tiene unos propósitos y, por tanto, las preguntas que se pueden hacer durante el desarrollo de la actividad pueden ser diferentes.

El proceso real de evaluación y de mejora sólo suele ser útil de forma inmediata en las primerasrepeticiones de una actividad o cuando los participantes tiene características similares. Una vez queun programa está experimentado sólo son necesarios pequeños elementos de control paracomprobar la eficacia del programa en marcha. Así, durante este proceso de experimentación sedebe comprobar como se está desarrollando el programa, detectan los fallos y modifican los quecrean necesarios.

Mejora de la actividad formativa diseñada:

La investigación tiene que alcanzar sus fines y para ello se necesita relacionar la práctica de laformación con los resultados obtenidos. En definitiva, se tiene que comprobar la eficacia de laacción formativa que se experimenta en sí misma y su valor en relación con la investigación que se desarrolla.

Contraste de los resultados de la formación(competencias adquiridas) y de los fines de laexperimentación del curso.

Para realizar una evaluación siguiendo nuestro modelo, hay que concienciar a los usuarios de la utilidad de la evaluación como una posibilidad de mejorar y no como una amenaza.

Aprendizaje de los procesos de laformación/evaluación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 77

Por todo ello, para llevar a cabo la evaluación de las competencias nos basamos en los criterios de evaluación que definíamos para cada Módulo del Itinerario que hacían referencia a las Unidades de Competencias.

En la definición de los criterios de evaluación quedan recogidos los tres ejes en torno a los que estructurábamos las competencias en el primer apartado de este informe: eje estructural y dinámico; eje individual, grupal y organizacional; y el eje del saber, saber hacer y saber transferir.

La estructura de la Guía de evaluación representa un cuadro de doble entrada. En el eje vertical encontramos los distintos momentos en los que se desarrolla la actividad formativa: el cuándo. En el eje horizontal se contempla la estructura de la guía con nueve columnas que permiten una comprensión global del proceso metodológico que define su actuación: los elementos.

Esta Guía contempla tres momentos claves en la evaluación de las competencias, puesto que el de la fase demorada y diferida, tipo de evaluación de impacto y transferencia vamos a desarrollarla específicamente en un apartado de esta Unidad, aunque tomaremos de aquí, gran parte del marco para darle continuidad y coherencia a la Unidad Didáctica.

.

• Fase inicial y evaluación de tipo diagnóstica: Durante esta fase se realiza una evaluación de carácter diagnóstico de las competencias de partida del grupoparticipante así como una detección de necesidades de formación, lo que nos permiteorientar la acción formativa que queremos implementar en relación con la informaciónrecibida.

• Fase procesual o de desarrollo de la actividad y evaluación de perfeccionamientoo mejora de la actividad formativa: En esta fase se realiza una evaluación procesual y un seguimiento de la actividad y de la consecución de las competencias. Durante estafase se obtiene información para orientar la acción formativa en relación con lasnecesidades, las expectativas y las motivaciones de los participantes.

• Fase final y evaluación sumativa o de contraste de la actividad: En el desarrollo de esta fase se efectúa la evaluación final de la actividad, centrándose en la satisfacción manifestada por sus destinatarios, en los resultados logrados (competenciasadquiridas) y principalmente en el contraste de la planificación de la acción formativacon los resultados obtenidos debido al carácter experimental de ésta.

• Fase demorada o diferida y evaluación de impacto o de transferencia: La formación cada vez más tendrá que tener en cuenta cual es el impacto o la transferencia de laformación en el sistema productivo y en el alumno participante y su contexto, como veremos en el cuarto apartado de esta Unidad Didáctica y por esa razón no hemosdesarrollado tan detalladamente en esta fase en este apartado

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 78 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Las siguientes columnas de la Guía de evaluación son:

• ¿Para quién y con quién se evalúa? Destinatarios. Incluimos a los beneficiarios de la evaluación y las personas que participan en ella. Estas dos preguntas se incluyen en una única columna, ya que la evaluación dentro de la organización es una evaluación interna que se realiza desde la organización para la organización. Esto no impide que en un momento puntual pueda realizarse una evaluación externa.

• ¿Qué se evalúa? Objeto referente, indica aquel aspecto de la actividad formativa que se va a evaluar.

• ¿Para qué se evalúa? Finalidad. Una vez que tienes aquello a evaluar en cada una de las fases, debes explicar para qué realizas esta evaluación.

• ¿Dónde se evalúa? Lugar de realización. Dependiendo de la fase, los lugares en los que se evalúan pueden ser diferentes.

• ¿Con qué se evalúa? Técnicas e instrumentos. Estos nos van a proporcionar la información necesaria que nos permite ir adaptando la acción formativa a las necesidades de los participantes en ella, así como a las de la organización.

• ¿Cómo se aplican los instrumentos? Pautas de realización. Este apartado trata la forma de aplicación de las diferentes técnicas e instrumentos.

• ¿Cómo tratar los datos? Procesamiento de la información. Una vez aplicados hay que estructurar los datos, para ello se proporciona una explicación de esta recogida de información.

• ¿Qué hacer con la información? Aplicación al diseño de la oferta formativa. Dado que se trata de una experimentación, con el procesamiento de la información obtenida tras aplicar los instrumentos, se deben considerar los pasos adecuados para modificar la acción formativa para su implantación definitiva considerando las informaciones que expresan los participantes en esta actividad.

La complejidad de la realidad de las organizaciones sociales aconsejan la utilización de diferentes instrumentos, tanto cuantitativos como cualitativos. En esta línea Denzin, (1988), Sabirón (1990), Santos (1990), Taylor y Bogdan (1994) y Le Compte (1995), proponen la utilización mixta de diferentes instrumentos.

Siguiendo a estos autores, hemos utilizado la triangulación que se realiza cubriendo los siguientes aspectos:

a) Triangulación de momentos: contrastar la información recogida en las diversas fases de la investigación.

b) Triangulación de fuentes de información: Atendiendo al tipo de informador, función de su nivel de responsabilidad,...

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 79

c) Triangulación de instrumentos cuantitativos y cualitativos: recogida de dos tipos de datos; datos referidos a hechos, actitudes opiniones, y datos basados en indicadores sociales o en procesos grupales interactivos, referidos al momento actual o a predisposiciones futuras, aplicada al estudio de la realidad.

Por todo ello, los instrumentos que incluye la Guía son cuantitativos y cualitativos, intentando adecuar sus características respectivas a los objetivos que se pretenden con su aplicación.

• Los instrumentos cuantitativos son básicamente cuestionarios que nos sirven para evaluar en la mayoría de los casos cuestiones organizativas.

• Los instrumentos cualitativos elaborados son entrevistas, observación directa, rondas de presentación y de evaluación, y escala de valoración de los trabajos, todos ellos nos van a servir para evaluar, además de aspectos organizativos, tanto las competencias de partida del grupo destinatario como las competencias adquiridas por el grupo.

A continuación, presentamos la Guía de Evaluación con la estructura aquí marcada y especificando cada uno de los elementos que la configuran. Seguidamente, presentamos todos los instrumentos que se recogen en esta Guía y que se irán aplicando según las indicaciones que se especifican en ésta.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 80 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

GUÍA DE EVALUACIÓN DE COMPETENCIAS ELEMENTOS

¿CUÁNDO?

¿PARA QUIÉN? Y ¿QUIÉN PARTICIPA? (Destinatarios: fuente de información)

¿QUÉ SE EVALÚA? (Objeto referente)

¿PARA QUÉ SE EVALÚA? (Finalidad)

¿DÓNDE SE EVALÚA? (Lugar de realización)

¿CON QUÉ SE EVALÚA? (Técnicas e Instrumentos)

¿CÓMO SE APLICAN LOS INSTRUMENTOS? (Pautas de realización)

¿CÓMO TRATAR LOS DATOS? (Procesamiento de la información)

¿QUÉ HACER CON LA INFORMACIÓN? (Aplicación al diseño de la oferta formativa)

ANTES DE LA ACTIVIDAD FORMATIVA EV. INICIAL DIAGNÓSTICA

Participantes de las actividades formativas. Ponentes de la actividad formativa Personas relacionadas con la actividad formativa. Gestor de Formación

Necesidades para alcanzar los objetivos propios de la actividad Las necesidades, expectativas e intereses en función de los grupos destinatarios. Las competencias de partida de los participantes. La realización del material del curso.

Detectar necesidades de formación (cultural, profesional, sindical) y las competencias iniciales como base del diseño del plan/programa de formación . Diseñar la oferta formativa futura. Disponer de información para negociar la actividad formativa.

Al comienzo de la actividad formativa.

1.- Entrevistas abiertas semiestructuradas de evaluación de competencias iniciales del grupo destinatario 2.- Cuestionario Inicial de detección de necesidades de formación y de evaluación del plan de formación. 3.- Ronda de presentación.

1.- Realizar la entrevista en un ambiente distendido, relajado. Darles la bienvenida al curso y asegurarles que estamos a su entera disposición para cualquier duda o problema que les surja a lo largo de todo el curso. Explicar la finalidad de la entrevista y la confidencialidad. Plantear las cuestiones que aparecen en la Guía de la entrevista. Agradecerles su colaboración. 2. Repartir los cuestionarios y explicar la finalidad del cuestionario, el anonimato, la forma de contestación, el uso de los resultados y el beneficio común. Recoger el cuestionario y agradecerles su colaboración. 3.- Presentación del curso, del monitor, de los asistentes y varios. Exposición de los objetivos del curso y de las expectativas de los participantes Exposición y planificación de los contenidos del curso. Metodología (forma de dar el curso). Pacto en la formación.

1.- Recoger los datos ayudados por la rejilla Análisis cualitativo de la información: Síntesis de la información (categorías/códigos). Presentación de los datos agrupados. Elaboración de conclusiones. 2.- Tabular los datos ayudados por las rejillas del cuestionario. Realización de informes según la plantilla destinada para tal fin. 3.- Se recogen en la ficha de registro los datos referentes a la presentación de los asistentes.

1.2.- En función de esas conclusiones diseñar la oferta formativa (contenidos, metodología, recursos, etc.) y diseñar estrategias para mejorar la comunicación, el clima, la participación, etc. 3.- En función de los datos que se recogen en la ficha de registro se establece una estrategia de actuación en función de los grupos destinatarios.

DURANTE LA ACTIVIDAD FORMATIVA EV. PROCESUAL

Participantes. Ponentes Gestor de la actividad formativa Personas de la organización relacionada con la actividad formativa.

Si se están satisfaciendo las necesidades, expectativas e intereses de los grupos participantes y de la organización. Nivel de participación, comunicación y responsabilidad del equipo de formación.

Analizar las discrepancias, si las hay, entre la realidad y el plan de formación y efectuar correcciones. Adaptar la oferta formativa si se cree necesario (metodología, contenidos,...). Replantearse la estrategia de intervención del sindicato. Comprobar el funcionamiento de los diseños de los programas.

En la actividad formativa.

5.- Cuestionario de seguimiento del plan de formación: cuestionarios finales de las Unidades Didácticas. 6.-Escala de observación de participación..

5.- Repartir el cuestionario Explicar la finalidad del cuestionario, la forma de contestación, el uso de los resultados y el beneficio común. Recoger y agradecer su colaboración 6.- Definir objeto de observación: Situarnos en el escenario Escribir nuestras impresiones en las fichas elaboradas para tal fin.

5.- Tabular los datos ayudados por las rejillas del cuestionario. Realización de los informes según la plantilla destinada para tal fin. 6.- Análisis cualitativo de los datos de la observación. Presentación de los datos agrupados. Elaboración de conclusiones.

5.6.- Según los datos recogidos se adaptan los objetivos, estrategias, contenidos, metodología, recursos, etc. (ficha de la oferta formativa), a las necesidades de la situación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 81

ELEMENTOS CUÁNDO

¿PARA QUIÉN? Y ¿QUIÉN PARTICIPA? (Destinatarios: fuente de información)

¿QUÉ SE EVALÚA? (Objeto referente)

¿PARA QUÉ SE EVALÚA? (Finalidad)

¿DÓNDE SE EVALÚA? (Lugar de realización)

¿CON QUÉ SE EVALÚA? (Técnicas e Instrumentos)

¿CÓMO SE APLICAN LOS INSTRUMENTOS? (Pautas de realización)

¿CÓMO TRATAR LOS DATOS? (Procesamiento de la información)

¿QUÉ HACER CON LA INFORMACIÓN? (Aplicación al diseño de la oferta formativa)

AL FINAL DE LA ACTIVIDAD FORMATIVA EV. FINAL O DE CONTRASTE

Participantes de la actividad formativa. Ponentes de la actividad formativa. Planificador-Gestor de la actividad formativa. Personas de la organización relacionadas con la actividad formativa

Adecuación y eficacia de la actividad formativa. Nivel de satisfacción del grupo: Participación Comunicación Toma de decisiones y logros conseguidos. Competencias que se han adquirido y los que deberían de haberse adquirido: nuevas propuestas, innovaciones. Cumplimiento del plan de formación.

Para valorar las actividades formativas de acuerdo con el plan de formación. Tener constancia del nivel de capacidad adquirido. Conocer el nivel de satisfacción de los participantes, de los ponentes,... Conocer la utilidad de lo aprendido para replantearse la acción formativa del sindicato. Para valorar la utilidad del plan de formación del sindicato.

En las actividades formativas.

6.- Entrevista de presentación de los trabajos. 7.- Ronda de evaluación de los módulos. 8.- Cuestionario final del curso 9.- Guión para la valoración del trabajo. 10.- Entrevista individual a los ponentes.

6.- Realizar las entrevistas en un clima distendido, relajado. Explicar la finalidad de la entrevista. Plantear el desarrollo de la entrevista. Agradecerles su colaboración. 7.- Explicar la finalidad de la ronda de evaluación. Garantizar la confidencialidad Preguntar a los asistentes las cuestiones referentes a la valoración del curso (guía de la ronda de evaluación). Hacerles copartícipes de los resultados de evaluación. Agradecerles su colaboración 8.- Repartir el cuestionario entre los asistentes. Explicar la finalidad del cuestionario, el anonimato, la forma de contestación, el uso de los resultados y el beneficio común. Recoger y agradecer su colaboración. 9.- Elaboración del trabajo final: Explicación de cómo hay que realizarlo. Registro en una ficha de los resultados obtenidos. 10.- Realizar las entrevistas en un clima distendido, relajado. Explicar la finalidad de la entrevista, la duración Plantear las cuestiones que aparecen en la Guía de la entrevista. Agradecerles su colaboración.

6.- Recoger los datos ayudados por la rejilla (Transcripción de la información). Análisis cualitativo de la información: Síntesis de la información (categorías/códigos). Presentación de los datos agrupados. Elaboración de conclusiones 7.- Se recoge en forma de registro la valoración del curso. 8..- Tabular los datos ayudados por las rejillas del cuestionario. Realizar los informes según la plantilla destinada para tal fin. 9. Sacar conclusiones de cada grupo de datos en función de la ficha. 10.- Análisis cualitativo de la información. Síntesis de la información (categorías/códigos). Presentación de los datos agrupados. Elaboración de conclusiones.

6.7.8.9.10- Discutir con el ponente los datos, identificar las partes con los datos obtenidos, adaptar los contenidos problemas y establecer propuestas para mejorar los resultados de las diferentes actividades formativas futuras. 6.7.8.9.10- Programar los cambios necesarios para actividades formativas futuras, si existen discrepancias entre los objetivos y los resultados.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 82 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

3.1. Instrumentos Para La Evaluación De Competencias.

Dentro de la Guía se puede ver que se utilizan diferentes instrumentos, que no desarrollaremos por haber sido explicados en otras Unidades Didácticas de este Experto.

1. ENTREVISTA INICIAL INIDIVIDUAL: Formadores.

2. RONDA DE PRESENTACIÓN.

3. CUESTIONARIO INICIAL.

4. CUESTIONARIO FINALES DE LAS UNIDADES DIDÁCTICAS.

5. ESCALA DE OBSERVACIÓN DE PARTICIPACIÓN.

6. ENTREVISTA DE PRESENTACIÓN DE LOS TRABAJOS: Formadores.

7. RONDA DE EVALUACIÓN.

8. ESCALA DE VALORACIÓN DE LOS TRABAJOS.

9. ENTREVISTA A LOS PONENTES.

10. CUESTIONARIO FINAL DEL CURSO: Formadores.

De todos estos instrumentos hemos seleccionado los que nos parecen los más importantes en el proceso de evaluación y los más útiles para los formadores, con el fin de que sirvan de ejemplo para que pueda elaborar cada participante el suyo propio.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 83

ESCALA DE OBSERVACIÓN DE PARTICIPACIÓN

- FORMADORES -

Nombre:

Institución donde desarrolla su actividad:

Tema sobre el que ha desarrollado su trabajo:

Valoración: 1. No participa, no aporta ideas (faltas de asistencia).

2. Participa y demuestra que conoce el tema.

3. Participa y muestra que sabe aplicar lo que conoce.

4. Participa y muestra que lo ha aplicado y hace propuestas de mejora.

UNIDADES DE COMPETENCIA 4 3 2 1 Unidad de Competencia 1: Conocer el contexto de la Formación Continua y detectar las necesidades de formación configurando los grupos destinatarios.

Unidad de Competencia 2: Elaborar, en función de la detección de necesidades y grupos destinatarios detectados, diseños curriculares teniendo en cuenta las competencias, cualificaciones y criterios de validación con el objetivo de presentarlo a instituciones de financiación.

Unidad de Competencia 3: Analizar, seleccionar, elaborar, desarrollar y utilizar las estrategias metodológicas más adecuadas a las características del grupo destinatario y a sus necesidades de formación y al currículum establecido (objetivos y contenidos), facilitando el proceso de aprendizaje y cualificación de los mismos.

Unidad de Competencia 4: Analizar, seleccionar, elaborar, desarrollar y utilizar los recursos didácticos más adecuados a las características del grupo destinatario, a sus necesidades de formación, al currículum (objetivos y contenidos) y a las estrategias metodológicas establecidas, facilitando el proceso de aprendizaje y cualificación de los mismos.

Unidad de Competencia 5: Planificar, elaborar y aplicar un plan de evaluación, que permita realizar un seguimiento formativo del grupo destinatario para verificar los niveles de cualificación adquiridos, aplicando las técnicas e instrumentos apropiados, así como facilitar la toma de decisiones para la mejora de la formación.

Otros aspectos a tener en cuenta y valorar:

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 84 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

ENTREVISTA DE PRESENTACIÓN DE LOS TRABAJOS

- FORMADORES -

Nombre:

Institución donde desarrolla su actividad:

Tema sobre el que ha desarrollado su trabajo:

UNIDADES DE COMPETENCIAS VALORACIÓN DE LAS COMPETENCIAS ADQUIRIDAS

OTROS ASPECTOS A VALORAR

Unidad de Competencia 1: Conocer el contexto de la Formación Continua y detectar las necesidades de formación configurando los grupos destinatarios.

Unidad de Competencia 2: Elaborar, en función de la detección de necesidades y grupos destinatarios detectados, diseños curriculares teniendo en cuenta las competencias, cualificaciones y criterios de validación con el objetivo de presentarlo a instituciones de financiación.

Unidad de Competencia 3: Analizar, seleccionar, elaborar, desarrollar y utilizar las estrategias metodológicas más adecuadas a las características del grupo destinatario y a sus necesidades de formación y al currículum establecido (objetivos y contenidos), facilitando el proceso de aprendizaje y cualificación de los mismos.

Unidad de Competencia 4: Analizar, seleccionar, elaborar, desarrollar y utilizar los recursos didácticos más adecuadas a las características del grupo destinatario, a sus necesidades de formación, al currículum (objetivos y contenidos) y a las estrategias metodológicas establecidas, facilitando el proceso de aprendizaje y cualificación de los mismos.

Unidad de Competencia 5: Planificar, elaborar y aplicar un plan de evaluación que permita realizar un seguimiento formativo del grupo destinatario para verificar los niveles de cualificación adquiridos aplicando las técnicas e instrumentos apropiados, así como facilitar la toma de decisiones para la mejora de la formación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 85

ESCALA DE VALORACIÓN DE LOS TRABAJOS DE LOS PARTICIPANTES

Unidad de Competencia 5: Planificar, elaborar y aplicar un plan de evaluación que permita realizar un seguimiento formativo del grupo destinatario para verificar los niveles de cualificación adquiridos aplicando las técnicas e instrumentos apropiados, así como facilitar la toma de decisiones para la mejora de la formación.

NIVELES DE CONSECUCIÓN

CRITERIOS DE EVALUACIÓN

Lo ha aplicado

Sabe aplicarlo

Ha comprendido No ha comprendido

Determinar con precisión todos los elementos que intervienen en un plan de evaluación (fases, indicadores, criterios y metodología).

Integrar esos elementos en una guía de evaluación.

Determinar las metodologías y los instrumentos más adecuados para evaluar las competencias adquiridas por el grupo destinatario y su cualificación (certificación)

Determinar los instrumentos más adecuados para evaluar la acción formativa.

Aplicar correctamente las técnicas e instrumentos determinados.

CRIT

ERIO

S EJ

ECUC

IÓN

1.1. Definiendo y determinando los distintos modelos de evaluación existentes. 1.2. Seleccionando el modelo de evaluación en función del grupo destinatario y de las características de la acción formativa. 2.1. Planificando el proceso de evaluación de la acción formativa (indicadores y criterios). 2.2. Elaborando una guía de evaluación (cuándo evaluar, qué evaluar, cómo, por qué, con qué,...). 3.1. Aplicando los instrumentos y técnicas seleccionados. 3.2. Recogiendo y analizando los datos obtenidos. 4.1. Introduciendo oportunamente los reajustes necesarios a lo

Recoger y analizar los datos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 86 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Establecer el nivel de competencia alcanzado por el grupo destinatario y su cualificación (certificación)

Analizar si los elementos considerados en el diseño y aplicación de la acción formativa, han sido los adecuados para alcanzar la cualificación pretendida.

necesarios a lo largo de la ación formativa para mejorarla. 4.2. Verificando el nivel de cualificación alcanzado por el grupo destinatario. 4.3. Analizando todo el proceso formativo y elaborando propuestas de mejora.

Determinar las medidas necesarias para la mejora de las actividades de la acción formativa o para introducir los requisitos que se consideren oportunos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 87

III. ESTRATEGIAS DE REGISTRO DE INFORMACIÓN Y SEGUIMIENTO INDIVIDUALIZADO DEL ALUMNADO: Guía de Evaluación para el Formador.

1. CARACTERÍSTÍCAS DEL MODELO DE LA GUÍA DE EVALUACIÓN

Dentro del contexto de la Formación Continua, las estructuras de formación de la organización tienen dos características claras:

La diversificación de funciones, una es la del formador/monitor (evaluar las actividades formativas) y otra la del gestor de formación (evaluar la oferta formativa, el impacto, la repercusión, etc.), que la polivalencia y versatilidad debe permitir la utilización para ambas actividades.

El contexto de la formación que debe ser democrático y participativo.

Por este motivo, este modelo consiste en una filosofía o modelo que configura un proceso sobre la base de un conjunto de propuestas de actividades de evaluación, las cuales se han plasmado en una Guía de Evaluación, que constituye la concreción práctica del modelo. De acuerdo con la filosofía del modelo y las características del contexto de la formación de la organización, se han planteado dos Guías de Evaluación, que permiten fomentar el desarrollo del trabajo en equipo como un elemento clave, es decir, trabajar el formador/monitor con el gestor de formación de forma participativa, democrática e integrada, tal y como aparece en los siguientes apartados del documento.

El modelo elaborado, que subyace a esta Guía, esbozado aquí de manera sintética, responde a cinco características fundamentales, estas son:

a. Orientación a la mejora

b. Carácter interno

El objetivo central del modelo de evaluación propuesto no es otro que facilitar la mejora de las actividades formativas a las que se aplica. En efecto, no se puede olvidar que se trata deevaluar la formación impartida por las organizaciones sociales, de la que son destinatariosun gran número de sujetos y que produce importantes efectos personales e institucionales.

Ello quiere decir que este modelo se inserta en el campo de los programas deautoevaluación institucional. Así, tanto los agentes de la evaluación, como los participantesen la misma y sus principales destinatarios, provienen en buena medida de la propia organización sindical. Como se verá más adelante, los instrumentos propuestos han sidoconcebidos y elaborados pensando en personas que no son necesariamente evaluadoresprofesionales.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 88 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

c. Participación democrática

d. Adecuación al contexto

La adopción de un modelo de autoevaluación interna obliga a ser especialmentecuidadosos con el estilo de participación que se promueve en su realizaciónconcreta. Si se quiere utilizar la autoevaluación como un elemento de dinamizacióninstitucional y de mejora de las actividades formativas desarrolladas, hay quepromover la participación de todos los implicados e interesados en dichas tareas. Ysi se quiere evitar que la evaluación se convierta en un nuevo mecanismo de poderen el seno de la institución, hay que subrayar el carácter democrático de dichaparticipación. Ello implica tomar en consideración los aspectos éticos asociados a laevaluación, estableciendo un modelo respetuoso para con los principios de

veracidad, coherencia, credibilidad y justicia que deben regirla.

El modelo que se propone debe además adecuarse al contexto concreto en que ha dedesarrollarse. La organización social tiene unas características distintivas propias quelas diferencian de otras instituciones más específicamente orientadas a la FormaciónContinua. Uno de los rasgos característicos de ese peculiar contexto es la existenciade dos grupos diferentes implicados en la formación, cuyos perfiles profesionales ycapacitación son muy distintos: gestores y formadores/monitores. La existencia deesos dos perfiles profesionales claramente diferenciados obliga a diseñar un modelointernamente diversificado, capaz de proporcionar a unos y otros las herramientas queprecisan para realizar la parte de la evaluación que les compete.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 89

e. Realismo y viabilidad

2. FASES DEL PROCESO DEL MODELO DE LA GUÍA.

Siguiendo el concepto y modelos expuestos en los apartados anteriores, se desarrolla la Guía siguiendo las diferentes fases y tipos de evaluación.

Como hemos visto, el proceso de evaluación se compone de las siguientes fases, relacionadas con los diferentes tipos de evaluación.

Para comprender mejor cada una de estas fases, vamos a formular diferentes preguntas que nos permitan aclarar conceptos, para ello seguiremos el siguiente esquema:

A la hora de diseñar un modelo de evaluación no se puede hacer abstracción de las circunstancias concretas en que habrá de aplicarse. En el caso concreto de la evaluaciónde la formación en la organización social, hay que tener en cuenta en primer lugar la granheterogeneidad de los agentes que la imparten. Algunos de ellos cuentan con amplios conocimientos teóricos acerca de los procesos de educación y formación, mientras queotros poseen una capacitación eminentemente empírica y orientada a la práctica. Unos yotros habrán de aplicar los instrumentos elaborados, motivo por el cual deberán

A) Fase Inicial: antes del curso

B) Fase procesual: duranteel curso

D) Fase de impacto ¿cómohas aplicado lo aprendido alpuesto de trabajo?

C) Fase final: al término del curso

PROCESO EVALUATIVO

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 90 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

¿Qué es? ¿Qué

evaluamos?

¿Para qué sirve?

¿Qué métodos, instrumentos y técnicas

evaluamos?

¿Quién la realiza?

¿QUÉ PREGUNTAS DEBEMOS FORMULARNOS EN CADA UNA

DE LAS FASES?

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 91

¿Qué es?

¿Para qué sirve?

¿Quién la realiza?

¿Qué evaluamos?

¿Qué métodos, instrumentos y técnicas utilizamos?

A) Fase Inicial

Es la primera fase del proceso de la evaluación. En ella vamosa analizar la situación de partida.

Va a permitirnos conocer las características de los participantes, así como la situación de aprendizaje. Esto nos ayudará a adaptar la actividad formativa.

La realiza el formador. La llevará a cabo al inicio de la actividad formativa.

Evaluamos los aspectos que pueden afectar durante el curso. Los elementos que debemos evaluar son: Participantes en el curso. Recursos del centro y del contexto que le rodea.

Test diagnóstico. Entrevista. Valoración de necesidades.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 92 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

¿Qué es?

¿Para qué sirve?

¿Quién la realiza?

¿Qué evaluamos?

¿Qué métodos, instrumentos y técnicas utilizamos?

B) Fase Procesual

Es la valoración permanente de la actividad formativa a medida que ésta se va desarrollando.

Nos va a ayudar a detectar las deficiencias y problemas que surgen durante el curso y resolverlos durante el mismo.

La realiza el formador a lo largo de todo el proceso formativo.

Evaluamos la coherencia de los distintos elementos que conformanel proceso educativo: Objetivos. Contenidos. Metodología. Técnicas e instrumentos. Recursos y medios..

Técnicas de análisis de tareas. Test. Cuestionarios. Revisión de trabajos, documentos e informes. Entrevistas.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 93

¿Qué es?

¿Para qué sirve?

¿Quién la realiza?

¿Qué evaluamos?

¿Qué métodos, instrumentos y técnicas utilizamos?

C) Fase Final

Es la que se realiza al finalizar el curso. En ella vamos a analizar lasituación final.

Nos va a permitir comprobar a través de los resultados si se han conseguido o no los objetivos prefijados al inicio del curso, con el fin de mejorar los próximos cursos.

La realiza el formador. La llevará a cabo al finalizar el curso.

Los elementos que debemos evaluar son: Satisfacción y esfuerzo de los participantes. Objetivos planteados antes del curso. Resultados obtenidos.

Test. Cuestionarios. Análisis de tareas. Entrevistas. Valoración de informes.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 94 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

¿Qué es?

¿Para qué sirve?

¿Quién la realiza?

¿Qué evaluamos?

¿Qué métodos, instrumentos y técnicas utilizamos?

D) FASE DE IMPACTO

Es una evaluación retardada, que se caracteriza por realizarse transcurridos unos meses tras la finalización del curso.

Va a permitirnos evaluar la aplicación de lo aprendido al puesto detrabajo y el impacto de la misma.

La realiza el formador, para saber la utilidad real de los contenidos dadosdurante el curso, en el puesto de trabajo.

Los elementos que debemos evaluar son: Aplicación al puesto de trabajo de los conocimientos adquiridos. Utilidad práctica. Variables relacionadas con la formación: autoestima, cambio de actitudes,rentabilidad.

En esta evaluación del impacto recurrimos a diferentes instrumentos y técnicasseñaladas en fases anteriores: Cuestionarios. Entrevistas. Escalas de observación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 95

3. LA ESTRUCTURA DE LA GUÍA: ORIENTACIONES PARA SU UTILIZACIÓN POR EL FORMADOR.

La Guía pretende ser una herramienta de consulta que ayude a los agentes implicados en la formación a evaluar las actividades formativas, para que se pueda elaborar una nueva oferta formativa que responda a las necesidades, expectativas, intereses y motivaciones reales de los destinatarios directos y potenciales de formación.

La Guía está elaborada a partir de tres objetivos, que deben de estar presentes en cada proceso, que ayudan a construir los instrumentos de recogida de información y que facilitan el análisis de los datos:

A) Mejora de las Actividades Formativas.- El proceso real de evaluación y de mejora sólo suele ser útil de forma inmediata en las primeras repeticiones de una actividad o cuando los participantes tienen características similares. Una vez que un programa está experimentado, sólo son necesarios pequeños elementos de control para comprobar la eficacia del programa en marcha. Así, durante este proceso los agentes de la evaluación comprueban cómo se está desarrollando el programa, detectan los fallos y modifican lo que crean necesario.

B) Contraste de los Resultados de la Formación y de los Fines de la Organización.- La organización tiene que alcanzar sus fines y, para ello, necesita relacionar la práctica de formación con los cambios internos deseables. En primer lugar se intenta descubrir la consecuencia de la formación, y a continuación, como ha afectado la formación a las personas y a la organización. Es decir, tiene que comprobar la eficacia de las acciones formativas en sí mismas y su valor en relación con otras acciones de la organización para conseguir sus fines.

El objetivo de esta evaluación es la responsabilidad compartida por los gestores, los formadores y los monitores, y en las discrepancias entre éstos se basarán los cambios posteriores en la formación dentro de la organización social.

C) Aprendizaje de los Procesos de la Formación/Evaluación.- Para realizar una evaluación siguiendo nuestro modelo hay que concienciar a los usuarios de la utilidad de la evaluación como una posibilidad de mejorar y no como una amenaza.

Igualmente han de tener conciencia y realizar una transferencia de los datos obtenidos a la organización, para que puedan tener acceso otros formadores, monitores y gestores, ya que ésta es una forma de mejorar las actividades de formación desde la organización.

Por esto, se deben implicar las personas en el aprendizaje, para ello deben de:

• Tener una vivencia más cercana a lo que se pretende con la formación, las necesidades previas y los pasos posteriores.

• Cambiar los mecanismos que se siguen al crear un programa o al seleccionar los participantes, intentar realizar una selección/adecuación de los participantes al programa o actividad formativa y viceversa.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 96 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

• Asegurar que la organización valore la formación como un medio de conseguir sus objetivos.

• Conseguir la participación de los cuadros responsables de la organización en el esfuerzo de la formación.

Bajo la perspectiva de que la evaluación forma parte de la misma formación, que es algo integrado en ella y no una actividad independiente, sus objetivos y su metodología deben adaptarse a la secuencia de la formación, ya que cada momento del programa tiene unos propósitos y, por tanto, las preguntas que se pueden hacer durante el desarrollo de la actividad pueden ser diferentes.

La Guía queda estructurada en un cuadro de doble entrada, en el eje vertical encontramos los distintos momentos en los que se desarrolla la actividad formativa: el cuándo. En el eje horizontal se completa la estructura de la guía con nueve columnas, que permiten una comprensión global del proceso metodológico que define su actuación: los elementos, como hemos desarrollado anteriormente y en el apartado 2 de esta Unidad Didáctica.

El desarrollo de la evaluación de la actividad formativa se realiza en cuatro fases:

• Fase de planificación y programación: durante el desarrollo de esta fase se realiza una evaluación de carácter diagnóstico y una detección de necesidades de formación, lo que nos permite orientar las acciones formativas en relación con la información obtenida.

• Fase de desarrollo de la actividad: en esta fase se realiza una evaluación procesual y un seguimiento de la actividad y del programa formativo. Durante esta fase se obtendrá información para orientar las acciones formativas en relación con las necesidades, las expectativas y las motivaciones de los participantes en éstas.

• Finalización de la actividad: en el desarrollo de esta fase se efectúa la evaluación final de la actividad o del programa formativo, centrándose en la satisfacción manifestada por sus destinatarios, en los resultados logrados y principalmente en el contraste de la planificación de la acción formativa con los resultados obtenidos.

• Fase posterior a la actividad: en la que tiene lugar la evaluación demorada de la actividad o del programa formativo, centrada fundamentalmente en el impacto personal, laboral e institucional, logrado por la misma.

Así, en la primera columna de la Guía encontramos: ¿Quién realiza la evaluación? Ésta Guía está estructurada para que la evaluación la realicen los formadores, los monitores, ya que éstos son los que van a intentar mejorar las actividades futuras con los resultados obtenidos.

Las personas implicadas en la evaluación deben entenderla como una reflexión sobre lapráctica y con ella extraer conclusiones que le permitan mejorar.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 97

Junto a la pregunta: ¿Quién realiza la evaluación? Hay ocho columnas más que van a facilitar la comprensión del desarrollo de las actividades formativas en las organizaciones sociales. Estas son:

• ¿Para quién y con quién se evalúa? Destinatarios, incluimos a los beneficiarios de la evaluación y las personas que participan en ella. Estas dos preguntas se incluyen en una única columna, ya que la evaluación dentro de la organización es una evaluación interna, que se realiza desde la organización para la organización. Esto no impide, que en un momento puntual pueda realizarse una evaluación externa.

• ¿Qué se evalúa? Objeto referente, indica aquel aspecto de la actividad formativa que se va a evaluar.

• ¿Para qué se evalúa? Finalidad, una vez que tienes aquello a evaluar en cada una de las fases, debes explicar para qué realizas esta evaluación.

• ¿Dónde se evalúa? Lugar de realización, dependiendo de la fase, los lugares en los que se evalúan pueden ser diferentes.

• ¿Con qué se evalúa? Técnicas e instrumentos, éstos nos van a proporcionar la información necesaria, que nos permite ir adaptando la acción formativa a las necesidades de los participantes en ella, así como a las de la organización.

• ¿Cómo se aplican los instrumentos? Pautas de realización, este apartado trata la forma de aplicación de las diferentes técnicas e instrumentos.

• ¿Cómo tratar los datos? Procesamiento de la información, una vez aplicados hay que estructurar los datos, para ello se proporcionan una serie de pautas a seguir con los datos obtenidos para facilitar el trabajo de los usuarios de las Guías.

• ¿Qué hacer con la información? Aplicación al diseño de la oferta formativa, con el procesamiento de la información obtenida tras aplicar los instrumentos, se deben considerar los pasos adecuados para modificar la acción formativa considerando las necesidades que expresan los participantes en la acción formativa.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 98 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

GUÍA DE EVALUACIÓN PARA EL FORMADOR/MONITOR ELEMENTOS

CUÁNDO

¿PARA QUIÉN? Y ¿QUIÉN PARTICIPA? (Destinatarios: fuente de información)

¿QUÉ SE EVALÚA? (Objeto referente)

¿PARA QUÉ SE EVALÚA? (Finalidad)

¿DÓNDE SE EVALÚA? (Lugar de realización)

¿CON QUÉ SE EVALÚA? (Técnicas e Instrumentos)

¿CÓMO SE APLICAN LOS INSTRUMENTOS? (Pautas de realización)

¿CÓMO TRATAR LOS DATOS? (Procesamiento de la información)

¿QUÉ HACER CON LA INFORMACIÓN? (Aplicación al diseño de la oferta formativa)

ANTES DE LA

ACTIVIDAD FORMATIVA EV. INICIAL

DIAGNÓS-TICA

Participantes de las actividades formativas. Monitor/Formador de la actividad formativa. Personas relacionadas con la actividad formativa. Gestor de Formación.

Expectativas, necesidades, problemas, motivaciones e intereses de los asistentes respecto al curso. Nivel de conocimientos y experiencias previas de los asistentes sobre este curso. Necesidad de adaptar los contenidos, metodología, etc. a los grupos de destinatarios

Conocer y definir las necesidades, expectativas e intereses del grupo de destinatarios en función de: Perfil personal Perfil profesional. Perfil sindical. .Adecuar la actividad formativa a las necesidades de los asistentes y a los objetivos del programa.

En el lugar donde se desarrolla la actividad formativa. .

Ronda de presentación.

1. Presentación del curso, del monitor, de los asistentes y varios. Exposición de los objetivos del curso y de las expectativas de los participantes. Exposición y planificación de los contenidos del curso. Metodología (forma de dar el curso). Pacto en la formación.

1.-Se recoge en la ficha de registro los datos referentes a la presentación de los asistentes.

1. En función de los datos que se recogen en la ficha de registro, se establece una estrategia de actuación en función de los grupos destinatarios. Informar a los gestores sobre las diferencias y los cambios introducidos.

DURANTE LA ACTIVIDAD FORMATIVA

EV. PROCESUAL

Participantes de las actividades formativas. Monitor/Formador de la actividad formativa. Personas relacionadas con la actividad formativa. Gestor de Formación.

Si se están satisfaciendo las necesidades, motivaciones, expectativas de las actividades formativas. Adecuación y eficacia de la actividad formativa a la realidad de los asistentes. Nivel de logro de los objetivos, contenidos, actividades complementarias, materiales, recursos, nivel de participación, clima. Nivel de participación, comunicación y responsabilidad de los asistentes y el formador/monitor (nivel de trabajo en equipo, coordinación y convivencia).

Conocer la opinión del grupo destinatario durante el desarrollo de la actividad formativa. Replantear y readaptar el diseño de intervención a la situación y características del grupo. Orientación y reorientación de su proceso de aprendizaje.

En la actividad formativa.

1. Escalas de observación. 2. Entrevista individual informal. 3. Entrevista grupal abierta. 4.Indicaciones para analizar dinámicas de aprendizaje del grupo.

1.Definir el objeto de observación. Situarnos en el escenario. Escribir nuestras impresiones en las fichas elaboradas para tal fin. 2. Realizar la entrevista en un ambiente distendido, relajado. Crear un clima de confianza. Abordando en un primer momento temas secundarios para realizar posteriormente las cuestiones que figuran en el guión de entrevista grupal. Agradecerles su colaboración. 3. Motivar al grupo para la realización de la entrevista. Explicar la finalidad de la

1.-Análisis cualitativo de los datos de la observación: Presentación de los datos agrupados. Elaboración de conclusiones. 1,2,3,4.-. Triangulación de fuentes, métodos e instrumentos. 2,3,.- Transcripción de la información. 2,3,.-Análisis cualitativo de la información: Síntesis de la información (categorías/códigos).

1,2,3,4,.-En función de esas conclusiones replantear la oferta formativa (objetivos, contenidos, metodología, recursos, etc.) y diseñar estrategias para mejorar la comunicación, el clima, la participación, etc. Informar a los gestores sobre las diferencias y los cambios introducidos. 4.-Según los datos obtenidos se adaptan los objetivos, contenidos, metodología, recursos, etc. a actividades futuras.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 99

entrevista, la duración, la confidencialidad y pedir permiso para su grabación. Plantear las cuestiones que aparecen en la Guía de la entrevista grupal. Agradecerles su colaboración. 4. Aplicar según la situación unas dinámicas de aprendizaje o trabajos prácticos u otros. Explicación de cómo llevarlos a cabo, fichas de registro para anotar los resultados obtenidos.

Presentación de los datos agrupados. Elaboración de conclusiones. 4-Sacar conclusiones de cada grupo de datos en función de la ficha.

AL FINAL DE LA

ACTIVIDAD FORMATIVA

EV. FINAL O DE CONTRASTE

Participantes de las actividades formativas. Monitor/Formador de la actividad formativa. Personas relacionadas con la actividad formativa. Gestor de Formación.

Adecuación de metodologías al esfuerzo y a las necesidades y características de los grupos de incidencia de alumnos. Nivel de satisfacción de los asistentes sobre la metodología utilizada y lo que han aprendido: participación, comunicación, toma de decisiones y logros conseguidos. Logros que se han conseguido y los que deberían haberse conseguido. Nuevas propuestas de innovación.

Nivel de satisfacción del grupo (expectativas, motivaciones, objetivos, contenidos, metodología, recursos...). Nivel de satisfacción por la dinámica de grupo establecida. Actividad de la dinámica de grupo, relación con otros participantes. Valor de lo aprendido, utilidad. Disponibilidad de participar en otras acciones formativas.

Lugar donde se ha desarrollado la actividad formativa. Otros lugares del centro de formación.

1.Ronda de evaluación. 2.Cuestionario de evaluación final. 3.Guión para el análisis de aprendizaje

1. Repartir el cuestionario entre los asistentes. Explicar la finalidad del cuestionario, el anonimato, la forma de contestación, el uso de los resultados y el beneficio común. Recoger y agradecer su colaboración. 2. Explicar la finalidad de la ronda de evaluación. Garantizar la confidencialidad Preguntar a los asistentes las cuestiones referentes a la valoración del curso (guía de la ronda de evaluación). Hacerles copartícipes de los resultados de evaluación. Agradecerles su colaboración. 3. Elaboración de las actividades. Explicación de cómo hay que realizarlas. Registro en una ficha de los resultados obtenidos.

1. Se recoge en forma de registro la valoración del curso. 1,2,3.- Triangulación de fuentes, métodos e instrumentos. 2.- Se tabulan los datos ayudados por las rejillas del cuestionario. Se realizan los informes según la plantilla destinada para tal fin. 3. Sacar conclusiones de cada grupo de datos en función de la ficha.

1.-Según los datos obtenidos en los instrumentos de evaluación final, adaptación de contenidos, objetivos, metodología, recursos, etc. a actividades formativas futuras. 2. En función de los datos que se recogen en la ficha de registro se establece una estrategia de actuación en función de los grupos destinatarios. 3.-Programar los cambios necesarios para actividades formativas futuras, si existen discrepancias entre los objetivos y los resultados. Informar a los gestores sobre las diferencias y los cambios introducidos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 100 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

4. ESTRATEGIAS E INSTRUMENTOS DE REGISTRO DE LA INFORMACIÓN Y SEGUIMIENTO DE ALUMNADO PARTICIPANTE, PROPUESTO Y DESARROLLADO EN LA GUÍA.

Una vez desarrollada la Guía de evaluación, vemos necesario realizar un análisis de las diferentes técnicas e instrumentos, para pasar a continuación a presentar cada uno de los instrumentos con sus pautas de realización o sus rejillas de tabulación, en el caso de ser necesario.

Como referencia básica, para reconocer estos tipos de técnicas e instrumentos, pasamos a nombrar una serie de atributos distintivos de los instrumentos que hemos seleccionado por parecernos los más significativos y útiles para un formador. Estas estrategias e instrumentos son los siguientes: entrevista individual; entrevista grupal; grupo de discusión; escala de observación; ronda de evaluación; análisis de aprendizaje; cuestionario de evaluación final; cuestionario de evaluación del impacto (que plasmaremos en el último apartado de esta Unidad).

4.1. Entrevista Individual

Información previa sobre la Entrevista Individual:

¿Qué es la entrevista individual?

La entrevista es una situación de comunicación, de carácter conversacional, generalmente protagonizada por dos personas: entrevistador y entrevistado, cuyo establecimiento obedece a una determinada finalidad.

¿Cuándo se utiliza la entrevista?

La entrevista se utiliza cuando queremos conocer la opinión de una persona que asista a una acción formativa. Nos permite captar y analizar aspectos de la realidad que no son directamente observables.

¿Qué ventajas tiene la aplicación de la entrevista?

La comunicación es fluida, ya que se mantiene el anonimato del entrevistado.

Hay una mayor espontaneidad en las respuestas al no disponer de tiempo el entrevistado para reflexionar.

Es muy flexible, permite adaptar la situación a las características contextuales y personales, indagar más sobre las respuestas que dan, o que permita obtener información sobre otros aspectos de la formación que no aparecen recogidos en el guión de la entrevista. Permite lograr un buen nivel de profundización en las respuestas.

¿Qué desventajas tiene la aplicación de la entrevista?

El nerviosismo o timidez que puede generar una conversación de estas características.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 101

GUÍA DE LA ENTREVISTA INDIVIDUAL

1.- Determinación de la Muestra: ¿A Quién hacer la entrevista?

Teniendo en cuenta que te puedes encontrar con un grupo de sujetos muy amplio, y ante la posible falta de disponibilidad de tiempo, deberías, en un primer momento, realizar una escala de observación para determinar los distintos perfiles de los asistentes que conforman el grupo. Para realizar esta escala de observación, podrías tener en cuenta como criterios de observación: la participación, la comunicación.

Esta escala de observación te será un instrumento útil para seleccionar una muestra suficiente y representativa (al menos un sujeto de cada perfil) de los integrantes del grupo de participantes. Será a estos participantes (y no a todos los que componen el grupo) a los que tendrás que hacerles la entrevista, simplificándose así tu trabajo y no perdiendo rigurosidad en la recogida de información.

2.- Justificación de las Preguntas Elaboradas en el Guión

¿Te resulta difícil comprender el curso?: esta pregunta tiene como fin último comprobar la adecuación de los contenidos y su didáctica a la capacidad de los participantes.

¿Te es útil lo que se está dando en el curso?: se pretende averiguar si las necesidades de formación de los participantes se identifican con la oferta formativa de este curso.

¿Los contenidos que se están dando te resultan adecuados?: lo que se busca al plantear esta cuestión es averiguar el grado de coherencia que los sujetos creen que existe entre los temas y el contenido.

¿Qué te parece la forma en que estamos desarrollando el curso?: este ítem responde a la necesidad de hacer una evaluación conjunta de lo andado hasta el momento, nos permitirá conocer el grado de reflexión que los asistentes tienen con respecto a los objetivos, contenidos, y las metodologías y recursos, que se están utilizando hasta ahora.

3.- Síntesis y Replanteamiento Del Curso

Tras haber recogido las reflexiones manifestadas por los participantes, deberás retomarlas y exponerlas oralmente en clase, haciéndoles partícipes de las reflexiones de los demás y tratando, por medio de una discusión constructiva, de llegar a un replanteamiento (si fuera preciso) del curso.

Con esta forma de proceder, los participantes se sentirán más identificados y tenidos en cuenta a lo largo de todo el proceso formativo, lo que repercutirá en una dinámica más participativa, amena y comprometida.

4.2. Entrevista Grupal.

¿Qué es la entrevista grupal?

La entrevista grupal es una forma efectiva de recoger las opiniones y percepciones de los participantes en una actividad formativa. Es una de las técnicas más usadas en investigación política y comercial, y puede ser utilizada con éxito en educación.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 102 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

Como herramienta de evaluación, se obtienen los mejores resultados, si se combina con otros instrumentos y técnicas, pues así los datos obtenidos pueden contrastarse y completarse. Puesto que se busca información lo más precisa del conjunto del grupo, hay que entender que con esta técnica las intervenciones de los más decididos pueden impedir las aportaciones de los tímidos y, por tanto, sesgar los resultados.

¿Cuándo se utiliza?

No existe un momento adecuado y preciso para realizar la entrevista grupal de evaluación, aunque deben seguirse algunas normas para decidirlo.

En la primera parte de la actividad, su uso debe estar suficientemente alejado de la iniciación para no confundirla con la Ronda de Presentación. Debe existir suficiente materia de análisis para que los asistentes puedan hacer aportaciones y no encontrarse en una etapa de conflicto.

Las cuestiones pueden estar en torno a los contenidos desarrollados, a la metodología utilizada, al tipo de ejercicios o al propio programa. Pueden también combinarse preguntas sobre algo ya realizado y comparar con algo por venir. En líneas generales, se está comparando la importancia y la valoración que se hace de los aspectos puestos como referencia.

Durante el desarrollo de la actividad pueden plantearse pequeñas entrevistas como preparación a la discusión del tema. En este caso, la entrevista debe estar estrictamente dirigida a mostrar evidencias de las experiencias y conocimientos de los miembros, para abordar el tema. Las preguntas deben ir encaminadas a provocar una explicación sobre qué les está aportando el curso y cómo lo están combinando con su experiencia previa. En estos casos, no importa que los participantes que intervienen no sean representativos del conjunto, puesto que lo que se busca es que sean provocadores de experiencias enlazadas con los temas del curso. De las intervenciones y los comentarios se podrá obtener información de como están integrando las aportaciones del curso.

Aunque no es lo más útil, la entrevista grupal puede también plantearse con un conjunto de preguntas concretas a modo de cuestionario y recoger posturas sobre la base de las respuestas con mano alzada. En este caso, se trata de sustituir una encuesta y obtener una respuesta global en pocos minutos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 103

GUÍA DE LA ENTREVISTA GRUPAL EN EL PROCESO DE LA FORMACIÓN

1. Determinación de la muestra.

Esta entrevista debe realizarse como parte de la dinámica de la actividad y, por tanto, todos los participantes deben estar presentes, aunque no sea necesario que todos intervengan. La entrevista debe captar las opiniones del grupo por lo que sólo puede hacerse si se cuenta con un número amplio de participantes, para que todos se sientan representados en los comentarios. Si la actividad cuenta con más de treinta participantes, se puede seleccionar un grupo al azar, pero no reflejaría bien las exigencias de la técnica.

2. Algunas preguntas para la entrevista.

En primer lugar, como se ha indicado anteriormente, pueden hacerse preguntas del tipo:

Sobre los materiales utilizados:

• ¿Qué os parece el caso x (la lectura o el vídeo)?

• ¿Qué os ha aportado este caso?

• ¿Qué le pedirías a otro nuevo caso?

Sobre las actividades:

• ¿Qué actividad os ha parecido más interesante? ¿Por qué?

• ¿Qué diferencias habéis encontrado entre A, B y C?

Sobre los contenidos:

De los temas que hemos trabajado: ¿Cuál ha sido más interesante, más útil para vuestro trabajo, más ameno? ¿Por qué?

Sobre la experiencia en los temas:

¿Alguien nos puede contar alguna experiencia similar? ¿Positiva o negativa? ¿Cómo se resolvió el problema? ¿Habría alguna nueva solución?

Combinadas con las respuestas a esas preguntas, pueden plantearse cuestiones como:

• ¿Puedes decirme algo más sobre eso?

• ¿Puedes darme un ejemplo concreto de eso?

• ¿Siempre sucede eso? ¿Alguien tiene una experiencia diferente?

• ¿Por qué eso es importante? ¿Qué ventaja o inconveniente le ves?

• ¿De que otra forma podemos hacerlo?

• ¿Qué puede ser más útil?

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 104 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

3. Conclusiones

Con las ideas que ofrecen las respuestas de los participantes, el monitor debe hacer un resumen del tema y exponer las conclusiones a todos, de manera que sirvan para llamar la atención de los aspectos que a todos les preocupan y a los que van a hacerse frente en pasos posteriores.

Lo más importante es que el formador tenga una imagen clara de la situación del grupo en los aspectos básicos del programa y, simultáneamente, los participantes tengan el sentimiento de que el formador está interesado en la marcha del grupo, en lo que piensan y cómo sienten la dinámica general. El grupo reaccionará con un mayor nivel de participación y compromiso.

4.3. Grupo De Discusión.

Parece oportuno desarrollar algunas orientaciones previas sobre esta estrategia.

¿Qué es el grupo de discusión?

Es la reunión de un grupo de personas durante un espacio de tiempo limitado. El grupo debatirá sobre un tema planteado por el moderador.

¿Cuándo se utiliza el grupo de discusión?

El grupo de discusión se utiliza cuando queremos contrastar la opinión de un grupo de personas en relación a un tema.

¿Qué ventajas tiene la realización del grupo de discusión?

Se trata de establecer y facilitar una discusión y no de entrevistar al grupo.

Se puede decir que el grupo es un gran provocador, es un estímulo para descubrir, analizar y describir sus propias ideas, actitudes, experiencias. Bombardeados y provocados por la discusión del grupo, las ideas ganan en profundidad, riqueza, etc.

¿Qué desventajas tiene la aplicación del grupo de discusión?

Que los participantes se coarten y no expresen con libertad su opinión.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 105

GUIÓN DEL GRUPO DE DISCUSIÓN

Decidir el número de sujetos que compondrán el grupo: entre 6 y 12 participantes, para no dificultar la intervención de cada uno y no impedir un cierto control del moderador por exceso de componentes, y para evitar igualmente la inhibición y un diálogo suficientemente activo por falta de participantes.

Seleccionar a sujetos concretos, contactar con ellos y conseguir su participación en la reunión de grupo. Como estrategia que es habitualmente necesaria, convocar en torno al 20% más de participantes en previsión de posibles ausencias.

Fijar la duración y el lugar de la reunión: una hora y media y dos horas suele ser lo necesario. Tanto la hora de comienzo como la de terminación han de ser conocidas previamente. El lugar donde se hagan las reuniones debe facilitar el debate: poco ruidoso, sillas cómodas, que todos puedan verse, que no influya/condicione el tema sobre el que se discute.

Definir el papel que desempeñará el moderador durante la discusión de grupo: es el responsable de crear un ambiente relajado. No interviene, se limita a plantear el tema, provoca el deseo de debatirlo, deshace bloqueos, controla que se mantenga el debate dentro del tema. Puede formular cuestiones abiertas que guíen el diálogo, impide que alguien monopolice la conversación, facilita la participación de los más tímidos, etc.

Establecer los medios que garanticen el registro de los discursos producidos: bien grabándolos (menos intrusiva la grabación en audio que en vídeo), bien tomando notas durante la reunión, o con la ayuda de algún observador.

Analizar los discursos.

Elaborar informes que contengan las conclusiones a las que llegamos en relación a la valoración de los planes de formación: utilizando fragmentos y citas textuales y contextualizándolas e interpretando su significado.

Validar los informes con los participantes del grupo, puesto que son ellos al final quienes establecen que la interpretación ahí formulada sobre sus valoraciones sobre el tema es la que ellos querían expresar.

4.4. Escalas De Observación.

Parece oportuno desarrollar algunas orientaciones previas sobre la utilización y aplicación de esta estrategia.

Información previa sobre la observación:

¿Qué es la observación?

Esta técnica de recogida de información va dirigida a recoger la información que de manera no consciente expresan los participantes.

La observación no es sólo “mirar” qué ocurre a nuestro alrededor, sino observar sabiendo qué se quiere observar, cuál es la información relevante y cuál es la que no se ha de seleccionar, qué tipo de registro se va a utilizar, etc.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 106 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

¿Cuándo se utiliza la observación?

Durante la acción formativa. Servirá para desvelar la coincidencia o contradicciones entre teoría y práctica, sí como entre opinión y acción, contrastando las intenciones y orientaciones expresadas con las necesidades ocultas que subyacen a la práctica cotidiana, la mayoría de las veces no expresadas.

¿Qué ventajas tiene la realización la observación?

Permite conocer las necesidades ocultas.

Permite obtener información, independientemente de que exista o no colaboración por parte de los participantes al curso.

¿Qué desventajas tiene la aplicación de la observación?

Es inevitable la subjetividad del observador.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 107

GUIÓN DE LA OBSERVACIÓN

Es tarea del observador o del grupo de trabajo seleccionar aquellos núcleos más relevantes para su observación adecuándolos a sus circunstancias concretas y reales.

Se deben aplicar las escalas en distintos momentos de la vida de un grupo, señalando con una cruz cuál de esas características y en qué grado se perciben en el grupo. Se puede usar la misma plantilla en los distintos momentos, pero utilizando lápices de distintos colores.

Algunos indicadores de observación:

SENTIMIENTOS EXPRESADOS POR EL GRUPO

Síntomas Evidencias

claras Algunas muestras

No se perciben

Entusiasmo

Ansiedad

Desconfianza

Tensión

Participación

Pérdida de tiempo

Crecimiento de la satisfacción

Confianza en los demás

Seguridad

Satisfacción

Competencia

Responsabilidad

Compromiso

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 108 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

COMPORTAMIENTOS OBSERVADOS EN EL GRUPO

Síntomas

Evidencias claras

Algunas muestras

No se perciben

Relaciones impersonales y distantes

Mínima comunicación

Clima neutro

Actividades individuales

Impuntualidad y ausencia

Despreocupación por la tarea

Comunicación distorsionada

Todos quieren decidir todo

No llegan a acuerdos

Enfrentamientos

Clima negativo

Orientación a la tarea

Conexión expectativas-realidad

Armonía de actitudes

Buen nivel de comunicación

Desarrollo de la autoestima

Trabajo en equipo

Alto nivel de interrelaciones

Decisiones compartidas

Utilización de la creatividad

Clima sano y positivo

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 109

TIPOS DE APRENDIZAJE DEL GRUPO

Síntomas

Evidencias claras

Algunas muestras

No se perciben

GENERAL Y MUY FORMALIZADO

Rutinario, tomar apuntes

Pasividad y posición receptora

Mensajes homogéneos

Desinterés por aprender

No trasferible a otras situaciones

Resistencia a las novedades

Estructurado por la materia (teórico)

Centrado en la tarea (práctico)

Positivo y aceptado por todos

Interactividad

Se aprende a aprender

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 110 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

4.5. Ronda De Evaluación

Información previa sobre la ronda de evaluación:

¿Qué es la ronda de evaluación?

Es una dinámica que consiste recabar información relevante que repercuta en la mejora, a posteriori, de la formación.

¿Cuándo se utiliza la ronda de evaluación?

Se realiza al final de la acción formativa y permite conocer en qué medida las expectativas, las motivaciones y las necesidades de los asistentes, han sido cubiertas o pueden cubrirse en futuras situaciones.

¿Qué ventajas tiene la realización la observación?

Permite saber qué es lo que ha tenido éxito de la formación y qué ha fallado y si se tiene que modificar y mejorar.

Permite obtener información para mejorar futuros planes de formación.

¿Qué desventajas tiene la aplicación de la observación?

Que los participantes se coarten y no expresen con libertad su opinión.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 111

GUIÓN PARA LA RONDA DE EVALUACIÓN

La Ronda de Evaluación suele hacerse de forma oral, aunque también puede hacerse por escrito. Se trata de preguntar a cada asistente qué le ha parecido el curso.

De forma oral:

Tiene el inconveniente de que, al tener que hacerse abiertamente, los participantes pueden no “atreverse” a manifestar sus críticas. Para evitar esto, se debe explicar la finalidad de la evaluación, no como forma de control, sino como un instrumento de mejora de los cursos.

Es interesante y didáctico para llevar a cabo la Ronda de Evaluación apuntar los puntos principales sobre los que se quiere que versen las intervenciones de los participantes en un lugar visible por todos, como por ejemplo, en una pizarra.

Una vez que los participantes vayan contestando a las preguntas, se debe ir anotando en la Ficha Registro los aspectos más significativos que aporte cada uno, ya que es importante que toda la información generada en la Ronda de Evaluación quede recogida.

La ficha de registro contiene los indicadores de evaluación (valoración general del curso, objetivos, contenidos, metodología, recursos, horario/duración, monitores, comunicación, participación, conflictos, conocimientos adquiridos en el curso, relación entre lo aprendido y lo que se quería haber aprendido, temas de interés para futuras sesiones,...).

De forma escrita:

Pasando una ficha de evaluación a los participantes: tiene la ventaja de no sentirse intimidados a la hora de manifestarse (su respuesta es anónima).

Es preciso, a la hora de pedir la colaboración de los participantes en la cumplimentación de la ficha de registro, garantizar a éstos la confidencialidad y el anonimato.

No hay que olvidar que, después de haber generado un clima de confianza, participación y compromiso a lo largo del curso, sería contradictorio no hacer a los destinatarios copartícipes de los resultados de la evaluación. Es por esto, que se debe garantizar su derecho a conocer los resultados del proceso como agentes del mismo.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 112 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

GUIÓN DE LA FICHA DE REGISTRO PARA LA RONDA DE EVALUACIÓN

El presente guión recoge algunas sugerencias que te pueden ayudar a realizar la “ronda de evaluación” del curso. La ronda de evaluación se realizará al finalizar el curso y en ella se podrá preguntar a cada asistente lo siguiente:

Valoración general del curso

¿CUÁLES? ¿POR QUÉ?

ASPECTOS POSITIVOS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

ASPECTOS NEGATIVOS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

UTILIDAD

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

¿Qué se puede mejorar del curso para una futura oferta formativa?

¿CUÁLES? ¿POR QUÉ?

OBJETIVOS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

CONTENIDOS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

METODOLOGÍA

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

RECURSOS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

HORARIO/DURACIÓN

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

MONITORES/AS

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

........................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 113

¿Qué se puede mejorar del curso para una futura oferta formativa?

¿CUÁLES? ¿POR QUÉ?

CONOCIMIENTOS ADQUIRIDOS EN EL CURSO

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

RELACIÓN APRENDIDO/NO APRENDIDO

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

OTROS

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

¿Sobre qué temas de los vistos en el curso te gustaría profundizar?

TEMAS

OTRAS OFERTAS FORMATIVAS

OTROS ASPECTOS RELEVANTES

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

......................................................

4.6. Análisis De Aprendizaje

Aunque puede tomarse este análisis como una evaluación del aprendizaje de los participantes, no debe ser éste el fin esencial de la actividad. Con la realización de pruebas, lo que debe buscarse es el análisis de la eficacia de la actividad en cuanto a transferencia de conocimientos (saber), capacidades (saber hacer) y valores (saber ser). Mientras que en la Ronda de Evaluación se valoran los aspectos de interrelación personal (expectativas, necesidades, etc.) y de dinámica general, y en el cuestionario escrito el valor percibido del curso, en las pruebas para el análisis del aprendizaje se trata de obtener información objetiva y expresada (no percibida) a través de actividades que identifiquen lo aprendido.

La evaluación del aprendizaje es compleja y debe ser realizada con especial prudencia, con el asesoramiento de expertos. Hay que tener siempre presente tres pasos básicos: respetar las reglas de la

GUIÓN PARA EL ANÁLISIS DEL APRENDIZAJE

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 114 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

evaluación del aprendizaje, crear los instrumentos adecuados para recoger información y corregir e interpretar

los resultados con rigor técnico.

RESPETAR LAS REGLAS DE EVALUACIÓN

1.Establecer un sistema coherente de evaluación

La objetividad es un concepto tan relativo como imposible de alcanzar. Sin embargo, el evaluador tiene que hacer todo lo que esté en sus manos para que el sistema de evaluación que ponga en marcha sea lo más objetivo posible y además lo parezca así a los interesados.

El sistema de evaluación no puede ser decidido unilateralmente por el participante. Es necesario que tenga en cuenta también la posición de la organización, expresada en el programa, y las necesidades de los participantes. Si no hay coherencia entre el sistema y las demandas del conjunto de los grupos, los resultados de la evaluación no serán aceptados y pueden provocar desagradables conflictos. La coherencia debe establecerse también coordinando el proceso de formación y de evaluación.

En estrecha relación con este acuerdo obligado está el hecho de que las reglas de juego para la evaluación deben haber sido expuestas a los participantes con total claridad. No es aceptable, por ejemplo, que los participantes entren en el programa sin saber que se va a realizar una evaluación, el tipo de pruebas que se van usar y cómo se van a valorar.

Una regla obligada de evaluación es que las pruebas deben estar redactadas al comenzar el curso, de acuerdo con el programa, de manera que no se acuda después al fácil truco de poner las pruebas que le convienen al participante para ajustar los desajustes del curso. Los detalles pueden modificarse en cualquier momento, no la estructura y objetivos de la prueba.

Cualquier actividad de formación tiene un diseño expresado en un programa. Los asistentes deben conocer tanto como sea posible lo que se medirá para ajustar su aprendizaje. El documento general que se entrega al comenzar el curso con tres o cuatro objetivos y un listado de contenidos no es más que un punto de referencia, que debe ser ampliado poco a poco, durante las sesiones de clase.

2. Evaluar a todos los participantes antes y después del curso

En este tipo de evaluación es necesario obtener los datos de todos los participantes antes y después del curso, ya que esto ayudará a acciones formativas posteriores. Si no se hace así, se cae en el peligro de valorar como un logro del curso lo que no es más que formación previa de los asistentes. La ronda de presentación previa debe permitir evitar repetir en el curso contenidos no necesarios, que suponen una perdida de tiempo a los participantes.

La comparación antes/después no siempre es posible de una forma pura pero al menos es necesario pasar una prueba que identifique la posición de los asistentes al comenzar el curso. Servirá para el ajuste general del curso pero, sobre todo, permitirá valorar el aprendizaje logrado como diferencia entre un momento y otro.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 115

3. Sacar conclusiones de las evaluaciones

Los resultados muestran cómo se ha desarrollado la formación y los efectos que ha tenido. No olvide el antiguo proverbio de que "si el aprendiz no ha aprendido, el maestro no ha enseñado". Algunos no profesionales que trabajan en formación circunstancialmente dicen que su función es "enseñar" y que el "aprender” es cosa del participante. Esta errónea creencia la reflejan en sus programaciones que incluyen "sus" objetivos, no los del participante. La consecuencia suele ser inevitablemente una forma característica de actuar y un aprendizaje de los estudiantes por azar, no programado.

Si los resultados no son satisfactorios es bueno revisar lo que se ha hecho, descubrir por qué se ha fallado y cómo se debería actuar. A veces, es falta de preparación del participante, de capacidad de comunicación, de programas amplios superficialmente tratados, de medios adecuados o de organización.

CREAR INSTRUMENTOS ADECUADOS

1. Mantener claros los principios de la evaluación

Un instrumento se elabora y aplica para recoger información y comprobar en qué medida se ha cumplido el compromiso de formación y aprendizaje que se establece entre el participante y los participantes cuando se inicia un curso.

La prueba que el participante debe realizar no puede ser, por tanto, una trampa que el agente prepara para hacer caer al incauto. La prueba debe responder a los objetivos establecidos inicialmente y a la enseñanza desarrollada durante el curso. No sólo debe responder a los conocimientos, destrezas y actitudes establecidos, también responderá al desarrollo del aprendizaje.

La evaluación pretende medir el grado en que se han alcanzado los objetivos y, por tanto, tiene que permitir

definir el nivel alcanzado por el participante en los distintos aspectos del programa para poder entrar en nuevos

aprendizajes o para aplicar los alcanzados a la vida laboral.

2. Incluir todo lo que se debe evaluar en la proporción adecuada

Una prueba de evaluación no es un ejercicio caprichoso en el que por suerte o por casualidad se incluye una u otra cuestión. Debe ser un trabajo meticuloso que represente el contenido completo del programa.

El aprendizaje en la vida laboral requiere memorización y comprensión, pero sólo tiene valor si se lleva a la práctica para solucionar problemas. Por ello, los niveles de aplicación y de análisis son los básicos.

3. Poner atención a la redacción y la presentación de las cuestiones

La redacción y la presentación de las preguntas no es algo intrascendente. La norma más importante es la claridad y precisión en la formulación de las preguntas.

4. Elegir el tipo de prueba

El evaluador tiene tres alternativas al elaborar una prueba para valorar el aprendizaje:

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 116 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

• Pruebas que requieren respuestas muy breves: una palabra, un número, una marca.

• Pruebas que requieren una respuesta corta: no más de siete líneas, un gráfico, una conclusión.

• Pruebas que permiten una extensión amplia o ilimitada.

Las pruebas de respuesta muy breve suelen denominarse pruebas objetivas, no porque midan los conocimientos con objetividad, algo que depende de muchas variables, sino por la objetividad de su sistema de corrección.

CORRIJA E INTERPRETE LAS PRUEBAS

1. Corrección de las pruebas

En las pruebas de respuesta muy breve la principal preocupación es eliminar la influencia del azar.

2. Interprete las puntuaciones

Una vez corregida la prueba, el paso siguiente es como interpretarla, es decir, traducirla a un sistema que tenga sentido y significado común para todos.

4.7. Cuestionario De Evaluación Final.

Parece oportuno facilitar algunas orientaciones para la utilización y aplicación de esta estrategia e instrumento.

Información previa sobre el cuestionario de evaluación final.

¿Qué es un cuestionario de evaluación final?

El cuestionario es un conjunto, más o menos amplio, de preguntas escritas sobre las que queremos recoger información sobre la valoración global de la formación para mejorarla.

¿Cuándo se utiliza el cuestionario de evaluación final?

Se utiliza al finalizar el curso.

Se utiliza cuando queremos conocer la opinión de un grupo numeroso de asistentes a los cursos.

¿Qué ventajas tiene aplicar el cuestionario de evaluación final?

Es económico y rentable, de fácil utilización y codificación (registro y análisis).

La garantía del anonimato facilita la libertad y sinceridad en las respuestas.

Permite la obtención de gran volumen de información sobre qué aspectos han ido bien y se pueden mejorar, y cuáles deben ser modificados para que se vaya perfeccionando el curso o seminario para futuras acciones.

Permite conocer qué nuevas necesidades se les han planteado.

¿Qué desventajas tiene aplicar el cuestionario de evaluación final?

El cuestionario sólo nos permite conocer la opinión de aquellas preguntas que aparecen, y no sobre otras cuestiones que para el participante pueden ser importantes.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 117

CUESTIONARIO DE EVALUACIÓN FINAL DE LA UNIDAD DIDÁCTICA

La finalidad de este cuestionario es conocer tu opinión sobre el desarrollo y evolución de la Unidad Didáctica, para poder averiguar qué aspectos se pueden mejorar de la misma.

Te vas a encontrar con dos tipos de preguntas: unas en las que sólo tendrás que señalar la opción elegida (✘ ) y otras en las que podrás expresar tu opinión de forma abierta (✎ ) Te rogamos la máxima concreción.

Importante: la información recogida con este cuestionario es absolutamente confidencial, sólo se utilizará para tratar de mejorar la formación.

1. VALORACIÓN GENERAL DE LA UNIDAD DIDÁCTICA

1.1. En general, la Unidad Didáctica te ha parecido: (X)

Muy buena � Buena � Regular � Mala �

1.2. En relación a los contenidos y actividades de la Unidad Didáctica, crees que tus conocimientos y experiencia:(✘ )

Son de mayor nivel � Son del mismo nivel � Son de inferior nivel �

2. VALORACIÓN DE LOS CONTENIDOS DE LA UNIDAD DIDÁCTICA

2.1. La Selección de los contenidos ha sido: (X)

Muy Adecuada � Bastante Adecuada � Poco Adecuada � Nada Adecuada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

2.2. La Profundidad con que se han abordado los contenidos ha sido: (X)

Muy Adecuada � Bastante Adecuada � Poco Adecuada � Nada Adecuada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

2.3. La Facilidad de Comprensión de los contenidos ha sido: (X)

Muy Adecuada � Bastante Adecuada � Poco Adecuada � Nada Adecuada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 118 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

2.4. Los contenidos en cuanto a su utilidad en tu actividad formativa han sido: (X)

Muy Adecuados � Bastante Adecuados � Poco Adecuados � Nada Adecuados �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

3. VALORACIÓN DE LA LABOR DEL FORMADOR/ES.

3.1. Han contribuido a tu comprensión de los contenidos (X)

Mucho � Bastante � Poco � Nada �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

3.2. Han mostrado preocupación por tu aprendizaje (X)

Mucho � Bastante � Poco � Nada �❑

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

3.3. Han demostrado un buen y actualizado conocimiento de la materia (X)

Mucho � Bastante � Poco � Nada �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

3.4. Han facilitado la participación (X)

Mucho � Bastante � Poco � Nada �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 119

3.5. Han adaptado los contenidos al contexto de tu labor cotidiana (X)

Mucho � Bastante � Poco � Nada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

3.6. Han mostrado coherencia en la exposición respecto al material aportado (X)

Mucho � Bastante � Poco � Nada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

4. VALORACIÓN DEL MATERIAL

4.1 La Calidad del material ha sido (X)

Muy buena � Buena � Mala � Muy mala �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

4.2. La Presentación del material ha sido (X)

Muy Adecuada � Bastante Adecuada � Poco Adecuada � Nada Adecuada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

4.3. La Claridad del lenguaje ha sido (X)

Mucha � Bastante � Poca � Nada �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 120 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

4.4. Actualización del material ha sido (X)

Mucha � Bastante � Poca � Nada �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

4.5. La Aplicación del material a tu actividad formativa es (X)

Mucha � Bastante � Poca � Nada �

¿Por qué? .................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

5. VALORACIÓN DE LOS RECURSOS UTILIZADOS

5.1. ¿Se han utilizado recursos? (X)

SI � NO �

5.2. En caso de que hayas contestado afirmativamente, valora los recursos utilizados:

Transparencias: X)

Muy buena � Buena � Regular � Mala �

Vídeo: (X)

Muy bueno � Bueno � Regular � Malo �

Soporte informático: (X)

Muy bueno � Bueno � Regular � Malo �

Material de consulta: (X)

Muy bueno � Bueno � Regular � Malo �

Otros: .................................................................................................................................................................... (X)

Muy bueno � Bueno � Regular � Malo �

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 121

6. VALORACIÓN DE DIFERENTES ASPECTOS DE LA UNIDAD DIDÁCTICA

6.1 Duración de la Unidad Didáctica. (X)

Excesiva � Suficiente � Escasa � Insuficiente �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

6.2. La Relación entre los componentes del grupo te ha parecido: (X)

Excelente � Buena � Regular � Mala �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

6.3. Los Ejercicios prácticos desarrollados te han parecido: (X)

Muy Adecuados � Bastante Adecuados � Poco Adecuados � Nada Adecuados �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

6. 4. Los Debates surgidos te han parecido: (X)

Muy Adecuados ❑ Bastante Adecuados ❑ Poco Adecuados ❑ Nada Adecuados ❑

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

6.5. Los Trabajos en Grupo propuestos te han parecido: (X)

Muy Adecuados � Bastante Adecuados � Poco Adecuados � Nada Adecuados �

¿Por qué? ................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 122 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

7. OTRAS CUESTIONES QUE QUIERAS COMENTAR SOBRE EL DESARROLLO DE LA UNIDAD DIDÁCTICA

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

GRACIAS POR TU COLABORACIÓN

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 123

IV. EVALUACIÓN DE LA TRANSFERENCIA DE APRENDIZAJES E IMPACTO DE LA FORMACIÓN.

La evaluación de impacto es el tipo de evaluación, como hemos visto en apartados anteriores, que se suele realizar en una fase posterior al desarrollo de la actividad formativa, en la fase de evaluación diferida o impacto, y que tiene como objetivo conocer el nivel de conocimientos, aptitudes o técnicas en transcurso de las diversas acciones de formación y en qué aspectos se ha transferido y ha tenido repercusiones el aprendizaje adquirido los alumnos en los cursos en diferentes niveles o ámbitos (ámbitos o niveles: sociolaboral y cultural; grupal u organizacional - puesto de trabajo y desarrollo organizativo en la empresa u organización -; y socio- familiar y personal).

Este tipo de evaluación, que se suele realizar a posteriori, aunque puede realizarse durante el proceso de formación también, es la clave en los próximos años de la evaluación de la formación y, sobre todo, de la formación para el empleo y para el trabajo.

1. EL CONCEPTO DE LA EVALUACIÓN DE TIPO IMPACTO: NIVELES Y ÁMBITOS.

Recogiendo diferentes trabajos en los que se ha tratado este tema, que suelen ser muy pocos y sólo casi exclusivamente en el mundo del trabajo, de autores como Silverman (1987), Le Boterf (1991; 1993), Rossi y Freeman (1993), Beltri (1994), Instituto para la Formación Continua de la Comunidad de Madrid (1995), Gan (1995), entre los más significativos, podríamos caracterizar esta fase de la evaluación como el tipo evaluación que se realiza teniendo como finalidad saber el alcance de la formación respecto a diferentes aspectos y que podríamos clasificarlos por los siguientes ámbitos o niveles:

A)? Individual y personal (entorno inmediato socio-competencial): En este nivel hay que evaluar diferentes aspectos, como indicadores y criterios de evaluación, el aprendizaje que ha realizado el participante en su actividad formativa y sus repercusiones en la mejora del desempeño del puesto de trabajo, su apertura de actitudes ante el cambio, su propia promoción socio-laboral y económica dentro de la empresa u organización, su promoción a otros puestos de trabajo de mayor complejidad o nivel, dentro y fuera de la misma empresa u organización laboral. En este nivel, el criterio de evaluación sería en qué medida ha

mejorado su formación de base para abordar una mayor polivalencia dentro de su especialización o nivel de

especialización dentro de un determinado perfil de los participantes en la actividad formativa.

También es importante en qué medida han mejorado sus relaciones con su entorno inmediato (calidad de vida) familia, grupo social, respecto a la cultura y el ocio, etc.

B) Grupal y organizacional (entorno intermedio sociolaboral): En este nivel o ámbito hay que evaluar diferentes aspectos, como indicadores y criterios de evaluación, del participante en la actividad formativa y de los conocimientos adquiridos, no sólo en la mejora del rendimiento del desempeño de sus funciones en el puesto de trabajo, sino de su participación en equipos de trabajo dentro de la empresa u organización, su participación en la creación de un buen clima y cultura interna, su colaboración y aportaciones en la innovación y el cambio y en la rentabilidad y competitividad de esos equipos en los que forma parte. Los indicadores y criterios de evaluación en este nivel o ámbito serían su capacidad de integración en los equipos

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 124 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

y su capacidad para colaborar y participar en los cambios e innovaciones (como líder, como miembro y simplemente como facilitador del mismo).

También en este ámbito hay que tener en cuenta en la evaluación de impacto, no sólo los bienes intangibles, sino, sobre todo, los bienes tangibles, como son el coste y rentabilidad de la formación y sus repercusiones en los beneficios (menos horas de trabajo, menos piezas o material desechado, menos tiempo por competencia o función de desempeño, etc.), que a veces puede ser por sí mismo, pero otras veces puede ser por comparación con otras personas que no han participado en la formación.

C) Ocupacional y profesional (entorno macro socioeconómico): En este nivel o ámbito hay evaluar diferentes aspectos, como indicadores y criterios, que debe haber adquirido el participante en las actividades formativas y sus repercusiones en la actividad sociolaboral, que en este ámbito serían ya de carácter más tangibles (es decir medibles) que intangibles (valoración) y más de carácter directo que indirecto, como lo ha sido en el ámbito intermedio sociolaboral).

Entre estos aspectos de repercusión de la formación, hay que señalar la mejora de los perfiles ocupacionales y su nivel de respuesta y adaptación a los cambios e innovaciones tecnológicas y las formas de organización laboral de una organización o empresa, la incidencia en facilitar el nivel de reconversión del sector, mejorar la formación básica para facilitar la aceptación de nuevas tecnologías y cambios organizativos en el sector y, por último, la mejora de los costes y rentabilidad de los puestos de trabajo, en la línea de los que hemos desarrollado en el ámbito anterior, pero a nivel macro de una organización o empresa. Los criterios e indicadores de evaluación de este ámbito serían la adaptación de una organización o empresa a los nuevos escenarios tecnológicos y organizativos y sus repercusiones inmediatas en términos de competitividad y rentabilidad económica dentro del sector productivo.

También hay que tener en cuenta, entre otros, en este ámbito, las repercusiones indirectas de la formación, como es la mejora de calidad de los procesos y de los productos, del nivel de relaciones entre los miembros de esta organización y empresa y sus repercusiones en las expectativas y motivaciones, en el clima y en la capacidad de respuesta de la empresa en diferentes escenarios y su evolución.

Todos estos aspectos, siguiendo la filosofía del planteamiento helicoidal de la evaluación que se ha desarrollado en esta Unidad Didáctica como proceso de investigación evaluativa que debe facilitar la reelaboración y replanteamiento de todo el proceso de intervención del formador y su actividad, como son la definición de las competencias y el puesto de trabajo, las necesidades específicas personales y del entorno sociolaboral y tecnológico se deben convertir en los objetivos generales y específicos del siguiente proceso de una actividad formativa y no sólo como contraste de los resultados obtenidos, sino como diagnóstico de nuevas necesidades de formación, objetivos específicos y criterios de evaluación, para hacer el seguimiento durante el proceso y al final del alumnado, actividad formativa o de un programa.

A continuación, desarrollamos algunos aspectos que hemos tocado anteriormente como síntesis e introducción al apartado de la evaluación de impacto.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 125

¿Qué es?

¿Para qué sirve?

¿Quién la realiza?

¿Qué evaluamos?

¿Qué métodos, instrumentos y técnicas utilizamos?

D) FASE DIFERIDA Y EVALUACIÓN DE TRANSFERENCIA O IMPACTO

Es una evaluación retardada en el tiempo que se caracteriza por realizarsetranscurridos unos meses tras la finalización del curso.

Va a permitirnos evaluar la aplicación de los aprendizajes aprendidos y sutransferencia e impacto de la misma en tres ámbitos o niveles (personal o competencial, sociolaboral u organizacional y socioeconómico).

La realiza el formador y los agentes sociales, para saber la utilidad real de losaprendizajes adquiridos durante la formación en los tres ámbitos de la vida de lostrabajadores.

Los aspectos que debemos evaluar son los ámbitos o niveles: Aplicación de los conocimientos adquiridos al puesto de trabajo de los participantes en grupoy en el entorno de la organización o empresa (socioeconómico). Aplicación al desarrollo y trabajo en su grupo o equipo laboral u organización (sociolaboral u organizacional). Desarrollo de diferentes dimensiones de la formación de base como persona e individuo(socio-competencial): Conocimientos, habilidades y destrezas y, sobre todo, actitudes yvalores (autoestima, desarrollo de capacidades relacionales, de procesamiento de información y toma de decisiones, transferencia a solución de problemas, etc.).

En esta evaluación del impacto recurrimos, sobre todo, a diferentes instrumentos y técnicas señaladas en fases anteriores: Cuestionarios y escalas de observación. Entrevistas y grupos de discusión. a los participantes y a los diferentes agentes intervinientes en los procesos de formación,etc.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 126 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

2. FASES DE DESARROLLO Y ESTRUCTURA Y APLICACIÓN DE LA GUÍA: INSTRUMENTOS (ORIENTACIONES PARA SU UTILIZACIÓN POR PARTE DEL FORMADOR).

Como ya hemos señalado, hay dos tipos de concepciones o tendencias:

a) Los que se decantan por una evaluación cuantitativa utilizan técnicas como son las pruebas objetivas, los test estandarizados y de diagnóstico, cuestionarios, pruebas de rendimiento, observación premeditada, análisis de tareas y escalas de autoevaluación, listas de control y la técnica de Delphi, entre otras. Se eligen estos instrumentos y estas técnica, porque su objetivo es, fundamentalmente, el de medir y controlar un proceso a través de los resultados, por eso se buscan instrumentos que ayuden a cuantificar las veces que ese hecho se ha producido y en qué nivel.

b) Para los que se deciden por la evaluación cualitativa, más que instrumentos, lo que utilizan son técnicas, puesto que su objetivo es la interpretación de los procesos y hechos, y para ello necesitan técnicas que engloben varios instrumentos. Estas técnicas son abiertas y flexibles, es decir, no son planes cerrados, sino que según se van desarrollando el proceso de evaluación, el contexto y la información que se va recogiendo, van demandando nuevas técnicas y la utilización de nuevos instrumentos, que no estaban previstos, pero que a la luz de la nueva situación son necesarios. También se utilizan técnicas como la observación y percepción, la entrevista, el estudio de casos, el registro de campo, el focus group, el role-playing, técnicas de incidente crítico, la ronda de evaluación, el análisis de tareas y los análisis de resultados, entre otros.

Y como consecuencia de la integración y complementariedad de ambas posiciones, métodos e instrumentos tendríamos el enfoque mixto, que utilizarán una combinación de técnicas e instrumentos de ambos métodos (cuantitativo y cualitativo), la triangulación de métodos. Como técnicas e instrumentos propicios de este enfoque se pueden citar: el sociograma, las escalas de observación y las escalas de autoevaluación, entre otros.

Seguidamente, se explican algunas de las técnicas e instrumentos citados anteriormente y que no hayan sido explicadas en apartados anteriores:

Triangulación de métodos: Se entiende como la utilización de un mismo proceso de métodos y técnicas de carácter cuantitativo y cualitativo. El proceso de triangulación cumple las siguientes funciones:

• Permite el contraste de los datos e informaciones.

• Es un método de recogida de datos. Cuando se enfrentan opiniones y se comparan los datos, siempre surgen nuevas informaciones que habían quedado ocultas.

• Es un método de debate, reflexión colectivo y autorreflexión que implica a los participantes en los procesos de análisis y crítica facilitando, posibilitando y comprometiéndose en el cambio y mejora.

• Permite la atención a objetos múltiples.

• Contrasta resultados posiblemente divergentes, obligando a nuevos replanteamientos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 127

La técnica de Delphi: Está compuesta por un juego de cuestionarios que se aplican secuencialmente y que requieren un especial cuidado en su diseño. Estos cuestionarios adoptan la forma de diálogo estructurado entre varias personas, por correo, y cuyas opiniones son muy valiosas para conseguir una visión lo más amplia e integrada sobre el objeto a tratar. Los cuestionarios deberán ser cada vez más cerrados.

Técnica del role-playing: Es una técnica de trabajo en grupo y consiste en que cada miembro del grupo represente un papel o rol distinto al suyo propio.

Focus Group: Se trata de una técnica en la que se pretende la identificación de los comportamientos que se tienen normalmente en el trabajo y las destrezas necesarias para su desempeño.

Técnica del incidente crítico: Se trata de describir aquello que se hace en las situaciones críticas del trabajo.

Ronda de evaluación: Pretende detectar las necesidades no cubiertas en la realización de las actividades formativas, así como las posibles alternativas para la mejora de las mismas.

El análisis de tareas: Pretende descomponer las tareas que constituyen una función hasta llegar a las tareas más simples.

Análisis documental: Está basado en la utilización de documentos escritos como fuente de datos e información, seleccionando debidamente el material conforme al objetivo a evaluar.

Listas de control: Consiste en un registro de las conductas ocurridas en cada sesión. Requiere una plantilla para el registro de los datos y la definición previa de los rasgos a evaluar. De tal manera, que se anotará en la plantilla de registro la aparición o no de ese rasgo (casilla 'sí' o casilla 'no').

Sociograma: Instrumento para el registro de los datos perteneciente a la técnica sociométrica que permite obtener información acerca de la estructura interna de los grupos.

Una vez recogidos los datos producto de la evaluación, a través de diferentes técnicas o instrumentos, se plantea la pregunta de ¿cómo tratarlos? Este tratamiento dependerá, fundamentalmente, del instrumento utilizado para la obtención de los mismos. En forma esquemática se presentan las acciones de cómo tratar los datos dependiendo de los instrumentos utilizado para su adquisición:

Si los datos proceden de cuestionarios

• Tabularlos ayudados por las rejillas del cuestionario.

• Realizar la información de acuerdo con una plantilla previamente establecida.

Si los datos proceden de entrevistas o grupos de discusión

• Transcribir la información obtenida.

• Analizar cualitativamente esa información.

• Sintetizar y agrupar la información.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 128 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

• Presentación de los datos agrupados según rejilla establecida.

• Elaboración de conclusiones.

Si los datos proceden de observaciones

• Análisis cualitativo de los datos obtenidos de la observación.

• Presentación agrupada de los datos según rejilla".

• Elaboración de conclusiones.

Conclusiones a partir de la información obtenida

• Debatir con todos los implicados en la acción formativa los datos obtenidos con el fin de identificar los problemas.

• Establecer un plan de acción consensuado para mejorar resultados o reformular objetivos.

• Replantear ofertas formativas en función de las conclusiones obtenidas.

• Triangulación de fuentes, métodos e instrumentos.

• Aportación de información para la toma de decisiones por parte de los responsables de la formación de formadores de acción social.

3. EJEMPLOS PRÁCTICOS DE INSTRUMENTOS DE EVALUACIÓN DE IMPACTO: ORIENTACIONES PARA SU UTILIZACIÓN POR PARTE DEL FORMAD@R.

Como punto final de este apartado y de la Unidad 6, ha parecido oportuno, como en todos y cada uno de los apartados anteriores, desarrollar algunos ejemplo prácticos de instrumentos de evaluación de impacto, puesto que la explicación de los mismos se ha desarrollado ya en otros apartados y en otras Unidades. Se ha hecho una selección de los que podían ser los más utilizados.

3.1. Cuestionario de Evaluación del Impacto de la Formación.

A) Información previa sobre el cuestionario de evaluación del impacto de la formación:

¿Qué es un cuestionario de evaluación del impacto?

• El cuestionario es un conjunto, más o menos amplio, de preguntas escritas sobre las que queremos recoger información sobre la valoración global de la efectividad de la actividad de formación para ampliar la información sobre aspectos concretos de mejora de ésta.

¿Cuándo se utiliza el cuestionario de evaluación del impacto?

• Se utiliza a los seis-doce meses de terminada la actividad formativa.

• Se utiliza cuando queremos conocer la opinión de un grupo numeroso de asistentes a los cursos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 129

¿Qué ventajas tiene aplicar el cuestionario de evaluación del impacto?

• Es económico y rentable, de fácil utilización y codificación (registro y análisis).

• La garantía del anonimato facilita la libertad y sinceridad en las respuestas.

• Permite la obtención de gran volumen de información para que se vaya perfeccionando el curso o seminario para futuras acciones.

• Permite conocer qué nuevas necesidades se les han planteado.

¿Qué desventajas tiene aplicar el cuestionario de evaluación del impacto?

• El cuestionario sólo nos permite conocer la opinión de aquellas preguntas que aparecen, y no sobre otras cuestiones que para el participante pueden ser importantes.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 130 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

BLOQUE A. Valor de la formación recibida para tu trabajo

1. Las ideas y conceptos recibidos en la actividad formativa han sido para mi trabajo:

Muy importantes..� Importantes.. � Escasos y poco útiles.. � Inexistentes.. �

*¿Cuáles han sido los más valiosos para tu trabajo?(✍ )

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

2. Las competencias desarrolladas en la actividad formativa han sido:

Muy importantes.. � Importantes.. � Escasos y poco útiles.. � Inexistentes... �

*¿Cuáles han sido las que más has empleado en tu trabajo? (✍ )

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

BLOQUE B. Resultados de la formación para la empresa

3. Las competencias desarrolladas en la actividad formativa las he aplicado en el trabajo:

En su mayor parte.. � En parte.. � En casos aislados.. � Nunca.. �

La aplicación de las competencias indicadas se debe a (indique la más adecuada)

Son válidos para mi situación .................... .� No son válidos a mi situación.. ........................ �

A los responsables les gusta el cambio.. . . � A los responsables no les gusta el cambio. ..... �

He tenido tiempo y ocasión ....................... � No he tenido tiempo y ocasión. ........................ �

Lo intenté, pero no funcionó. ..................... � Otras razones. ................................................. �

CUESTIONARIO DE EVALUACIÓN DEL IMPACTO ESPECÍFICO DE UN CURSO (PARTICIPANTES)

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 131

4. He aplicado las nuevas competencias aprendidas a

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... Se ha conseguido cambiar.

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 5.- Al asistir a esa actividad formativa esperaba mejorar (y no lo he conseguido) algunos aspectos de mí trabajo como.

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... Porque

No estaban previstos en el programa ................................................� No los ofrecieron, aunque estaban en el programa ...........................� Se desarrollaron superficialmente ......................................................� No he tenido ocasión de aplicarlos ....................................................� Otras razones .....................................................................................� 6.- ¿Qué cambios o mejoras de la empresa se han apoyado en la formación recibida? Descríbelos y valóralos.

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 7.-¿En qué ha consistido la colaboración de la empresa en la formación recibida y en su aplicación?

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 8. - ¿Qué le ha faltado a la formación realizada?

...................................................................................................................................................................................

................................................................................................................................................................................... 9. -¿Qué propuestas haría para mejorar esa actividad formativa? (✍ )

...................................................................................................................................................................................

...................................................................................................................................................................................

GRACIAS POR TU COLABORACIÓN.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 132 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

4.1.2. ACTIVIDADES.

1. La evaluación, entendida como instrumento de mejora de la actividad formativa, y no como control de la consecución de objetivos, debe promover los siguientes niveles:

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 2. Elemento a tener en cuenta para que la Observación resulte eficaz (tacha o marca el que consideres que no es eficaz).

� Se debe observar indistintamente y en cualquier situación.

� Plantear qué aspectos conviene observar y cuándo debe realizarse la observación.

� Se debe intentar descubrir los puntos fuertes y débiles del observado.

� Una conducta aislada determina comportamientos generalizados.

� La atención debe centrarse en conocimientos y aptitudes y no en conductas.

� No se puede generalizar partiendo de acciones aisladas. La atención debe centrarse sobre normas de conducta.

� No se debe calificar una conducta sino describirla.

� A las motivaciones no se les debe tratar de comprender, sino analizarlas en su contexto.

� Hay que tratar de comprender e interpretar las motivaciones del observado.

3. Las condiciones que se requieren para celebrar una entrevista son:

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 4. En función del tipo de pregunta de que se compongan, los cuestionarios pueden ser:

...................................................................................................................................................................................

...................................................................................................................................................................................

................................................................................................................................................................................... 5. Además de las finalidades generales de la evaluación, existen otras muy concretas, ¿cuáles son?

...................................................................................................................................................................................

...................................................................................................................................................................................

...................................................................................................................................................................................

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 133

6. Fases del proceso evaluativo y sus elementos

LA FASE INICIAL O DIAGNÓSTICA

DEFINICIÓN ¿Qué es?

FINALIDAD

¿Para qué sirve?

¿Quién la realiza?

ELEMENTOS A

EVALUAR ¿Qué?

MÉTODOS,

TÉCNICAS E INSTRUMENTOS

¿Con qué?

LA FASE PROCESUAL O FORMATIVA

DEFINICIÓN ¿Qué es?

FINALIDAD

¿Para qué sirve?

¿Quién la realiza?

ELEMENTOS A

EVALUAR ¿Qué?

MÉTODOS,

TÉCNICAS E INSTRUMENTOS

¿Con qué?

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 134 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

LA FASE FINAL

DEFINICIÓN ¿Qué es?

FINALIDAD

¿Para qué sirve?

¿Quién la realiza?

ELEMENTOS A

EVALUAR ¿Qué?

MÉTODOS,

TÉCNICAS E INSTRUMENTOS

¿Con qué?

LA FASE DE IMPACTO

DEFINICIÓN ¿Qué es?

FINALIDAD

¿Para qué sirve?

¿Quién la realiza?

ELEMENTOS A

EVALUAR ¿Qué?

MÉTODOS,

TÉCNICAS E INSTRUMENTOS

¿Con qué?

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 135

7. Elementos de la evaluación de formadores de formación continua en acción social.

AUDIENCIA

¿A quién?

¿Para quién?

FINALIDAD

¿Por qué?

¿Para qué?

OBJETIVOS

¿Qué se evalúa?

METODOLOGÍA

¿Cómo?

TÉCNICAS E INSTRUMENTOS

¿Con qué?

TRATAMIENTO DE DATOS

CONCLUSIONES A PARTIR DE LA INFORMACIÓN

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 136 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

SOLUCIONES A LA AUTOEVALUACIÓN

1. La evaluación, entendida como instrumento de mejora de la actividad formativa, y no como control de la consecución de objetivos, debe promover los siguientes niveles:

Satisfacción de los participantes:

Aprendizaje efectivo por los participantes

Transferencia de los participantes

Retorno o rentabilidad de la inversión

Elemento a tener en cuenta para que la Observación resulte eficaz (tacha o marca el que consideres que no es eficaz).

[X] Se debe observar indistintamente y en cualquier situación.

[ ] Plantear qué aspectos conviene observar y cuándo debe realizarse la observación.

[ ] Se debe intentar descubrir los puntos fuertes y débiles del observado.

[X] Una conducta aislada determina comportamientos generalizados.

[X] La atención debe centrarse en conocimientos y aptitudes y no en conductas.

[ ] No se puede generalizar partiendo de acciones aisladas. La atención debe centrarse sobre normas de conducta.

[ ] No se debe calificar una conducta, sino describirla.

[ ] A las motivaciones no se les debe tratar de comprender, sino analizarlas en su contexto.

[X] Hay que tratar de comprender e interpretar las motivaciones del observado.

3. Las condiciones que se requieren para celebrar una entrevista son:

Actitud de confianza. Tono amistoso:

Interés real por los problemas o sentimientos del entrevistado

Valorar los aspectos positivos más que los negativos

4. En función del tipo de pregunta de que se compongan, los cuestionarios pueden ser:

Abiertos o libres.

Cerrados o estructurados.

5. Además de las finalidades generales de la evaluación, existen otras muy concretas, ¿cuáles son?

Conocer personalmente al participante.

Valorar los contenidos, procedimientos, ritmo de acción.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 137

Modificar los objetivos no conseguidos.

Abarcar también al experto, a la institución.

6. Fases del proceso evaluativo y sus elementos.

LA FASE INICIAL O DIAGNÓSTICA

DEFINICIÓN ¿Qué es?

La evaluación inicial o diagnóstica es aquella que se realiza al comienzo o previo inicio del proceso evaluativo. Es la fase en la que se debe realizar el diagnóstico de la situación, de ahí la relación entre la fase inicial y la evaluación de tipo diagnóstica, aunque el tipo de evaluación diagnóstica se puede utilizar en otras fases.

FINALIDAD ¿Para qué sirve?

El Experto en Formación Continua tendrá como objetivo adecuar la oferta formativa a las necesidades de los destinatarios de la formación y las demandas sociolaborales.

¿QUIÉN LA REALIZA?

Esta fase de la evaluación podrá ser desarrollada por el Experto en Formación, previamente a la impartición de los cursos, para realizar un diagnóstico previo de las demandas de formación existentes, para que la oferta formativa esté adaptada a éstas.

ELEMENTOS A EVALUAR

¿Qué?

En esta fase se deben analizar los diferentes aspectos que pueden incidir en los procesos de enseñanza-aprendizaje, se debe explorar, a través de diferentes métodos, técnicas e instrumentos, cuál es la situación de partida y el contexto en que se desarrolla.

MÉTODOS, TÉCNICAS E

INSTRUMENTOS ¿Con qué?

La valoración de necesidades. La observación. La entrevista. El test. La discusión grupal. Cuestionarios de respuesta abierta y cerradas.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 138 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

LA FASE PROCESUAL O FORMATIVA DEFINICIÓN

¿Qué es? La evaluación procesual o formativa es la valoración permanente de la actividad formativa a medida que ésta se va desarrollando. En relación con su naturaleza de seguimiento constante y personalizado, será punto de partida para la adopción de medidas de motivación, para la atención individualizada, para el establecimiento de actividades cooperativas, la modificación de estrategias didácticas con presentación de alternativas... No debe realizarse en aquellos procesos de formación de corta duración, siendo preferible en éstos realizar la evaluación diagnóstica, la final y la de impacto.

FINALIDAD ¿Para qué sirve?

El fin de la evaluación del proceso y, por tanto, su función dentro del desarrollo de evaluación, es la recogida de datos para el perfeccionamiento y reelaboración de las siguientes fases a desarrollar y otras experiencias que se hagan posteriormente. De ahí, que a este tipo de evaluación se llame formativa.

¿QUIÉN LA REALIZA?

El Experto en Formación Continua la realizará para la adecuación y desarrollo de las actividades formativas ofertadas, así como para valorar la actuación de los participantes en la formación.

ELEMENTOS A EVALUAR

¿Qué?

Se deberá realizar la coherencia de los distintos elementos que conforman el proceso educativo: Objetivos planteados, contenidos, metodología utilizada, técnicas e instrumentos aplicados y recursos y medios.

MÉTODOS, TÉCNICAS E

INSTRUMENTOS ¿Con qué?

. La Observación.

. La comparación, descripción, valoración y contraste de necesidades. . Las técnicas de análisis de tareas. . Los test. . Los cuestionarios abiertos y cerrados. . La revisión de trabajos, documentos e informes. . Las entrevistas.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 139

LA FASE FINAL DEFINICIÓN

¿Qué es? La evaluación final, de carácter sumativo, realizada al término de un largo período de aprendizaje, dará lugar a medidas relativas a la selección, a la promoción y a la certificación o, en su caso, a la repetición de un proceso de formación.

FINALIDAD ¿Para qué sirve?

Es la recogida sumativa de todos los datos producidos a lo largo de todo el proceso, con el fin de poder emitir juicios, con una fundamentación fiable y validada, que permita elaborar nuevas estrategias de impartición en los cursos, como diseños de innovación o investigación en la actividad con adultos o formadores de acción social y contrastarla con la eficiencia de los procesos y de los resultados.

¿QUIÉN LA REALIZA?

El Experto en Formación Continua de Organizaciones Sociales deberá recoger los resultados obtenidos y relacionarlos con el esfuerzo y los recursos que se han invertido en su consecución, para contrastarlos con las premisas de partida.

ELEMENTOS A EVALUAR

¿Qué?

El experto en formación podrá analizar la satisfacción de los participantes al finalizar la actividad, si solicitan más cursos, los resultados obtenidos, la rentabilidad, la posibilidad de adaptarlos a otras ramas o especialidades, su propia actividad, etc.

MÉTODOS, TÉCNICAS E

INSTRUMENTOS ¿Con qué?

. Los test.

. Los cuestionarios abiertos y cerrados.

. La revisión de trabajos, documentos e informes.

. Las entrevistas.

. Las pruebas objetivas.

. El análisis de tareas.

. Las escalas de observación.

. Los trabajos de campo.

. La observación de los procesos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 140 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

LA FASE DE IMPACTO DEFINICIÓN

¿Qué es? La evaluación del impacto o demorada es una evaluación retardada, que se caracteriza por realizarse transcurridos unos meses tras la finalización de la actividad formativa.

FINALIDAD ¿Para qué sirve?

Pretende evaluar la transferencia de la Formación Continua y el impacto de la misma. Busca ampliar la información y datos obtenidos por las tres fases anteriores, que se centran, sobre todo, en el proceso formativo en sí.

¿QUIÉN LA REALIZA?

El Experto en Formación Continua deberá conocer la aplicabilidad de la formación que oferta y la rentabilidad que de ésta se extrae, ya que de ello depende el éxito de las futuras ofertas.

ELEMENTOS A EVALUAR

¿Qué?

Se intenta conocer el nivel de transferencia de los conocimientos adquiridos y su utilidad práctica, así como otra serie de variables y repercusiones relacionadas con la formación: la autoestima, el cambio de actitudes, la rentabilidad real de la formación; además, repercusiones en los usuarios del servicio (formadores en organizaciones sociales, directores sindicales, etc.).

MÉTODOS, TÉCNICAS E

INSTRUMENTOS ¿Con qué?

. Las entrevistas.

. Las escalas de observación.

. Los cuestionarios abiertos y cerrados.

. etc.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 141

ELEMENTOS DE LA EVALUACIÓN DE FORMADORES DE FORMACIÓN CONTINUA EN ACCIÓN SOCIAL

AUDIENCIA ¿A quién?

¿Para quién?

Aunque tradicionalmente con este término se describe a qué grupo de personas se va a evaluar -¿A quién?-, sin embargo, aquí se quiere hacer referencia también al ¿Para quién?, entendiendo la evaluación como un proceso de participación y cooperación.

FINALIDAD ¿Por qué? ¿Para qué?

Se definiría como el por qué o para qué se evalúa, a través de los criterios o variables que se tienen en cuanta al evaluar. Esta finalidad se ha de definir en función de los intereses y expectativas de los diferentes agentes que intervienen el proceso formativo. A través de la evaluación, se demuestra si se han logrado los intereses y expectativas anteriormente planteados en proceso formativo, dado los objetivos previstos y las condiciones materiales y personales con que se ha trabajado.

OBJETIVOS ¿Qué se evalúa?

Es aquel aspecto del proceso formativo sobre el que se va a evaluar, recoger información y emitir un juicio. Es el que de respuesta al qué, -¿Qué es lo que voy a evaluar?-. El objeto de la evaluación variará en función de la fase de la evaluación en que nos encontremos, de los contenidos, del sujeto y del agente de la evaluación.

METODOLOGÍA ¿Cómo?

En la evaluación, como en casi todos los aspectos de la didáctica, los métodos y su utilización dependen de la concepción o finalidad del que las utilice. La utilización de diferentes métodos y modelos debería depender de las finalidades, pero no siempre hay esa coherencia, ni es tan fácil analizar una realidad sólo con la utilización de determinados métodos; la complejidad de la misma evaluación hace necesaria también la utilización de diferentes métodos y modelos. No obstante, se pueden agrupar los diferentes modelos en dos perspectivas diferentes, que se fundamentan en paradigmas, en principio, contrapuestos: El paradigma experimental (o normativo) y el cualitativo (o interpretativo).

TÉCNICAS E INSTRUMENTOS

¿Con qué?

Este apartado está muy vinculado con el anterior. Y en parte ya está explicado. Casi todos los autores definen este elemento con la pregunta: ¿Con qué voy a evaluar?, ¿cuáles son los medios que voy a utilizar para recoger los datos o la información que se necesita o que pueda ir apareciendo a lo largo del proceso? Paralelamente a los medios, como es lógico, han ido evolucionando los instrumentos y las técnicas de evaluación. Los que se decantan por una evaluación cuantitativa utilizan técnicas como son las pruebas objetivas, los test estandarizados y de diagnóstico, cuestionarios, pruebas de rendimiento, observación premeditada, análisis de tareas y escalas de autoevaluación, listas de control y la técnica de Delphi, entre otras. Se eligen estos instrumentos y estas técnicas, porque su objetivo es, fundamentalmente, el de medir y controlar un proceso a través de los resultados, por eso se buscan instrumentos que ayuden a cuantificar las veces que ese hecho se ha producido y en qué nivel. Para los que se deciden por la evaluación cualitativa, más que instrumentos lo que utilizan son técnicas, puesto que su objetivo es la interpretación de los procesos y hechos, y para ello, necesitan técnicas que engloben varios instrumentos. Estas técnicas son abiertas y flexibles, es decir, no son planes cerrados, sino que según se va desarrollando el proceso de evaluación, el contexto y la información que se va recogiendo, van demandando nuevas técnicas y la utilización de nuevos instrumentos, que no estaban previstos, pero que a la luz de la nueva situación son necesarios. También se utilizan técnicas como la observación y percepción, la entrevista, el estudio de casos, el registro de campo, el focus group, el role-playing, técnicas de incidente crítico, la ronda de evaluación, el análisis de tareas y los análisis de resultados, entre otros. Los que opten por un enfoque mixto utilizarán una combinación de técnicas e instrumentos de ambos métodos (cuantitativo y cualitativo), la triangulación de métodos. Como técnicas e instrumentos propicios de este enfoque se pueden citar: el sociograma, las escalas de observación y las escalas de autoevaluación, entre otros.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 142 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

TRATAMIENTO DE DATOS

Si los datos proceden de cuestionarios: - Tabularlos ayudados por las rejillas del cuestionario. - Realizar la información de acuerdo con una plantilla previamente establecida. Si los datos proceden de entrevistas o grupos de discusión: - Transcribir la información obtenida. - Analizar cualitativamente esa información. - Sintetizar y agrupar la información. - Presentación de los datos agrupados según rejilla. establecida. - Elaboración de conclusiones. Si los datos proceden de observaciones: - Análisis cualitativo de los datos obtenidos de la observación. - Presentación agrupada de los datos según rejilla. - Elaboración de conclusiones.

CONCLUSIONES A PARTIR DE LA INFORMACIÓN

- Debatir con todos los implicados en la acción formativa los datos obtenidos, con el fin de identificar los problemas.

- Establecer un plan de acción consensuado para mejorar resultados o reformular objetivos.

- Replantear ofertas formativas en función de las conclusiones obtenidas. - Triangulación de fuentes, métodos e instrumentos. - Aportación de información para la toma de decisiones por parte de los

responsables de la formación de formadores de acción social.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 143

ACTIVIDADES DE AUTOEVALUACIÓN.

A partir de los conocimientos que has recibido hasta el momento, procura responder a las siguientes cuestiones:

1. Plantea una Guía de evaluación de un curso contemplando todas las fases y en cada una de ellas los

elementos de evaluación. (ficha 1)

2. Desarrolla (elabora o adapta) uno de los instrumentos de evaluación e indica: la muestra, el objeto referente, la finalidad, el momento de aplicación, el lugar de realización y las pautas de aplicación. (ficha 2).

3. Aplica el instrumento de evaluación de la formación en el contexto donde desarrolles tu labor formativa. Recoge los datos y trata de obtener conclusiones para la mejora de dicha acción.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 144 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

FICHA 1.: GUÍA DE EVALUACIÓN

0 1 2 3 4 5 6 7 8

ELEMENTOS CUÁNDO

¿QUIÉN

REALIZA LA EVALÚACIÓN?

¿PARA QUIÉN? Y

¿ QUIÉN PARTICIPA?

(Destinatarios: fuente de

información)

¿QUÉ SE EVALÚA?

(Objeto referente)

¿PARA QUÉ SE EVALÚA?

(Finalidad)

¿DÓNDE

SE EVALÚA? (Lugar de

realización

¿CON QUÉ SE

EVALÚA? (Técnicas e

Instrumentos)

¿CÓMO SE

APLICAN LOS INSTRUMENTOS?

(Pautas de realización)

¿CÓMO

TRATAR LOS DATOS?

(Procesamiento de la

información)

¿QUÉ HACER

CON LA INFORMACIÓN?

(Aplicación al diseño de la

oferta formativa) ANTES DE LA

ACTIVIDAD FORMATIVA EV. INICIAL

DIAGNÓSTICA

DURANTE LA ACTIVIDAD FORMATIVA

EV. PROCESUAL

AL FINAL DE LA ACTIVIDAD FORMATIVA

EV. FINAL O DE CONTRASTE

POSTERIORMENTE DE LA ACTIVIDAD

FORMATIVA EV. POSTERIOR/

DIFERIDA (IMPACTO/ PROSPECTIVA)

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 145

FICHA 2.: APLICACIÓN DE UN INSTRUMENTO

¿CON QUÉ SE

EVALÚA? (Técnicas e

Instrumentos)

¿QUIÉN

REALIZA LA EVALÚACIÓN?

¿PARA QUIÉN? Y ¿ QUIÉN

PARTICIPA? (Destinatarios:

fuente de información)

¿QUÉ SE EVALÚA?

(Objeto referente)

¿PARA QUÉ SE

EVALÚA? (Finalidad)

¿DÓNDE SE

EVALÚA? (Lugar de

realización

¿CUÁNDO SE

APLICA? (Momento de la

evaluación)

¿CÓMO SE APLICA EL

INSTRUMENTO? (Pautas de realización)

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 146 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 147

EN RESUMEN

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 148 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 149

5. EN RESUMEN

Se entiende por evaluación un proceso sistemático de recogida de datos y tratamiento reflexionado y contrastado de la información llevado a cabo por parte de los miembros que protagonizan la formación, para emitir un juicio de valor a cerca de la calidad de las actividades formativas y realizar una toma de decisiones sobre el diseño de nuevas estrategias de mejora.

Esta evaluación ha de incidir en la mejora a distintos niveles: satisfacción de los participantes; aprendizaje efectivo; transferencia de los aprendizajes; retorno de la inversión o rentabilidad.

Este proceso evaluativo se lleva a cabo en todas las fases de la acción formativa y teniendo en cuenta unos elementos determinados. La metodología que se utiliza aquí está basada en un enfoque mixto, que combina tanto técnicas cuantitativas como técnicas cualitativas.

El tratamiento de los datos obtenidos en la evaluación de la acción formativa dependerá de las técnicas e instrumentos utilizados. Las conclusiones que de éste se desprenden deberán servir para replantear ofertas formativas futuras aportando información para la toma de decisiones por parte de los responsables, debatiendo, con todos los implicados, las conclusiones y estableciendo un plan de acción consensuado.

El proceso de evaluación de la Formación Continua cobra una gran importancia, ya que gracias a él se facilita la mejora de las actividades formativas tanto a las que se aplica como a las acciones futuras.

Para ayudar al formador a desempeñar su labor evaluativa hemos presentado una Guía de instrumentos y técnicas, que constituye la concreción práctica de un modelo de evaluación de la Formación Continua abierto, flexible y polivalente.

La Guía de evaluación está configurada teniendo en cuenta las diferentes fases del desarrollo de la acción formativa: antes, durante, al final y posteriormente de la actividad formativa. En cada una de estas fases se especifican aquellos elementos que son necesarios conocer para poder poner en marcha este proceso de evaluación (quién la realiza, quién participa, qué se evalúa, para qué, dónde, con qué, como se aplica y cómo se tratan los datos).

Para completar la Guía se han presentado unas pautas de aplicación de las técnicas e instrumentos que ésta sugiere para la evaluación de acciones formativas, así como ejemplos de cada uno de ellos.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 150 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 151

GLOSARIO DE TÉRMINOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 152 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 153

6. GLOSARIO DE TÉRMINOS

Análisis de Aprendizaje: análisis de la eficacia de la actividad en cuanto a transferencia de conocimientos (saber), capacidades (saber hacer) y valores (saber ser).

Escalas de Observación: técnica de recogida de información dirigida a recoger la información que de manera no consciente expresan los participantes.

Modelo Cualitativo de Evaluación: modelo que trata de comprender los fenómenos y valorar los procesos, interpretar los hechos, indagar en lo “oculto” y metodología abierta a acontecimientos. Este modelo atiende de manera principal a lo que está pasando durante el proceso de evaluación, con lo cual, a la vista de lo que vaya pasando, se pueden ir cambiando las actuaciones previstas.

Modelo Cuantitativo de Evaluación: modelo que se basa en la objetividad donde lo más importante son los resultados utilizando una metodología estadística. Este modelo trata de evaluar los procesos formativos fijándose únicamente en los resultados finales alcanzados.

Modelo De Evaluación: conjunto de propuestas de actividades de evaluación.

Modelo Mixto de Evaluación: modelo que combina el modelo cuantitativo y el modelo cualitativo. Este modelo pretende atender tanto a los resultados finales como a lo que va pasando mientras esta evaluación se realiza.

Técnicas Cualitativas: técnicas abiertas y flexibles, ya que según se va desarrollando el proceso de evaluación, las técnicas se van adaptando a cada situación concreta. Por ejemplo: entrevistas, análisis de documentos, etc.

Técnicas Cuantitativas: técnicas que ayudan a cuantificar las veces que un hecho se produce. Por ejemplo: test, cuestionarios, pruebas de rendimiento, etc.

Técnicas Mixtas: técnicas que combinan las características de las técnicas cualitativas y las técnicas cuantitativas.

Técnicas: Conjunto de conocimientos teórico-prácticos que se plasman en procedimientos y modos de actuación para realizar actividades concretas en función de los contenidos y las finalidades formativas.

Triangulación: combinación de metodologías en el estudio de un mismo fenómeno.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 154 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 155

BIBLIOGRAFÍA DE REFERENCIA

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 156 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 157

7. BIBLIOGRAFÍA DE REFERENCIA

BIBLIOGRAFÍA COMENTADA

AMADOR, L. DOMINGUEZ, G et al. (1996): Mejorar cada día. Evaluación y calidad en la enseñanza. Sevilla, UNED.

Este libro es un compendio de artículos escritos por diferentes expertos en el tema de evaluación, los cuales presentan visiones de la evaluación en diversos temas, desde modelos de evaluación hasta la acción tutorial y la evaluación formativa.

Se realizan descripciones del modelo de evaluación adoptada en la concepción psicopedagógica que inspira la reforma educativa, se pretende facilitar el aprendizaje, la evaluación inicial en sus aspectos generales y un modelo de aplicación en el área de las ciencias sociales.

También se trata la evaluación continua, la evaluación como un proceso autoevaluativo para una cultura de calidad de la enseñanza, la evaluación del proyecto curricular de centro, la evaluación de la práctica docente y del proceso de enseñanza.

Por último, se realiza una visión de la evaluación desde uno mismo, la evaluación de programas educativos (modelos, técnicas e instrumentos, análisis de datos y elaboración de informes), orientación y tutoría a través de sus problemas y enfoques y la acción tutorial y la evaluación formativa.

JIMÉNEZ JIMÉNEZ, B. (Coord.) (1999): Evaluación de programas, centros y profesores. Barcelona, Edit.Síntesis. (Diferentes autores, sólo las referencias).

Este libro nos permite tener una clara visión de las diferentes dimensiones de la evaluación tanto en su aplicación a diferentes contextos, entre ellos, el ocupacional y el de instituciones no formales, así como clarificar los elementos básicos de la evaluación como campo científico: conceptos, tipos, fases, indicadores y criterios, metodologías, instrumentos, etc.

Es un libro configurado por diferentes autores, por lo cual es necesaria su consulta para poder ver cuál es el tema o aspecto que a cada lector le pueda interesar.

CASANOVA, M. (1995): Manual de evaluación educativa. Madrid, La Muralla.

Este libro trata sobre la evaluación en el momento actual y sus antecedentes, haciendo hincapié en la aparición de la evaluación, su aplicación al campo educativo, la evolución que ha tenido el concepto de evaluación, la importancia de la evaluación en los sistemas educativos y una visión general de la evaluación en el sistema educativo español.

Por otra parte, se centra en los ámbitos de evaluación, ya sea en las administraciones educativas, centros escolares o de los procesos de enseñanza y aprendizaje. Trata el concepto de evaluación como base de la

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 158 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

estrategia de actuación, la tipología de la evaluación (según su funcionalidad, su normotipo, su temporalización y sus agentes) y los objetivos de la evaluación.

En otro campo, se profundiza en un aspecto importante de cómo se puede reformar la enseñanza a través de la reforma de la evaluación, donde se presenta la alternativa de utilizar una evaluación cualitativa o cuantitativa y se pregunta sobre si una evaluación puede ser objetiva.

Por último, se habla sobre un modelo evaluador y la metodología que debe utilizar, desde las técnicas para la recogida de datos, pasando por las técnicas para el análisis de datos, hasta los instrumentos para la recogida y el análisis de datos. También se llega a realizar un mayor análisis sobre la evaluación del proceso de enseñanza y la organización y la práctica del proceso evaluador.

COOK, T y REICHARDT, CH (1986): Métodos cualitativos y cuantitativos en investigación evaluativa. Madrid, Morata.

Es considerable el desacuerdo existente en la adecuación de los diversos métodos para realizar la investigación evaluativa. Uno de los debates actuales, de intensidad creciente, se centra en la diferencia que existe entre los métodos cualitativos y cuantitativos. La polémica, sin embargo, no es nueva y son frecuentes las discusiones planteadas en términos dicotómicos y, a veces, antagónicos entre las dos perspectivas básicas.

En esta obra, como objetivo fundamental, se recoge un completo panorama de estos dos tipos de métodos, en un afán por buscar sus compatibilidades y complementariedad, lo cual constituye, hoy día, el punto de vista más actual y novedoso dentro de este tradicional desequilibrio entre las dos tendencias.

LE BOTERF, G. (1991): Ingeniería y evaluación de los planes de formación. Barcelona, Deusto.

Este libro es una herramienta de trabajo fundamentalmente práctica, para uso no sólo de los profesionales del desarrollo de los recursos humanos y de la formación, sino también de todos los integrantes de la empresa (directivos, mandos intermedios, responsables de grupos de proyectos, técnicos,...) para que la formación se convierta en un elemento indisociable de su función.

Propone una metodología de evaluación participativa y presenta fichas técnicas que constituyen un "manual", simple y práctico.

VV.AA.: Instituto para la Formación de la Comunidad Autónoma de Madrid. Guía para la evaluación de la Formación en las PYMES (1995).

Esta es una muy buena aplicación de lo que se conoce como Ingeniería de la Formación, al contexto español y de la Comunidad Autónoma de Madrid.

Consideramos que es una de las mejores reflexiones realizadas sobre el trabajo de Le Boterf: Ingeniería y

Evaluación de los planes de formación y, por lo tanto, valen todos los comentarios realizados en referencia a dicho libro.

Es interesante resaltar los apartados de evaluación del impacto y los parámetros de la formación que se indican.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 159

GAN, F. y otros (1995): Manual de técnicas e instrumentos de Formación en la empresa. Barcelona, Apóstrofe.

El presente manual ofrece una visión de proceso de la Formación que incluye tanto instrumentos para la gestión como instrumentos para la didáctica, bajo una perspectiva decididamente aplicada al campo de las empresas y organizaciones.

Nos presenta un enfoque centrado en la formación/trabajo, ámbito que posee una tecnología propia y característica claramente diferenciada de la formación académica, basada en un diseño de instrumentos de aplicación que combina una descripción de la finalidad de cada Instrumento, sus conceptos claves y los Gestores de Uso, con la identificación del Proceso o dinámica que debe seguir y un Modelo/prototipo destinado a su puesta en práctica

En este manual se propone un multimarco de trabajo, con alternativas y metodologías con respecto a: “El proceso gestor de la formación en la empresa”; “El proceso didáctico de la formación en la empresa”; y “Los sistemas alternativos a la formación en el aula (Formación del puesto de trabajo; Formación a distancia; y Nuevas tecnologías)”.

ROSSI, P. Y FREEMAN, H. (1993): Evaluation a Systematic approach. Newbury Park, Sage.

Es una introducción al amplio grupo de actividades de investigación esenciales para el diseño, implementación y puesta en marcha de programas sociales útiles.

Esta obra cubre el meta-análisis particularmente en la consideración del uso en el diseño y modificación de programas de intervención. Revisa y desarrolla un programa de monitores y administración.

Desarrolla capítulos del impacto del asesoramiento cuasi-experimental y el asesoramiento que cubre todo el programa, incluyendo una comparación de las diferencias de estos procesos.

Expone ejemplos de evaluación locales y estatales. Pretende mostrar la organización efectiva a través de cómo se practica la evaluación - diagnosticar los problemas en un programa social a través de representación final, analizando un programa específico.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES 160 EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS

FUENTES BIBLIOGRÁFICAS Y DOCUMENTALES

� BELTRI G. (1994): “Impacto en las organizaciones. Evaluación de las acciones de formación”. En: Alta

Dirección, nº 176, p. 25-29.

� CABRERA, F. (1987): Técnicas de evaluación y seguimiento de programas de Formación Profesional. Madrid, Ed. Largo Caballero.

� CASANOVA, M (1995): “Evaluación en el contexto de la educación permanente”. En: RED, Revista de

Educación a Distancia, nº 14, p. 10-18.

� CASSÉ, P. (1991): Instrumentos para una formación eficaz. Bilbao, Ediciones Deusto.

� COLAS BRAVO, P. y REBOLLO CATALAN, M. (1993): Evaluación de programas. Una guía práctica. Sevilla, Kronos.

� DENZIN, N y LINCOLN, Y. (eds.)(1994): Handbook of qualitative research. Thousands Oaks, Sage.

� DOMINGUEZ, G., AMADOR, L. y DÍEZ, E (1996): “La evaluación: un proyecto autoevaluativo para una cultura de calidad de la enseñanza”. En: Mejorar cada día: Evaluación y calidad en la enseñanza, Sevilla, UNED, p. 131-172

� DOMINGUEZ, G., IBÁÑEZ DE ALDECOA, A. y TORRIJOS, J.: “La evaluación de programas de enseñanza a distancia en la formación de educadores de adultos”. En: Actas del V Congreso de Educación de Adultos de

la Universidad Popular de Zaragoza.

� GAIRÍN SALLÁN, J. (1990): “Seguimiento y evaluación del programas de formación profesional (I) y (II)”. En: Herramientas, nº 8 y 12.

� GAIRÍN SALLÁN, J.(1990): “La evaluación de programas de formación profesional (I).” En: Herramientas, nº

8, p. 41-49.

� HADJI, CH. (1998): “L’évaluation des apprentissages. Trente ans de recherches et de debats” En: RUANO-BORBALAU, J.C. (Dir): Éduquer et Former. París: Sciences Humaines, p. 275-282.

� HOUSE, E. (1992): “Tendencias en evaluación.” En: Revista de Educación; nº 299, p. 43-55.

� HOUSE, E. (1994): Evaluación, ética y poder. Madrid, Morata.

� JIMÉNEZ JIMÉNEZ, B. (1990): “Formación y planificación microdidáctica: Seguimiento y evaluación de los procesos didácticos de la educación de adultos”. En: Herramientas, nº 11.

� JIMÉNEZ JIMÉNEZ, B. (Coord.) (1999): Evaluación de programas, centros y profesores. Barcelona. Edit.Síntesis.

� LE BOTERF, G, BARZUCCHETTI, S. y VICENT, F. (1993): Cómo gestionar la calidad de la formación. Barcelona, Gestión 2000.

EXPERTO EN FORMACIÓN CONTINUA EN LAS ORGANIZACIONES SOCIALES EVALUACIÓN DE APRENDIZAJES PROFESIONALES Y SEGUIMIENTO DE ALUMNOS 161

� MARTINEZ ALCOLEA, A. (1996): Técnicas para evaluar la competencia curricular. Educación I. Madrid, Escuela Española.

� MEC (1992): Evaluación de actividades de formación. Estrategias y orientaciones. Madrid, Ministerio de Educación y Cultura.

� PÉREZ JUSTE, R. (1995): Evaluación de programas educativos y metodología para la evaluación de

programas educativos. Madrid, Universitas.,

� RIAL, A. (1997): La formación profesional: introducción histórica, diseño de curriculum y evaluación. Santiago de Compostela, Tórculo Artes Gráficas.

� TAYLOR, S. y BOGDAN, R. (1992): Introducción a los métodos cualitativos de investigación. Barcelona, Paidós.

� TEJADA, J. (1991): La evaluación en la formación ocupacional. Barcelona, Universidad Autónoma

� TENBRINK, T. (1984): Evaluación, guía práctica para formadores. Madrid, Narcea.