Evaluacin de las competencias del alumnado en enseanza virtual

Antonio Matas Terrn Miguel ngel Ballesteros Moscosio

de perspectiva en la evaluacin, desde una visin tradicional de la evaluacin, a una visin alternativa que parece imponerse, principalmente en la enseanza virtual.

Visin tradicional de la evaluacin del Actualmente estamos aprendizaje. Algunas ideas comunes. inmersos en un cambio Considera fundamentalmente contenidos cognoscitivos El examen escrito es la principal tcnica Se realiza al final de un perodo de docencia Hay poco margen para aprender de los errores Es responsabilidad del profesorado

inmersos en un cambio de perspectiva en la evaluacin, desde una Cambio en la lgica de la evaluacin del aprendizaje: visin tradicional de la evaluacin, a una visin alternativa quelas competencias (conocimientos, destrezas, Identificar parece imponerse, capacidades, actitudes) propias del ttulo y la asignatura principalmente en la Definir criterios de desempeo (resultados esperados en enseanza virtual. consecuencia de su competencia) el estudiante como Recoger evidencias del desempeo (conductas o respuestas observables que demuestran la competencia del estudiante) Analizar las evidencias para juzgar el aprendizaje logrado Comunicar los resultados para orientar y mejorar el proceso de enseanza-aprendizaje

Cambio en la lgica de la evaluacin Actualmente estamos del aprendizaje

Cambio en la lgica de la evaluacin del aprendizaje Cambio en la prctica de la evaluacin del aprendizaje La evaluacin est presente a lo largo de todo el proceso de enseanza-aprendizaje. No se limita a los resultados finales. Inclusin de mtodos para evaluar el trabajo presencial y no presencial del alumnado. Multiplicidad de fuentes de informacin. El examen pierde peso. Se disean sistemas de evaluacin, especificando las tcnicas, el momento en que se aplican, y su peso en la calificacin final.

Para qu evaluar? Determinar las necesidades de los estudiantes Planificar la enseanza Pronosticar las posibilidades de los estudiantes Estimular el aprendizaje Antes de continuar, piense un momento Ofrecer retroalimentacin al estudiante sobre su progresoutilizael aprendizaje para qu en usted o sus profesores la evaluacin? Antelo y veaasesorar al estudiante siguientes ideas. Orientar y si coincide con alguna de las Determinar los logros de los estudiantes en relacin con el contenido de la enseanza Proveer una base para la asignacin de calificaciones Adoptar decisiones: superacin de materia, titulacin

Qu evaluar?Competencias (o habilidades del S. XXI?) Competencias generales

En la nueva perspectiva de la evaluacin, esta Comunicacin pregunta tiene una Planificacin y toma de decisiones respuesta inmediata: Trabajo en equipo COMPETENCIAS Relaciones interpersonales

Competencias especficas o tcnicasConocimientos Habilidades y destrezas propias del perfil profesional Valores, actitudes demandadas para el ejercicio profesional

Qu evaluar?En las ltimas dcadas se Evaluacin orientada al aprendizaje de competencias Al margen de este debate ha impuesto el concepto acadmico, la realidad es competencia. Sin que las normativas embargo, an no est Qu qu es una claro son las competencias ? educativas estn utilizando este concepto competencia y mucho se sugerimos que vea la Es un concepto queLe utiliza con muy diversos sentidos: como elemento bsico. menos cmo evaluarlas. siguiente conferencia que trata sobre esto, cabe Pero ante En el mbito dehabilidades, actitudes, etc. Conocimientos, las este asunto: preguntarse qu son las Ciencias de la Educacin Capacidad de integrar recursos personales para dar respuestas competencias. nos encontramos unCarles Monereo VIentornos reales. Congreso Regional de Educacin eficaces en debate sobre partidarios y Cantabria 2007 noEtc. partidarios de las competencias como Conferencia Carlos Monereo Se desarrolla bsica unidad en contextos reales, no simulados. organizacin continuo que va desde lo simple a lo complejo. Se sita en un educativa. Tiene que ver con la capacidad de movilizar recursos, cmo actuar ante una prctica intencionada. Supone actuar eficazmente.

Momentos de la evaluacinPunto de

partida

Evaluacin diagnstica Evaluacin continua Evaluacin final

Al inicio

Proceso de aprendizaje Resultados logrados

Durante

Al final

Funciones y momentosSegn el momento en que se realice la evaluacin se habla de distintos tipos de evaluacin. Cada una de ellas suelen estar vinculadas a una Valoracin, funcin certificacin ms que a otraFUNCIN SUMATIVA

Evaluacin diagnsticaFUNCIN FORMATIVA

Evaluacin continua

Regulacin del proceso de enseanza-aprendizaje

Evaluacin final

Proceso de la evaluacin El primer paso es1 Determinacin del objeto de evaluacin 2 Fijacin de los criterios de evaluacin

establecer el objeto de la evaluacin. En el caso de la evaluacin del alumnado hemos visto que se evalan, principalmente, COMPETENCIAS

Desempeo Caractersticas de las tareas Proceso a seguir en su ejecucin Medios que han El siguiente paso es de utilizarse Contexto o situacin establecer los criterios, Resultados desempeo indicadores, Nmerodeltipo de tareas expectativas, y etc. Calidad de la ejecucin Productos obtenidos

Proceso de la evaluacin1 Determinacin del objeto de evaluacin 2 Fijacin de los criterios de evaluacin 3 Seleccin / construccin de tcnicas e instrumentosMedios utilizados para recoger datos sobre el desempeo, los conocimientos, las actitudes y los valores

Tcnicas e instrumentosTcnicas objetivas Ejercicios de autocomprobacin: Clasificar, identificar, ordenar, rellenar huecos, asociar parejas, stas son algunas de las tcnicas e V/F, instrumentos para recoger informacin opcin mltiple Juegos interactivos: sobre la que realizar la evaluacin. Crucigramas, sopa de letras, Muchas de estos instrumentos estn Tcnicas subjetivas puzzles, etc

disponibles en su versin virtual para Exposicin oral Redaccin escrita. algunas plataformasy(por ejemplo la Anlisis de contenido Moodle) Resolucin de problemas Dinmicas de grupo Representacin de Roles Caso Prctico Proyecto fin de curso

Clasificacin de las Tcnicas e InstrumentosTcnicas de Observacin

- Lista de control - Escalas de estimacin - Incidentes crticos

Tcnicas basadas en la ejecucin o desempeo

Tcnicas de papel y lpiz

Pruebas orales

Listas de control

Consisten en un conjunto de elementos (conocimientos, cualidades, conductas, comportamientos, experiencias, actitudes, etc.) para los cuales se determina su presencia o ausencia.

EJEMPLO: Construccin de una lista de control para la enseanza en laboratorio

Competencia a evaluar

Manejo de tcnicas bsicas de laboratorio

Unidades de competencia

Describir el fundamento de cada tcnica y sus limitaciones Seleccionar el material necesario para llevarlas a cabo Manejar los aparatos necesarios para el desarrollo de la tcnica Redactar el protocolo detallado a seguir Recoger sistemticamente los resultados obtenidos Deducir conclusiones a partir de los resultados

EJEMPLO: Construccin de una lista de control para la enseanza en laboratorio

De todas las unidades, elegimos una de Competencia a evaluar en este caso manipulas los ellas, Manejo de tcnicas bsicas de laboratorio aparatos.

Unidades de competencia

Describir el fundamento de cada tcnica y sus limitaciones Seleccionar el material necesario para llevarlas a cabo Manejar los aparatos necesarios para el desarrollo de la tcnica Redactar el protocolo detallado a seguir Recoger sistemticamente los resultados obtenidos Deducir conclusiones a partir de los resultados

EJEMPLO: Construccin de una lista de control para la enseanza en laboratorio Criterios

de desempeo

Uso correcto de los aparatos, partiendo del conocimiento de los mismos y de la informacin obtenida a travs de la documentacin en la que se recogen especificaciones tcnicas e instrucciones de manejo. Rigor en el uso de aparatos e instrumentos de medida, asegurando el funcionamiento adecuado de los mismos y la fiabilidad de los resultados logrados

EJEMPLO: Construccin de una lista de control para la enseanza en laboratorio

Contenido de la lista (evidencias de desempeo)

Pone en funcionamiento el equipo. Comprueba las diferentes partes de que consta el aparato Revisa las instrucciones de manejo del aparato Busca la orientacin de otro grupo o del profesor Intenta poner en funcionamiento el aparato Comprueba que el aparato funciona de un modo correcto Utiliza el aparato en el desarrollo del trabajo Maneja el aparato sin que surjan dificultades que retrasen o interrumpan el trabajo Realiza repeticiones para comprobar la consistencia de los resultados

LISTA DE VERIFICACIN DE APRENDIZAJES RELACIONADOS CON LA COMPETENCIA .................................................................

Marque con una X la casilla que corresponda, segn conozca y/o domine los conceptos y procedimientos que se enumeran

NO

1. 2. 3. 4. 5. 6. 7. 8.

Pone en funcionamiento el equipo. Comprueba las diferentes partes de que consta el aparato Revisa las instrucciones de manejo del aparato Busca la orientacin de otro grupo o del profesor Intenta poner en funcionamiento el aparato Comprueba que el aparato funciona de un modo correcto Utiliza el aparato en el desarrollo del trabajo ...

S

Escalas Permiten

valorar en qu grado se estn logrando o se han logrado determinados aprendizajes. El grado se expresa en distinto formato mediante categorasFrecuencia Cantidad Calidad Acuerdo Importancia Logro

Tipos de escalas: Numricas Grficas Verbales

Ejemplo de escalas grfica, numrica y verbalCapacidad/actitud para el trabajo en grupo

Baja 1

X

Alta

2

3

4

5

X

Muy baja

Baja

Media

Alta

Muy alta

X

TCNICAS E INSTRUMENTOS DE EVALUACINTcnicas de Observacin

- Lista de control - Escalas de estimacin - Incidentes crticos - Situaciones de prueba Ejecucin de actos acadmicos o profesionales pautados Desarrollo de procesos Presentacin de productos o resultados - Ejercicios de simulacin - Cuadernos de campo o de laboratorio - Diarios - Portafolios

Tcnicas basadas en la ejecucin o desempeo

Tcnicas de papel y lpiz

Pruebas orales

Situaciones de prueba Configuran

contextos parecidos a los que se dan en la realidad profesional Plantean tareas cuya ejecucin requiere poner en prctica competencias adquiridas Permiten evaluar el grado de desarrollo en las competencias de accin que capacitan para el ejercicio profesional futuro

Requisitos de las situaciones de prueba para una evaluacin de competencias

Orientadas a la resolucin de problemas, casos o proyectos a realizar Configuradas de tal manera que requieran la combinacin de diferentes componentes de la accin profesional Lo ms parecidas que sea posible a las situaciones de trabajo reales Condicionadas por exigencias, restricciones y recursos del mismo modo que en la prctica profesional Concretas en cuanto a los resultados observables que han de alcanzarse

Diarios

Documento que elabora el alumnado a lo largo del proceso de enseanza-aprendizaje, reflejando en l las experiencias vividas junto con la valoracin que hace de las mismas. Puede incluir:

Trabajo desarrollado y participacin en actividades de clase o fuera de clase Problemas que se le presentan en el aprendizaje y modo en que los resuelve Reflexiones crticas sobre la marcha de su proceso de aprendizaje

Ejemplo de diario de prcticasEl alumno deber llevar un diario actualizado de las sesiones prcticas, que ser completado fuera de clase una vez realizada cada sesin, incluyendo los siguientes aspectos:

Fecha Contenido tratado en la sesin Opiniones sobre el inters de la prctica realizada Aprendizaje logrado en la prctica Relaciones con los compaeros Implicacin en la tarea Satisfaccin con la tarea Otras valoraciones que considere interesantes

Portafolios

Coleccin de trabajos seleccionados, analizados y organizados por el estudiante, para autoevaluarse y para demostrar el logro de las competencias pretendidas

La evaluacin queda inmersa en el proceso de enseanzaaprendizaje Permite evaluar el proceso (evaluacin formativa) y los productos (evaluacin sumativa) Lleva al alumnado a reflexionar sobre su aprendizaje y a participar en su proceso de evaluacin Motiva al alumnado para seguir aprendiendo Ayuda a estructurar las tareas de aprendizaje, diferenciando lo obligatorio de lo optativo

Tipos de portafolios

Portafolios del alumno

Se elabora por el alumno, teniendo en cuenta una gua en la que se indica qu debe incluir, cmo hacerlo y con qu lmites de tiempo.

Portafolios de control

Rene evidencias de los productos del trabajo desarrollado, para comprobar qu ha hecho y qu no ha hecho cada alumno.

Portafolios para la evaluacin

No slo verifica la inclusin de los trabajos demandados, sino que evala el proceso de aprendizaje, as como la amplitud y la profundidad del aprendizaje.

Tipos de portafolios

Portafolios de un curso

Rene los materiales que corresponden a un curso y a una asignatura en particular.

En el siguiente blog hay comentarios muy Portafolios de la carrera interesantes para aprender ms sobre Incluye materiales acumulados a lo largo de toda la carrera los portafolios

Portafolios digital

Utiliza las nuevas tecnologas de la informacin y la gabinetedeinformatica.net comunicacin

Portafolios libre, semiestructurado o estructurado

Dependiendo de la existencia de directrices sobre el contenido

TCNICAS E INSTRUMENTOS DE EVALUACINTcnicas de Observacin

- Lista de control - Escalas de estimacin - Incidentes crticos - Situaciones de prueba Ejecucin de actos acadmicos o profesionales pautados Desarrollo de procesos Presentacin de productos o resultados - Ejercicios de simulacin - Cuadernos de campo o de laboratorio - Diarios - Portafolios - Trabajos escritos (ensayo, resmenes, esquemas, etc.) - Memorias e informes - Cuestionarios - Pruebas objetivas tipo test - Matrices de valoracin - Pruebas escritas de ensayo

Tcnicas basadas en la ejecucin o desempeo

Tcnicas de papel y lpiz

Pruebas orales

Matrices de valoracin (Rbricas/Indicadores)Instrumentos en los que se definen criterios de valoracin y diferentes estndares que se corresponden con niveles progresivos de ejecucin de una tarea

Global: Valora la ejecucin del estudiante como una totalidad Analtica: Considera por separado diferentes detalles o elementos de la tarea que debe realizarse

Ejemplo de rbrica globalCalificacin 5 4 Descripcin Demuestra total comprensin del problema. Todos los requerimientos de la tarea estn incluidos en la respuesta Demuestra considerable comprensin del problema. Todos los requerimientos de la tarea estn incluidos en la respuesta. Demuestra comprensin parcial del problema. La mayor cantidad de requerimientos de la tarea estn comprendidos en la respuesta. Demuestra poca comprensin del problema. Muchos de los requerimientos de la tarea faltan en la respuesta. No comprende el problema. No responde. No intent hacer la tarea.

3

2 1 0

Rbricas analticasESCALA DE CALIFICACINEquivalencias numricas que permiten calificar o cuantificar el desempeo.

En el siguiente enlace encontramos ejemplos de rbricas para trabajos escritos, exposiciones orales, etc. Ejemplos de rbricasDescripciones claras de los niveles de desempeo en la tarea. Son precisiones de las dimensiones.

Aspectos o elementos que se van a evaluar.

DIMENSIONES

En realidad, la subjetividad no se Utilidad de las rbricas que se difumina. Todo el reduce, sino proceso est cargado de la subjetividad del profesor, pero el Explicitan de forma clara formato y el proceso de de y precisa los criterios administracin difumina o distrae evaluacin que van a ser utilizados esta subjetividad.

Centran la atencin sobre los aspectos que deben ser desarrollados por los estudiantes Reducen la subjetividad Permiten traducir el desempeo del estudiante en una medida Posibilitan la autoevaluacin del estudiante o la evaluacin por pares Proporcionan retroalimentacin especfica

Autoevaluacin del aprendizaje

Forma de evaluacin del aprendizaje en la que el agente de evaluacin es el propio alumnado

Ventajas de la autoevaluacinEl sujeto autoevaluado cuenta con informacin sobre s mismo no accesible para un evaluador externo

Lleva a explicitar los criterios de evaluacin Desarrolla el pensamiento crtico y otras competencias exigidas en la vida laboral Facilita anlisis, reflexin y toma de conciencia sobre el aprendizaje logrado Promueve la responsabilidad sobre el aprendizaje y la implicacin en la mejora Cmoda para aplicar con grupos amplios de alumnado

Inconvenientes de la autoevaluacin

Dificultad que encuentra el alumnado para llevarla a cabo Limitaciones para integrar los resultados en las calificaciones Errores en la valoracin: Las investigaciones han demostrado que la Involuntarios evaluacin no suele mejorar el rendimiento Desajuste entre la acadmico (el alumnado no aprende ms valoracin realizada y la realidad, debido a... No est clara o no se comprende la consigna dada paracomo al utilizar la autoevaluacin que se emita el juicio valorativo estrategia docente) pero si aumenta la No cuentan con criterios de evaluacin apropiados la asignatura. satisfaccin del alumnado en Errores de indulgencia otanto, puede utilizarse para que la Por severidad Intencionales actitud del alumnado (sus emociones a favor de la materia) mejoren. Manipulacin de la valoracin por parte del autoevaluado, debida a ...

Intento de dar una imagen positiva de s mismo Pretensin de no revelar informacin sobre el aprendizaje logrado

Momentos para utilizar distintas tcnicas para la autoevaluacinEvaluacin Diagnstica Evaluacin continua Evaluacin final

Listas de control Cuestionarios Escalas Diarios Portafolios Rbricas

Evaluacin por paresForma de evaluacin en la que los individuos valoran la cantidad, nivel, mrito o calidad de los productos o resultados de aprendizaje alcanzados por individuos que se encuentran en un estatus similar

Formas de llevar a cabo la coevaluacin Cada individuo hace una valoracin annima individual sobre los restantes miembros de un grupo Evaluacin del producto por el profesor y del proceso por los estudiantes Distribucin interna de puntuaciones asignadas por el profesor

Ventajas de la evaluacin por pares.Se toma conciencia sobre el valor del propio aprendizaje, y se obtienen ideas sobre cmo mejorarlo

Desarrolla la capacidad de formular juicios, compartir ideas, llegar a consenso, etc. Especialmente adecuada cuando se valoran aspectos como el liderazgo, la preocupacin por los otros, la eficacia en el trabajo grupal, la aceptacin social, etc. Permite contrastar la autoevaluacin

Inconvenientes de la evaluacin por pares Insuficiente conocimiento de algunos aspectos del aprendizaje de los compaeros Tendencia a sobrevalorar el aprendizaje Las investigaciones han demostrado que de los compaeros por pares genera resultados la evaluacin Influencia de osimilares a las evaluacin del profesor consecuencia sobre las despus de un periodo de entrenamiento relaciones personalesalumnado con el profesorado. por parte del

DISEO DEL SISTEMA DE EVALUACIN DE LA MATERIA

1 Determinacin del objeto de evaluacin

2 Fijacin de los criterios de evaluacin

3Seleccin / construccin de tcnicas e instrumentos

4 Elaboracin del sistema de calificacin

Procedimiento para traducir las valoraciones realizadas sobre el aprendizaje del alumnado a calificaciones numricas

Calificaciones

Son la expresin numrica o nominal de la valoracin que hace el profesor sobre el aprendizaje del estudiante. Constituyen una exigencia institucional para acreditar el rendimiento del alumno. No deben basarse en una sola tcnica de recogida de informacin La calificacin no deja de ser un procedimiento en entredicho, puesto que implica realizar una medicin (asignar nmeros) a hechos valorados subjetivamente (a partir de eventos sometidos a la valoracin e intepretacin acadmica del docente). Solamente procedimientos costosos, como la Teora Clsica de los Test, o la Teora de Respuesta al tem, supera estas dificultades mtricas. Sin embargo, su alto coste, en tiempo y en estrategias docentes (se pueden aplicar casi exclusivamente a partir de tcnicas como los test o las escalas, con un banco de tems muy amplio) desaconsejan su utilizacin.

Requisitos para que la retroalimentacin favorezca el aprendizaje

Cantidad y tiempo de retroalimentacin Suficiente

detalle La retroalimentacin se ofrece rpido

retroalimentacin y con suficiente nivel de

Calidad de la retroalimentacin Se

centra sobre el aprendizaje antes que sobre las calificaciones Es comprensible para el estudiante

Respuesta del estudiante a la retroalimentacin Es Es

bien recibida y atendida por el estudiante puesta en prctica por el estudiante para mejorar su trabajo o su propio aprendizaje

En resumen Criterios para la elaboracin de sistemas de evaluacin Estamos ante un cambio de perspectiva. Las Nuevas Tecnologas estn posibilitando, y al mismo tiempo fomentando, estos cambios. Actualmente se estn transfiriendo, casi dierectamente, los procedimientos de evaluacin presencial a la forma virtual. ESTO CAMBIAR EN EL FUTURO, generndo sus propios principios de evaluacin. Esto obliga a la docente a reciclarse progresivamente en la introduccin de tcnicas de evaluacin. Es recomendabel contemplar una pluralidad de tcnicas e instrumentos. Las tcnicas deben responder a los objetivos y competencias pretendidos. Incluir ejercicios desarrollados en situaciones que emulen o se aproximen a la prctica profesional. Considerar la calificacin como un acercamiento difcil, que debe tener en cuenta diferentes fuentes de informacin sobre la ejecucin acadmica del alumnado con relacin a las tareas y competencias establecidas.

Tiempo de dedicacin Es necesario que al proponer las actividades de evaluacin, tengamos en cuenta el tiempo que dedica el alumnado a cada actividad. A partir de los estudios del Proyecto Tunning, actualmente se est utilizando como referencia para el Espacio Europeo de Enseanza Superior las siguientes indicaciones-> (siguiente diapositiva)

Aunque estas estimaciones solamente sean aproximativas, es innegable la necesidad de realizar una programacin de las tareas teniendo en cuenta algn tipo de orientacin, para evitar una sobrecarga contraproducente en el alumnado.

Evaluacin de las competencias del alumnado en enseanza virtual

Antonio Matas Terrn (Universidad de Mlaga) Miguel ngel Ballesteros Moscosio (Universidad de Sevilla) Mayo de 2009