18° BOLETÍN DE LA DIRECCIÓN DE EVALUACIÓN

Estimados colaboradores de INACAP, con mucho agrado enviamos a ustedes el Boletín Nº 18, correspondiente al mes de Septiembre de 2007, elaborado por la Dirección de Evaluación. Este número está dedicado al “Enfoque Psicométrico y Edumétrico de la Evaluación”, los cuales determinan significativamente la orientación de la evaluación de los aprendizajes.

Enfoque Psicométrico y Edumétrico de la Evaluación Educativa

Dos tendencias que orientan el proceso evaluativo.

I. Enfoque Evaluativo Psicométrico

Un docente que elabora y aplica un instrumento de evaluación para establecer una diferenciación de rendimiento entre sus alumnos está enfrentando el hecho evaluativo desde una perspectiva psicométrica de la evaluación.

De igual manera, estamos frente a una perspectiva psicométrica, o también denominada normativa, cuando un docente compara el aprendizaje de un alumno con el resto de sus compañeros y, como resultado de dicha comparación, concluye que el alumno ha mostrado un alto, mediano o bajo rendimiento.

Este enfoque se preocupa por indagar y establecer diferencias de aprendizaje entre los alumnos. Con esto busca determinar la ubicación relativa de desempeño que cada alumno tiene dentro del grupo del cual forma parte en un momento y circunstancia dados.

En consecuencia, cuando a un estudiante se le evalúa desde una perspectiva psicométrica y obtiene la puntuación o calificación más alta de su grupo en una asignatura, significará que ha logrado uno de los mejores desempeños dentro de su curso, pero ello difícilmente indicará si ese alumno ha alcanzado el nivel mínimo o máximo de aceptación probables para los aprendizajes específicos de esa asignatura.

El juicio evaluativo de “ser el mejor o peor estudiante de matemáticas” no indica lo que el alumno sabe o no sabe de la materia, ni tampoco asegura que tal situación se mantendrá si se compara al estudiante con un grupo de alumnos distinto del original; sólo indica que es el mejor o peor de su grupo.

En síntesis la evaluación psicométrica presenta las siguientes características fundamentales:

Los resultados de las mediciones del aprendizaje se interpretan comparando el rendimiento de cada alumno con el de los demás miembros del grupo evaluado.

Los juicios evaluativos no son absolutos sino relativos. La clasificación o calificación que se asigne a un alumno dependerá de las características del grupo del que forma parte en el momento de ser evaluado.

El desempeño grupal promedio y su variabilidad constituyen la norma o marco de referencia para analizar y valorar la calidad del rendimiento.

Los resultados obtenidos proporcionan escasa información sobre el grado de eficiencia que el alumno posee respecto de las capacidades que se están evaluando. Sólo señalan si un alumno tiene mejor o peor, mayor o menor capacidad que sus compañeros para enfrentar una tarea dada. Visto así, este enfoque puede ser útil para seleccionar a aquellos alumnos que estén en mejores condiciones o sean más aptos para ejecutar una actividad determinada.

Las pruebas deben permitir establecer diferencias de desempeño entre los miembros del grupo evaluado. Para ello, las preguntas deberán poseer, previa aplicación y análisis piloto, un mediano grado de dificultad y un índice de discriminación alto y positivo.

Cuanto mayor sea la variación (dispersión) de los resultados de una prueba en un grupo, más útil y significativa será la comparación entre la puntuación de un alumno y el desempeño del grupo.

Los resultados de las pruebas son válidos, útiles y por tanto generalizables únicamente dentro del mismo grupo evaluado.

II. Enfoque Evaluativo Edumétrico

Si un docente pretende que sus evaluaciones expresen el grado en que cada alumno ha logrado los aprendizajes esperados u objetivos propuestos previamente para su asignatura, entonces el docente deberá evaluar desde una perspectiva edumétrica.

En un enfoque edumétrico de la evaluación, los resultados del aprendizaje se comparan con un criterio de evaluación absoluto. Este criterio representa lo que, a juicio de los docentes, debe saber hacer el alumno. Calcular perímetros y áreas; escribir frases y oraciones respetando concordancia de género y número; calcular índices de liquidez; identificar fuentes de financiamiento, realizar análisis de índice de riesgos de la empresa; conectar distintos tipos de tarjetas de red; etc. Los criterios de evaluación, así definidos, servirán como marco de referencia para comparar y determinar qué puede hacer el alumno y si su ejecución es igual o inferior al aprendizaje deseado. Aquí se dejan de lado, para efectos de comparación, los resultados del resto del grupo evaluado.

En una prueba con fines edumétricos, cada pregunta debe relacionarse íntimamente con su correspondiente criterio de evaluación. Es decir, se busca que se garantice la congruencia entre cada criterio y él o los ítems elaborados para su comprobación. Asimismo, es fundamental que el criterio de éxito o nivel de aceptación mínimo deseable se defina y establezca con antelación a la administración de la prueba.

Además, en una prueba con fines edumétricos no interesa el grado de dificultad ni el índice de discriminación de sus preguntas; tampoco interesa comparar los resultados entre los alumnos. En cambio, sí es importante que la prueba proporcione antecedentes detallados para verificar las ganancias o los cambios de conductas individuales observados, así las informaciones obtenidas servirán de base útil y válida para emprender acciones de reforzamiento o correctivas, tanto de los aprendizajes como de los procedimientos de enseñanza empleados.

En síntesis, la evaluación edumétrica o por criterios presenta las siguientes características fundamentales:

La formulación clara y precisa de los criterios de evaluación son la base para definir y evaluar los aprendizajes planificados.

Las pruebas deben constituir una representación exacta del aprendizaje esperado que se desea evaluar.

Las preguntas deben ser congruentes con los criterios de evaluación.

La adecuación de las preguntas – validez de contenido o congruencia entre los ítems y criterios - propuestas como muestra representativa de los aprendizajes que se evaluarán, debe decidirse mediante un acuerdo ente los profesores de las asignaturas respectivas.

Los resultados del aprendizaje se comparan con un criterio de evaluación absoluto definido previamente por el profesor.

El nivel de aprendizaje mínimo aceptable se establecerá antes de aplicar las pruebas y, en lo posible, debe estar basado en experiencias y condiciones educativas similares.

La fuente de significado radica en el nivel de logro alcanzado por cada estudiante en relación con cada criterio de evaluación propuesto y no en el desempeño del grupo del que forma parte.

No interesa identificar que estudiantes de un curso son mejores o peores, sino establecer, en forma clara y concluyente, qué alumnos han logrado o no aprendizajes.

Las informaciones que se proporcionan están destinadas a servir de base para supervisar el progreso individual de los alumnos y la eficiencia de las enseñanzas realizadas.

Está orientada a cumplir una función formativa y no selectiva de los aprendizajes estudiantiles.

(Manual para la Evaluación del Aprendizaje Estudiantil; Santibáñez Riquelme; Juan Domingo; Trillas; 2001)

Evaluación Normativa (Psicométrica)

Evaluación Criterial (Edumétrica)

EJEMPLO DE EVALUACIÓN CON ENFOQUE PSICOMÉTRICO

PSU

Lenguaje y Comunicación

(http://www.demre.cl/text/publicaciones2008/mayo/publicacion03(03_05_07).pdf)

EJEMPLO DE EVALUACIÓN CON ENFOQUE EDUMÉTRICO

PRUEBA DE CERTIFICACIÓN DE COMPETENCIAS; ALGUNOS ELEMENTOS ELABORACIÓN DE LA PRUEBA

7. PROCEDIMIENTO PARA ELABORAR PRUEBAS PRÁCTICAS DE CERTIFICACIÓN 7.1 ANÁLISIS DEL CAMPO DE APLICACIÓN Permite establecer la condición de ejecución de la prueba. Ésta representa las condiciones contextuales requeridas para que el individuo pueda demostrar el dominio de la competencia. Se refiere a los materiales, equipos, herramientas, escenario, comunicación, etc.

7.2 ANÁLISIS DE LOS CRITERIOS DE DESEMPEÑO Y EVIDENCIAS DE DESEMPEÑO Permite establecer los indicadores de tipo sicomotor y socioafectivos que deben consignarse en la prueba. También se deben incluir indicadores teóricos que pueden evaluarse directamente y no requieren incluirse en la prueba cognoscitiva.

INSTRUMENTO PARA LA EVALUACIÓN DE LA PRUEBA PRÁCTICA EJEMPLO DE EVALUACIÓN CON ENFOQUE EDUMÉTRICO PRUEBA DE CERTIFICACIÓN DE COMPETENCIAS ELABORACIÓN

7. PROCEDIMIENTO PARA ELABORAR PRUEBAS PRÁCTICAS DE CERTIFICACIÓN 7.1 ANÁLISIS DEL CAMPO DE APLICACION Permite establecer la condición de ejecución de la prueba. Ésta representa las condiciones contextuales requeridas para que el individuo pueda demostrar el dominio de la competencia. Se refiere a los materiales, equipos, herramientas, escenario, comunicación, etc. 7.2 ANÁLISIS DE LOS CRITERIOS DE DESEMPEÑO Y EVIDENCIAS DE DESEMPEÑO Permite establecer los indicadores de tipo sicomotor y socioafectivos que deben consignarse en la prueba. También se deben incluir indicadores teóricos que pueden evaluarse directamente y no requieren incluirse en la Prueba cognoscitiva.

INSTRUMENTO PARA LA EVALUACIÓN DE LA PRUEBA PRÁCTICA

CONDICION DE EJECUCIÓN DE LA

PRUEBA

NORMA DE COMPETENCIA NUM.------------ UNIDAD DE COMPETENCIA------------------------------- ---------------------------------------------------

ELEMENTOS DE COMPETENCIA ----------------------------------------------------------

NUM. INDICADORES SICOMOTORES COMPETENTE

SI

NO

NORMA DE COMPETENCIA NUM.----------- 10 INSTRUCTIVO PARA EL CANDIDATO

(PRUEBA PRÁCTICA)

10.1 La evaluación se realizará en un ambiente igual o similar al lugar de trabajo.

10.2 Debe presentarse a la prueba, por lo menos, con 30 minutos de anticipación.

10.3 Contará con el tiempo necesario para desarrollar la actividad en un ritmo normal de trabajo.

10.4 La evaluación será en forma individual, aunque en algunas ocasiones trabaje en grupo.

10.5 En la evaluación se tomará en cuenta los conocimientos, habilidades y actitudes, así como las características del producto o servicio generado como resultado de la actividad realizada.

10.6 Debe mostrar dominio en toda la práctica que lleva a cabo.

10.7 La evaluación se hará por observación directa, para ello el evaluador contará con una guía escrita.

10.8 Antes de iniciar la prueba revise el área de trabajo a fin de que cuente con todo lo necesario.

10.9 Si tiene dudas consulte al evaluador antes de iniciar la prueba.

10.10 Una vez finalizada la prueba debe firmar el resultado de la misma.

10.11 Deberá recibir la o las norma(s) de competencia por evaluar y las condiciones necesarias para hacerlo (condición de ejecución ).

SECTOR_____________________ FAMILIA OCUPACIONAL _________________________________ SALIDA OCUPACIONAL _________________________________

RESULTADO EVALUACIÓN SÍ

NO

-COMPETENCIA LABORAL Manual de procedimientos para la elaboración de pruebas de certificación de competencia laboral.

Actividad de Aprendizaje:

En su trabajo como docente, ¿Ud., como evaluador, utiliza principalmente un enfoque psicométrico o edumétrico? Por qué.

-----------------------------------------------------------------

-----------------------------------------------------------------

Ahora, y desde el ámbito de la reflexión, ¿qué enfoque favorece más el proceso enseñanza-aprendizaje? Por qué.

-------------------------------------------------------------------------------

-------------------------------------------------------------------------------

Frase Célebre

Antes de juzgar debes llegar hasta el corazón.

Noticia:

Seminario Internacional CODESSER

La Dirección de Evaluación de INACAP, durante los días 28 de septiembre y 3 de octubre, participará como expositor en el SEMINARIO LATINOAMERICANO EN EDUCACIÓN AGRÍCOLA CIEA/2007. En esta ocasión las asesoras Pancy Wistuba y Mitzy Ruiz, expondrán sobre el tema “La Evaluación de Competencias en Educación”. La actividad se dividirá en dos partes, una presentación teórica y luego, un taller de aplicación práctico.

El Seminario pretende: · Proveer un marco conceptual y herramientas prácticas para la conducción de una

evaluación eficaz en el ámbito de la institución agrícola. · Establecer los atributos, criterios y condiciones para el desarrollo de la evaluación en vistas a una mejora educativa integral del aprendizaje y de la institución de formación agrícola. · Crear conciencia sobre la importancia y beneficios de la aplicación sistemática de la evaluación como herramienta de gestión institucional, docente y de aprendizaje. · Fortalecer la capacidad evaluativa y mejorar la práctica de la evaluación en las instituciones de formación agrícola. · Propiciar una instancia de reflexión, análisis, intercambio de ideas e instrumentos y observación directa de experiencias de implementación de evaluación efectiva. Este seminario se realizará en EL Centro Turístico Huallilemu Sur, El Quisco.