Copyright © 2006 Educational Testing Service Nuevos Enfoques en el Desarrollo de Evaluaciones Luis...

Copyright © 2006 Educational Testing Service

Nuevos Enfoques en el Desarrollo de Evaluaciones

Luis SaldiviaAssessment Specialist

Educational Testing Service


Sumario de la Presentación

• Introducción – La necesidad de rediseñar el GRE

• Diseño Basado en Evidencia (ECD)

• Descripción del constructo Razonamiento Cuantitativo (RC)

• Regreso al Diseño Basado en Evidencia

• Discusión


Algunas palabras sobre evaluaciones• Por evaluación nos referimos a hacer

inferencias sobre los Conocimientos, Habilidades y Talentos (CHT) de los examinados en base a un conjunto limitado de datos

• El desarrollo de evaluaciones no se refiere solamente a los contenidos o a las tareas asignadas a los examinados, sino también a los modelos que nos permiten hacer inferencias basadas en las observaciones


Que es el ECD?

• El Diseño Basado en Evidencia (ECD) es una familia de prácticas para el desarrollo de pruebas diseñado a aclarar lo que está siendo medido por una prueba, y a apoyar las inferencias hechas en base a las evidencias derivadas de la prueba


Que es ECD?

ECD enfatiza los siguientes cinco aspectos:– El propósito de la evaluación – Lo que va a ser medido (competencias)– Lo que cuenta como evidencia de las

competencias– Los tipos de tareas a las cuales se les puedan

asignar puntajes que puedan proveer esta evidencia

– Los enlaces lógicos explícitos entre todos los aspectos anteriores, las maneras en que las preguntas serán ensambladas para crear las pruebas, y las maneras como serán asignados puntajes a las pruebas


Valor del ECD

• Validez

• Eficiencia

• Organización


ECD y la Validez

La validez de una evaluación es la extensión a la cual las inferencias y acciones hechas en base a un conjunto de puntajes son adecuadas y justificadas por la evidencia

ECD ayuda a construir la validez dentro del proceso de desarrollo de la prueba


ECD y la Eficiencia• ECD ayuda a asegurar que las preguntas están

midiendo material correcto (relevante al constructo) y hace más fácil determinar si las preguntas están midiendo material equivocado (irrelevante al constructo)

• La documentación requerida por el ECD ayuda a aumentar la calidad de la comunicación entre las diferentes personas que se encargan de un programa de pruebas

• ECD proporciona la habilidad de crear problemas y pruebas que son más probables que sean paralelas a preguntas y pruebas existentes

• ECD permite al personal menos experimentado realizar tareas que anteriormente requerían de personal más experimentado


ECD y la Organización

• ECD alínea todas las partes del diseño y desarrollo de pruebas

• El uso de Modelos de Ensamblaje ayuda a hacer más eficiente el proceso de ensamblaje de pruebas


El Enfoque del ECD¿Cuál es el propósito de la prueba?

– ¿A quienes estamos evaluando?

¿Qué afirmaciones queremos hacer sobre alguien que obtiene un puntaje alto y sobre alguien que obtiene un puntaje bajo?

¿Qué información contiendrá el eventual reporte de los resultados?

¿Qué CHT queremos medir?¿Qué clase de evidencias necesitamos para hacer

las afirmaciones con confianza?¿Qué tipo de tareas le permitirán a los examinados

mostrar la evidencia que queremos, dadas los limitaciones del ambiente de la prueba?

¿Cómo se deberían ensamblar las pruebas?¿Cómo debería ser la asignación de los puntajes?


Propósito de la Prueba

• Proporcionar una descripción tan clara como sea posible del propósito de la prueba


El GRE® General Test mide razonamiento verbal, razonamiento cuantitativo, pensamiento crítico y habilidades de escritura analítica que han sido adquiridas en un largo período de tiempo y que no se relacionan a nigún campo de estudio específico


La sección quantitativa mide habilidades matemáticas básicas y el entendimiento de conceptos matemáticos básicos, así como también la capacidad de razonar cuantitativamente y de resolver problemas en marcos quantitativos


Definición del Constructo “Razonamiento Cuantitativo”

• El constructo debe estar claramente especificado

• Diferenciar el constructo de constructos similares y de influencias que no son parte del constructo


De acuerdo al NCTM (2000):

razonamiento cuantitativo es la habilidad desarrollada de analizar información cuantitativa y de determinar que tipo de habilidades y procedimientos pueden ser aplicados para resolver un problema particular


Razonamiento Cuantitativo incluye las siguientes seis habilidades:

• Leer y entender información presentada en diferentes formatos

• Interpretar información cuantitativa y deducir inferencias apropiadas de la misma

• Resolver problemas utilizando métodos aritméticos, algebraicos, geométricos o estadísticos


• Estimar respuestas y verificar las mismas para ver si son razonables

• Comunicar información cuantitativa de manera verbal, numérica, algebraica o gráfica

• Reconocer las limitaciones de los métodos matemáticos o estadísticos


Proceso de Resolución de Problemas

Paso 1: Entender y definir el problema– Entender la situación subyacente

descrita en el problema1. Entender y analizar tanto la información

explícita como la infromación implícita en el problema, incluyendo las restricciones del problema

2. Encontrar ejemplos que satisfagan las resticciones

3. Reconocer patrones y formular conjeturas sobre la situación



Paso 1: Entender y definir el problema– Traducir una situación real a una

representación matemática– Traducir un problema matemático

real o abstracto (no contextualizado) a otro problema matemático



Paso 2: Resolver el Problema

– Reconocer cuándo se debe parar de tratar de enterder el problema y cuándo comenzar a resolverlo

– Determinar una variedad de técnicas específicas que pueden ser utilizadas para resolver problemas

– Decidir la técnica más útil para resolver el problema planteado

– Aplicar correctamente las técnicas para resolver el problema



Paso 3: Entender los Resultados

– Reconocer cuándo se debe parar de resolver el problema y comenzar a tratar de entender lo que se ha hecho hasta ese momento, incluyendo monitoreo y entendimiento de resultados parciales

– Traducir los resultados obtenidos matemáticamente al lenguaje del problema

– Reconocer las implicaciones de la respuesta o de los resultados parciales


Paso 3: Entender los Resultados

– Verificar si una respuesta o resultado es razonable y reconocer cuando respuestas o resultados parciales sugeridos no son razonables

– Reconocer cuando se han cometido errores mientras se lleva a cabo el proceso de razonamiento

– Comunicar los resultados por medio de presentaciones escritas (o en otras formas) con explicaciones claras del proceso de solución



RC y Contenido Matemático

• Es imposible evaluar RC completamente aislado del conocimiento de algún contenido matemático

• Para propósitos de pruebas de RC, definimos contenido matemático como aquel que es requerido para leer y entender problemas matemáticos, tales como conocimiento de terminología matemática y de procedimientos matemáticos



• La intención de una prueba de RC no es medir conocimientos matemáticos per se, sino el conocimiento de contenido matemático se utiliza como una herramienta con la cual razonar

• Las soluciones a las preguntas no deben depender de un nivel de conocimiento más allá del nivel que se asume es el común de toda la población de examinados

• Medidas de RC deben ser destinadas a poblaciones específicas cuyos conocimientos de contenido matemático pueden ser determinado con precisión



• Novedad del contenido de la prueba para los examinados

• Niveles de dificultad


Amenazas a la Validez

Los cálculos requeridos en la prueba– El NCTM (2000) afirma que los

programas instruccionales deben facultar a los estudiantes de la habilidad de hacer cómputos con fluidez y hacer estimaciones rasonables

– Fluencia computacional supone la habilidad de ejecutar cómputos mentales, hacer cómputos en papel y lápiz o usar la calculadora cuando sea necesario, así como también tener un sentido sobre los tamaños relativos de los números y su orden de magnitud



Los cálculos requeridos en la prueba

– En pruebas de RC el enfoque no debería ser en medir habilidades computacionales per se, sino medir• La habilidad de seleccionar y usar adecuada y

eficientemente estrategias computacionales para resolver un problema

• La habilidad de determinar el grado de precisión de un cálculo, o la adecuación del uso de estimaciones



Habilidades Espaciales y Visuales– Se refieren a la habilidad de

manipular mentalmente representaciones en dos o tres dimensiones, y de percibir un objeto desde diferentes perspectivas

– No forma parte del proceso de RC, ni se puede considerar como una habilidad en la cual todos los examinados son igualmente competentes



Carga de Lectura– No forma parte del constructo RC– Una suposición importante cuando

medimos RC es que todos los examinados entienden el significado de los materiales de la prueba

– El vocabulario utilizado debe ser de un nivel apropiado para la población examinada



Rapidez de Respuesta– No forma parte de la definición del

constructo RC– La rapidez de la prueba debe ser

considerada fuente de varianza irrelevante al constructo y se deben hacer intentos para controlarla

– La rapidez se puede controlar a nivel de prueba o a nivel de pregunta


Afirmaciones• Afirmaciones que queremos poder hacer

sobre los CHT u otros atributos de los examinados en base a sus ejecuciones en la prueba

• Las afirmaciones pueden ser generales o específicas

• Una sola prueba puede proporcionar las bases para afirmaciones diferentes y a niveles diferentes de especificidad

• Las afirmaciones generales (high level) deben ser apoyadas por afirmaciones específicas (low level) que describan los CHT a niveles crecientes de especificidad


Afirmaciones• No existe una fórmula mágica o un formato

sencillo para escribir las afirmaciones. Los enunciados deben responder a la pregunta: – ¿Qué queremos decir sobre los examinados en

base a sus respuestas en la prueba?

– El proceso de crear las afirmaciones es similar al proceso tradicional de crear las especificaciones de contenido y de habilidades de una prueba. De hecho, las mismas fuentes de información pueden ser utilizadas:

– Comités de expertos en las áreas incluídas en la prueba

– Análisis de estándares– Análisis de tareas– Encuestas– Estándares estatales y profesionales– Libros de texto


Afirmaciones

• Las afirmaciones varían dependiendo del tipo de prueba desarrollada

– Para pruebas con puntajes de “pasar” o “no pasar”, las afirmaciones generalmente comienzan con un formato similar a: “Los examinados que pasan la prueba tienen la habilidad de…”

– Para pruebas con niveles de competencia tales como “básico”, “proficiente” y “avanzado” las afirmaciones pueden usar un formato como “Los examinados a nivel básico tienen la habilidad de…”

• Hay que tener cuidado con las restricciones de la prueba cuando se generen las afirmaciones


Eventual Reporte de los Resultados (ERR)

• El ERR es una buena manera de entender las necesidades de los usuarios y de estar seguros de que las mismas son consideradas en el diseño de las pruebas

– ¿Cuál es el propósito de la prueba?– ¿Quienes son los usuarios de la

información generada por los datos de la prueba?

– ¿Qué información necesitan los usuarios?


Modelo del Estudiante

• ¿Quien tomará la prueba?• Se debe advertir a los que construyen

la prueba evitar incluir CHT que pudieron haber sido incluídos, pero que fueron deliberadamente omitidos

• Se deben considerar las afirmaciones cuando se describa el Modelo del Estudiante


Modelo de la evidencia• ¿Qué tipo de conducta o producto observable

proveería evidencias de los CHT medidos por la prueba?

• ¿Cuánta evidencia es necesaria?¿Cuántos tipos diferentes de evidencias?

• ¿Qué tendrán que hacer los examinados, dentro de las restricciones de la situación de la prueba, para permitirnos inferir sus niveles de CHT?

• ¿Qué situaciones son más probables que muesten las conductas o productos relevantes?

• ¿Cuáles son las diferencias más cruciales entre una conducta correcta y una incorrecta? ¿Se podrán observar facilmente esas diferencias?

• ¿Qué aspectos de las conductas o productos observables son más relevantes?


Modelo de las Tareas Una tarea es simplemente algo que le

pedimos a los examinados hacer y a la cual se le asignará un puntaje. El Modelo de las Tareas es una descripción de las características que definen a un grupo de tareas.

– Descripción de las competencias a las cuales están relacionadas las tareas

– Descripción de lo que se le pedirá a los examinados hacer

– Descripción de los factores más importantes que afectan la dificultad de las tareas que serán eventualmente producidas

– Proteger las tareas contra factores irrelevantes al constructo


Modelo de las Tareas

• ¿Podemos diseñar tareas que seguramente muestren las conductas y nos den la evidencia necesaria para hacer nuestras afirmaciones?

• ¿Podemos diseñar tareas que son razonables dadas las restricciones de tiempo, costo, capacidad de asignar puntajes y tiempo para el reporte de los resultados?


Cajas de Tareas

• Una caja de tareas es una manera de generar preguntas paralelas usando un marco con elementos variables y descripciones de lo que puede servir como elementos variables


Ejemplo

• ¿Cuál es la [media, mediana, moda] de la siguiente distribución [5 a 9 números en orden aleatorio]?


Cajas de tareas

Las cajas de tareas deben contener:

• Un enunciado claro de los CHT a ser medidas por cada pregunta

• Las instrucciones que requieren todas las tareas generadas por una caja

• Especificaciones de cualquier material de estímulo necesario para cada pregunta

• Reglas para generar los distractores• Maneras de distinguir entre respuestas

correctas e incorrectas


Modelo de Ensamblaje

Modelos de ensamblaje son versiones expandidas de especificaciones de pruebas detallados

– Deben contener toda la información necesaria para que un constructor de pruebas que no está familiarizado con una versión anterior de la misma, pueda construir una prueba paralela


Modelo de Ensamblaje

La información debe incluir:– Instrucciones de la prueba– Tiempo– Formato– Formas de respuestas– Distribución de las preguntas– Tamaño de la letra– Habilidad medida por cada problema– Especificaciones estadísticas– Los CHT y las afirmaciones a las cuales

cada pregunta proporciona evidencia


Modelo de Asignación de Puntajes

• ECD requiere que la asignación de puntajes se base en una cadena de conexiones lógicas explícitas

• Se sigue la misma cadena de conexión que ha guiado la construcción de la prueba, pero en sentido contrario:– Del nivel de las tareas se regresa al modelo de la

evidencia lo que resulta en un estimado de categorías numéricas de las CHT relacionadas con las afirmaciones


Modelo de Asignación de Puntajes

• Los métodos de asignación de puntajes reemplazan los argumentos verbales, que fluyen de las afirmaciones a la evidencia a las tareas, con representaciones numéricas de esas relaciones lógicas, y fluyen de las tareas a la evidencia a las afirmaciones

• El modelo de asignación de puntajes apropiado depende de los tipos de afirmaciones que se harán, del modelo de evidencia y de las tareas usadas para apoyar las afirmaciones. Por lo tanto, los constructores de las pruebas deben cooperar con el personal encardado de la estadística en la selección del modelo de asignación puntajes adecuado


Cadena de Validez Construída via ECD

Claim

Evidence

Evidence

TaskShell

TaskShell

Tasks

Tasks


Preguntas?

Copyright © 2006 Educational Testing Service Nuevos Enfoques en el Desarrollo de Evaluaciones Luis...

Documents

Transcript of Copyright © 2006 Educational Testing Service Nuevos Enfoques en el Desarrollo de Evaluaciones Luis...