¿Cómo hacer concept tests, preguntas que evalúan comprensión conceptual no lo

aprendido de memoria?

Alfredo Prieto MartínUniversidad de Alcalá

¿Cómo se hacen preguntas conceptuales (concept test) para medir la comprensión de los conceptos esenciales?

Se hacer preguntas de elección múltiple pero …

¿sabría construir concept tests para la evaluación de la comprensión en mi asignatura?

Pruebas conceptuales construidas con preguntas conceptuales (Concept tests ) de elección entre

múltiples respuestas (MCQ, Multiple Choice Questionnaire)

• Las buenas preguntas conceptuales (Mazur):– Se basan en dificultades comunes de los estudiantes. – Se centran en un único concepto.– Requieren más que memoria o seguir una receta para responder, hay que

aplicar comprensión de principios para interpretar la situación y deducir predicciones o escoger que es lo que debería hacerse en esa situación.

– Son claras y concisas con el mínimo imprescindible de jerga disciplinar.– Son de dificultad apropiada al nivel de los alumnos. Muy fáciles para el

que comprende y sabe transferir el concepto y muy difíciles para el que no lo comprende.

– Exigen que el alumno aplique su comprensión de los conceptos y la transfiera a situaciones nuevas para él.

3

¿Qué preguntas sirven para evidenciar la comprensión de los conceptos esenciales en una asignatura?

• Preguntas que no sólo supongan recordar hechos o definiciones de la memoria.

• La comprensión sobre un sistema permite hacer predicciones sobre lo que podría ocurrir en un experimento mental o cómo el cambio en una variable afectaría a otras variables relacionadas.

Transferencia de la comprensión

• La aplicación de nuestra compresión al mundo real requiere aplicar reglas, principios o procedimientos de solución conocidos a problemas y contextos nuevos.

• Debemos entrenar a nuestros alumnos en ese proceso usando concept tests para poner a prueba su capacidad para aplicar lo que comprenden en nuevos contextos.

Formulación de predicciones: Lanzas simultáneamente dos monedas que siguen las

trayectorias parabólicas mostradas en la figura

6

¿Qué moneda golpea el suelo primero? A. La moneda AB. La moneda BC. Las dos al mismo tiempo D. Necesito más información, tal vez debería haber estudiado

más los materiales proporcionados por el profesor

Discutid con el compañero que haya escogido otra opción e intentar convencerle

7

• ¿cómo afecta la altura de un lanzamiento al tiempo que el objeto esta en el aire?

• Lo esencial es la altura podemos despreciar el desplazamiento horizontal

• v-at=0 ; t=v/a• Cuanto mayor la velocidad vertical más subirá y

mas tardará en bajar• Luego A que sube más estará mas tiempo en el

aire B será la que cae primero

Uso de imágenes para crear contextos para preguntas MCQ

• Debemos considerar que algunas cosas que el profesor considera obvias pueden no serlo tanto para el estudiante principiante y poner en evidencia conceptos erróneos y fallos de base.

• Imágenes que los alumnos no han visto antes pueden ser excelentes contextos para que los alumnos demuestren si saben interpretar y clasificar en categorías.

• Podemos incluir imágenes en los archivos de word de nuestros exámenes o incluso hacer nuestros exámenes en Power point e imprimir 6 preguntas por página.

• La aplicación Socrative permite incluir figuras en las preguntas de sus quizzs.

• Google forms nos permite incluir hasta vídeos en nuestras preguntas.

Si hacemos flipped classroom with just in time teaching

• A partir de las dudas urgentes de nuestros alumnos podemos encontrar inspiración para crear preguntas conceptuales sobre esos conceptos que más dudas provocan en nuestros alumnos.

Preguntas que evalúan capacidad de Interpretación

• Preguntas que implican cambiar o “traducir” la forma de presentación de la información como:

1. Crear una imagen para ilustrar un concepto, 2. Extraer la conclusión de un gráfico que muestra resultados

experimentales,3. Resumir la idea principal de un texto.4. Los estudiantes deben interpretar figuras o crear figuras para

ilustrar la información de un texto5. La iconografía de la disciplina es muy fácil de interpretar por el

profesor y por eso le parece muy sencilla, pero los alumnos no están tan familiarizados con ella y tendrán mucha más dificultad para interpretarla.

6. Podemos evaluar fácilmente esta capacidad de interpretar o concluir con preguntas MCQ

Utilidad de las preguntas de interpretación

• Estas preguntas ayudarán a aprender la forma de representar gráficamente, interpretar los gráficos y comprender los mensajes que estos transmiten.

• Los datos mostrados o representados en figuras dan pie a que los alumnos realicen observaciones e intenten interpretar su significado.

• Así podrán aprender a interpretar y asimilar información contenida en los gráficos que se usan en el mundo profesional.

Ejemplo de pregunta de interpretación

• Examina la imagen e indica que se puede concluir a partir de los resultados mostrados en ella

A. Que el tratamiento con antiCD20 depleciona a corto plazo las células B del paciente tratado.

B. La reducción de células B secretoras de autoanticuerpos causa la respuesta al tratamiento

C. Que a corto plazo lareducción en los niveles de células B correlaciona con la reducción de la actividad de la enfermedad autoinmune

D. A y C son ciertas E. Todas son ciertas

Efectos del tratamiento con Rituxan anticuerpo monoclonal anti CD20 de pacientes con LES

Ejemplo de pregunta que evalúa capacidad de Clasificación

• Las preguntas de clasificación requieren que los alumnos recuerden los esquemas de clasificación general y los criterios que se usan para clasificar, identificar as características claves por medio de la observación y los apliquen a un caso concreto

• ¿De qué tipo son los linfocitos del cuadrante UR del siguiente dot plot?

• Th1• Th17• Th2• T reg• Tc

CD4

PerC

P

Otro ejemplo de pregunta de clasificación

• De los siguientes métodos de fomento del estudio previo, cuál no usa preguntas MCQ (multiple choice questionnaire)

A. PEPEOLA (Preparación y Estudio Previo Por Evaluación On Line Automática)

B. Team Based LearningC. Just in Time TeachingD. Peer instructionE. Peer teaching

Evaluación de la capacidad para resumir

• Si uno entiende algo bien, debe ser capaz de identificar lo más esencial sobre un concepto, lectura, o vídeo y resumirlo.

• Posiblemente la pregunta MCQ no sea la mejor herramienta para evaluar la capacidad de resumir, pero si para evaluar si el alumno es capaz de reconocer que un resumen es mejor que otros.

Evaluación de definiciones o resúmenes con preguntas MCQ

• En una pregunta de test podemos presentar una serie de definiciones mejores y peores con distintos grados de certeza, precisión y preguntar a los alumnos cual es la opción más válida para definir un concepto.

• También podemos pedirles que justifiquen por escrito su respuesta.

¿Cuál es la mejor de las siguientes descripciones sobre las células T reg?

A. Las células Tregs son células CD4+ T autorreactivas que se originan en el timo, inhiben a las APCs y los linfocitos T efectores

B. Las células Treg son células CD4+ autorreactivas que incluyen tanto células autorreactivas originadas en el timo como otras inducidas en la periferia, expresan Fox P3, CD25 y CTLA-4, inhiben a las APCs y los linfocitos T efectores

C. Las celulas T reg son células CD4+ que incluyen tanto células autoreactivas originadas en el timo como otras inducidas en la periferia y expresan el factor nuclear RorgT , el receptor de glucocorticoides GITR e inhiben a las APCs y los linfocitos T efectores

D. Las células Tregs son células T CD4+autorreactivas que se originan en el timo, inhiben a las APCs y los linfocitos T efectores y se caracterizan por que expresan el antígeno CD25La pregunta MCQ no es la mejor herramienta para evaluar la capacidad de resumir

Creo que para evaluar la capacidad de resumir lo mejor es pedir al alumno que escriba un resumen de extensión limitada en numero de palabras o caracteres.

Evaluación de la capacidad de Inferencia o predicción

• La inferencia implica encontrar un patrón en una serie de ejemplos. Su uso correcto refleja una comprensión de cómo las distintas características están relacionadas entre si.

• La memorización de características aisladas no sirve para responder este tipo de preguntas.

• La inferencia pude evidenciarse por:1. La identificación de relaciones entre múltiples características.2. el reconocimiento de un patrón que relaciona una serie de

ejemplos aparentemente dispares. 3. La capacidad para extraer una conclusión a partir de información

presentada (por ejemplo en un gráfico) y asunciones correctas de premisas relevantes que deben ser aportadas por el alumno

4. La predicción de lo que podrá ocurrir a partir de una situación

Ejemplos de inferencia

• Examina los dot plots de FSC/SSC correspondientes a dos cultivos de linfocitos A y B e interpreta lo que ocurre en ellos.

A. En el cultivo A se observa más proliferación y menos muerte celular que en el B

B. En el cultivo A se observa menos proliferación y menos muerte que en el B

C. En el cultivo A se observa más proliferación y más muerte celular que en el B

D. En el cultivo A se observa menos proliferación y más muerte celular que en el B

A

B

10%

90%

20%

80%

Ejemplo de inferencia que conduce a una conclusión

• ¿Qué podemos concluir del efecto del producto B añadido al cultivo B?

A. Estimula la proliferación y la apoptosis.

B. Estimula la proliferación e inhibe la apoptosis.

C. Inhibe la proliferación y estimula la apoptosis.

D. Inhibe la proliferación e inhibe la apoptosis.

A

B

10%

90%

20%

80%

Evaluación de la capacidad de Aplicación

• Si marcamos las células con CSFE y las cultivamos durante cinco días obtenemos los siguientes histogramas de marcaje con CSFE.

• El histograma A es de las células en medio completo el histograma B es el del cultivo al que se han añadido micropartículas con los anticuerpos antiCD3 y antiCD28, el histograma C es el del cultivo con micropartículas e IL-2.

• ¿Cual es la fluorescencia media de las células que han sufrido 2 rondas de divisiones mitóticas?

A. 300B. 600C. 1200D. 500E. 1000

A

B

C

1.0001.0010

Evaluación de la capacidad de resolución de problemas integrar la valoración de distintos aspectos y juzgar cual es la mejor

respuesta a una situación

• ¿Cuál es la mejor intervención cuando al finalizar un módulo los alumnos sacan una media de tres en un examen formativo?

A. Echar la culpa a la falta de base y de estudio de los alumnos.B. Echar la culpa al profesor y amenazarle con la no renovación del

contrato si los resultados no mejoran.C. Cambiar la metodología de enseñanza- aprendizaje para lograr que

los alumnos estudien y trabajen de modo continuo antes del examen final.

D. Usar evaluación formativa para entrenar a los alumnos para aquel tipo de evaluación que deberán superar y comprobar si así mejoran los resultados.

E. C y D son ciertas Justifique por escrito las razones de su respuesta