PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014

SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES

DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN TERRITORIAL

http://www.mecd.gob.es/inee

David CerveraConsejero Técnico del Área Internacional del INEE@dcerverao

Instituto Nacional de Evaluación Educativa

MECD

PISA, más allá de los datos


¿QUÉ ES INEE?

● El Instituto Nacional de Evaluación Educativa es el organismo responsable de la evaluación del sistema educativo en el Ministerio de Educación, Cultura y Deporte.

● Sus funciones son: Evaluación general del sistema educativo y realización, en

colaboración con las Administraciones educativas, de las evaluaciones generales de diagnóstico.

Coordinación de la participación del Estado español en las evaluaciones internacionales.

Elaboración del Sistema Estatal de Indicadores de la Educación. Participación en la elaboración de los indicadores internacionales de

la educación Revista de Educación: publicación científica del MECD para la difusión

de los avances en la investigación y en la innovación educativa. Boletín de Educación: resumen informativo de los temas de mayor

relevancia de los últimos informes publicados por el INEE.

¿Has visto que prueba han hecho?¿A quién se le habrá

ocurrido?

Mira este ítem.¡Qué barbaridad!

LO DESEABLE DE UN SISTEMA EDUCATIVO

Currículum

Competencias y habilidades para la vida

Evaluación

LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN EXTERNA

Currículum

Competencias yhabilidades para la vida

Evaluación

Video: Finalidad objetivos y diseño de una prueba http://www.youtube.com/watch?v=QHzpPflDiMY

Evaluaciones externas internacionales

Curso de formación INEE-INTEFVideo: Evaluaciones Externas Internacionaleshttp://www.youtube.com/watch?v=mKTpCsvYJus

Video Aplicación y trabajo de campo http://www.youtube.com/watch?v=VL5dl_clJqk

Video: Análisis de resultados http://www.youtube.com/watch?v=imTfIyeX7_8

Todas las preguntas PISA liberadas en http://recursostic.educacion.es/inee/pisa

http://www.youtube.com/watch?v=QHzpPflDiMY



http://www.youtube.com/watch?v=mKTpCsvYJus



http://www.youtube.com/watch?v=VL5dl_clJqk



http://www.youtube.com/watch?v=imTfIyeX7_8



http://recursostic.educacion.es/inee/pisa



MAPA DE EVALUACIONES

INTERNACIONALESEvaluación Externa Internacional Competencias Destinatarios Periodicidad Última

realizada

OCDE

PISA Programa para la Evaluación Internacional de Estudiantes

Programme for International Student Assessment

LectoraMatemáticaCientífica

Alumnos que cumplen 16

años en el año de realización

3 años2012

Siguiente 2015

TALIS

Estudio Internacional de Enseñanza y Aprendizaje Teaching and Learning International Survey

Encuesta al profesorado

Profesores y directores de

Educación Secundaria

5 años 2013

IEA

PIRLS

Estudio Internacional de Progreso en Comprensión Lectora

Progress in International Reading Literacy StudyLectora 4º EP 5 años

2011Siguiente

2016

TIMSS

Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study

MatemáticaCientífica

4º EP 4 años2011

Siguiente 2015

TIMS

S ADVANCED

Estudio International de Matemáticas y Ciencias Trends in International Mathematics and Science Study

Matemáticas y Física avanzadas

2º BachilleratoNo

definida

2008 Siguiente

2015

EVALUACIONES EXTERNAS

INTERNACIONALES

http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5http://www.youtube.com/watch?v=QHzpPflDiMY

PONGÁMONOS A PRUEBA

http://pisa-sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5


PONGÁMONOS A PRUEBA

Evaluaciones muestrales, cíclicas, a gran escala Cuadernillo de prueba + cuestionarios de contexto Rigor metodológico:

• Marco teórico: Qué evaluar, elaboración de ítems, distribución de ítems y cuadernillos…

• Selección de la muestra• Traducción de materiales, aplicación, corrección,

limpieza de datos…• Análisis TRI de las respuestas Dificultad de los

ítems y puntuación lograda por los alumnos Informes internacionales comparativos

RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN

EJEMPLO DE CONSTRUCCIÓN DE

PRUEBAS

ítems

Prepilotaje

Pilotaje

Estudio principal

Análisis de resultados

Elaboración de una prueba

Respuesta de elección múltiple

Respuesta cerrada

Respuesta abierta construida

Respuestas abiertas

Matriz de especificaciones

¿ ¿ ¿ ¿ Pruebas por ordenador ? ? ? ?¿ ¿ ¿ ¿ Azar ? ? ? ?

EJEMPLO DE

CONSTRUCCIÓN DE PRUEBAS

estímulo

UN

IDAD

DESCRIPTOR

BLOQUES DE CONTENIDOS• Números• Álgebra• Geometría• Funciones y Gráficas• Estadística y Probabilidad• Contenidos comunes

Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO

EJEMPLO DE


NIVEL 1

NIVEL 2

NIVEL 3

NIVEL 4

NIVEL 5

NIVEL 6

May

or d

ificu

ltad

dent

ro d

el p

roce

so


Bajo Medio Alto

Nivel de dificultad


Marcos Teóricos

Evaluaciones internacionales¿Qué es un marco teórico?

• Explica lo que trata de medir la evaluación• Objetivos del marco teórico:

Servir de guía para la elaboración de unidades y preguntasCompartir un lenguaje sobre el que los implicados puedan

discutir el temaAsegurar una continuidad en un estudio a largo plazoEstablecer y hacer públicas las características del programa

de evaluación

El Estudio PISA: Marco Teórico

Definición de LECTURA en PISA

Lectura (competencia lectora) es la comprensión, el uso, la reflexión y el interés por los textos escritos, para conseguir los propios objetivos, desarrollar el conocimiento y el potencial individuales, y participar en la sociedad


Para elaborar las preguntas, PISA atiende a 4 características de los textos:

– Contexto (escolar, personal, profesional, etc)– Tipo (continuo, discontinuo, mixto, múltiple)– Aspecto (acceder y recabar, integrar e interpretar,

reflexionar y valorar)– Formato (impreso o digital)


Tipos de textoContinuoDiscontinuoMixtoMúltiple Aspecto

Acceder y recabar información Integrar e interpretar Reflexionar y valorar


Tipos de textoContinuoLa información se presenta en frases y párrafos

– Argumentativo– Descriptivo– Expositivo– Narrativo

Mixto

DiscontinuoLa información se presenta en otros formatos

- Tablas - Gráficos- Diagramas- Mapas


Ejemplo de texto mixto

Formado por textos continuosy discontinuos


Aspectos:

Acceder y recabar información Integrar e interpretar Reflexionar y valorar

El Estudio PISA: Marco TeóricoEjemplo de “acceder y recabar información”

MACONDODeslumbrada por tantas y tan maravillosas invenciones, la gente de Macondo no sabía por dónde empezar a asombrarse. Se trasnochaban contemplando las pálidas bombillas eléctricas alimentadas por la planta que llevó Aureliano Triste en el segundo viaje del tren, y a cuyo obsesionante tuntún costó tiempo y trabajo acostumbrarse. Se indignaron con las imágenes vivas que el próspero comerciante don Bruno Crespi proyectaba en el teatro con taquillas de bocas de león, porque un personaje muerto y sepultado en una película y por cuya desgracia se derramaron lágrimas de aflicción, reapareció vivo y convertido en árabe en la película siguiente. El público que pagaba dos centavos para compartir las vicisitudes de los personajes, no pudo soportar aquella burla inaudita y rompió la silletería. El alcalde, a instancias de don Bruno Crespi, explicó mediante un bando que el cine era una máquina de ilusión que no merecía los desbordamientos pasionales del público. Ante la desalentadora explicación, muchos estimaron que habían sido víctimas de un nuevo y aparatoso asunto de gitanos, de modo que optaron por no volver a ir al cine, considerando que ya tenían bastante con sus propias penas, para llorar por fingidas desventuras de seres imaginarios.

¿Cuánto costaba ir al cine en Macondo?

o Un centavoo Dos centavoso Tres centavoso Cuatro centavos

El Estudio PISA: Marco TeóricoEjemplo de “integrar e interpretar ”


Al final del pasaje, ¿por qué la gente de Macondo decide no volver al cine?

El Estudio PISA: Marco TeóricoEjemplo de “reflexionar y valorar”


¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu propia actitud hacia el cine con la de ellos.

La LECTURA en PISA

Sí, estoy de acuerdo, ya hay bastante sufrimiento en el mundo sin que haya que inventárselo.

No, la gente no entiende que cuando vas al cine lo que ocurre en la pantalla no es de verdad.

Depende. Si la peli es “aburrida” me dan ganas de irme, pero si es buena te enganchas y no me importa si no es de verdad.

Ejemplo de respuestas de alumnos a la pregunta de “reflexionar y valorar”

¿Estás de acuerdo con el criterio final de la gente de Macondo sobre el valor del cine? Explica tu respuesta comparando tu actitud hacia el cine con la de ellos.

La LECTURA en PISA

Educación Secundaria: PISA digital

¿Qué es la lectura digital?En el siglo XXI, la competencia lectora incluye saber

leer en los formatos impreso y digital (o electrónico) La lectura digital no es sólo leer texto impreso en una

pantalla de ordenador

La lectura digital añade al proceso de textos una faceta específica: la navegación

CBA en PISA

Educación Secundaria: PISA digitalPreguntas liberadas CBA (Computer-Based Assessment)(navegador: Firefox)Lectura http://erasq.acer.edu.au/index.php?cmd=homeMatemáticashttp://erasq.acer.edu.au/index.php?cmd=toMathsResolución de Problemashttp://erasq.acer.edu.au/index.php?cmd=toProblemSolving

http://erasq.acer.edu.au/index.php?cmd=home

http://erasq.acer.edu.au/index.php?cmd=home

http://erasq.acer.edu.au/index.php?cmd=toMaths

http://erasq.acer.edu.au/index.php?cmd=toMaths

http://erasq.acer.edu.au/index.php?cmd=toProblemSolving

http://erasq.acer.edu.au/index.php?cmd=toProblemSolving

La Lectura en PISA: Ejemplo de unidad

Elaboración de unidades y preguntas

La elección de textos y la elaboración de preguntas para evaluar la comprensión lectora

¿Cómo hacer?

Elaboración de preguntas para un estudio a gran escala

Redacción preliminar de

preguntas

Revisión de preguntas

Laboratorios cognitivos (Cog Labs)

Revisiones de preguntas

Revisión externa (países) Pregunta aceptada o rechazada (después

de Cog Labs))

Estudio PilotoAnálisis

psicométrico y revisión

Elaboración del marco teórico

Pregunta para el Estudio Principal


Textos que no sirven: lo que tenemos que evitarOfender o molestar:

• Trauma (accidentes de tráfico, violencia)• Sexo, religión, política u otros temas polémicos o

delicados• Mal comportamiento, agresividad, racismo,

inmoralidad o irresponsabilidad• Modelos indeseables (drogas, alcohol, inducción a

diversos posibles peligros)• Palabrotas

Esperar demasiado o demasiado poco de los alumnos:• Textos con lenguaje enrevesado • Textos que ofrecen un conocimiento que los alumnos

ya deberían saber• Textos aburridos!!


Lo importante es saber elegir un texto

Un buen texto…

• es interesante y motivador• plantea retos – no es muy fácil ni muy difícil • no plantea retos artificiales (lenguaje retorcido,

p.e.)• es (más o menos) igualmente accesible para

diferente tipo de alumnos• ofrece oportunidades para plantear cuestiones

inquisitivas, cuya respuesta no sea obvia



Una frase inicial que nos intriga...

¿¿Qué invenciones??

¿De qué va esto? ... Algo familiar desde una perspectiva

extraña

Esto es de locos... ¿Pero hay algo de cierto en ello?


Y, por último, lo importante es redactar unidades

Una unidad es un grupo de preguntas construidas a partir de un texto / estímulo o parte del mismo


¿Qué caracteriza a una buena unidad?

• Las preguntas cubren un amplio espectro de dificultad

• Las preguntas responden a distintos aspectos del marco teórico

• Cada pregunta es independiente de las demás• El grupo de preguntas consigue llegar al “corazón”

del texto

MARCO TEÓRICO DEL ESTUDIO PISA

Cam

bio

y re

laci

ones

Expresiones algebraicas, ecuaciones e inecuaciones, representaciones tabulares y gráficas.Representar datos y relaciones utilizando estadísticas.Medidas geométricas.Relaciones entre longitudes de los lados de triángulos.

Espa

cio

y fo

rma

Reconocer las formas en diferentes representaciones y diferentes dimensiones.Comprender las propiedades de los objetos y sus posiciones relativas.Orientarnos por el espacio y a través de las construcciones y formas.Relación entre formas e imágenes.Representación en dos dimensiones de objetos tridimensionales.La formación de las sombras y cómo interpretarlas.Qué es la perspectiva y cómo funciona.

Canti

dad

Comprensión del tamaño relativo.Reconocimiento de las regularidades numéricas.Utilización de los números para representar cantidades y atributos cuantificables de los objetos del mundo real.Procesamiento y comprensión de los números.Representación de los números de diferentes maneras.Comprensión del significado de las operaciones.Percepción de la magnitud de los números.Cálculos matemáticamente elegantes.La estimación y el cálculo mental

Ince

rtidu

mbr

e y

dato

s

Estadística y probabilidad.Recogida de datos y error en la medida.Análisis y presentación de datos.Deducción.Crear, interpretar y evaluar conclusiones extraídas de situaciones donde se presenta incertidumbre.

PISA. PROCESOS COGNITIVOS

FORMULACIÓN matemática

EMPLEO de conceptos, datos, procedimientos y

razonamientos matemáticos

INTERPRETACIÓN, aplicación y

valoración de los resultados

PISA. PROCESOS COGNITIVOS

FORMULACIÓN EMPLEO INTERPRETACIÓN

Comunicación Leer, descodificar e interpretar enunciados, preguntas, tareas, objetos, imágenes o animaciones (en la evaluación electrónica) para crear un modelo mental de la situación

Articular una solución, mostrar el trabajo asociado a la obtención de la misma y/o resumir y presentar los resultados matemáticos intermedios

Elaborar y presentar explicaciones y argumentos en el contexto del problema

Matematización Identificar las variables y estructuras matemáticas subyacentes al problema del mundo real y formular supuestos de modo que puedan utilizarse

Utilizar la comprensión del contexto para guiar o acelerar el proceso de resolución matemático, p. ej., trabajando a un nivel de precisión apropiado al contexto

Comprender el alcance y los límites de una solución matemática que son el resultado del modelo matemático empleado

Representación Crear una representación matemática de información del mundo real

Interpretar, relacionar y utilizar distintas representaciones cuando se interactúa con un problema

Interpretar los resultados matemáticos en distintos formatos con relación a una situación o uso; comparar o valorar dos o más representaciones con relación a una situación

Razonamiento y argumentación

Explicar, defender o facilitar una justificación de la representación identificada o elaborada de una situación del mundo real

Explicar, defender o facilitar una justificación de los procesos y procedimientos utilizados para determinar un resultado o solución matemática.Relacionar datos para llegar a una solución matemática, hacer generalizaciones o elaborar un argumento de varios pasos

Reflexionar sobre la soluciones matemáticas y elaborar explicaciones y argumentos que apoyen, refuten o proporcionen una solución matemática a un problema contextualizado

Diseño de estrategias para resolver problemas

Seleccionar o diseñar un plan o estrategia para reformular matemáticamente problemas contextualizados

Activar mecanismos de control eficaces y sostenidos en un procedimiento con múltiples pasos conducente a una solución, conclusión o generalización matemática

Diseñar e implementar una estrategia para interpretar, valorar y validar una solución matemática a un problema contextualizado

Utilización de operaciones y un lenguaje simbólico, formal y técnico

Utilizar variables, símbolos, diagramas y modelos estándar apropiados para representar un problema del mundo real empleando un lenguaje simbólico/formal

Comprender y utilizar constructos formales basándose en definiciones, reglas y sistemas formales, así como mediante el empleo de algoritmos

Comprender la relación entre el contexto del problema y la representación de la solución matemática. Utilizar esta comprensión para favorecer la interpretación de la solución en su contexto y valorar la viabilidad y posibles limitaciones de la misma

Utilización de herramientas matemáticas

Utilizar herramientas matemáticas para reconocer estructuras matemáticas o describir relaciones matemáticas

Conocer y ser capaz de utilizar adecuadamente distintas herramientas que puedan favorecer la implementación de procesos y procedimientos para determinar soluciones matemáticas

Utilizar herramientas matemáticas para determinar la razonabilidad de una solución matemática y los límites y restricciones de la misma, dado el contexto del problema

MATEMÁTICAS


Cambio y relaciones

25 %

Espacio y forma25%

Cantidad25%

Incertidumbre y datos25%

Formulación 25% 6,25% 6,25% 6,25% 6,25%Empleo 50% 12,5% 12,5% 12,5% 12,5%Interpretación 25% 6,25% 6,25% 6,25% 6,25%

CIE

NC

IAS


Versión on line de PIAAC, Education and Skills on line, modelo de prueba por medios informáticos.http://www.starttest.com/templates/StartTest/esol/demo-launch.htm

http://www.starttest.com/templates/StartTest/esol/demo-launch.htm



MÉTODO DE CORRECCIÓNEECL

Comparación de las producciones de los alumnos con pruebas de referencia (exemplars, copies-étalon). Comparación en relación a dos criterios: comunicación y lenguaje.Ventaja de este método: Neutraliza en gran medida la subjetividad del corrector (severidad-benevolencia) ya que los juicios son comparativos y no absolutos.

Corrección de las tareas de nivel B1-B2 Corrección de las tareas de nivel A1-A2

Producción escrita


WEB INEE

http://www.mecd.gob.es/ministerio-mecd/organizacion/organigrama/ministro/secretaria-estado-educacion.html

1º http://www.mecd.gob.es/inee

2º Ítems liberados de pruebas de evaluación y otros recursos

RECURSOS PARA EL PROFESORADO

http://www.oecd.org/pisa/test/


http://www.mecd.gob.es/inee/Recursos.html

http://www.oecd.org/pisa/test/

http://recursostic.educacion.es/inee/pisa/

BOLETINES DE EDUCACIÓN

PROGRAMA DE VISITAS

Síguenos en Twitter:@educaINEE

@sanz_ismael@dcerverao

En nuestro blog:http://blog.educalab.es/inee/

Y en slideshare:http://www.slideshare.net/INEE_MECD

http://www.mecd.gob.es/inee/

GRACIAS

http://blog.educalab.es/inee/

http://www.slideshare.net/INEE_MECD

http://www.slideshare.net/INEE_MECD

PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014

Education

Transcript of PISA más allá de los datos. Marco teórico. Valencia 24 Julio 2014