Post on 29-Jun-2015
PISAResultados y uso de ítems
OECD Septiembre 2013
Guillermo Montt guillermo.montt@oecd.org
Esta presentación
• Objetivo:– Resaltar que para estudios de medición
educacional la formulación de ítems (su contribución) es fundamental.
– La calidad del estudio depende de la calidad del instrumento.(lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela)
– Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)
Esta presentación
• ¿Qué es PISA?– Resultados para España– Características del estudio
• Cómo se construye PISA– Construcción participativa– Proceso cognitivo en la respuesta de ítems– Tipos de ítems– Uso de ítems individuales
• Implicancias de PISA en la sala de clases• PISA para centros educativos
¿Qué es PISA?
• Estudio internacional de medición de rendimiento educacional en lectura, matemáticas y ciencia
El Gobierno pide un pacto de Estado, tras el fracaso educativo de PISA09/12/2010 M. MORENO Por último, añaden que «la nefasta política educativa de los últimos diez años llevada a cabo por la Consejería de Educación nos llevará a un pozo del que difícilmente podremos salir».
«Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero»08/12/2010 C. F. Por qué sube Madrid?—Se debe, principalmente, a la buena dirección de las políticas de Esperanza Aguirre en materia de educación. Pisa certifica el fracaso de la Logse y la LOE del Gobierno de Zapatero.
Estancados en la mediocridad08/12/2010 A.M. SANZ Subimos tres con relación a Pisa 2006 (480), pero seguimos por debajo de los 485 puntos de 2003. Iniciativa del PPAnte el estancameinto de la educación española, las reacciones no se han hecho esperar.
La educación española continúa por debajo de la media en el informe PISA07/12/2010 EFE Esta es una de las principales conclusiones de los resultados de España en el Informe PISA 2009, que ha sido presentado este martes por el secretario de Estado de Educación y Formación Profesional, Mario Bedera.
¿Qué es PISA?
• En PISA 2009: – 75 países– +500 000 alumnos de 15 años que
representan una población de más de 30 millones de alumnos
– Lectura / Matemáticas / Ciencia
• En España– Desde el año 2000, cada tres años– 30 000 alumnos en el 2009– También en el 2012: resultados en diciembre
Resultados PISA 2009: Lectura
Shanghai-C
hina
Finland
Singapore
New Zealand
Australia
BelgiumEsto
nia
Poland
United St
ates
Sweden
Ireland
Chinese Taipei
United Kingdom
Portugal
Italy
Slove
niaSp
ain
Slova
k Republic
Israel
Austria
Turkey
Russian Fe
deration
Costa Rica
Bulgaria
Mexic
o
Mira
nda
Trinidad and Tobago
Brazil
Jordan
Indonesia
Kazakh
stanQatar
Peru
Kyrgyzs
tan300
400
500
600
Promedio OCDE: 493
20% de los alumnos españoles no superan las competencias básicas en lectura
3% de los alumnos españoles superan las competencias más altas en lectura
Tendencia en lectura: 2000-2009
Peru
AlbaniaLa
tvia
Poland
Liech
tenstein
Korea
Germany
Hong Kong-China
Mexic
o
Bulgaria
Denmark
Russian Fe
deration
Romania
Iceland
France
CanadaSp
ain
Czech
Republic
Argentina
-50
-40
-30
-20
-10
0
10
20
30
40
50
60Aumento en lectura es estadísticamente significativo
Disminución en lectura es estadísticamente significativa
Tendencia en lectura: España 2000-09
2000 2003 2006 2009200
250
300
350
400
450
500
550
600
650
700
Percentil 10
Percentil 25
Percentil 75
Percentil 90
Promedio
Percentil 90: 588 puntos
Percentil 10: 364 puntos
Tendencia en lectura: España y Portugal 2000-09
España Portugal
2000 2003 2006 2009200
250
300
350
400
450
500
550
600
650
700
2000 2003 2006 2009
Percentil 10
Percentil 25
Percentil 75
Percentil 90
Promedio
Resultados PISA 2009: Matemáticas
Shanghai-C
hina
Hong Kong-China
Chinese Taipei
Liech
tensteinJapan
Netherlands
New Zealand
Australia
Estonia
Denmark
Norway
Slova
k Republic
Poland
Czech
Republic
Hungary
United St
ates
Portugal
Italy
Lithuania
Greece
Dubai (UAE)
Turkey
Azerb
aijan
RomaniaChile
Mexic
o
Costa Rica
Montenegro
Argentina
Brazil
Albania
Indonesia Peru
Kyrgyzs
tan300
400
500
600
Promedio OCDE: 496
24% de los alumnos españoles no superan las competencias básicas en matemáticas
8% de los alumnos españoles superan las competencias más altas en matemáticas
Resultados PISA 2009: MatemáticasCa
stile
and
Leo
n
Nav
arre
Basq
ue C
ount
ry
Arag
on
La R
ioja
Mad
rid
Cata
loni
a
Cant
abri
a
Astu
rias
Gal
icia
Mur
cia
Bale
aric
Isla
nds
Anda
lusi
a
Cana
ry Is
land
s
Ceut
a an
d M
elill
a
400
450
500
550
600
Promedio OCDE: 496
Australia
Méxic
o
Promedio para Esp
aña
Resultados PISA 2009: Ciencias
Shanghai-C
hina
Hong Kong-China
Japan
New Zealand
Estonia
Netherlands
Germany
Switz
erland
Slove
nia
Poland
Belgium
United St
ates
Norway
France
Sweden
Latvi
a
Lithuania
Italy
Croatia
Russian Fe
deration
Dubai (UAE)
TurkeySe
rbia
Costa Rica
Uruguay
Mira
nda
Jordan
Brazil
Montenegro
Tunisia
AlbaniaQatar
Azerb
aijan
Kyrgyzs
tan300
400
500
600
Promedio OCDE: 501
18% de los alumnos españoles no superan las competencias básicas en ciencias
4% de los alumnos españoles superan las competencias más altas en ciencias
Dimensiones de equidad en PISA
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5300
400
500
600
700
800
-2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 2.5300
400
500
600
700
800
Mayor predictibilidad del nivel socio económico en el rendimiento
Menor equidad Mayor equidad
Predictibilidad del NSE y rendimiento a nivel país
051015202530300
350
400
450
500
550
600
Iceland
Japan
Argentina
Thailand
Peru
Russian Federation
Italy
Norway
Lithuania
Colombia
Liechtenstein
Macao-China
Netherlands
Bulgaria
Germany
Switzerland
Dubai (UAE)
Belgium
United Kingdom
Romania
Denmark
Singapore
Sweden
Albania
Latvia
Brazil
CroatiaIsrael
Kazakhstan
Panama
Montenegro
Finland
Luxembourg
AustriaTurkey
Kyrgyzstan
Uruguay
Chinese Taipei
Canada
Poland
Portugal
Spain
Mexico
Greece
Hungary
Korea
Czech Republic
Slovak Republic
Hong Kong-China
Tunisia
Estonia
Jordan
Qatar
Ireland
Chile
United States
Azerbaijan
France
New Zealand
Indonesia
Shanghai-China
Serbia
Slovenia
Trinidad and Tobago
Australia
Miranda Costa Rica
Porcentaje de la varianza en el rendimiento en lectura explicado por el nivel socioeconómico (r-cuadrado x 100)
Promedio OCDE
Prom
edio
OCD
E
Rendimiento bajo el promedioPredictibilidad por sobre el promedio
Rendimiento por sobre el promedioPredictibilidad por debajo del promedio
En España, el 14% de la varianza en lectura se explica por el NSE
Menor equidad Mayor equidad
-3 -2 -1 0 1 2 3200
493
Puntaje lectura
700
Escuela privada o subvencionadaEscuela pública ruralEscuela pública urbana
A nivel de escuelas: España
Diversidad social dentro de la escuela
ChilePeru
Hungary
Panama
Argentina
Colombia
Indonesia
Turkey
Maca
o-China
Shanghai-C
hina
Albania
Austria
Hong Kong-China
United St
ates
Kazakh
stan
Kyrgyzs
tan
Luxe
mbourg
Lithuania
Korea
Czech
Republic
Germany
Australia
Serb
ia
Ireland
Spain
Croatia
Japan
Chinese Taipei
United Kingdom
Canada
Denmark
Sweden
Finland
0
10
20
30
40
50
60
70
80
90
100 En España los índices de diversidad social son buenos: en la escuela los niños en desventaja social tienden a compartir espacio con sus pares aventajados
Muchos países con alto rendimiento en PISA son países con alta diversidad social: la inclusión social y el alto rendimiento no son objetivos contrapuestos
Diferencias por estatus migratorio(rendimiento no-migrantes - migrantes)
Austria
Belgium
Sweden
Denmark
France
Spain
Greece
Germany
Luxe
mbourg
Norway
Switz
erland
Slove
nia
Netherlands
OECD avera
ge
Estonia
Liech
tenstein
Ireland
Russian Fe
deration
United Kingdom
United St
ates
Croatia
New Zealand
Canada
Hong Kong-China
Israel
Singapore
Kazakh
stan
Montenegro
Maca
o-China
Australia
Jordan
Serb
ia-20
0
20
40
60
80
100 En España los alumnos con origen extranjero tienen casi 60 puntos menos en lectura; son casi el 10% de la población (en el 2000 eran solo el 2%)
En la mayoría de los países los migrantes tienen peor rendimiento en lectura que los niños
Lecciones de PISA para España
• La repitencia escolar (35%) atenta contra el rendimiento y la equidad
• Que el uso de evaluaciones, exámenes, libertad de elección favorezcan mejoren la calidad dependen de cómo se implementan estas políticas (por sí solas ellas no traen beneficio alguno)
• La inyección de recursos no es tan importante como el dónde se destinan estos recursos– Calidad docente, calidad de directivos
• Los mejores sistemas escolares– Atraen los mejores alumnos a la profesión docente y les entregan una
preparación rigurosa y de alta calidad– Convencimiento que todos los alumnos pueden rendir: no diferencian
a sus alumnos a temprana edad, apoyo constante a aquellos que quedan atrás
– Coherencia entre políticas y programas en educación con todos los actores relevantes alineados en torno a estas políticas
¿Cómo llegamos a estos resultados?
• Programme for International Student Assessment– Evaluación del aprendizaje acumulado de alumnos (no de
la educación secundaria)– Dirigido a alumnos al final de lo que para muchos países
representa la educación básica/obligatoria (15 años)– 2 horas de evaluación + 30 minutos para el cuestionario
• Colaboración entre la OCDE y los países participantes
• Primer estudio: 2000 y luego cada tres años– España a participado desde el primer estudio, con
resultados a nivel de comunidades
¿Qué mide PISA?
• PISA mide las competencias de alumnos para identificar, reorganizar y aplicar sus conocimientos en distintos contextos– No es una evaluación de la reproducción de contenidos
¿Cómo se construye PISA?
1. Marco teórico (framework)2. Desarrollo de preguntas /ítems 3. Traducción4. Pilotaje de preguntas5. Selección de preguntas para el
estudio principal(en paralelo, desarrollo de cuestionarios contextuales para alumnos y directores)
Marco teórico de PISA
• Tres marcos: matemáticas, lectura y ciencia – Define el dominio (y sub-dominios)
• En matemáticas:
– Delimita lo que puede medir la evaluación
– Especifica la estructura de la prueba
Contenido Procesos
Cantidades Formulación
Incertidumbre y datos Uso
Cambio y relaciones Interpretación
Espacio y figuras
Desarrollado en consulta constante con un conjunto de expertos internacionales en la materia
Marco es evaluado y adaptado cada nueve años
Desarrollo de ítems: Proceso cognitivo
El mundo real El mundo de las matemáticas
Una situación real
Un modelo de la realidad Un modelo matemático
Resultados reales
Comprensión de la situación, estructuración y
simplificación
Transformación del problema para ser abordado con matemáticas
Interpretación de los resultados matemáticos
Utilización de herramientas matemáticas para resolver el problema
Validación de los resultados Resultados de la operación
(matemáticos)
Desarrollo de ítems: Estructura y tipos
• Estructura:– Estímulo (entrega el contexto a las
preguntas)– Pregunta – Guía de respuesta
Desarrollo de ítems: Estructura y tipos
Estímulo
3 preguntas de opción múltple
Desarrollo de ítems: Estructura y tipos
• Estructura:– Estímulo (entrega el contexto a las
preguntas)– Pregunta – Guía de respuesta
• Tipos de ítems:– Cerrada: opción múltiple (A / B / C / E)– Cerrada: opción múltiple compleja (I / II /
III)– Abiertas
Desarrollo de ítems: Estructura y tipos
Desarrollo de ítems: proceso
1. Primeras ideas (tres años antes)1. Equipo de desarrolladores profesionales2. Sugerencias de países
2. Revisión de desarrolladores3. Paneles de estudiantes
1. Entrevistas individuales y grupales, “en voz alta”
4. 2a Revisión de desarrolladores5. Pilotaje local6. Panel internacional7. Pilotaje internacional8. Revisión final
¿Uso de preguntas individuales?
• Ítems miden no solo los contenidos de la materia que quieren medir
• Distintos tipos de preguntas miden distintos tipos de habilidades– Estudiantes japoneses tienen más dificultad
con preguntas abiertas que de opción múltiple
• Mejoras observadas en PISA en Japón son justamente en estas dimensiones
– Mujeres tienden a tener menor dificultad en preguntas abiertas
¿Uso de preguntas individuales?
• Predictibilidad a largo plazo: ¿qué tipos de ítems están mejor relacionados con resultados a largo plazo (estudios universitarios, empleo, etc.)– Preguntas que requieren de alumnos la capacidad de
comprender e interpretar información que aparece en un contexto o formato no familiar
• En matemáticas:• Conocimiento, comprensión y aplicación de estadísticas• Preguntas relacionadas con tasas, proporciones y
porcentajes
– Preguntas que requieren que los alumnos piensen la solución en varios momentos del proceso (reverse/flexible thinking)
Implicancias en la sala de clases
• Las habilidades que mide PISA no son la repetición de formulas y materias, sino la aplicación del conocimiento a situaciones reales
• Esto implica, en la sala de clases:– Enseñanza más interactiva: discutir problemas en su
solución y sus implicancias– Reducir la repetición: desincentiva la aplicación de
conceptos y la independencia en resolución de problemas– Utilizar ejercicios con contextos del mundo real– Promover el aprendizaje de matemáticas a través de la
solución de problemas– Utilizar el lenguaje en todas las materias: en la vida real los
problemas científicos, matemáticos y demases están inmersos en el lenguaje y requieren habilidades lingüísticas
PISA para centros educativos
• Desde este año estará disponible una evaluación para escuelas basada en PISA que cada escuela en el mundo puede implementar libremente
PISA para centros educativos
• Herramienta de apoyo a los esfuerzos de centros educativos, redes de escuelas y educadores locales por realizar comparaciones internacionales (“benchmarking”) para mejorar
• Brindar los resultados y el análisis comparativo sobre las competencias, los conocimientos, la actitud y la disposición de los alumnos hacia el aprendizaje …parte de un proceso local de
reflexión, discusión y transformación
PISA para centros educativos
Sí es...• Una herramienta en apoyo a los
procesos de “benchmarking”
• Una herramienta que brinda información útil a los centros educativos - y comparables a las escalas PISA
• Una herramienta que ayude a vincular los centros educativos y los educadores con las discusiones de políticas educativas
• Una herramienta a disposición de las autoridades educativas para su uso apropiado…
No pretende…• Ser una prueba estandarizada
obligatoria
• Ser una prueba que influya – por sí misma - en las practicas docentes cotidianas
• Ser una alternativa a la prueba PISA nacional o regional
• Ser una prueba que este alineada completamente con los contenidos o los estándares de un país en especifico, si bien hay coincidencias
• Ser una herramienta meramente para los rankings
I. Introducción: Cómo interpretar los resultados de su escuela en la prueba PISA for Schools
II. Resultados: Lo que los alumnos de su escuela conocen y saben hacer en Lectura, Matemáticas y Ciencias
III. El clima de aprendizaje en su centro escolar y la disposición de los alumnos hacia el aprendizaje
IV. Comparaciones de su centro educativo con otros centros en su país
V. Comparaciones internacionales: Los resultados de su escuela en un contexto internacional
PISA para centros educativos
Esta presentación
• Objetivo:– Resaltar que para estudios de medición
educacional la formulación de ítems (su contribución) es fundamental.
– La calidad del estudio depende de la calidad del instrumento.(lo es para estudios internacionales como para estudios nacionales como para evaluaciones dentro de la escuela)
– Al desarrollar ítems se especifican las competencias y habilidades que se consideran necesarias: reflexionamos sobre qué es lo que esperamos de nuestros alumnos (y de nuestros docentes)
Más información
• PISA ( http://www.oecd.org/pisa/ )– “Take the Test” / Banco de preguntas– Informe técnico– Marco teórico 2012– Resultados 2009– Resultados 2012: 3 de diciembre, 2013
• PISA para centros educativos