Un Vistazo a TIMSS 2015 y PIRLS 2016 -...

Un Vistazo a TIMSS 2015 y PIRLS 2016

JORNADAS SOBRE EVALUACIONESJORNADAS SOBRE EVALUACIONES INTERNACIONALES DEL SISTEMA EDUCATIVO

Oliver Neuschmidt – IEA DPCOliver Neuschmidt – IEA DPC

Contenido

• Sobre la IEA• Introducción a TIMSS 2015 TIMSS Numeracy y TIMSS• Introducción a TIMSS 2015, TIMSS Numeracy, y TIMSS

Advanced• Introducción a PIRLS 2016 PIRLS Literacy y ePIRLS• Introducción a PIRLS 2016, PIRLS Literacy, y ePIRLS• Resultados

Ej l 1 R t I t i l d M t áti– Ejemplo 1: Reporte Internacional de Matemáticas– Ejemplo 2: Reporte sobre relaciones entre logro en

Matemáticas Ciencias y LecturaMatemáticas, Ciencias, y Lectura

• Cómo utilizar los resultados• Información adicional• Información adicional

Los Estudios

TIMSS (Trends in International Mathematics and Science Study: E di d T d i I i l M á i Ci i “)„Estudio de Tendencias Internacionales en Matemáticas y Ciencias“)& PIRLS (Progress in Reading Literacy Study: „Estudio del Progreso en Lectura Literaria“) son realizados porLectura Literaria ) son realizados por

International Association for the Evaluation of EducationalInternational Association for the Evaluation of Educational Achievement (IEA: “Asociación Internacional para la Evaluación de Rendimiento Educativos”)Evaluación de Rendimiento Educativos )

3

Sobre la IEA

• La IEAE i i i l i d di d– Es un consorcio internacional e independiente con sede en ÁmsterdamSu actividad principal es realizar estudios comparativos a– Su actividad principal es realizar estudios comparativos a gran escala sobre el logro educativo (TIMSS, PIRLS y otros:)

• ICCS: „Estudio Internacional sobre la Educación Cívica y Ciudadanía“• ECES: “Estudio sobre la Educación de la Temprana Infancia“• ETLS: „Estudio sobre la enseñanza y aprendizaje del idioma ingles“

S bj i i i l i f ió i– Su objetivo principal es generar información que permita una comprensión profunda de los efectos de las políticas y las prácticas en los diversos sistemas educativos.prácticas en los diversos sistemas educativos.

– Sus estudios están basados en la estructura escolar (grados), además siguen un enfoque curricular: expectativas‐implementación‐logros

Contenido






¿Qué es TIMSS 2015?

• Es un estudio Internacional designado para medir tendencias en rendimiento escolar sobre matemáticas ytendencias en rendimiento escolar sobre matemáticas y ciencias en el cuarto y octavo grado a nivel de sistema

• Conlleva una extensa recolección de datos contextualesConlleva una extensa recolección de datos contextuales sobre las condiciones de aprendizaje en matemáticas y ciencias

• Las tendencias consideran los ciclos:1995 – 1999 – 2003 – 2007 – 2011 – 20151995 1999 2003 2007 2011 2015

• Más de 600.000 estudiantes participaron en 2011 (cuarto y octavo grado)y octavo grado)

• Participación de 57 países y 5 entidades de referencia en 20152015

TIMSS 2015 diseño general

Diseño de la muestraS l ió d t ( l• Selección en dos etapas (escuelas, clases)

Cerca de 4500‐5000 estudiantesDiseño de rotación de bloque para la

pruebaBl d ít b t áti• Bloques de ítems sobre matemáticas y ciencias son rotados entre 14 cuadernillos

• Para el cuarto grado, todos los bloques fueron diseñados para durar 8,5h8,5h

• Ningún estudiante es expuesto a todos los ítems

Cuestionarios contextuales• De la escuela

información acerca del ambiente escolar en relación con la enseñanza y el yaprendizaje

• De los maestroscaracterísticas de los maestros, desarrollo profesional, actividades pedagógicas, y la implementación del currículo

• De los estudiantes• De los estudiantesinformación acerca del hogar de los estudiantes, así como su experiencia en matemáticas y ciencias

• De los padres de familia (nuevo en 2015, cuarto grado)actividades relacionadas a matemáticas, ciencias y literarias. Además reúne información sobre los recursos de los hogares, la percepción de los padres acerca del apoyo escolar y el ambiente escolar

• Cuestionario de currículoCuestionario de currículo

TIMSS 2015 Marco Conceptual

Dominios de contenido• Algebra geometría• Algebra, geometría,

biología, química, etc.Dominios cognitivosDominios cognitivos• conocimiento, aplicación,

razonamientorazonamientoMarco conceptual de

cuestionarios decuestionarios de contexto

Ejemplo: Matemáticas 4to Grado

Dominios de contenidoGeometríaDominios cognitivosDominios cognitivosConocimiento

Países que participan en TIMSS 2015Armenia 4, 8Australia 4, 8Austria 4Bahrain Num, 4, 8

Japan 4, 8Jordan Num, 8Kazakhstan 4, 8Korea, Rep. of 4, 8

Sweden 4, 8, AThailand 8Turkey 4, 8, ,

Belgium(Flemish) 4Botswana 6, 9Bulgaria 4Canada 4, 8Chile 4 8

, p ,Kuwait Num, 4, 8Lebanon 8, ALithuania 4, 8Macedonia 8Malaysia 8

United Arab Emirates 4, 8United States 4, 8, A

Benchmarking ParticipantsChile 4, 8Chinese Taipei 4, 8Croatia Num, 4Cyprus 4Czech Republic 4 D k 4

Malaysia 8Malta 4Morocco 4, 8The Netherlands 4New Zealand 4, 8N 4/5 8/9 A

Buenos Aires, Argentina 4Ontario, Canada 4, 8Quebec, Canada 4, 8Abu Dhabi, UAE 4, 8

Denmark 4Egypt 8England 4, 8Finland 4France 4, A

Norway 4/5, 8/9, AOman 4, 8Palestinian Nat’l Auth. Num, 8Poland 4Portugal 4, A

Dubai, UAE 4, 8

Georgia 4, 8, AGermany 4Hong Kong SAR 4, 8Hungary 4, 8Iran Islamic Rep of Num 4 8

Qatar 4, 8Russian Federation 4, 8, ASaudi Arabia 4, 8Singapore 4, 8Slovak Republic 4Iran, Islamic Rep. of Num, 4, 8

Ireland 4,8Israel 8Italy 4, 8, A

Slovak Republic 4Slovenia 4, 8, ASouth Africa Num, 9Spain 4, A

Lo nuevo para 2015 – TIMSS Numeracy

• Medición de rendimiento en habilidades aritméticas básicas

• Una prueba para países donde la mayoría de los estudiantes siguen desarrollando habilidades fundamentales en matemáticas

• Menos complejo que TIMSS 4to grado– Énfasis en números enteros (50%)– Énfasis en conocimiento (50%)

• La encuesta está enlazada con TIMSS 4to grado

TIMSS Advanced

• Estudio para estudiantes en el último grado con preparación especial en:preparación especial en:– Matemáticas avanzadas– FísicaFísica

• Administrado por primera vez como parte de TIMSS en 19951995

• Mide tendencias en1995 2008 2015 > 20 años!1995, 2008, 2015 ‐> 20 años!

• 10 participantes

TIMSS Advanced 2015 proporciona…

• Número de estudiantes y la proporción de la población de estudiantes que participa en estudios de matemáticas avanzadas y física al final de la escuela secundaria; y

• El rendimiento de estos estudiantes y su ubicación en puntos de referencia internacionales (avanzado, alto, e intermedio).

• Provees información sobre la preparación de científicos e ingenieros futuros– Por ejemplo: ¿Qué factores llevan a una alta participación en estudios

l i d t áti fí i ?relacionada con matemática y física?

Promedio de rendimiento en matemáticas avanzadas e índice de cobertura en TIMSS Advanced 2008

mientoen

das

de re

ndim

asavanzad

romed

iod

atem

ática

Í di d b t t áti d TIMSS Ad d 2008

Pr m

Índice de cobertura en matemáticas avanzadas para TIMSS Advanced 2008 (porcentaje de estudiantes)

TIMSS Advanced 2015 y los cuestionarios contextualescontextualesProporcionan información adicional acerca de factores que

podrían influenciar las oportunidades escolares y el rendimiento en matemáticas avanzadas y física.

• Escuelas– Composición, liderazgo, recursos etc.

• profesores– Educación y experiencia– Instrucción en el salón de clase/uso de tecnología

• Estudiantes– planes de carrera y aspiraciones

TIMSS Advanced 2015 Marco ConceptualDominios de contenido• Matemáticas avanzadas

Algebra Cálculo

G t í Geometría• Física

Mecánica y termodinámicaMecánica y termodinámica Electricidad y magnetismo Fenómeno de onda y física

atómica/nuclearatómica/nuclear

Dominio cognitivo Conocimiento aplicaciónConocimiento, aplicación,

razonamiento

Marco conceptual de cuestionarios de contexto

Planes para TIMSS 2015/ TIMSS A

2013 – Desarrollo de instrumentos2014 – Fase de prueba y finalización de instrumentos ‐

Hemisferio Sur2015 – Recolección de datos y procesamiento2016 – Análisis de datos, preparación de reporte y

bases de datos

Nueva iniciativaTIMSS Pilotaje de estudio basado en computadorasTIMSS Pilotaje de estudio basado en computadoras

• Objetivos– Objetivo #1 Determinar si el actual rango de tipos de TIMSS ítems puede ser aplicado a través de una computadora

– Objetivo #2 Mantener la medición de tendencias durante los 20 años de vida del estudiob b l d d d l ó– Objetivo #3 Factibilidad de implementación

• Aplicación– Versión Tablet‐y‐stylus– Se usarán bloques para medir tendencias (2011) durante el

lpilotaje– Se planea administrar durante 2016 en países de habla i léinglés

Contenido






PIRLS• Evaluación internacional de comprensión de lectura para

el cuarto año– Reporta resúmenes e información de diagnóstico acerca de las habilidades y estrategias de lectura – a nivel sistema

• Mide tendencias sobre los ciclos:2001, 2006, 2011, 2016, , ,

• Los estudiantes con alto rendimiento en PIRLS pueden leer, comprender e interpretar información relativamenteleer, comprender e interpretar información relativamente compleja en historias y artículos de entre 800 y 1,000 palabrasp

• Aproximadamente 325,000 estudiantes participaron en 2011

• Más de 50 países participan en PIRLS 2016

PIRLS 2011 Diseño ‐ Ejemplo

Pasaje de texto Preguntas

PIRLS 4to Grado ‐ ParticipantesAustraliaAustria*Barbados

Hungary*IranIreland*

Slovak RepublicSlovenia*South Africa

Bahrain*Belgium (Fl)*Belgium (Fr)Belize

Israel*Italy*JordanKazakhstan

SpainSweden*Trinidad & TobagoTurkeyBelize

BotswanaBulgariaCanada

KazakhstanKuwaitLithuaniaMalta*

TurkeyUnited Arab Emirates*United States*

ChileChinese Taipei*ColombiaCzech Republic

NetherlandsNew Zealand*Norway*Oman

Benchmarking ParticipantsBuenos Aires, ArgentinaOntario, CanadaQuebec Canada*Czech Republic

Denmark*EnglandFinland

OmanPhilippinesPolandPortugal

Quebec, Canada*Caribbean CXCMaltese – MaltaEng/Afr – RSA (5th)*

FranceGeorgiaGermany*Hong Kong SAR

QatarRussian FederationSaudi ArabiaSingapore*

Andalusia, SpainAbu Dhabi, UAE*Dubai, UAE*

Hong Kong SAR Singapore

* Participantes en ePIRLS

Definición de Lectura Literaria

La capacidad de entender y usar aquellas formas del lenguaje escrito requeridas por la sociedad y/o valoradas por el individuo. Lectores jóvenes puedencrear conocimiento de varios textos. Ellos leen paraaprender, para participar en comunidades de lectores, y por placer.(Campbell, Kelly, Mullis, Martin, & Sainsbury, 2001)

24

PIRLS 2016 Marco Conceptual

Propósitos de lectura• Literaria• Literaria• InformativaProcesos de comprensiónProcesos de comprensión• Reconocimiento y

recuperación a través derecuperación a través de evaluación y crítica

Nuevo para 2016 – PIRLS Literacy (antes: prePIRLS)

• Evaluación para países donde la mayoría de los estudiantes siguen desarrollando habilidadesestudiantes siguen desarrollando habilidades fundamentales de lectura

• Menos complejo que PIRLSMenos complejo que PIRLS– Pasajes más cortos

V b l i á ill– Vocabulario más sencillo

– Gramática y sintaxis más sencilla

– Intercala preguntas y texto

• Ciertos pasajes son el enlace para la métrica PIRLSCiertos pasajes son el enlace para la métrica PIRLS

ePIRLS – Evaluación de lectura en línea

• Extensión de PIRLS 2016• Objetivos: Entender qué tan exitosos son los países en• Objetivos: Entender qué tan exitosos son los países en

preparar a los estudiantes a leer, comprender, e interpretar información en líneainterpretar información en línea

• ePIRLS medirá el rendimientos en lectura con propósito informativoinformativo

La lectura en línea conlleva habilidades de comprensión que van más allá de la lectura tradicional (impresa)que van más allá de la lectura tradicional (impresa)– Por ejemplo: Estrategias para la síntesis de información

proveniente de varias fuentes y formatosp y

La evaluación ePIRLS• Ambiente en línea:

– Estimular una auténtica experiencia de lectura en línea así– Estimular una auténtica experiencia de lectura en línea, así como capturar las respuestas de los estudiantes dentro de un ambiente de internet cerrado, adecuado para

d destudiantes de cuarto año.– Usa páginas web realesDi ñ d l ió• Diseño de evaluación:– Dos asignaturas de investigación y de comprensión de lectura por estudiante (40 minutos por asignatura) +lectura por estudiante (40 minutos por asignatura) + cuestionario corto

• Aplicación de prueba:p p– A través de USB‐stick– A través de un servidor que aloje el sistema de evaluación

ePIRLS – Página de ejemplo

Ventana de navegación l V d l ióque muestra el

material de estímuloVentana de evaluación

Planes para PIRLS 2016

2013/14 ‐ Desarrollo de instrumentos2015 Fase de prueba y finalización de2015 ‐ Fase de prueba y finalización de

instrumentos – Hemisferio Sur2016 Recolección de datos y procesamiento2016 ‐ Recolección de datos y procesamiento2017 ‐ Análisis de datos,y creación de reportes y

bases de datosbases de datos

Contenido






Resultados: Ejemplo TIMSS 2011• TIMSS 2011 Reporte Internacional de

Matemáticas• TIMSS 2011 Reporte Internacional de

CienciasCiencias• TIMSS 2011 Reporte Técnico• TIMSS 2011 Guía del Usuario y bases de datos (SPSS y SAS)

32

Informe Internacional de TIMSS (Matemáticas 4to grado)Estudio Internacional de Tendencias en Matemáticas y Ciencias

• Contiene los resultados del análisis a nivel país sobre– Distribución de logros de rendimiento en matemáticas y su ubicación en los puntos de referencia internacionales

– Distribución de rendimiento en dominios de contenido y cognitivos

– Soporte del hogar y de la escuela– Preparación de los profesores e información de la instrucción en las clases

– Ambiente escolar

Factores asociados con el rendimientos

• En matemáticas, los siguientes factores presentan, en promedio, cierta asociación con estudiantes con unpromedio, cierta asociación con estudiantes con un desempeño alto:– (Casi) siempre hablan el idioma de la prueba en casa(Casi) siempre hablan el idioma de la prueba en casa– Tienen un numero de libros relativamente mayor en casa– Tienen una computadora en casaTienen una computadora en casa– Tienen un nivel alto de confianza con respecto al aprendizaje de esta asignaturap j g

– Tienen una actitud positiva hacia las matemáticas

Análisis secundario de las bases de datos TIMSS & PIRLS:& PIRLS:

Informe sobre relaciones entre logro en áMatemáticas, Ciencias y Lectura

Relaciones entre logro en Lectura, Matemáticas Ci iy Ciencias

• El análisis incluye sólo los países que aplicaron PIRLS y• El análisis incluye sólo los países que aplicaron PIRLS y TIMSS a los mismos estudiantes (4to grado)

• Es un volumen editado con cuatro capítulos P fil d l M t áti L t Ci i– Perfiles de logro en Matemáticas, Lectura y Ciencias

– El impacto de la habilidad lectora en el logro en TIMSS (Matemáticas y Ciencias)(Matemáticas y Ciencias)

– Escuelas efectivas en Matemáticas, Lectura y CienciasLos efectos de los antecedentes del hogar en el logro– Los efectos de los antecedentes del hogar en el logro académico

Relaciones entre logro en Lectura, Matemáticas y Ciencias Perfiles de logrog

Relaciones entre logro en Lectura, Matemáticas y Ciencias Perfiles de logroPerfiles de logro

Relaciones entre logro en Lectura, Matemáticas Ci iy Ciencias

• El análisis incluye sólo los países que aplicaron PIRLS y• El análisis incluye sólo los países que aplicaron PIRLS y TIMSS a los mismos estudiantes (4to grado)

• Es un volumen editado con cuatro capítulos P fil d l M t áti L t Ci i– Perfiles de logro en Matemáticas, Lectura y Ciencias

– El impacto de la habilidad lectora en el logro en TIMSS (Matemáticas y Ciencias)(Matemáticas y Ciencias)

– Escuelas efectivas en Matemáticas, Lectura y CienciasLos efectos de los antecedentes del hogar en el logro– Los efectos de los antecedentes del hogar en el logro académico

Relaciones entre logro en Lectura, Matemáticas y CienciasEscuelas efectivas en Matemáticas, Lectura y Ciencias, y

• El capítulo examina qué indicadores de efectividad escolar f d f í lfuncionan en diferentes países y para las tres materias.

• Se define una escuela efectiva como aquella que tiene un efecto positivo en el aprendizaje de sus alumnos independiente del efecto de los antecedentes del hogarindependiente del efecto de los antecedentes del hogar.

• Modelos multinivel (estudiantes escuelas) para cada país• Modelos multinivel (estudiantes, escuelas) para cada país

Relaciones entre logro en Lectura, Matemáticas y CienciasEscuelas efectivas en Matemáticas, Lectura y Ciencias, y

• Recursos para el

ControlControl• Recursos para el aprendizaje en el hogar

• Habilidades tempranas en lectura y matemáticaslectura y matemáticas

• Clima de seguridad y ordenA l é it

AnálisisAnálisis

• Apoyo para el éxito académico

• Infraestructura suficienteAnálisisAnálisis • Profesores capacitados• Salones de clase bien equipadosq p

• Instrucción efectiva

Contenido






¿Quién usa toda la información de los estudios?

• Académicos• Académicos

• Legisladores de política educativa

• Profesores y directores

• Padres de familia

Implicaciones para la política educativa –Ejemplos en EuropaEjemplos en EuropaBélgica: Política pública orientada a estudiantes con un bajo nivel socioeconómico y migrantesy gInglaterra: Programa de capacitación a profesores para promover actitudes positivas ante la lectura. F i I l t ió d 2 i t d l ió i lFrancia: Implementación de 2 sistemas de evaluación nacionales para monitorear la educaciónAlemania: Varios programas de capacitación para profesores para p g p p p premediar el bajo rendimiento académico de estudiantesEspaña: Proyecto LEER.es, destinado para promover la lectura, énfasis en biblioteca escolarénfasis en biblioteca escolar…

Ejemplos para escuelas(ít lib d )(ítems liberados)

Ejemplos para escuelasÍtems liberadosÍtems liberados

• Los profesores pueden utilizar los ítems liberados de diferentes manerasdiferentes maneras

Para diseñar evaluaciones sobre procesos específicos, por ejemplo, procesos de Comprensión Lectora (reconocimiento, recuperación, evaluación…)El d d l í l lifi l– El maestro puede dar los ítems a sus alumnos y calificarlos usando las guías correspondientes

– El maestro puede incluso comparar el porcentaje de sus alumnos que respondieron correctamente con el promedio i i linternacional

Ejemplos para escuelasÍtems liberadosÍtems liberados

• Para entender malos entendidos o confusiones El maestro puede analizar las respuestas incorrectas o

parcialmente correctas de su clase para entender posibles confusiones y reforzar un tema específicoconfusiones y reforzar un tema específico

• Para identificar dificultades individuales• Para identificar dificultades individuales Como base para planear clases de recuperación

Ejemplos para escuelasMatemáticasMatemáticas

Información adicional sobre TIMSS & PIRLS• Sitios web: www.iea.nl & http://timssandpirls.bc.edu/

• Todos los datos y reportes de los estudios pueden ser gratuitamente adquiridos (incl. software IDB‐Analyzer para el g q ( y panálisis)

• Visualización gráfica de datos (Data Visualizer)

• Publicaciones y informes para política educativa

• Capacitación y seminarios (IEA, IERI)

Gracias por su atención!

Preguntas????Preguntas????

Un Vistazo a TIMSS 2015 y PIRLS 2016 -...

Documents

Transcript of Un Vistazo a TIMSS 2015 y PIRLS 2016 -...