Evaluación Internacional del Aprendizaje PRUEBA TIMSS · PRUEBA TIMSS Expositor sr: Eugenio J...
30
Evaluación Internacional del Aprendizaje PRUEBA TIMSS Expositor sr: Eugenio J González Ph D Eugenio J. González, Ph. D. w w w . i n a c a p . c l
Transcript of Evaluación Internacional del Aprendizaje PRUEBA TIMSS · PRUEBA TIMSS Expositor sr: Eugenio J...
Evaluación Internacional del Aprendizaje
PRUEBA TIMSS
Expositor sr: Eugenio J González Ph DEugenio J. González, Ph. D.
w w w . i n a c a p . c l
En los Últimos 40En los Últimos 40 Años…
• Diversos estudios internacionales de l ió d tievaluación educativa.
Estudios por la IEA desde 1990• Estudios por la IEA desde 1990.– Comprensión Lectora (1991 y 2001)– Cívica (1997)+– Uso de Computadoras en Escuelas (1997)Uso de Computadoras en Escuelas (1997)– TIMSS (1995, 1999, 2003)+
w w w . i n a c a p . c l
Otros EstudiosOtros Estudios Internacionales
• IAEP-I y IAEP-II (International Assessment of Educational Progress)Educational Progress)
• OECD (Organization for Economic Cooperation• OECD (Organization for Economic Cooperation and Development)
• ALLS (Adult Literacy and Life Skills)
• UNESCO en Latino América
w w w . i n a c a p . c l
¿Por qué Realizar Estos Estudios…?
• Necesarios para saber como funciona el sistema
• Es posible hacer comparaciones de manera rápida, eficiente, válida y confiablerápida, eficiente, válida y confiable
• Perspectiva profesional
– Desarrollo de Tecnología
– Interés profesionalInterés profesional
– Confianza en los resultados
w w w . i n a c a p . c l
¿Por qué Realizar¿Por qué Realizar Estos Estudios…?
• Perspectiva NacionalA d h i d– Aprender haciendo
– Informar la política educativaD i i á d– Dar seguimiento a estándares
– Decidir sobre la asignación de recursosá– Introducir en el sistema educativo estándares
realistasId tifi t d t t l i d– Identificar aspectos de contexto relacionados con el rendimiento académico
w w w . i n a c a p . c l
¿Por qué Realizar o qEstos Estudios…?
• Perspectiva NacionalDi i i l f didá ti d l t– Dirigir los esfuerzos didácticos de los maestros
– Elevar los rendimientos académicos de los alumnosalumnos
– Promover la responsabilidad del sistema educativoAumentar la concientización pública en cuanto a la– Aumentar la concientización pública en cuanto a la situación del sistema educativo
w w w . i n a c a p . c l
¿Por qué Realizar¿Por qué Realizar Estos Estudios…?
• Perspectiva InternacionalPerspectiva Internacional– Estrechar vínculos entre naciones
C l i– Conocer al vecino– Aprender del vecino– Competir con el vecino– Compartir y aprender de profesionales deCompartir y aprender de profesionales de
otros países– Fomentar la investigación educativa
w w w . i n a c a p . c l
– Fomentar la investigación educativa
Distinción entre…
• Medición del rendimiento académicoGeneralmente por medio de pruebas– Generalmente por medio de pruebas
– Evalúa el producto del sistemaU i di d t h d l C lid d d l– Un indicador entre muchos de la Calidad de la Educación
• Evaluación de la educación– Utiliza pruebas entre otras medidasUtiliza pruebas, entre otras medidas– Se refiere más al proceso
Incluye medición del rendimiento educativo
w w w . i n a c a p . c l
– Incluye medición del rendimiento educativo
TIMSS y PIRLS
• Medición de rendimiento académico y el contexto en el que ocurre el aprendizajecontexto en el que ocurre el aprendizaje
• TIMSS: Matemáticas y Ciencias
– 4to y 8vo grado
• PIRLS: Lectura
4t G d– 4to Grado
• Evaluación de aspectos múltiples de la
w w w . i n a c a p . c l
• Evaluación de aspectos múltiples de la enseñanza
Las Preguntas a gContestar
• ¿Qué se espera que los alumnos aprendan?
• ¿Quién provee la enseñanza?
• ¿Cómo se organiza la enseñanza?
• ¿En qué contexto occurre la enseñanza?
• ¿Qué han aprendido los alumnos?
w w w . i n a c a p . c l
Los 3 ejes de los Estudios
• Comparación de sistemas escolares en tres aspectos:tres aspectos:– Programas de estudio (Curriculum): Lo que
se pretendese pretende– Enseñanza: Lo que se imparte
Desempeño: Lo que se alcanza o logra– Desempeño: Lo que se alcanza o logra
• Estudio de la enseñanza y el contexto en el que ocurre
w w w . i n a c a p . c l
Componentes de la Medición
• Pruebas de Rendimiento AcadémicoPruebas de Rendimiento Académico
• Cuestionarios de contexto
– Alumnos, maestros, directores de escuelas, d di d d l tpadres, coordinadores de lectura
• Cuestionarios curriculares• Cuestionarios curriculares
• Comparación de materiales didácticos
w w w . i n a c a p . c l
p
Factores Asociados
• Contenido y flexibilidad del programa de estudioestudio
• Expectativas de rendimiento académico alto• Expectativas de rendimiento académico alto
• Preparación de los maestros y la calidad de• Preparación de los maestros y la calidad de apoyo que reciben
• La calidad de los materiales y recursos educativos
w w w . i n a c a p . c l
educativos
Factores Asociados
• La calidad de la enseñanza en el salón de clase
• El tiempo que los alumnos pasan estudiando
• El tipo de apoyo académico que reciben los t di t f d l lestudiantes fuera del aula
• La solidez y comparabilidad de los medios y métodos de la evaluación y las metas
w w w . i n a c a p . c l
educativas
TIMSS 1995…
• 41 países
í• Aproximadamente 150 escuelas por país
• 2 materias: Matemáticas y Cienciasy
• 31 idiomas
• 5 niveles escolares
• Más de 12.000 escuelas
• Más de 25.000 maestros
á d 600 000 l
w w w . i n a c a p . c l
• Más de 600.000 alumnos
TIMSS 1999...• 38 países• 38 países
• Grado 8Grado 8
• Cuestionarios a alumnos, sus maestros y losCuestionarios a alumnos, sus maestros y los directores de las escuelas
• Informes publicados en año 2000
• Participan Chile y Argentina
w w w . i n a c a p . c l
• TIMSS en 2003: Grados 4° y 8°
PIRLS 2001...
• Estudio de Comprensión Lectora
• Total de 35 Países
• Intrumentos utilizados:
Pruebas de Lectura– Pruebas de Lectura
– Cuestionarios de contextoCuestionarios de contexto
• Participan Colombia y Argentina
w w w . i n a c a p . c l
Frecuencia de la Medición
• ¿Cada cuántos años?
– Muy Frecuente• Poca oportunidad de medir cambiop• No hay tiempo de preparar bien los materiales• No se utiliza la información al máximo• Sobrecarga al personal
M f t– Muy poco frecuente• Se pierde la experiencia
N id bi f ti t
w w w . i n a c a p . c l
• No se mide cambio efectivamente
Secuencia de TIMSS y yPIRLS
• Cada 4 años, uno cada dos años
AÑO TIMSS PIRLSAÑO TIMSS PIRLS
1 Preparar Instrumentos
2 Pruebas Piloto
3 Adm. De Pruebas Preparar Instrumentos
4 Presentación de Resultados Pruebas Piloto
5 Adm. De Pruebas
6 Presentación de Resultados
w w w . i n a c a p . c l
¿Evaluar a Todos o Algunos?
• ¿Por qué y para qué?
• Consideraciones de costos
– logística, impresión, procesamiento
trabajo de las escuelas y alumnos– trabajo de las escuelas y alumnos
• Controles de calidadControles de calidad
• Muestra médica...
w w w . i n a c a p . c l
M t d l TIMSSMuestras del TIMSS y PIRLS
• 150 escuelas por Grado• 150 escuelas por Grado
• 1 aula por escuela, preferiblemente 2
• Estratificación dentro de países
• Consideraciones de análisis
• Selección es aleatorea
w w w . i n a c a p . c l
¿A Quiénes Evaluar?
• Selección por grados o edadesS fi i t t d d– Suficientemente avanzados y separados.
– Consideraciones logísticas, políticas y curriculares.
Selección por grados• Selección por grados– Se mantiene intacta el aula.– Fácil relacionar información de maestros.– Fácil describir población afectada.
w w w . i n a c a p . c l
Fácil describir población afectada.
¿Sobre qué Evaluarlos?
• Matemáticas• Evaluada más comúnmente• Evaluada más comúnmente.• Compuesta de varias áreas.
E i t i i l d• Existe mayor experiencia en el campo de la medición.
• Lenguaje• Actividades de lectura y escritura• Actividades de lectura y escritura.• Forma vs. Función del lenguaje.• Uso del lenguaje como medio de
w w w . i n a c a p . c l
• Uso del lenguaje como medio de comunicación.
¿Sobre qué Evaluarlos?
• Ciencias NaturalesCi i i t d d• Ciencias integradas o separadas.
• Biología, Geografía, Física y Química.
• Ciencias Socialesí• Principios cívicos nacionales e
internacionales.
• OtrasIdi d t d
w w w . i n a c a p . c l
• Idiomas, uso de computadores.
Tablas de Especificaciones
• Constituyen el esqueleto de las pruebas.
– Tabla de doble entrada:• Contenidos específicos con destrezas• Contenidos específicos con destrezas.• Importante tener preguntas en cada
celdacelda.
– Énfasis en lo común sin descuidar lo individual.
w w w . i n a c a p . c l
¿Cómo Evaluarlos?
• Distintos tipos de preguntasS l ió últi l– Selección múltiple.
– Respuesta abierta.– Otros...
• Depende de los contenidos a evaluar.
• Pruebas deben ser variadas• Pruebas deben ser variadas.
• Explorar nuevas tecnologías.
w w w . i n a c a p . c l
Explorar nuevas tecnologías.
Los Instrumentos en TIMSS
• Pruebas de Rendimiento Académico8 Lib 199 ít (9 ñ )– 8 Libros con 199 ítems (9 años)
– 8 Libros con 286 ítems (13 años)– 9 Libros con 201 ítems (Último año)
• Cuestionario del TCMA
• Cuestionarios de Contexto
w w w . i n a c a p . c l
Diseño de Pruebas TIMSS de 1995 y 1999
Orden LIBRILLOGrupal 1 2 3 4 5 6 7 8
1° B C D E F G H B
2° A A A A A A A A
3° C D E F G H B R
4° S W T X U Y V Z4° S W T X U Y V Z
DESCANSO
5to E F G H B C D I5to E F G H B C D I
6to J N K O L P M Q
7mo T X U Y V Z W S
w w w . i n a c a p . c l
Productos del Estudio
• Informe Internacional con resultados de desempeño en la materiadesempeño en la materia.
• Base de datos con Guía del Usuario• Base de datos con Guía del Usuario.
• Documentación técnica• Documentación técnica.
• Libros con ítems de las pruebas• Libros con ítems de las pruebas.
• Todo está disponible por Internet (isc bc edu)
w w w . i n a c a p . c l
• Todo está disponible por Internet (isc.bc.edu).
El Manejo del Estudio• Centro Coordinador Internacional del Estudio
(Boston College)
• Centro de Procesamiento de Datos de la IEA (Hamburgo-Alemania)( g )
• Statistics Canada (Ottawa-Canada)
• ETS (Princeton-Estados Unidos)
• Comités de Consejo Técnico y Curricular
w w w . i n a c a p . c l
• Representantes de cada país (NRC)
