PISA 2006

CUESTIONES TÉCNICAS

CÓMO SE APLICA UNA PRUEBA PISA EN UN CENTRO EDUCATIVO

• La selección de los centros de la muestra la realiza una empresa estadística dependiente del consorcio que gestiona PISA 2006 con las bases de datos de centros enviadas desde cada país.

• Cuando un escuela ha sido seleccionada por ellos para participar en la prueba PISA, se contacta con el director/a y esta nombra una persona de coordinación. Esta persona hace un listado del alumnado de 15 años del centro y lo envía al ISEI-IVEI.

• Por medio de una aplicación informática facilitada por el consorcio PISA, se eligen 35 al azar (de los diferentes cursos y clases). Después se recopilan datos lingüísticos de este alumnado.

• La aplicación se realiza por un aplicador o aplicadora contratada al efecto y formada para esta labor. Las personas que aplican las pruebas establecen un calendario con los centros. Un profesor cuida la aplicación.

• La aplicadora se ocupa de que los cuadernillos se repartan correctamente (hay hasta 13 cuadernillos diferentes y se reparten secuencialmente) y presenta la prueba al alumnado.

• La introducción de la prueba es estándar y se leen exactamente las mismas instrucciones en todos los países.

• Si no hay preguntas, se procede a la aplicación dividida en 2 partes: dos horas de test (divididas por un pequeño descanso) y sesión de respuesta a los cuestionarios.

• Una vez recogidos los cuadernillos, son enviados al ISEI-IVEI para su codificación.

• Si existiera un 15% de ausencias en la muestra del centro habría que volver a aplicar a los ausentes.

• La codificación-corrección de las pruebas se realiza con profesores contratados para esta labor. El consorcio PISA realiza un control de corrección y discrepancias en la misma ya que 100 cuadernillos de cada tipo son corregidos 4 veces por personas distintas y los datos son enviados al consorcio PISA.

CÓMO SE APLICA UNA PRUEBA PISA EN UN CENTRO EDUCATIVO

LA CUESTIÓN DE LA LENGUA DE LA PRUEBA

• El ISEI-IVEI realizó una investigación sobre el efecto de la lengua de la prueba en el alumnado bilingüe (http://www.isei-ivei.net/cast/pub/influencialenguacast.pdf ) y dos evaluaciones de los niveles B1 y B2 del euskera.

• A la luz de los datos existentes podemos decir que:– Gran parte del alumnado de Secundaria en Euskadi no tiene un alto nivel de

euskera parecido al de un hablante normal de esta lengua. Son por tanto aprendices del euskera que en muchas ocasiones no llegan a un nivel B2 de dominio de la lengua.

– Las pruebas PISA y otras internacionales tienen una gran carga lingüística (ver anexo).

– Cuando el alumnado bilingüe realiza las pruebas internacionales en la lengua que más domina (la familiar) obtiene un resultado equiparable al del resto del alumnado, lo que significa que sí adquieren las competencias matemáticas o científicas cuando estudian en la segunda lengua.

INVESTIGACIÓN SOBRE LA LENGUA DE LA PRUEBA

LA LENGUA DE LA PRUEBA

• Los estándares PISA permiten que las pruebas sean aplicadas en la lengua familiar del alumnado, si esa es una de las lenguas de instrucción en el país y así lo deciden los responsables.

• De hecho en Hong-Kong, Canadá o Irlanda se toma la misma decisión en el caso de las E.M.I., Inmersión o All-Irish School.

• La competencias que mide PISA no se adquieren solamente en la escuela, por lo que tiene más sentido la utilización de la lengua que más dominan.

• En primer lugar, el rendimiento de los alumnos en áreas con una alta carga lingüística como Lectura y Ciencias es a menudo infravalorado cuando se les evalúa en inglés (L2).

• •Esto es debido a que son menos competentes en L2 que en L1.

Esther Sui-chuHo Evelyn Yee-funMan

Facultad de Educación Instituto de Investigación Educativa de Hong Kong

Universidad China de Hong Kong

CRESSTNational Center for Research on

Evaluation, Standards, and Student Testing

UCLA Center for the Study of Evaluation

What CRESST Research Tells Us(lo que nos dice la investigación CRESST)• Language proficiency strongly relates to test performance. Students

designated English Language Learners (ELL) by their schools score significantly lower than non-ELL students on many science and math questions. However, the performance gap decreases, or even disappears, on math items that have relatively low language demands, such as math computation.

• La competencia lingüística está fuertemente relacionada con el rendimiento en las pruebas. Los estudiantes designados como Aprendices del Inglés (ELL) en sus escuelas puntúan significativamente más bajo que los estudiantes no-ELL en muchas preguntas de ciencias y matemáticas. Sin embargo la diferencia de rendimiento decrece, o incluso desaparece, en los ítems de matemáticas con una exigencia lingüística relativamente baja, como en cálculo matemático.

http://www.cse.ucla.edu/products/policy/cresst_policy4.pdf

UN EJEMPLO: ¿EN QUÉ LENGUA APLICARÍAN LA PRUEBA PISA EN MADRID O EN LOS

CENTROS VASCOS QUE DAN ASIGNATURAS EN INGLÉS?

Si en 177 escuelas se aprende en inglés en el menos un tercio del horario y como máximo en todas las asignaturas menos Matemáticas y Lengua, ¿deberían aplicar las pruebas PISA en inglés?

En nuestros centros públicos y concertados de secundaria trilingües, que pasan de 40 ¿deberían aplicar las pruebas PISA en inglés?

PISA 2006 CIENCIAS APLICANDO EN LA LENGUA FAMILIAR•No existe diferencia estadística entre los tres estratos concertados.•Eliminando el efecto del Nivel Socioeconómico y Cultural, estrato B público obtiene la puntuación mas alta, aunque no existe diferencia estadísticamente significativa.

LA MUESTRA: ESTRATIFICADA POR RED Y MODELO

DENOMINAMOS ESTRATO A LA COMBINACIÓN DE RED Y MODELO

151 centros

3929 alumnos

LA MUESTRA• Los únicos criterios de exclusión de un alumno o alumna,

establecidos por PISA, fueron los siguientes: – tener necesidades educativas especiales por presentar una

discapacidad funcional o intelectual, o tener una destreza insuficiente en la lengua de evaluación para lo que era necesario así mismo reunir tres requisitos: • que su lengua familiar no fuera una de las lenguas de la evaluación, • poseer una destreza limitada en la lengua de aplicación y • haber recibido menos de un año completo de instrucción en la lengua de la

evaluación.• Como puede observarse no había posibilidades de excluir al

alumnado inmigrante por el hecho de serlo, y en la muestra PISA 2006 el 3,5% de la misma era alumnado inmigrante escolarizado en los centros del País Vasco que hicieron la prueba, lo que es un porcentaje que se ajustaba perfectamente al escolarizado de 15 años.

LAS PREGUNTAS-EJEMPLO

• La propia OCDE publica en cada evaluación, ver el propio informe internacional, preguntas-ejemplo para ilustrar lo que PISA mide y cómo lo hace: http://pisa-sq.acer.edu.au/

• Casi todos los países han publicado estos ítems-ejemplo en sus respectivas lenguas para que el profesorado pueda conocerlos.

• Los ítems reales de las pruebas PISA son secretos y nadie los tiene para “hacer prácticas” en su centro.

ANEXO

PREGUNTAS-EJEMPLO DE CIENCIAS

CIENCIAS

GRAN CARGA LINGÜISTICA

MÁS CARGA

LINGÜÍS-TICA:

RESPUESTA CONSTRUI

DA