Gregory Elacqua Director,

Instituto de Políticas Públicas Universidad Diego Portales

politicaspublicas.udp.cl

Questionários Contexuais do Pisa II Reuniao Temática da ABAVE

PISA em Debate Agosto 2014

Contenidos

1. Prueba PISA 2. Cuestionario PISA 3. Construcción del cuestionario PISA: Ejemplo

de PISA 2015 4. Métodos para corregir comparabilidad inter-

cultural 5. Desafíos

1.

PISA

• Partió en 1997, todos los países del OECD más algunos países colaboradores han participado en todas las pruebas PISA

• PISA 2000 (lectura): 43 países • PISA 2003 (matemática): 41 países • PISA 2006 (ciencias): 58 países • PISA 2009 (lectura): 65 países (9 repitieron rendimiento

para comenzar a ver tendencias) • PISA 2012 (matemática): 65 países participaron (39 con

información de tendencia de 2003) • PISA 2015 (ciencias): 70 países participarán

Metas de PISA

• Proveer indicadores sobre eficacia, equidad y eficiencia de sistemas educacionales

• Monitorear tendencias sobre el tiempo

• Fijar benchmarks para comparaciones internacionales y para identificar mejores prácticas

• Influir en el debate público sobre educación

Brasil: Plan Nacional de Educación

Meta 7 – PISA PISA 2015 2018 2021

Promedio mat-leng-ciencias 438 455 473

Comparando el rendimiento de los países en matemáticas: PISA 2012

2015

2018

2021

Identificar los factores que inciden en los resultados (absolutos y mejoras)

Hogar Escuela Instituciones

Para lograr las metas PISA necesita

• No solo mediciones de rendimiento escolar (lectura, matemáticas, ciencias y otras habilidades para la vida) sino también: – Resultados no cognitivos (ej. Motivación y bienestar) – Contexto individual (background cultural, etnia, raza y nivel

socioeconómico) – Características de escuelas (ej. Privado vs. público, prácticas

de enseñanza, gestión escolar) – Características institucionales del sistema (accountability,

school choice, currículum) • Medir con cuestionarios a distintos actores: estudiantes

y directores, pero también a padres y profesores (opcional)

2. Cuestionario PISA

Cuestionario: Ciclo 1 • Durante el primer ciclo PISA se enfocaba principalmente en

la instalación de procedimientos e implementación en las tres áreas: Lectura (2000), Matemáticas (2003), Ciencias (2006). – Modelos psicométricos: vinculando pruebas, técnicas de valores

plausibles, etc. (ver presentación de Christian Monseur) – Evaluación basado en teoría de background familiar, NSE e

inmigración para realizar análisis de equidad dentro y entre países

– En 2006, introdujeron variables sobre procesos y resultados de un dominio específico (ciencias): oportunidades de aprendizaje, prácticas de enseñanza, creencias y aspiraciones sobre el tópico

Cuestionario: Ciclo 2

• Durante el segundo ciclo de PISA (2009-2015) el equipo de PISA empezó a construir un marco conceptual para el diseño del cuestionario en base a la investigación de efectividad escolar

Factores del

Individuo (NSE)

Insumos y procesos

de Escuela

Factores del Sistema Resultados

Modelo de efectividad escolar

Construir indicadores para monitorear oportunidades y resultados, políticas y prácticas

• Ejemplos de indicadores PISA publicados en Education at a Glance: Factores del individuo – Perfil de estudiantes de alto rendimiento en ciencia – Actitudes y motivaciones para las ciencias de estudiantes de alto

rendimiento Factores de escuela – Público versus privado, número alumnos por curso, clima escolar,

involucramiento parental, jornada escolar, TICs Factores del sistema escolar e incentivos (se complementa con otras fuentes de información como NESLI) – Accountability, school choice, políticas de docentes

Modelando patrones y relaciones, impacto y tendencias

• El objetivo de la investigación de efectividad escolar es identificar los factores de la sala de clase, la escuela y el sistema educacional (incentivos) que inciden en el rendimiento escolar, controlando por distintos factores del alumno, como NSE, habilidad y el rendimiento anterior del alumno.

• Limitaciones de PISA y otros estudios de corte transversal (sin experimentos aleatorios) de poder hacer inferencias causales, investigadores obligados a utilizar modelos.

Reportes PISA 2009: Basado en modelos y utilizando el cuestionario PISA

• Volumen 1: Rendimiento en lenguage, matemáticas y ciencias

• Volumen 2: Superando background social: Equidad y oportunidades de aprendizaje y resultados

• Volumen 3: Aprendiendo a aprender: Estrategias y prácticas de compromiso del estudiante (student engagement)

• Volumen 4: ¿Qué hace una escuela efectiva? Recursos, políticas y prácticas

Investigación cientifica

• Science Competencies for Tomorrow´s World (OECD, 2007), usaba modelos multinivel para estimar efectos de escuelas

• 100 artículos indexados que usan PISA 2006 en ciencias

3. ¿Cómo se construye el cuestionario PISA?

Ejemplo PISA 2015

Estructura PISA 2015

OECD Secretariat PISA Governing Board (PGB)

Decision making

Core 6

Supervision/Consultation/Reporting

Questionnaire Expert Group

Consultation/ framework

development/ questionnaire development

Science Expert Group

Collaborative Problem Solving

Grupo Collaborative Problem Solving

Technical Advisory Group

Expert Advice

National project

mangers

Country adaptations and

extensions

Cores 2 and 3

Data processing/Data

Products

Core 4 Translation verification

Data analysis/ Modeling/scaling/Reporting/Research

Development

Core 5 Sampling

Interlocutor, responsable de implementación Andreas Schleicher

Paso 1: Questionnaire Expert Group propone lista de 4 áreas amplias:

1. Resultados no cognitivos – Actitudes, creencias, motivación y aspiraciones, y comportamientos como auto-regulación, que

inciden en resultados cognitivos y éxito en la vida y bienestar (ej. Heckman et al. 2011) 2. Background de estudiante

– Evaluación en base a teoría sobre contexto familiar y migrante y NSE, indicador integrado del estudiante (ESCE; Willms, 2006) y la escuela que asiste

– Caminos educacionales (desde preescolar) 3. Enseñanza y aprendizaje

– Formación y experiencia de profesores, prácticas docentes y oportunidades de aprendizaje (ej. Tiempo)

– Procesos de aprendizaje: (i) manejo de sala de clase, (ii) apoyo (iii) desafían alumnos 4. Políticas educativas e incentivos

– Apoyo para promover efectividad: desarrollo profesional, currículum coherente, liderazgo y gestión, involucramiento parental, TICs, laboratorios

– Políticas: Evaluaciones nacionales, accountability, school choice, autonomía

Paso 2: Questionnaire Expert Group presenta 19 tópicos al PISA

Governing Board (PGB) y los evalúan según prioridades políticas y técnicas

Estructura modular del diseño de la evaluación de contenidos PISA 2015

Contexto del estudiante Procesos Resultados no cognitivos

Familia Educación Actores Procesos

fundamentales Asignación de

recursos

5. Experiencia fuera de la escuela

1. Calificación del

docente y conocimiento profesional

2. Prácticas de

enseñanza de Ciencias

3. Ambiente de aprendizaje de Ciencias

a nivel de escuela

12. Tiempo de aprendizaje y

currículum

4. Resultados en

ciencias: motivación, interés, creencias

6. Carrera científica

7. NSE del

estudiante y la familia

8. Etnicidad y

migración

9. Trayectorias

educacionales en la primera infancia

14. Involucramiento de

los padres

15. Liderazgo y management escolar

17. Locus de la toma de decisiones dentro del

sistema escolar

13. Clima escolar:

relaciones interpersonales,

confianza, expectativas

19. Evaluaciones y accountability

16. Recursos

18. Asignación, selección y elección

10. Comportamiento y actitudes generales

11. Disposiciones

para resolver problemas de forma

colaborativa

ENSEÑANZA Y APRENDIZAJE

POLÍTICAS ESCOLARES

GOVERNANZA

Paso 3: Áreas que recibieron más votos por

relevancia de políticas

• Resultados no cognitivos: – Resultados en ciencias: motivación, interés, creencias – comportamiento y actitudes

• Enseñanza y aprendizaje – Prácticas de enseñanza – Tiempo de aprendizaje – Calificación del docente y conocimiento

• Políticas escolares – Liderazgo y gestión escolar – Evaluaciones y accountability

Paso 4: Procedimiento que integra el marco conceptual y el desarrollo del cuestionario

• Expertos preparan artículos conceptuales para cada tópico y desarrollan items y enfatizan las comparaciones inter-culturales

• Grupo de expertos revisan los constructos e ítems

• Consultan centros y expertos nacionales para revisar si las preguntas son apropiadas culturalmente

• Utilizan técnicas estadísticas para probar validez inter-cultural: Bayesian truth serum y anchoring vignettes (más sobre el tema en unas laminas)

Cuestionarios

• Dos cuestionarios obligatorios: Estudiante y director (escuela)

• Seis cuestionarios opcionales: – Padres (PISA 2006, 2009 y 2012) – Carrera educacional (PISA 2003, 2009 y 2012 – TICs (PISA 2000) – Profesores (nuevo) – Coordinadores de área (nuevo) – Financial literacy

Ejemplo 1: Mediciones asociadas a los docentes en PISA 2015 FT

Relativos a Ciencias Generales

Contexto Género, edad, situación ocupacional, experiencia laboral, asignaturas estudiadas, grado modal de enseñanza, elección del lugar de trabajo Políticas de reclutamiento (ScQ)

Educación inicial

Objetivo de primera calificación, tipo y duración de educación pedagógica y programa de entrenamiento (si atendió), nivel y modalidad de la calificación Número de profesores por nivel educativo (ScQ) Políticas escolares: Requiere educación pedagógica o programa de entrenamiento (ScQ)

Contenido relacionado a las Ciencias Número de profesores de Ciencias por nivel de calificación y asignatura (ScQ)

Desarrollo profesional

Participación y duración de esta en distintas actividades Apoyo y obligación Nivel de participación, duración, políticas escolares (ScQ)

Colaboración Contenido relacionado a las Ciencias

Cooperación Satisfacción general

Creencias

Autoeficacia (respecto al contenido y enseñanza de Ciencias) Desempeño vs. necesita orientación Entusiasmo (con viñetas de anclaje) Compromiso (StQ)

Autoeficacia (general) Satisfacción laboral

Ejemplo 2: Mediciones relacionadas a evaluaciones y accountability en PISA 2015 FT

Evaluación externa Evaluación docente Evaluación interna Evaluación formativa

Objetivos y criterios

Práctica de evaluaciones generales (ScQ) Objetivo del resultado de las evaluaciones (ScQ)

Políticas de evaluación (ScQ) Focos de la evaluación interna (ScQ, TQG)

Calificación de los profesores (TQG)

Prácticas Procesos de la evaluación externa (ScQ)

Métodos de evaluación docente (ScQ, TQG)

Procesos de evaluación interna (ScQ, TQG)

Instrumentos de evaluación en la sala de clases (TQG/TALIS)

Uso y consecuencias Uso de datos sobre desempeño para accountability (ScQ)

Incentivos docentes (ScQ, TQG)

Consecuencias de la evaluacion interna (ScQ, TQG)

Feedback: percepción de los estudiantes (StQ). Uso de feedback para orientar enseñanza(StQ) Adaptación de las formas de instrucción (StQ,TQS)

Distribución items entre cuestionarios

Paso final • Adaptación nacional y traducción • Piloto grande (field trial) en pencil y paper y computer adaptive test • Análisis de escalas y comparaciones inter-culturales y un estudio de

efecto de modo (Computer Adaptive versus pencil y paper)

• Ajustes cuestionario final revisado con grupos de experto (QEG, SEG)

• PISA 2015

4. Métodos para corregir comparabilidad inter-cultural

33

…

Pregunta auto-reporteada. Puede tener que ver cuando algunos estudiantes sobre-reportean y otros sub-reportean

Source: OECD

% leen por entretención

Escalas de auto-percepción son útiles para medir los resultados no cognitivos

• Hay problemas con estas escalas – Sesgo de deseabilidad social (querer verse

bien) – Sesgo del grupo de referencia (a quién se

compara) – Sesgo del estilo de respuesta (respuestas

extremas, o ser humilde) – Comparabilidad inter-cultural (compara

Brasil a Corea del Sur)

PISA 2015 utiliza siguientes metodos para abordar problemas

• Anchoring vignettes • Forced Choice

ANCHORING VIGNETTES

Attitude-achievement “paradox”

• Correlaciones positivas dentro de países – Mejores actitudes asociadas a mejor rendimiento

• Correlaciones negativas entre países – Países con puntajes altos en actitudes tienen bajo rendimiento – Países con puntajes bajos en actitudes tienen alto rendimiento

• “Latin American Paradox” – Países latinoamericanos tienen niveles de satisfacción mayores que

países de Asia del Este (ej. Corea del Sur y Japón), a pesar de tener niveles de desarrollo económico inferiores

– Personas de países asiáticos tienen menor probabilidad de reportear extremos en encuestas comparado con latinoamericanos

Anchoring Vignettes

• PISA 2015: anchoring vignettes (y forced choice) resuelven este problema

• Anchoring vignettes es un método para ajustar la escala

personal a una escala hipotética – Ver sitio de Gary King para más información http://gking.harvard.edu/vign/ • Cada vez más popular en encuestas de opinión pública,

salud, ciencia política, etc.

¿Por qué anchoring vignettes?

• Ejemplo:

• ¿Qué nota (entre 1 y 10) le pondría a la relación entre usted y el profesor de su hijo? (Quiere decir si el profesor de su hijo le mantiene informado sobre el progreso de su hijo en la escuela) ¿Todos los padres utilizan la misma escala de respuesta?

¿Por qué anchoring vignettes? Vignettes:

• Introducción: Aquí tenemos otra situación. Imaginemos que un alumno va a ganar

un premio en una ceremonia especial.

• En este colegio, el profesor del alumno envia una carta a casa, llama a los padres y hace todo para asegurar que los padres asistan a la ceremonia. ¿Qué nota le pondría a la relación entre el profesor y los padres del alumno?

• En este colegio, el profesor le envía una carta a casa avisando al padre sobre la ceremonia. ¿Qué nota le pondría a la relación entre el profesor y los padres del alumno?

• En este colegio, el profesor le dice al alumno que invite a su padre a la ceremonia y no hace nada más. ¿Qué nota le pondría a la relación entre el profesor y los padres del alumno?

Ejemplo de Anchoring Vignettes en PISA 2012

ST82

Q Below you will find descriptions of three mathematics teachers. Read each of the descriptions of these teachers. Then let us know to what extent you agree with the final statement.

(Please check only one box in each row.)

Strongly agree

Agree Disagree Strongly disagree

a) Ms. Anderson assigns mathematics homework every other day. She always gets the answers back to students before examinations. Ms. Anderson is concerned about her students learning.

1 2 3 4

b) Mr. Crawford assigns mathematics homework once a week. He always gets the answers back to students before examinations. Mr. Crawford is concerned about his students learning.

1 2 3 4

c) Ms. Dalton assigns sets mathematics homework once a week. She never gets the answers back before examinations. Ms. Dalton is concerned about her students learning.

1 2 3 4

Step 1: Vignettes Step 2: Self-report ST83

Q Thinking about the mathematics teacher who taught your last mathematics class: To what extent do you agree with the following statements?

(Please check only one box in each row.)

Strongly agree Agree Disagree

Strongly

disagree

a) My teacher lets students know they need to work hard.

1 2 3 4

b) My teacher provides extra help when needed.

1 2 3 4

c) My teacher helps students with their learning.

1 2 3 4

d) My teacher gives students the opportunity to express opinions.

1 2 3 4

Anchoring Vignettes – Corelaciones

• ..

42

Resuelve el “attitude-achievement paradox”

-1,00

0,00

1,00

-1,00 0,00 1,00

coun

try-

leve

l cor

rela

tion

average within-country correlation with Math

uncorrected vs. anchored

BC

BC

Anchored Uncorrected

index TOT WC BC TOT WC BCSCMAT 0.38 0.40 0.26 0.23 0.33 -0.57PCMATPER 0.35 0.31 0.62 0.26 0.27 0.21PCSUCC 0.32 0.28 0.62 0.18 0.20 -0.02CLSMAN 0.27 0.24 0.57 0.07 0.10 -0.25STUDREL 0.26 0.21 0.64 0.01 0.02 -0.12BELONG 0.26 0.23 0.47 0.04 0.08 -0.40ATSCHL 0.26 0.22 0.48 0.07 0.09 -0.19MATWKETH 0.25 0.26 0.25 0.04 0.13 -0.49INTMAT 0.25 0.27 0.12 0.08 0.16 -0.31INSTMOT 0.24 0.25 0.17 0.07 0.14 -0.35MTSUP 0.24 0.20 0.53 -0.01 0.03 -0.23ATTLNACT 0.24 0.21 0.39 0.02 0.08 -0.52COGACT 0.23 0.23 0.25 -0.04 0.05 -0.52SUBNORM 0.20 0.20 0.18 -0.08 0.01 -0.47TEACHSUP 0.20 0.17 0.46 0.00 0.03 -0.13

0.26 0.24 0.40 0.06 0.12 -0.29

(Presentación Madrid, 2012, Jonas Bertling, ETS: 33 países)

FORCED CHOICE

Forced Choice

• Ejemplo: i) ¿Cumplo con mis promesas? ii) ¿Por lo general, perdono a las personas?

• Categorías de respuesta: Muy de acuerdo, de acuerdo, en desacuerdo, muy en desacuardo

• Forced choice: Escoja una opción más como usted: i) Cumplo con mis promesas ii) Por lo general, perdono las personas

Comparabilidad inter-cultural Nivel País correlaciones (n

= 19) entre UN Development Index Global Competitive Index

Amabilidad Declaración individual .09 .39

Forced Choice .57 .58

Estabilidad Emocional Declaración individual .07 .50

Forced Choice .27 .53

Extroversión Declaración individual .41 .20

Forced Choice .76 .46

Concienzudo Declaración individual -.46 -.40

Forced Choice -.09 .21

Forced Choice: Estrategías de aprendizaje PISA 2012

46

Q For each group of three items, please choose the item that best describes your approach to mathematics.

(Please tick only one box in each row.)

a)

When I study for a mathematics test, I try to work out what are the most important parts to learn.

1

When I study for a mathematics test, I try to understand new concepts by relating them to things I already know.

2

When I study for a mathematics test, I learn as much as I can off by heart.

3

b)

When I study mathematics, I try to figure out which concepts I still have not understood properly.

1

When I study mathematics, I think of new ways to get the answer.

2

When I study mathematics, I make myself check to see if I remember the work I have already done.

3

c)

When I study mathematics, I try to relate the work to things I have learnt in other subjects.

1

When I study mathematics, I start by working out exactly what I need to learn.

2

When I study mathematics, I go over some problems so often that I feel as if I could solve them in my sleep.

3

d)

In order to remember the method for solving a mathematics problem, I go through examples again and again.

1

I think how the mathematics I have learnt can be used in everyday life.

2

When I cannot understand something in mathematics, I always search for more information to clarify the problem.

3

Q There are different ways of studying mathematics: To what extent do you agree with the following statements?

(Please tick only one box in each row.)

Strongly agree Agree Disagree

Strongly disagree

a) When I study for a mathematics test, I try to work out what are the most important parts to learn.

1 2 3 4

b) When I am solving mathematics problems, I often think of new ways to get the answer.

1 2 3 4

c) When I study mathematics, I make myself check to see if I remember the work I have already done.

1 2 3 4

d) When I study mathematics, I try to figure out which concepts I still have not understood properly.

1 2 3 4

e) I think how the mathematics I have learnt can be used in everyday life.

1 2 3 4

f) I go over some problems in mathematics so often that I feel as if I could solve them in my sleep.

1 2 3 4

g) When I study for mathematics, I learn as much as I can off by heart. 1 2 3 4

h) I try to understand new concepts in mathematics by relating them to things I already know.

1 2 3 4

i) In order to remember the method for solving a mathematics problem, I go through examples again and again.

1 2 3 4

j) When I cannot understand something in mathematics, I always search for more information to clarify the problem.

1 2 3 4

• Forced-Choice pide indicar PREFERENCIAS entre 3 comportamientos

Análisis de Forced Choice: Estrategías de aprendizaje PISA 2012

47

Corelación con matemáticas Muestra total Adentro del país Entre países

Forced Choice .137 .090 .603 Likert -.002 .076 -.461

Pretest PISA 2012

Forced Choice resuelve “attitude-achievement paradox”

(Presentación Madrid, 2012, Jonas Bertling, ETS: 33 países)

5. Desafíos

Desafíos

• Integrar distintas bases de OECD con PISA (ej. NESLI, TELIS, bases nacionales, georeferenciales, etc.)

• Innovaciones para mejorar preguntas dentro del nuevo modo de Computer Adaptive Testing

• Experimentar con nuevos métodos para asegurar comparabilidad de preguntas culturalmente y para aumentar cobertura (e.g. Rotación de preguntas que fue abandonado en 2015)

Gregory Elacqua Director,

Instituto de Políticas Públicas Universidad Diego Portales

politicaspublicas.udp.cl

Questionários Contexuais do Pisa II Reuniao Temática da ABAVE

PISA em Debate Agosto 2014