.

PISA deflactado por nivelsocioeconomico: Para que usarlo y

para que no

Ximena DuenasJorge Duarte

.

.

.

.

Motivacion. La influencia de la composicion socioeconomica.

Dividimos el mundo en cuartiles del Indice Socioeconomico y Cultural y vimoscomo quedan distribuidos los estudiante dentro de cada paıs.

.

.

.

Motivacion. La influencia de la composicion socioeconomica.

Supongamos que todos tienen la composicion socioeconomica de Colombia:

.

.

.

Esta presentacion discute el uso de los resultados.

I Las pruebas estandarizadas son una herramienta importante que sirvepara mejorar la calidad de la educacion y para hallar la influencia dealgunos factores asociados al aprendizaje.

I El uso responsable e informado juega un papel importante.I Causalidad: no es posible saber a que se deben los cambios o por que

se generan las brechas.I Tener en cuenta otras variables: en ocasiones, caracterısticas

contextuales y medidas de nivel socioeconomico pueden ayudar aentender los resultados.

I Resiliencia: Medida imperfecta de identificacion de estudiantes pobresde alto desempeno, que de otra forman no podrıan ser destacados.

.

.

.

Los factores que componen el resultado

Supongamos que la prueba se puede expresar como una funcion de dosgrandes grupos de factores:

Prueba = f (Endogenos, Exogenos)

I Endogeno: depende del colegio o de la polıtica educativa o esdeseable por la sociedad para castigar o premiar (por ejemplo, eldesempeno de los profesores, los materiales educativos).

I Exogeno: fuera del alcance del colegio o de la polıtica educativa o nodeseable por la sociedad para castigar o premiar (por ejemplo, lascondiciones socioeconomicas de los estudiantes y sus familias).

.

.

.

La naturaleza observacional de la informacion

Prueba = f (Endogenos, Exogenos)

Solamente se podrıan diferenciar los factores endogenos o exogenos:

I Si se pudieran medir todos y se conociera la forma funcional.I Si no estuvieran relacionados entre ellos.

.

.

.

PISA deflactado por nivel socioeconomico

PISAi = β0 + β1NSEi + β2NSE2 + εi

PISAi = ˆPISAi + εi

I Cov( ˆPISAi , εi ) = 0I εi es la parte del puntaje que no esta correlacionada con el nivel

socioeconomico. No es un error que cumpla los supuestos de la regresionlineal.

I Definimos εi como el puntaje deflactado por nivel socioeconomico.I Con el puntaje deflactado, PISA calcula la resiliencia.

.

.

.

PISA deflactado por nivel socioeconomico

ARE

AUS

AUTBEL

BGR

BRA

CAN

CHE

CHL

CRI

CZE

DEUDNK

DOM

DZA

ESP

EST FIN

FRAGBR

GEO

GRC

HKG

HRVHUN

IDN

IRL

ISLISR

ITA

JOR

JPN

KOR

KSVLBN

LTULUX

LVA

MAC

MDAMEX

MLT

MNE

NLDNOR

NZL

PER

POLPRT

QAT

QES

ROU

RUS

SGP

SVK

SVN

SWE

TAP

THA TTO

TUN

TURURY

USA

VNM

COL

Lo países ubicados muy por encimade la diagonal, obtienen una puntuaciónmedia considerablemente mejor de la que seesperaría en función del nivel socioeconómicoy cultural de los estudiantes

Los países ubicados muy por debajode la diagonal, obtienen una puntuación

media considerablemente peor de la que seesperaría en función del nivel socioeconómico

y cultural de los estudiantes300

350

400

450

500

550

600

Pun

taje

en

prue

ba d

e C

ienc

ias

-2 -1 0 1 2Índice socioeconómico y cultural

Países no miembros de la OECD Países miembros de la OECD

.

.

.

PISA deflactado por nivel socioeconomico

ARE

AUSAUTBEL

BGRBRA

CANCHE

CHL

CRI

CZEDEU

DNK

DOM

DZA

ESP

EST

FIN

FRA GBR

GEO

GRC

HKG

HRVHUN

IDN

IRL

ISL

ISR

ITA

JOR

JPN

KOR

KSV

LBN

LTULUX

LVA

MAC

MDAMEX MLT

MNE

NLD

NOR

NZL

PER

POLPRT

QAT

QES

ROU

RUS

SGP

SVK

SVN

SWE

TAP

THA

TTO

TUN

TUR

URY

USA

VNM

COL

-125

-100

-75

-50

-25

0

25

50

75

100

125

Pun

taje

def

lact

ado

en la

pru

eba

de C

ienc

ias

-2 -1 0 1 2Índice socioeconómico y cultural

Países no miembros de la OECD Países miembros de la OECD

.

.

.

Resiliencia: Colombia

0

100

200

300

400

500

600

700

800

Pun

taje

en

Cie

ncia

s

-5 -4 -3 -2 -1 0 1 2 3 4 5Índice socioeconómico y cultural

Resilientes Aventajados con rendimiento bajo

.

.

.

Resiliencia: Colombia

-300

-200

-100

0

100

200

300

Pun

taje

def

lact

ado

en C

ienc

ias

-5 -4 -3 -2 -1 0 1 2 3 4 5Índice socioeconómico y cultural

Resilientes Aventajados con rendimiento bajo

.

Porcentaje de resilientes y estudiantes aventajados que obtuvieron un puntaje en Ciencias ubicado en el cuartil más bajo

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Rep. Dominicana

Perú

Túnez

Argelia

Jordán

Costa Rica

Brasil

Colombia

Indonesia

México

Uruguay

Israel

Chile

Islandia

Tailandia

Grecia

Turquía

Rusia

Francia

Italia

Suiza

Países Bajos

Estados Unidos

Australia

Alemania

Reino Unido

Portugal

Canadá

Corea del Sur

España

Finlandia

Japón

Singapur

Macao

Vietnam

Resilientes

Aventajadosque obtienenun puntajeubicado en elcuartil más bajoen ciencias

.

0 100 200 300 400 500 600

Rep. Dominicana

Argelia

Túnez

Perú

Brasil

Indonesia

Jordán

México

Colombia

Costa Rica

Tailandia

Turquía

Uruguay

Chile

Grecia

Israel

Italia

Rusia

España

Francia

Estados Unidos

Suiza

Países Bajos

Alemania

Reino Unido

Australia

Coreal del Sur

Hong Kong

Vietnam

Canadá

Macao

Finlandia

Japón

Singapur

-120 -90 -60 -30 0 30 60 90 120

Rep. Dominicana

Túnez

Argelia

Jordán

Perú

Brasil

Costa Rica

Colombia

México

Grecia

Uruguay

Tailandia

Israel

Indonesia

Chile

Turquía

Italia

Rusia

Estados Unidos

Suiza

Francia

Australia

Países Bajos

Reino Unido

Canadá

España

Alemania

Finlandia

Coreal del Sur

Hong Kong

Japón

Macao

Singapur

Vietnam

Puntaje en Ciencias PISA 2015 Puntaje deflactado de Ciencias PISA 2015

.

.

.

Una solucion imperfecta: PISA deflactado por nivel socioeconomico

No es una medida que aısle apropiadamente el puntaje de las condicionessocioeconomicas por dos razones principales:

I Esta medida podrıa subestimar el efecto del nivel socioeconomico si lavariable NSE no esta incluyendo todas las caracterısticas observables yno observables que hacen parte de las caracterısticas sociales yeconomicas de los estudiantes.

I El efecto del NSE podrıa estar sobreestimado por las caracterısticas de lacalidad de la educacion que se correlacionan con el NSE. En este casono solo se esta deflactando por el NSE, sino por caracterısticas delproceso educativo.

.

.

.

Uso apropiado de la prueba como unico criterio

Deberıamos usar la prueba sin ninguna otra consideracion cuando en el usono es importante diferenciar entre los factores que la componen:

I Informar a los tomadores de decisiones (o profesores o padres de familia)sobre el desempeno relativo de sus colegios (o de sus estudiantes o hijos).

I Seleccionar estudiantes para programas especiales.I Asignar recursos o focalizar colegios.

.

.

.

Uso apropiado de la prueba teniendo en cuenta otros criterios

Deberıamos considerar otros criterios al usar la prueba cuando es importantediferenciar entre los factores que la componen

I Premiar o castigar colegiosI Evaluar el impacto de programas, colegios o profesores

.

.

.

Aprendizaje 1. Mejoramos en el ISCE.

.

.

.

Aprendizaje 1. Mejoramos en el ISCE.

I Sin embargo, este hecho no nos dice el porque. Conocer el hecho esdiferente de conocer la razon.

I Puede ser por las polıticas del MEN, o por las de las secretarıas deeducacion, o por eventos tan alejados de la educacion como el clima.

I Ademas, no sabemos si es preparacion artificial para la prueba o es unmejoramiento sostenible en el tiempo.

Por lo tanto:

I Cuantificar los cambios en las brechas es en sı mismo importante porquenos permite conocer prioridades, pero no implica saber las razones.

I Una evaluacion de impacto es saber la razon que causo un cambio enlas brechas: es diferente de solamente conocer los cambios en lasbrechas.

.

.

.

Aprendizaje 2. ¿La solucion es que lo ninos tengan computador?

¿Tienes computador en la casa?

.

.

.

Aprendizaje 2. ¿La solucion es que lo ninos tengan computador?

I La grafica muestra que los estudiantes que tienen computador obtienen,en promedio, puntajes mas altos en la prueba.

I Aunque es indiscutible la relacion entre desempeno y tenencia decomputador, no podemos decir que tener computador es lo que hace(lo que implica, lo que causa) una mejora en los resultados.

I Y por lo tanto, lo mas importante, la implicacion de polıtica publica nopuede ser solamente darles computador a todos los estudiantes.

Este hecho es consistente con diferentes hipotesis:

I Los ninos que tienen compudador son los ninos que tienen padres mascomprometidos con la educacion.

I Los ninos que tienen compudador son los que tienen padres de mayornivel socioconomico.

I Los ninos que tienen computador no usan computadores tanto tiempoen el colegio.

.

.

.

Aprendizaje 3. Una evaluacion de impacto.

I Supongamos que en el mundo solo hay dos profesores (uno rojo y unoverde) y cada uno solo tiene dos estudiantes (rojos o verdes).

I Los estudiantes verdes (independientemente del profesor) obtienen 2puntos en la prueba y los rojos, 1 punto.

I Los profesores verdes (independientemente del estudiante) le aportan 2puntos extras a sus estudiantes y los rojos, 1 punto.

I Sin embargo, supongamos que el tomador de polıticas publicas no sabecual profesor o estudiante es verde o rojo.

I Objetivo: El tomador de decisiones quisiera saber cual profesor es mejor(nosotros sabemos que es el verde porque aporta un punto de mas a susestudiantes).

I Supongamos tres escenarios en el que cambia la distribucion de losestudiantes para cada profesor.

.

.

.

Escenario 1. Subestimacion del efecto del profesor.

I El colegio del profesor verde obtiene 3 puntos y el del rojo tambien 3.I Parace que el profesor verde es igual que el rojo.I Pero sabemos que el profesor verde es mejor en 1 punto.I Esto pasa porque al profe verde, le tocaron los dos estudiantes rojos.

.

.

.

Escenario 2. Sobreestimacion del efecto del profesor.

I El colegio del profesor verde obtiene 4 puntos y el del rojo obtiene 2.I Parace que el profesor verde es mejor que el rojo en 2 puntos.I Pero el profesor verde es mejor solamente en 1 punto.I Esto pasa porque al profe verde, tambien le tocaron los dos estudiantes

verdes.

.

.

.

Escenario 3. Efecto del profesor insesgado.

I El colegio del profesor verde obtiene 3.5 y el del rojo obtiene 2.5.I Recuperamos la verdadera diferencia: el profesor verde es mejor que el

rojo en 1 puntos.I Esto pasa porque los estudiantes se distribuyeron uniformemente entre

colegios.

.

.

.

Aprendizaje 3. Una evaluacion de impacto.

I La verdad: En la vida real no hay solamente profesores y estudiantes rojoso verdes: hay infinidad de caracterısticas e infinidad de variacion en esascaracterısticas.

I El problema: Muchas de las caracerısticas no son observables o no sonmedibles.

I Una posible solucion: Escoger aleatoriamente los grupos que reciben yno reciben una intervencion.

I Por que: Aleatorizar garantiza que todas las caracterısticas (incluso las noobservables) se distribuyen uniformemente entre los grupos.

I Conclusion: La prueba da la informacion necesaria, pero el uso debe serresponsable.

¡Gracias!