Tendencias en el aprendizaje en México y Nuevo León: 2000-2015

Dr. Eduardo Backhoff Escudero

Monterrey, NL, 26 mayo de 2017.

Evaluaciones de aprendizaje (1)

• En años recientes, el nivel de aprovechamiento escolar que alcanzan los estudiantes de un país se ha convertido en el indicador más importante de la calidad educativa.

• Para medir los conocimientos, habilidades y competencias escolares de los alumnos de una nación, o de una región en su interior, se utilizan pruebas de logro estandarizadas que se diseñan con los más altos estándares de calidad.

• Las dos disciplinas que se evalúan con mayor frecuencia son: Lenguaje (especialmente comprensión de lectura) y Matemáticas (con especial énfasis en solución de problemas).

Evaluaciones de aprendizaje (2)

• Algunas pruebas están alineadas al currículo nacional (como es el caso de Excale y Planea) o a componentes comunes del currículo de los países participantes (como es el caso de TIMSS).

• Otras pruebas no se alinean a los planes y programas de estudio sino con estándares de aprendizaje que definen grupos de especialistas (como es el caso de PISA).

• Algunas evalúan el logro de los estudiantes al terminar ciertos grados, independientemente de su edad (como es el caso de Excale y NAEP); o, bien, cuando llegan a una edad, independientemente del grado que cursen (como es el caso de PISA).

Introducción (3)

• Es común que las puntuaciones se estandarizan en una media de 500 puntos, desviación estándar de 100 unidades y rango de 200 a 800.

• El significado de las puntuaciones de una prueba a otra varía considerablemente, por lo que no es correcto compararlas de manera directa.

• Se parte de que los resultados educativos de un país no cambian sustancialmente de un año a otro. Por ello, su periodicidad varía entre lapsos de tres a cinco años.

Tendencias de aprendizaje

• A lo largo de los años, se puedan observar tendencias de aprendizaje.

• Las tendencias pueden ser positivas (incremento en las puntuaciones) o negativas (decremento).

• En todos los casos se debe probar la significancia estadística de las tendencias. Solo en estos casos se puede considerar que el cambio no es espurio.

• Corresponderá a las autoridades educativas federales y locales, así como a expertos en materia de educación, explicar las posibles razones de los cambios que se observen en las puntuaciones en el aprendizaje.

Estudio de las tendencias de aprendizaje en México

Propósito• Conocer las tendencias de aprendizaje sobre el progreso de los

estudiantes mexicanos en Lenguaje y Matemáticas, a partir de los resultados en las evaluaciones:

Nac

ion

ales • Excale (2005-

2014)

Inte

rnac

ion

ales • PISA (2000, 2006,

2009 y 2012)

• LLECE (2006 y 2013)

Muestra

Evaluación Grado Muestra estatal Muestra nacional

EXCALE

3º Primaria 4,550 157,6796º Primaria 5,664 181,3473º Secundaria 8,220 227,045

LLECE3º Primaria - 8,4106º Primaria - 8,536

PISA 15 años 4,675 148,589

Total 23,109 731,606

Tabla 1. Tamaños de las muestras evaluadas a través de los diversos ciclos en las diversas evaluaciones nacionales e internacionales en las que el estado de Nuevo León ha participado (2003-2014)

Metodología

• Re-escalamiento lineal de las puntuaciones de LLECE y PISA a la métrica de Excale (=500, =100)

• Link error (OCDE)

• Análisis de cambios o tendencias mediante muestras complejas

• Obtención de la significancia de los cambios o tendencias lineales a nivel nacional e internacional

• Linearización por series de Taylor (TSE) Excales

• Replicación repetida balanceada (BRR) PISA y LLECE

Resultados nacionales

Medias y tendencias de aprendizaje en Lenguaje y Matemáticas (Excale): educación básica

Grado AñoLenguaje Matemáticas

Media Tendencia Media Tendencia

3º Primaria

2006 500

0.44

500

2.432010 511 526

2014 504 519

6º Primaria

2005 484

1.97

483

-0.092009 503 493

2013 503 485

3º Secundaria

2005 484

-0.58

484

0.072008 482 487

2012 480 484Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).

Fuente: Elaboración propia.

Resultados nacionales: Excale

Tercero de primaria

Gráfica 1. Tendencias de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (EXCALE): N.L.

Tendencia Lenguaje = 0.44

Tendencia Matemáticas = 2.43

460

480

500

520

540

2006 2007 2008 2009 2010 2011 2012 2013 2014

Pu

ntu

ació

n e

stan

dar

izad

a

Año de evaluación

Sexto de primariaGráfica 2. Tendencias en los resultados de Lenguaje y Matemáticas de estudiantes de sexto de primaria (EXCALE)

Tendencia Lenguaje = 1.97

Tendencia Matemáticas = -0.09

460

480

500

520

540

2005 2006 2007 2008 2009 2010 2011 2012 2013

Pu

ntu

ació

n e

stan

dar

izad

a

Año de evaluación

Tercero de secundariaGráfica 3. Tendencias de aprendizaje en Lenguaje y Matemáticas de estudiantes de tercero de secundaria (EXCALE)

Tendencia Lenguaje = -0.58

Tendencia Matemáticas = 0.07

460

480

500

520

540

2005 2006 2007 2008 2009 2010 2011 2012

Pu

ntu

ació

n e

stan

dar

izad

a

Año de evaluación

Resultados internacionales:Cambios en el aprendizaje de estudiantes de primaria: SERCE y TERCE

Tabla 3. Medias y cambios de aprendizaje en Lenguaje y Matemáticas

(SERCE 2006 y TERCE 2013): 3º y 6º de primaria

Grado Año

Lenguaje Matemáticas

Media

original

Cambio

original

Media

transformada

Cambio

transformado

Media

original

Cambio

original

Media

transformada

Cambio

transformado

3°

Primaria

2006 530-1.57

515-2.14

5322.43

4783.14

2013 519 500 549 500

6°

Primaria

2006 530-0.14

501-0.14

5423.43

4743.71

2013 529 500 566 500

Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).

Fuente: elaboración propia.

Tercero de primariaGráfica 4. Cambios en los resultados de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (SERCE y TERCE)

Cambio Lenguaje = -2.14

Cambio Matemáticas= 3.14

460

480

500

520

540

2006 2007 2008 2009 2010 2011 2012 2013

Pu

ntu

ació

n e

stan

dar

izad

a

Año de evaluación

Resultados internacionales:Tendencias en el aprendizaje de estudiantes de 15 años: PISA

Tabla 4. Medias y tendencias de aprendizaje en Lenguaje y Matemáticas

(PISA): estudiantes de 15 años de edad.

Año

Lenguaje Matemáticas

Media

original

Tendencia

original

Media

transformada

Tendencia

transformada

Media

original

Tendencia

original

Media

transformada

Tendencia

transformada

2000 422

0.90

498

1.11

-

1.77

-

2.39

2003 400 470 385 462

2006 411 484 406 490

2009 425 502 419 507

2012 424 500 413 500

2015 424 500 408 493

Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).

Fuente: Elaboración propia.

Estudiantes 15 añosGráfica 6. Tendencias en los resultados de aprendizaje en Lenguaje y Matemáticas de estudiantes de 15 años de edad (PISA)

Resultados de Nuevo León

Medias y tendencias de aprendizaje en Lenguaje y Matemáticas (Excale): educación básica. Nuevo León

Grado AñoLenguaje Matemáticas

Media Tendencia Media Tendencia

3º Primaria2006 526

-0.68

547

-3.462010 545 563

2014 521 521

6º Primaria2005 513

1.23

510

0.042009 540 532

2013 535 518

3º Secundaria2005 504

-2.22

497

2.902008 510 508

2012 490 517

Nota: En negritas se señalan las tendencias estadísticamente significativas

(p<0.05).

Fuente: Elaboración propia.

Resultados nacionales: Excale

Tercero de primaria

Gráfica 19.1. Tendencias de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (EXCALE): N.L.

Sexto de primariaGráfica 19.2. Tendencias en los resultados de Lenguaje y Matemáticas de estudiantes de sexto de primaria (EXCALE): N.L.

Tercero de secundaria

Gráfica 19.3. Tendencias de aprendizaje en Lenguaje y Matemáticas de estudiantes de tercero de secundaria (EXCALE): N.L.

Resultados internacionales: Tendencias en el aprendizaje de estudiantes de 15 años: PISA

Tabla 4. Medias y tendencias de aprendizaje en Lenguaje y Matemáticas

(PISA): estudiantes de 15 años de edad.

Año

Lenguaje Matemáticas

Media

original

Tendencia

original

Media

transformada

Tendencia

transformada

Media

original

Tendencia

original

Media

transformada

Tendencia

transformada

2003 416

2.29

490

2.86

408

3.38

492

4.562006 455 539 432 525

2009 450 534 455 556

2012 442 522 436 531

Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).

Fuente: Elaboración propia.

Estudiantes 15 años

Gráfica 6. Tendencias en los resultados de aprendizaje en Lenguaje y Matemáticas de estudiantes de 15 años de edad (PISA): N.L.

Comparativo entidades federativas: Lenguaje 3º primaria

4.2

76

3.8

67

3.6

19

3.5

09

3.3

35

2.5

48

2.0

07

1.4

34

1.2

7

1.2

63

1.2

23

1.2

07

0.9

46

0.7

66

0.5

07

0.4

4

0.3

61

0.1

44

0.0

9

-0.0

21

-0.3

05

-0.4

98

-0.6

76

-0.9

34

-0.9

54

-1.0

55

-1.1

8

-1.2

56

-2.2

87

-2.4

51

-2.5

47

-3.7

71

-6

-3

0

3

6

9

12

15

18

NA

YA

RIT

MO

RE

LO

S

AG

UA

SC

AL

IEN

TE

S

CH

IHU

AH

UA

TA

BA

SC

O

YU

CA

TÁ

N

HID

AL

GO

CO

LIM

A

MIC

HO

AC

ÁN

GU

ER

RE

RO

VE

RA

CR

UZ

SO

NO

RA

MÉ

XIC

O

QU

INT

AN

A R

OO

QU

ER

ÉT

AR

O

NA

CIO

NA

L

PU

EB

LA

CO

AH

UIL

A

TA

MA

UL

IPA

S

CD

. D

E M

ÉX

ICO

JAL

ISC

O

SA

N L

UIS

PO

TO

SÍ

NU

EV

O L

EÓ

N

GU

AN

AJU

AT

O

DU

RA

NG

O

SIN

AL

OA

BA

JA C

AL

IFO

RN

IA S

UR

CA

MP

EC

HE

CH

IAP

AS

ZA

CA

TE

CA

S

BA

JA C

AL

IFO

RN

IA

TL

AX

CA

LA

Entidad Federativa

Mag

nit

ud

de

cam

bio

an

ual

Lenguaje Excale 3° Primaria

Comparativo entidades federativas: matemáticas 15 años

15

.83

11

.81

8.5

7.7

8

7.2

1

7.0

9

6.7

3

5.8

8

5.1

8

4.8

2

4.7

5

4.5

6

4.3

9

4.2

7

4.1

01

96

05

71

3.8

6

3.5

9

3.3

1

3.1

3.0

4

2.8

2

2.7

7

2.7

2.5

1

2.4

8

2.3

4

2.1

4

2.1

2.0

8

0.8

62

55

98

61

0.6

5

-0.0

2

-1.2

8

-6

-3

0

3

6

9

12

15

18

OA

XA

CA

MIC

HO

AC

ÁN

SO

NO

RA

DU

RA

NG

O

TL

AX

CA

LA

PU

EB

LA

TA

BA

SC

O

VE

RA

CR

UZ

BA

JA C

AL

IFO

RN

IA S

UR

NA

YA

RIT

MÉ

XIC

O

NU

EV

O L

EÓ

N

CO

AH

UIL

A

ZA

CA

TE

CA

S

BA

JA C

AL

IFO

RN

IA

SA

N L

UIS

PO

TO

SÍ

GU

AN

AJU

AT

O

CA

MP

EC

HE

NA

CIO

NA

L

QU

INT

AN

A R

OO

QU

ER

ÉT

AR

O

CH

IHU

AH

UA

YU

CA

TÁ

N

JAL

ISC

O

HID

AL

GO

SIN

AL

OA

MO

RE

LO

S

GU

ER

RE

RO

CH

IAP

AS

AG

UA

SC

AL

IEN

TE

S

TA

MA

UL

IPA

S

CD

MX

CO

LIM

A

Entidad Federativa

Mag

nit

ud

de

cam

bio

an

ual

Matemáticas PISA

Síntesis de resultados nacionales einternacionales: Nacional vs N.L.

3o primaria 6o primaria3o

secundaria15 años

NACIONAL EXCALE SERCE/TERCE EXCALE SERCE/TERCE EXCALE PISA

Lenguaje - +

Matemáticas + + + +

Excale PISA

NUEVO LEÓN 3o primaria 6o primaria3o

secundaria15

años

Lenguaje

Matemáticas - +

Conclusiones: Nacionales

• En todos los grados, con excepción de tercero de secundaria, se observan cambios significativos en las puntuaciones de Lenguaje o de Matemáticas.

• Hay que notar que, en su gran mayoría, estos cambios o tendencias son positivas; siendo la única excepción el tercer grado de primaria en la asignatura de lenguaje, en donde se observa un cambio negativo.

Conclusiones: Nuevo León

• En tercero de primaria se observa un cambio significativo y negativo en Matemáticas.

• En tercero de secundaria se observan cambios significativos en Matemáticas.

• No se observan cambios de ninguna naturaleza en Lenguaje

Para terminar

• Las evaluaciones de logro académico representan, hoy en día, la mejor forma de conocer en qué medida se están alcanzado los objetivos educacionales de un país o de una zona geográfica.

• Dichos estudios han reportado hasta ahora los resultados de aprendizaje en momentos específicos, lo que equivale a tener una especie de “fotografía instantánea” de los distintos sistemas y subsistemas educativos. Sin embargo, solo algunos de ellos se han preocupado por conocer (y explicar) los cambios que se observan de una evaluación a otra.

…

• Una evaluación debe brindar más que información; luego de su difusión, debe convertirse en un instrumento para diseñar programas y políticas educativas.