Post on 13-Jul-2020
Tendencias en el aprendizaje en México y Nuevo León: 2000-2015
Dr. Eduardo Backhoff Escudero
Monterrey, NL, 26 mayo de 2017.
Evaluaciones de aprendizaje (1)
• En años recientes, el nivel de aprovechamiento escolar que alcanzan los estudiantes de un país se ha convertido en el indicador más importante de la calidad educativa.
• Para medir los conocimientos, habilidades y competencias escolares de los alumnos de una nación, o de una región en su interior, se utilizan pruebas de logro estandarizadas que se diseñan con los más altos estándares de calidad.
• Las dos disciplinas que se evalúan con mayor frecuencia son: Lenguaje (especialmente comprensión de lectura) y Matemáticas (con especial énfasis en solución de problemas).
Evaluaciones de aprendizaje (2)
• Algunas pruebas están alineadas al currículo nacional (como es el caso de Excale y Planea) o a componentes comunes del currículo de los países participantes (como es el caso de TIMSS).
• Otras pruebas no se alinean a los planes y programas de estudio sino con estándares de aprendizaje que definen grupos de especialistas (como es el caso de PISA).
• Algunas evalúan el logro de los estudiantes al terminar ciertos grados, independientemente de su edad (como es el caso de Excale y NAEP); o, bien, cuando llegan a una edad, independientemente del grado que cursen (como es el caso de PISA).
Introducción (3)
• Es común que las puntuaciones se estandarizan en una media de 500 puntos, desviación estándar de 100 unidades y rango de 200 a 800.
• El significado de las puntuaciones de una prueba a otra varía considerablemente, por lo que no es correcto compararlas de manera directa.
• Se parte de que los resultados educativos de un país no cambian sustancialmente de un año a otro. Por ello, su periodicidad varía entre lapsos de tres a cinco años.
Tendencias de aprendizaje
• A lo largo de los años, se puedan observar tendencias de aprendizaje.
• Las tendencias pueden ser positivas (incremento en las puntuaciones) o negativas (decremento).
• En todos los casos se debe probar la significancia estadística de las tendencias. Solo en estos casos se puede considerar que el cambio no es espurio.
• Corresponderá a las autoridades educativas federales y locales, así como a expertos en materia de educación, explicar las posibles razones de los cambios que se observen en las puntuaciones en el aprendizaje.
Estudio de las tendencias de aprendizaje en México
Propósito• Conocer las tendencias de aprendizaje sobre el progreso de los
estudiantes mexicanos en Lenguaje y Matemáticas, a partir de los resultados en las evaluaciones:
Nac
ion
ales • Excale (2005-
2014)
Inte
rnac
ion
ales • PISA (2000, 2006,
2009 y 2012)
• LLECE (2006 y 2013)
Muestra
Evaluación Grado Muestra estatal Muestra nacional
EXCALE
3º Primaria 4,550 157,6796º Primaria 5,664 181,3473º Secundaria 8,220 227,045
LLECE3º Primaria - 8,4106º Primaria - 8,536
PISA 15 años 4,675 148,589
Total 23,109 731,606
Tabla 1. Tamaños de las muestras evaluadas a través de los diversos ciclos en las diversas evaluaciones nacionales e internacionales en las que el estado de Nuevo León ha participado (2003-2014)
Metodología
• Re-escalamiento lineal de las puntuaciones de LLECE y PISA a la métrica de Excale (=500, =100)
• Link error (OCDE)
• Análisis de cambios o tendencias mediante muestras complejas
• Obtención de la significancia de los cambios o tendencias lineales a nivel nacional e internacional
• Linearización por series de Taylor (TSE) Excales
• Replicación repetida balanceada (BRR) PISA y LLECE
Resultados nacionales
Medias y tendencias de aprendizaje en Lenguaje y Matemáticas (Excale): educación básica
Grado AñoLenguaje Matemáticas
Media Tendencia Media Tendencia
3º Primaria
2006 500
0.44
500
2.432010 511 526
2014 504 519
6º Primaria
2005 484
1.97
483
-0.092009 503 493
2013 503 485
3º Secundaria
2005 484
-0.58
484
0.072008 482 487
2012 480 484Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).
Fuente: Elaboración propia.
Resultados nacionales: Excale
Tercero de primaria
Gráfica 1. Tendencias de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (EXCALE): N.L.
Tendencia Lenguaje = 0.44
Tendencia Matemáticas = 2.43
460
480
500
520
540
2006 2007 2008 2009 2010 2011 2012 2013 2014
Pu
ntu
ació
n e
stan
dar
izad
a
Año de evaluación
Sexto de primariaGráfica 2. Tendencias en los resultados de Lenguaje y Matemáticas de estudiantes de sexto de primaria (EXCALE)
Tendencia Lenguaje = 1.97
Tendencia Matemáticas = -0.09
460
480
500
520
540
2005 2006 2007 2008 2009 2010 2011 2012 2013
Pu
ntu
ació
n e
stan
dar
izad
a
Año de evaluación
Tercero de secundariaGráfica 3. Tendencias de aprendizaje en Lenguaje y Matemáticas de estudiantes de tercero de secundaria (EXCALE)
Tendencia Lenguaje = -0.58
Tendencia Matemáticas = 0.07
460
480
500
520
540
2005 2006 2007 2008 2009 2010 2011 2012
Pu
ntu
ació
n e
stan
dar
izad
a
Año de evaluación
Resultados internacionales:Cambios en el aprendizaje de estudiantes de primaria: SERCE y TERCE
Tabla 3. Medias y cambios de aprendizaje en Lenguaje y Matemáticas
(SERCE 2006 y TERCE 2013): 3º y 6º de primaria
Grado Año
Lenguaje Matemáticas
Media
original
Cambio
original
Media
transformada
Cambio
transformado
Media
original
Cambio
original
Media
transformada
Cambio
transformado
3°
Primaria
2006 530-1.57
515-2.14
5322.43
4783.14
2013 519 500 549 500
6°
Primaria
2006 530-0.14
501-0.14
5423.43
4743.71
2013 529 500 566 500
Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).
Fuente: elaboración propia.
Tercero de primariaGráfica 4. Cambios en los resultados de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (SERCE y TERCE)
Cambio Lenguaje = -2.14
Cambio Matemáticas= 3.14
460
480
500
520
540
2006 2007 2008 2009 2010 2011 2012 2013
Pu
ntu
ació
n e
stan
dar
izad
a
Año de evaluación
Resultados internacionales:Tendencias en el aprendizaje de estudiantes de 15 años: PISA
Tabla 4. Medias y tendencias de aprendizaje en Lenguaje y Matemáticas
(PISA): estudiantes de 15 años de edad.
Año
Lenguaje Matemáticas
Media
original
Tendencia
original
Media
transformada
Tendencia
transformada
Media
original
Tendencia
original
Media
transformada
Tendencia
transformada
2000 422
0.90
498
1.11
-
1.77
-
2.39
2003 400 470 385 462
2006 411 484 406 490
2009 425 502 419 507
2012 424 500 413 500
2015 424 500 408 493
Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).
Fuente: Elaboración propia.
Estudiantes 15 añosGráfica 6. Tendencias en los resultados de aprendizaje en Lenguaje y Matemáticas de estudiantes de 15 años de edad (PISA)
Resultados de Nuevo León
Medias y tendencias de aprendizaje en Lenguaje y Matemáticas (Excale): educación básica. Nuevo León
Grado AñoLenguaje Matemáticas
Media Tendencia Media Tendencia
3º Primaria2006 526
-0.68
547
-3.462010 545 563
2014 521 521
6º Primaria2005 513
1.23
510
0.042009 540 532
2013 535 518
3º Secundaria2005 504
-2.22
497
2.902008 510 508
2012 490 517
Nota: En negritas se señalan las tendencias estadísticamente significativas
(p<0.05).
Fuente: Elaboración propia.
Resultados nacionales: Excale
Tercero de primaria
Gráfica 19.1. Tendencias de aprendizaje en Lenguaje y Matemáticas de tercero de primaria (EXCALE): N.L.
Sexto de primariaGráfica 19.2. Tendencias en los resultados de Lenguaje y Matemáticas de estudiantes de sexto de primaria (EXCALE): N.L.
Tercero de secundaria
Gráfica 19.3. Tendencias de aprendizaje en Lenguaje y Matemáticas de estudiantes de tercero de secundaria (EXCALE): N.L.
Resultados internacionales: Tendencias en el aprendizaje de estudiantes de 15 años: PISA
Tabla 4. Medias y tendencias de aprendizaje en Lenguaje y Matemáticas
(PISA): estudiantes de 15 años de edad.
Año
Lenguaje Matemáticas
Media
original
Tendencia
original
Media
transformada
Tendencia
transformada
Media
original
Tendencia
original
Media
transformada
Tendencia
transformada
2003 416
2.29
490
2.86
408
3.38
492
4.562006 455 539 432 525
2009 450 534 455 556
2012 442 522 436 531
Nota: En negritas se señalan las tendencias estadísticamente significativas (p<0.05).
Fuente: Elaboración propia.
Estudiantes 15 años
Gráfica 6. Tendencias en los resultados de aprendizaje en Lenguaje y Matemáticas de estudiantes de 15 años de edad (PISA): N.L.
Comparativo entidades federativas: Lenguaje 3º primaria
4.2
76
3.8
67
3.6
19
3.5
09
3.3
35
2.5
48
2.0
07
1.4
34
1.2
7
1.2
63
1.2
23
1.2
07
0.9
46
0.7
66
0.5
07
0.4
4
0.3
61
0.1
44
0.0
9
-0.0
21
-0.3
05
-0.4
98
-0.6
76
-0.9
34
-0.9
54
-1.0
55
-1.1
8
-1.2
56
-2.2
87
-2.4
51
-2.5
47
-3.7
71
-6
-3
0
3
6
9
12
15
18
NA
YA
RIT
MO
RE
LO
S
AG
UA
SC
AL
IEN
TE
S
CH
IHU
AH
UA
TA
BA
SC
O
YU
CA
TÁ
N
HID
AL
GO
CO
LIM
A
MIC
HO
AC
ÁN
GU
ER
RE
RO
VE
RA
CR
UZ
SO
NO
RA
MÉ
XIC
O
QU
INT
AN
A R
OO
QU
ER
ÉT
AR
O
NA
CIO
NA
L
PU
EB
LA
CO
AH
UIL
A
TA
MA
UL
IPA
S
CD
. D
E M
ÉX
ICO
JAL
ISC
O
SA
N L
UIS
PO
TO
SÍ
NU
EV
O L
EÓ
N
GU
AN
AJU
AT
O
DU
RA
NG
O
SIN
AL
OA
BA
JA C
AL
IFO
RN
IA S
UR
CA
MP
EC
HE
CH
IAP
AS
ZA
CA
TE
CA
S
BA
JA C
AL
IFO
RN
IA
TL
AX
CA
LA
Entidad Federativa
Mag
nit
ud
de
cam
bio
an
ual
Lenguaje Excale 3° Primaria
Comparativo entidades federativas: matemáticas 15 años
15
.83
11
.81
8.5
7.7
8
7.2
1
7.0
9
6.7
3
5.8
8
5.1
8
4.8
2
4.7
5
4.5
6
4.3
9
4.2
7
4.1
01
96
05
71
3.8
6
3.5
9
3.3
1
3.1
3.0
4
2.8
2
2.7
7
2.7
2.5
1
2.4
8
2.3
4
2.1
4
2.1
2.0
8
0.8
62
55
98
61
0.6
5
-0.0
2
-1.2
8
-6
-3
0
3
6
9
12
15
18
OA
XA
CA
MIC
HO
AC
ÁN
SO
NO
RA
DU
RA
NG
O
TL
AX
CA
LA
PU
EB
LA
TA
BA
SC
O
VE
RA
CR
UZ
BA
JA C
AL
IFO
RN
IA S
UR
NA
YA
RIT
MÉ
XIC
O
NU
EV
O L
EÓ
N
CO
AH
UIL
A
ZA
CA
TE
CA
S
BA
JA C
AL
IFO
RN
IA
SA
N L
UIS
PO
TO
SÍ
GU
AN
AJU
AT
O
CA
MP
EC
HE
NA
CIO
NA
L
QU
INT
AN
A R
OO
QU
ER
ÉT
AR
O
CH
IHU
AH
UA
YU
CA
TÁ
N
JAL
ISC
O
HID
AL
GO
SIN
AL
OA
MO
RE
LO
S
GU
ER
RE
RO
CH
IAP
AS
AG
UA
SC
AL
IEN
TE
S
TA
MA
UL
IPA
S
CD
MX
CO
LIM
A
Entidad Federativa
Mag
nit
ud
de
cam
bio
an
ual
Matemáticas PISA
Síntesis de resultados nacionales einternacionales: Nacional vs N.L.
3o primaria 6o primaria3o
secundaria15 años
NACIONAL EXCALE SERCE/TERCE EXCALE SERCE/TERCE EXCALE PISA
Lenguaje - +
Matemáticas + + + +
Excale PISA
NUEVO LEÓN 3o primaria 6o primaria3o
secundaria15
años
Lenguaje
Matemáticas - +
Conclusiones: Nacionales
• En todos los grados, con excepción de tercero de secundaria, se observan cambios significativos en las puntuaciones de Lenguaje o de Matemáticas.
• Hay que notar que, en su gran mayoría, estos cambios o tendencias son positivas; siendo la única excepción el tercer grado de primaria en la asignatura de lenguaje, en donde se observa un cambio negativo.
Conclusiones: Nuevo León
• En tercero de primaria se observa un cambio significativo y negativo en Matemáticas.
• En tercero de secundaria se observan cambios significativos en Matemáticas.
• No se observan cambios de ninguna naturaleza en Lenguaje
Para terminar
• Las evaluaciones de logro académico representan, hoy en día, la mejor forma de conocer en qué medida se están alcanzado los objetivos educacionales de un país o de una zona geográfica.
• Dichos estudios han reportado hasta ahora los resultados de aprendizaje en momentos específicos, lo que equivale a tener una especie de “fotografía instantánea” de los distintos sistemas y subsistemas educativos. Sin embargo, solo algunos de ellos se han preocupado por conocer (y explicar) los cambios que se observan de una evaluación a otra.
…
• Una evaluación debe brindar más que información; luego de su difusión, debe convertirse en un instrumento para diseñar programas y políticas educativas.