URUGUAY EN EL SEGUNDO ESTUDIO REGIONAL COMPARATIVO

Y EXPLICATIVO (SERCE)

. LLECE

OREALC/UNESCO

División de Investigación, Evaluación y Estadística. Dirección Sectorial de Planificación Educativa

Anep-Codicen

Agenda de la Jornada • Apertura de la Jornada • Presentación de los resultados de Uruguay en el SERCE Andrés Peri (Director de la DIEE) • Comentarios sobre los resultados Graciela Arámburu (Inspectora Técnica del CEP). • Presentación de “Aportes para la didáctica de la Lectura”

(Ana Atorresi) • Presentación de “Aportes para la didáctica de la Matemática

(Liliana Bronzinas) • Presentación de “Aportes para la didáctica de las Ciencias”

(Julia Leymonié)

• Talleres temáticos en la tarde.

ÍNDICE DE LA PRESENTACIÓN

Características del SERCE en URUGUAY

Resultados Uruguayos comparados con la región

Resultados comparados por contexto y categoría de escuela

Análisis de Factores Asociados al Desempeño

Enseñanzas que deja el SERCE

¿QUÉ ES EL SERCE?

• Es el Segundo Estudio Regional Comparativo y Explicativo que evalúa el desempeño de los estudiantes en América Latina y El Caribe e indaga los factores asociados a dichos desempeños.

• Está organizado y coordinado por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE) y se enmarca dentro de las acciones globales de la oficina regional de educación de la UNESCO para América Latina y El Caribe.

PAÍSES PARTICIPANTES

• Argentina • Brasil • Colombia • Costa Rica • Cuba • Chile • Dominicana • Ecuador

• El Salvador • Guatemala • México • Nicaragua • Panamá • Paraguay • Perú • Uruguay • Nuevo León*

• ¿Cuál es el nivel de logro de los estudiantes de tercero y sexto

grado de primaria en algunas competencias esenciales de lectura, escritura y matemática (ciencias)?

• ¿Cuáles son los factores escolares y extraescolares que

contribuyen a explicar los diferentes niveles de logro?

• ¿Cómo es el nivel de desigualdad de desempeño entre países e intra país entre los participantes latinoamericanos en la evaluación del SERCE?

El SERCE PRETENDE RESPONDER A LAS SIGUIENTES PREGUNTAS

¿Qué evalúa el SERCE?

• Las pruebas que los estudiantes responden evalúan sus niveles de logro en las áreas curriculares de

• lectura, • escritura, • matemática y • ciencias (6to)

• El enfoque desde el que estos conocimientos son evaluados es el de “habilidades para la vida” que trasciende al ámbito escolar.

CUESTIONARIOS • Además se aplicaron cuestionarios de Factores

Asociados:

Mediante la aplicación de estos cuestionarios se intenta identificar características del entorno escolar y familiar de los estudiantes evaluados con las pruebas.

Recogen información sobre las condiciones y formas

bajo las cuales se produce el proceso de enseñanza-aprendizaje, así como las opiniones o percepciones de los diferentes actores educativos (estudiantes, docentes, directores y familias).

Cuestionario al estudiante.

Cuestionario al maestro de clase.

Cuestionario sobre la enseñanza de matemática, lenguaje y ciencias

Cuestionario al director.

Cuestionario a la familia.

Ficha de empadronamiento del centro educativo.

Los Cuestionarios Aplicados fueron...

¿Cómo se seleccionaron las escuelas?

• Todos los centros educativos que participan en este estudio han sido elegidos por la UNESCO de manera aleatoria, (Uruguay proveyó el marco muestral y la selección se hizo en el exterior).

• Dentro de los centros educativos seleccionados se evaluaron a los grupos de estudiantes de tercero y sexto grados.

MUESTRAS • En Uruguay formaron parte del universo de estudio

todos las escuelas primarias públicas y privadas: urbanas y rurales.

• De este universo fueron sorteados por UNESCO y participaron efectivamente:

• 219 ESCUELAS • 659 GRUPOS - 350 (3ro) 309 (6to) • 14.978 ALUMNOS - 8.195 (3ro) 6.783 (6to)

• Uruguay pidió específicamente ampliar la muestra para evaluar escuelas de TC y CSCC

Agenda Futura • El LLECE elaborará un informe sobre los Factores

Asociados al aprendizaje (antes de fin de año).

• Edición de la serie Aportes para la Didáctica para cada una de las Áreas Evaluadas (hoy)

• Se estimula la realización de Investigaciones sobre factores escolares que promueven los buenos resultados. (Experiencias exitosas)

• Uruguay está siguiendo el panel de los alumnos de tercero hasta sexto grado (Oct. 2009)

Ubicación de los Resultados de Uruguay entre los países de América

Latina participantes en el SERCE

Puntaje Promedio e intervalo de confianza en Lectura 3er año

350

400

450

500

550

600

650Cu

ba

Nuev

o Le

ón

Cost

a Rica

Chile

Méx

ico

URUG

UAY

Colo

mbi

a

Arge

ntin

a

Bras

il

PRO

MED

IO

El S

alva

dor

Perú

Nica

ragu

a

Para

guay

Pana

má

Ecua

dor

Guat

emal

a

R. D

omin

icana

Intervalo de confianza del puntaje promedio en Lectura 3° por país

Nivel III

Nivel II

522

637

461

367 Nivel I

Nivel IV

350

400

450

500

550

600

650Cu

ba

Cost

a Rica

Chile

Nuev

o Le

ón

URUG

UAY

Méx

ico

Bras

il

Colo

mbi

a

Arge

ntin

a

PRO

MED

IO

El S

alva

dor

Perú

Nica

ragu

a

Pana

má

Para

guay

Guat

emal

a

Ecua

dor

R. D

omin

icana

Intervalo de confianza del puntaje promedio en Lectura 6° por país

Nivel IV

Nivel III

Nivel II

350

400

450

500

550

600

650

700Cu

ba

Nue

vo Le

ón

URU

GU

AY

Cost

a Ri

ca

Méx

ico

Chile

Arge

ntin

a

Bras

il

PRO

MED

IO

Colo

mbi

a

Para

guay

El S

alva

dor

Perú

Ecua

dor

Nica

ragu

a

Pana

má

Gua

tem

ala

R. D

omin

icana

Intervalo de confianza del puntaje promedio en Matemática 3° por país

Nivel I

350

400

450

500

550

600

650

700Cu

ba

URUG

UAY

Nuev

o Le

ón

Cost

a Rica

Méx

ico

Chile

Arge

ntin

a

PRO

MED

IO

Bras

il

Colo

mbi

a

Perú

El S

alva

dor

Para

guay

Ecua

dor

Nica

ragu

a

Guat

emal

a

Pana

má

R. D

omin

icana

Intervalo de confianza del puntaje promedio en Matemática 6° por país

350

400

450

500

550

600

650

700Cu

ba

URUG

UAY

Nuev

o Le

ón

Colo

mbi

a

PRO

MED

IO

Arge

ntin

a

El S

alva

dor

Pana

má

Para

guay

Perú

R. D

omin

icana

Intervalo de confianza del puntaje promedio en Ciencias 6º por país

Diferencia con respecto a la

media regional

Lectura Matemáticas Ciencias

3° 6° 3° 6° 6°

Mayor que 1 Desvío estandar

Cuba Cuba Cuba Cuba

Mayor que la media regional

Nuevo León, Costa Rica,

Chile, México, Uruguay

Cuba, Costa Rica, Chile,

Nuevo León, Uruguay,

México, Brasil

Nuevo León, Uruguay, Costa

Rica, México, Chile

Uruguay, Nuevo León, Costa Rica,

México, Chile

Uruguay

En la Media Regional

Colombia, Argentina, Brasil, El Salvador

Colombia, Argentina, El

Salvador

Argentina, Brasil,

Colombia, Paraguay

Argentina, Brasil,

Colombia, Perú

Nuevo León, Colombia, Argentina

Menor que la media Regional

Perú, Nicaragua, Paraguay, Panamá, Ecuador,

Guatemala, R. Dominicana

Perú, Nicaragua, Panamá, Paraguay,

Guatemala, Ecuador, R. Dominicana

El Salvador, Perú, Ecuador,

Nicaragua, Panamá,

Guatemala, R. Dominicana

El Salvador, Paraguay, Ecuador,

Nicaragua, Guatemala, Panamá, R. Dominicana

El Salvador, Panamá, Paraguay, Perú, R.

Dominicana

Síntesis Regional de los Desempeños en el SERCE

RESULTADOS EN URUGUAY POR CONTEXTO Y CATEGORÍA DE ESCUELA

LECTURA

7 6 2 2 1 510

4 3 2 1

2622

10 106

20

34

2420

126

3840

35 34

21

39

37

44

42

42

27

22 24

36 36

28

25

16

2126

28

38

8 818 18

44

113 7 10

15

27

Tota

l AL

Arg

entin

a

Chile

C.Ri

ca

Cuba

Uru

guay Q

I

QII

QIII

QIV QV

% d

e al

umno

s en

cada

niv

el d

e de

sem

peño

de

Lect

ura

en 3

º

IV

III

II

I

Debajo de I

Porcentaje de alumnos de tercero en cada nivel de desempeño en Lectura en cada país, y según contexto sociocultural para Uruguay

1 2 2 1

17 18

8 5 510

21

13 9 83

35 36

30

23 20

21

42

3935

30

16

27 26

32

37

24

30

23

29

30

32

30

20 1929

35

51

29

1118

2531

51

Tota

l AL

Arge

ntin

a

Chile

C.Ri

ca

Cuba

Urug

uay QI

QII

QIII

QIV QV

% d

e al

umno

s en

cada

niv

el d

e de

sem

peño

de

Lect

ura e

n 6º

IV

III

II

I

Debajo de I

Porcentaje de alumnos de sexto en cada nivel de desempeño en Lectura en cada país y según contexto sociocultural del grupo para Uruguay

31

250

300

350

400

450

500

550

600

650

700

-2,5 -2 -1,5 -1 -0,5 0 0,5 1 1,5 2 2,5

Punt

aje

en Le

ctur

a 6º

Factor sociocultural grupal

Efecto del contexto sociocultural sobre los puntajes en Lectura de 6º

UC

TC

CSCC(sm)

PRIVADO

RURAL

Bajo 1

Nivel 1

Nivel 2

Nivel 3

Nivel 4

A modo de síntesis • El 36% de los alumnos uruguayos de tercer grado que participaron en el

estudio alcanza los niveles III y IV, los más altos de la escala. Estos resultados son superiores al promedio latinoamericano, pero inferiores a los obtenidos por Cuba, Chile y Costa Rica.

• Los resultados obtenidos por los alumnos de sexto año son sensiblemente

mejores que los de tercero, un 59% alcanza los niveles III y IV. Este porcentaje es mayor al que presenta el promedio de los países latinoamericanos, similar al alcanzado por Chile e inferior a los de Cuba y Costa Rica.

• La incidencia del contexto sociocultural sobre los aprendizajes es muy

similar independientemente de la categoría de escuela. Los distintos formatos escolares no logran revertir las desigualdades de origen de los alumnos.

MATEMÁTICA

10 105 3 1

612

7 5 2 1

36 33

2824

10

26

41

3026

1910

28 31

3437

17

30

30

33

31

32

23

14 1519 22

17

19

11

1623

21

26

11 10 14 14

54

19

614 15

25

39

Tota

l AL

Arge

ntin

a

Chile

C.Ri

ca

Cuba

Urug

uay QI

QII

QIII

QIV QV

% d

e al

umno

s en

cada

niv

el d

e de

sem

peño

de

Mat

emát

ica e

n 3º

IV

III

II

I

Debajo de I

Porcentaje de alumnos de tercero en cada nivel de desempeño de Matemática en cada país, y según contexto sociocultural, para Uruguay

1 2 1 0 1 2 1 1

14 12 105 4 4

9 7 52 2

4138 38

33

1822

35

2922

1911

3236 37

44

26

40

40

45

45

44

31

11 12 1419

51

32

1419

2635

56

Tota

l AL

Arge

ntin

a

Chile

C.Ri

ca

Cuba

Urug

uay QI

QII

QIII

QIV QV

% d

e al

umno

s en

cada

niv

el d

e de

sem

peño

de

Mat

emát

ica e

n 6º

IV

III

II

I

Debajo de I

Porcentaje de alumnos de sexto en cada nivel de desempeño de Matemática en cada país y según contexto sociocultural del grupo para Uruguay

300

350

400

450

500

550

600

650

700

-3 -2 -1 0 1 2 3

Punt

aje

en M

atem

átic

a 6º

Factor sociocultural grupal

Efecto del contexto sociocultural sobre los puntajes en Matemática de 6º

UC

TC

CSCC(sm)

PRIVADO

RURAL

Bajo 1

Nivel 1

Nivel 2

Nivel 3

Nivel 4

A modo de síntesis • El 38% de los alumnos uruguayos de tercer año que participaron en este estudio se

ubicaron en los dos niveles de mejor desempeño (III y IV). El promedio latinoamericano para estos niveles fue del 25%, lo que permite concluir que nuestro país presenta mejores resultados que la mayoría de los países que participaron en este estudio. Estos resultados son muy similares a los Costa Rica y Chile, pero se encuentran muy por debajo de los obtenidos por los alumnos de Cuba.

• Por otra parte, en sexto año, el 72% de los alumnos uruguayos se ubican en los dos niveles superiores. El promedio latinoamericano en dichos niveles fue del 43%, por lo que se puede afirmar que Uruguay presenta resultados significativamente superiores que los de otros países participantes. La única excepción la constituye Cuba, aunque en este caso las diferencias de resultados entre uno y otro país son menores que las apreciadas en tercer año.

• Si comparamos los resultados al interior del país, encontramos una clara incidencia del contexto sobre los resultados de los alumnos. El grado en que el contexto incide sobre los aprendizajes es muy similar en casi todas las escuelas. Se destacan las escuelas rurales como más equitativas que el resto de las categorías.

CIENCIAS

5 5 2 3 2 1 1 1

39 38

9

23

3734

2517

9

42 43

26

48

4847

52

52

44

11 13

30

24

1116 20

26

39

2 1

35

3 1 1 1 4 6

Total AL Argentina Cuba Uruguay QI QII QIII QIV QV

% d

e al

umno

s en

cada

niv

el d

e de

sem

peño

de

Cien

cias

en

6º

IV

III

II

I

Debajo de I

Porcentaje de alumnos de sexto en cada nivel de desempeño de Ciencias en cada país y según contexto sociocultural del grupo para Uruguay

300

350

400

450

500

550

600

650

700

750

-3 -2 -1 0 1 2 3

Punt

aje

en ci

enci

as 6

º

Factor sociocultural grupal

Efecto del contexto sociocultural sobre los puntajes en Ciencias de 6º

TC

CSCC(sm)

PRIVADO

RURAL

Bajo 1

Nivel 1

Nivel 2

Nivel 3

Nivel 4

• En los niveles más altos de la escala de desempeño (III y IV) se ubicó poco más de la cuarta parte de los estudiantes uruguayos evaluados (27%). Este porcentaje es superior al de todos los países latinoamericanos que participaron en la evaluación de esta área, excepto al de Cuba, que tiene el 65% de los estudiantes evaluados en estos niveles.

• La incidencia del contexto sociocultural sobre los aprendizajes es algo menor en ciencias que en Lectura y Matemática. De todas maneras el grado de inequidad en los resultados es muy similar en todas las escuelas con la excecpión nuevamente de las rurales.

A modo de síntesis

FACTORES ASOCIADOS A LOS DESEMPEÑOS

OBJETIVOS • Conocer, a través de las pruebas, si las escuelas se

diferencian en su rendimiento. • Determinar en qué medida la desigualdad de

aprendizajes (varianza del puntaje) obedece a factores propios de las escuelas, de los grupos y/o de los niños.

• En caso de que haya diferencias entre escuelas, estudiar cuáles son los factores “organizacionales” y del “entorno social” que contribuyen en mayor medida a explicar dichas diferencias.

• Modelo Jerárquico lineal que toma en cuenta la información de las escuelas, los grupos y los niños.

77

79

82

3

1

2

20

20

16

0% 20% 40% 60% 80% 100%

Matemática

Lectura

Ciencias

Porcentaje de varianza explicado por cada nivel

Alumnos Grupos Escuelas

Porcentaje de varianza de los puntajes en cada área que se explica por diferencias en cada uno de los niveles: alumnos, grupos y escuelas

Las variables que NO HACEN DIFERENCIA en el puntaje de un alumno, una vez controlados los efectos de todas las demás, son:

• Los alumnos y sus familias: – “ingreso a la escuela a los cinco años o antes” y “evaluación de

la calidad de la escuela según los padres”.

• Los maestros: – “antigüedad en la escuela”, “cargo efectivo”, “multiempleo”,

“satisfacción docente” y “clima grupal”.

• Las escuelas y directores: – “categoría de la escuela” (ni tiempo completo, contexto

sociocultural crítico(sm), rural o privado se diferencian de urbana común), “cantidad de alumnos de primero a sexto”, “libros por alumno”, “relaciones entre maestros”, “violencia en el centro”, “insumos para la enseñanza”, “relaciones con actores externos a la escuela”, “antigüedad en la escuela del director en dicho cargo” y “multiempleo del director”.

-40 -30 -20 -10 0 10 20 30 40

Cargo efectivo del director

Niña

Montevideo

Relaciones de estudiantes entre sí y con maestros (director)

No discriminación entre estudiantes (director)

Motivación estudiantil y apoyo de padres (director)

Maestros estrictos con alumnos (director)

Clima escolar (alumnos)

Cantidad de veces que repitió

Contexto escolar

Contexto grupal

Clima educativo del hogar

Clim

a es

cola

rCo

ntex

to

socio

cultu

ral

Efecto sobre el puntaje en cada área

Ciencias Lectura Matemática

Efecto de cada variable sobre el puntaje en las áreas evaluadas

p < 0.05

A Modo de Síntesis • La variable con mayor poder explicativo sobre los resultados

es el contexto sociocultural, esto tiene consecuencias directas sobre la inequidad en los logros de los alumnos.

• Entre las variables sobre las cuales la escuela puede operar, a partir de la evidencia hallada, cabe destacar la importancia de lograr un buen clima escolar que redunde en un buen entorno de aprendizaje.

• La experiencia de repetición no equipara a los alumnos en su desempeño. Los niños que repitieron tienen más de 20 puntos menos que aquellos que no lo hicieron -controlando por los otros factores.

Conclusiones

Conclusiones generales del Estudio SERCE El estudio del SERCE muestra que si bien el entorno sociocultural tiene gran incidencia en la variación de resultados educativos, una parte apreciable de los resultados se debe a factores escolares. Entre los factores escolares más relevantes se encuentra el clima escolar, medido a través de preguntas sobre el agrado y la tranquilidad que siente el estudiante cuando se encuentra en la escuela, el grado de pertenencia a la institución, y la relación con sus compañeros. Luego, la segregación de estudiantes por nivel socioeconómico es el segundo factor más relevante para comprender la dispersión de resultados educativos en América Latina. Sin embargo en el Uruguay es la variable de mayor relevancia en explicar las diferencias de desempeño.

Consistentemente con la Evaluación Nacional de 6° de 2005, y los resultados en PISA 2006, Uruguay tiene en términos relativos mejores desempeños en Matemática que en Lectura.

Al ser la lectura una competencia básica fundamental para todas las áreas de conocimiento, cualquier mejora en Lectura puede influir en todas las asignaturas. (Importancia fomentar el Plan de Lectura para todos los grados).

La evaluación de aprendizajes del LLECE monstró que:

Uruguay se encuentra entre los países de mejor desempeño en A. Latina: •En todos los grados y áreas está por encima del promedio regional

•En el 2° lugar en Matemáticas en 6° y en Ciencias de 6°

•En el 3° escalón de países en Matemática de 3°

•En el 3° escalón de países en Lectura de 3° y 6°

Uruguay no presenta diferencias por género en Matemáticas ni en Ciencias aunque si una diferencia muy marcada a favor de las niñas en Lectura tanto en 3° como en 6°

Diferencia Puntaje Niñas - Niños Países según diferencias

Uruguay América Latina < =

>

Lectura 3° 12,7* 12,7* 9 8 0

6° 19,6* 10.4* 9 8 0

Matemáticas 3° 0,3 -1.25 1 8 7

6° 0,2 -6,2* 1 8 8

Ciencias 6° -4.4 -11,5* 0 6 4

Diferencias de Desempeño por Género SERCE

El estudio del Serce mostró que:

Tanto en Matemática y Lectura, Uruguay tiene siempre un mejor desempeño relativo en 6° que en 3° grado. Esto podría estar indicando que la escuela uruguaya “hace la diferencia” frente a sus pares regionales, sobre todo en el ciclo superior de la primaria. El seguimiento de la cohorte de Serce de 3° a 6° que se va a realizar este año va a arrojar luz sobre el efecto escuela en la última etapa de la educación primaria.

Uruguay presenta una gran heterogeneidad en sus resultados educativos: Mientras que 23% de los alumnos del primer quintil del contexto sociocultural tienen un desempeño inferior al Nivel II en Lectura de 6°, ese porcentaje es de apenas 3% en el contexto más alto. Si comparamos el porcentaje de alumnos con un desempeño en los niveles III y IV, el 80 % de los estudiantes llega a ese nivel en el contexto más alto, mientras que en el contexto más bajo lo hace el 34%. En las otras áreas las diferencias siguen un patrón similar, aunque menos pronunciado.

El Serce mostró que a pesar de tener la mejor distribución del ingreso en América Latina, Uruguay presenta un gradiente de desempeño por nivel socioeconómico muy pronunciado. Al parecer, el sistema Educativo Uruguayo no logra traducir en resultados educativos su matriz social igualitaria.

Gracias por su atención

Por información sobre el Serce: http://www.anep.edu.uy/sitio/anep.php?identificador=261 Área de Evaluación de los Aprendizajes División de Investigación, Evaluación y Estadística, Dirección Sectorial de Planificación Educativa, ANEP-CODICEN

Patrones de Desempeños en 3° y 6° en Matemática

Patrones de desempeño en 3° y 6° en Lectura

Anexo

COMPOSICIÓN SOCIAL DE LAS DISTINTAS ESCUELAS

Anexo

10

40

5358

15

21

34

4021

20

28

14

7

7

18

23

28

10

14

2

22

13

1

79

1

20

UC TC CSCC(sm) Privado Rural Total

Muy favorable

Favorable

Medio

Desfavorable

Muy desfavorable

Contexto sociocultural de los grupos

11 7

52

12

17 29

33

11

18

29

33

4

11

24

17

11

11

13

15

11

13

23

13

147

43

17

UC TC CSCC(sm) Rural Total

No problem.

> No problem.

> Problemático

Problemático

Muy P - Probl.

Muy Probl.

“Entorno escolar” por categoría de escuela (escuelas públicas)