SOBRE LA DIFUSIÓN Y EL USO DE RESULTADOS DE

PRUEBAS

Felipe Martínez Rizo

Bogotá, marzo de 2010

¨ Las pruebas estandarizadas son instrumentos que se usan para valorar el nivel de aprendizaje que alcanzan grandes grupos de alumnos.

¨ En AL y educación básica, ese tipo de pruebas comenzó a usarse a partir de 1990.

¨ Hay pruebas nacionales e internacionales cuyos resultados se difunden ampliamente; si se usan bien, pueden ayudar a mejorar la educación, pero también pueden tener efectos negativos.

¨ Presentaré usos adecuados o no de resultados de pruebas, justificando mis opiniones.

Introducción

La combinación de las fallas técnicas y las de difusión

Difusión y usoCalidad técnica

Buena Mala

Adecuados a las características

técnicas de la prueba

Posibilidad de impacto en la mejora del rendimiento en

las áreas evaluadas.

Efectos perversos, interpretaciones y decisiones erradas.

No adecuados a las características

técnicas de la prueba

Efectos perversos, interpretaciones y decisiones erradas.

Efectos perversos, interpretaciones y decisiones erradas.

Escasa o nulaDesperdicio de

recursos y oportunidades.

Desperdicio de recursos.

Evaluación del sistema y de individuos

Evaluar integralmente es muy complejo:Un alumno: todo el currículo; lo cognitivo y no; al

final del ciclo, al inicio… Sólo puede el maestro.Un maestro: evidencias de todo su trabajo diario.

Sólo puede el director o el supervisor. Una escuela: evidencias de múltiples facetas de la

calidad. Sólo puede hacerlo el supervisor. No confundir dos tipos de evaluación: Del sistema educativo como tal, con acercamientos

en gran escala a cargo de órganos especializados;

De alumnos, maestros y escuelas, con enfoques intensivos por maestro, director, supervisor.

Sobre la evaluación del sistema

Las pruebas pueden servir para conocer: El nivel medio de aprendizaje de un grupo; Cómo se compara con otros (países,

regiones…); Como se distribuyen los resultados

internamente; Cuántos alumnos tiene cierto nivel; Qué factores de la familia y/o la escuela se

asocian con los resultados… No todo lo anterior es igualmente útil

Sobre la evaluación del sistema

Diferentes formas de dar resultados:

Ordenamientos (rankings)

Porcentajes por nivel de rendimiento.

Relaciones:

o Entre resultados y factores sociales

o Entre resultados y factores escolares;

o Entre factores sociales y escolares

Gradientes y perfiles escolares

En todo ordenamiento hay alguien delante y detrás, y no siempre los primeros están bien y los últimos mal.Por ello un ordenamiento sólo permite hacer juicios relativos, en términos de mejor o peor, que no es lo mismo que bueno o malo.

Si la distancia que separa un puntaje de otros es menor que el margen de error que tienen los resultados, la diferencia no es significativa.La impresión de claridad de los ordenamientos simples es engañosa y hay que tener en cuenta las distancias que separan los resultados.

Los ordenamientos y sus limitaciones

Medias de desempeño en la escala global de Ciencias, por país

Los niveles de desempeño permiten juicios en relación con los niveles deseables, en términos de adecuado o inadecuado, y no de mejor o peor. Su análisis permite identificar dos tipos de problemas:

Tener altas proporciones abajo del Nivel 2 implica que muchos jóvenes no están siendo preparados para una vida fructífera en la sociedad actual.

Tener pocos estudiantes en niveles altos (5-6) quiere decir que no se prepara a los mejores para que puedan ocupar puestos de alto nivel en el terreno científico, académico, gerencial…

Los niveles de desempeño y sus ventajas

24

28

10

14

24

27

26

31

30

30

28

29

24

29

23

27

21

19

14

14

27

28

31

33

34

28

33

25

27

18

19

17

17

15

15

9

8

4

5

18

58

48

28

26

28

18

17

13

7

6

8

7

7

5

3

2

1

27

19

3

5

11

11

14

15

20

20

27

29

24

29

27

30

32

29

29

20

8

1

2

3

2

4

3

7

8

15

15

18

14

21

18

25

28

32

8

2

0

0

1

0

0

0

1

2

4

3

8

3

7

5

9

12

17

1

0

0

0

0

0

0

0

0

0

0

0

2

0

1

0

1

2

4

100 80 60 40 20 0 20 40 60 80 100

Promedio OCDE

Promedio GIP

Kirguistán

Qatar

Brasil

Colombia

Argentina

México

Uruguay

Chile

Italia

Portugal

EE.UU.

Grecia

Francia

España

Corea

Canadá

Finlandia

%

Paí

ses

GIP

y d

e re

fere

ncia

% en cada nivel de rendimiento PISA 2006 Ciencias, países GIP y referentes

2529

2224272729293232323331

363436

312829

2626252726

232426

1424

31333030

3331

3332302927

2928

2316141413131110101098

516

3730

2524

222316

151515

151111

65

4453333231

2820

811

13131313

1417181820

1921

2730

3233

3532

323235

3635

35

208

22

4434

44

556

55

81517

1619

212322212323

22

72

00

1101

01

00

101

13

4346655666

10

0

0000

00

00

000

00

0000111001

100 80 60 40 20 0 20 40 60 80 100

Promedio OCDE Promedio GIP

Bra. NordesteBra. Norte

BrasilBra. Centro Oeste

Méx. SudoesteBra. Sudeste

Méx. SudesteMéx. Oeste

Méx. Centro SurMéxico

Bra. SurMéx. Norte

Méx. Centro NorteMéx. D.F.

AndalucíaEspaña

País VascoCataluñaNavarraAragónGalicia

CantabriaAsturiasLa Rioja

Castilla y León

%

Paíse

s, co

mun

idade

s o

regio

nes

GIP

% en cada nivel de rendimiento PISA 2006 Países y regiones GIP

Excale niveles de desempeño 6º primaria, Español (2006).

25

52

56

46

56

51

44

28

16

6

11

25

29

7

718

32

47

26

14

2

2

0.5

0.4

Por debajo del básico Básico Medio Avanzado

Porcentajes de estudiantes

25.4

51.9

56

46

56.3

50.8

43.7

51.9

16.1

6.3

10.9

24.6

29

6.6

6.6

2

13.2

25.8

47.3

32.5

18

0.4

0.5

2.2

Por debajo del básico Básico Medio Avanzado

Urbanas privadas

Rurales públicas

Urbanas públicas

Escuelas indígenas

Cursos comunitarios

Nacional

Po

r d

ebaj

o d

el n

ivel

bás

ico

Nivel avanzado

Capital cultural escolar de los estudiantes por entidad federativa

Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria

Condiciones de Infraestructura Escolar por entidad

Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria

La combinación de factores entorno-escuelaRelación IE-CCE por entidad y servicio

Perfil escolar, Colombia, PISA 2006

Perfil escolar, México, PISA 2006

Perfil escolar, Chile, PISA 2006

Sobre la evaluación de individuos

Las pruebas dan elementos sobre alumnos, maestros o escuelas, pero no bastan para evaluar íntegramente a individuos porque: No pueden evaluar unos aspectos del currículo,

incluidos los mas importantes; No se pueden aplicar con la frecuencia que sería

necesaria para dar retroalimentación oportuna; Difícilmente pueden tener en cuenta elementos

del entorno familiar-escolar para contextualizar.Una evaluación de individuos que no tome en

cuenta lo anterior no es adecuada

El trabajo del maestro es insustituible para que los alumnos aprendan y para evaluar si ello ocurre. Evaluar en integralmente es complejo; debe incluir:

Todas las áreas del currículo;

Todos los niveles cognitivos;

El avance a lo largo del ciclo escolar;

Las circunstancias personales de los alumnos, a tener en cuenta al tomar decisiones importantes para el futuro de cada uno.

Uso de resultados de pruebas para evaluar alumnos individuales

¿Puede evaluarse con validez y confiabilidad comparables con pruebas en gran escala?

Con la finura que puede alcanzar la evaluación a cargo del maestro NO.

Ninguna decisión individual importante debería basarse sólo en pruebas;

En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.

Indispensables para evaluar el sistema como tal y complementan la evaluación del maestro

Las pruebas como complemento, no como la evaluación principal

Las pruebas:

¨ Sólo cubren unos aspectos del currículo y se tiende a orientar la enseñanza sólo hacia ellos.

¨ No controlan bien factores del contexto, lo que llevaría a comparaciones injustas.

¨ Ignoran efecto acumulado de varios maestros.

Un impacto fuerte produce distorsiones graves

Uso de pruebas para evaluar maestros individuales

El aprendizaje de los alumnos es dimensión central de la calidad de una escuela, pero no la única.

¨ Se debe considerar el contexto de cada escuela, así como sus recursos y procesos.

¨ La precisión de datos no permite ordenamientos finos de escuelas o alumnos.

¨ El error de medición aumenta si se compara un año con otro, por lo que los ordenamientos son muy inconsistentes a lo largo del tiempo.

Un impacto fuerte produce distorsiones graves

Uso de resultados de pruebas para evaluar escuelas

Dos escuelas imaginarias

En las pruebas los alumnos de A sacan resultados más altos que los de B. ¿Es mejor escuela A que B?Los resultados de A pueden deberse a sus políticas selectivas y no a un funcionamiento mejor. Los de B se pueden deber a un excelente funcionamiento, focalizado en la retención, aunque los resultados promedio sean más bajos.

B: admite sin selección a todo aspirante, por lo que muchos alumnos son de origen humilde. Trata de retener hasta el fin a todos los aceptados y lo logra en gran parte, aunque no todos logren plenamente los objetivos de aprendizaje.

A: admite sólo a los mejores aspirantes, por lo que buena parte de sus alumnos proviene de medios favorecidos. Es muy exigente por lo que los alumnos de bajo rendimiento no pueden permanecer en ella, sino que la abandonan.

¿Qué es una buena escuela?

Las dos formas de definir qué es una buena escuela parecen adecuadas y, en principio, se esperaría que se presentaran en forma conjunta.El que tal coincidencia no siempre se presente se explica seguramente por diferencias del alumnado en lo que se refiere al contexto familiar y social, cuya importancia es bien conocida.

Una que tiene:Buenas instalaciones;Funcionamiento regular;Buena práctica docente;Director con liderazgo;Padres participativos…

Aquella cuyos alumnos sacan altos puntajes, en promedio, en pruebas de rendimiento como las de SABER

Una precisión importante

Algunas personas dicen que es injusto medir con la misma vara alumnos de diferente contexto social.Lo injusto no es usar la misma vara, sino culpar sin más a los evaluados por los resultados obtenidos.También la estatura de las personas depende en parte de factores genéticos, pero en parte de otros debidos al entorno: nutrición, salud, pobreza…No por eso usaremos metros de diferente tamaño para medir a los niños pobres o acomodados.Se deben aplicar pruebas iguales (evitando sesgo) para comparar con un mismo estándar, pero no culpar a los niños de bajo rendimiento por ello.

Potencial positivo y negativo de las evaluaciones

Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa.

Sus consecuencias pueden ser positivas o negativas.

Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.

Conclusión

Conclusión

Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas.Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas?Frases alternativas más precisas:Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro…Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar. Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.

Conclusión

En los más diversos países prevalece insatisfacción con nivel de aprendizaje, que interpretación usual de evaluaciones internacionales refuerza. Algunos tienen visión simplista de las causas de la situación, de la forma de valorarla y corregirla. Los diagnósticos simplistas no toman en cuenta

factores de escuela y contexto que influyen. Los medios simplistas de evaluar se reducen a

pruebas, sin distinguir enfoque y nivel técnico; Las estrategias para remediar la situación se

reducen a asignar recursos a las escuelas según los resultados de las pruebas.

Conclusión

Muchas personas ignoran la dificultad que implica obtener buenos resultados educativos con grupos de alumnos de medio social desfavorable. En México es frecuente que dirigentes del sector empresarial vean con simpatía las estrategias simplistas, pensando que las fallas de la escuela pública se podrían corregir fácilmente con escuelas privadas, ignorando que menos del 10% de los niños mexicanos asisten a ellas. Por eso es frecuente la opinión de que bastará con aplicar pruebas masivamente y tomar medidas correctivas simples para que la calidad mejore.

Conclusión

Una concepción distinta de los tres aspectos:Diagnóstico: la calidad no es satisfactoria, pero no necesariamente catastrófica; causas complejas y bien conocidas; los resultados no sorprenden. Los medios de evaluar: no se reducen a pruebas; debe haber indicadores de otros aspectos. Las estrategias de mejora: deberán ser complejas también, y los resultados sólo podrán observarse en el mediano y largo plazo.

Conclusión

Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil:

Los sistemas de rendición de cuentas basados en pruebas se basan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando los resultados suben y sanciones cuando no ocurra así.

Conclusión

La información que veo sobre la aplicación 2009 de las pruebas SABER y sobre la manera en que se han difundido los resultados me parece positiva.

Los resultados se han difundido ampliamente.

Se han evitado usos inadecuados como los que mencioné en mi presentación.

Las escuelas y la sociedad pueden acceder con facilidad a los resultados.

Se alienta a los diferentes actores a usar los resultados para sustentar acciones de mejora.

Sugerencias para maestros

Qué NO hacer:

Reducir su enseñanza a lo que se evalúa.

Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.

Hacer evaluaciones parecidas a SABER.

Qué SÍ hacer:

Tomar a SABER como referente, considerando escuelas similares y diferentes.

Seguir esforzándose como siempre.

Sugerencias para rectores

Qué NO hacer: Creer que los resultados de SABER son la única

forma de saber qué tan buena es su escuela. Avergonzarse o jactarse de los resultados. Tratar de preparar a sus niños para que salgan

mejor en la siguiente aplicación.Qué SÍ hacer: Analizar con sus maestros los puntos a mejorar

en su escuela, considerando la información que da SABER y los demás elementos disponibles.

Proponerse mejoras realistas y trabajar duro.

Sugerencias para autoridades educativas

Qué NO hacer: Juzgar la calidad de las escuelas con base en los

resultados de SABER, sin tener en cuenta el contexto de cada escuela.

Presentar resultados mediante ordenamientos de escuelas basadas en SABER.

Asignar estímulos o sanciones a escuelas y/o maestros con base en los resultados de SABER.

Qué SÍ hacer: Analizar resultados con otra información sobre

las escuelas para llegar a juicios mesurados. Diseñar políticas dando prioridad a la equidad.

Conclusión

En algunos casos la forma como se interpretan los resultados en los medios no es la más acertada:

Algunas noticias enfatizan el lugar que ocupó una región u otra.

Se destaca la dimensión normativa (en sentido estadístico) de la información, y no la criterial.

Ojala se refuercen los usos positivos y se minimicen los negativos. Así la evaluación

será una valiosa herramienta para la mejora de la calidad de la educación en Colombia.

MUCHAS GRACIASPOR SU ATENCIÓN