Evaluaciones del Sistema Educativo Carmen Maestro

XXVII Congreso de la Asociación Nacional de Inspectores de Educación.

Palma de Mallorca Mayo, 2006

1. Importancia de la evaluación externa.

2. Las evaluaciones en España:

Nacionales

Internacionales

Diagnóstico

3. Resultados españoles en perspectiva

Índice:

Un sistema educativo con autonomía territorial y de centros

EXIGE

Definición coordinada

de objetivos(Estado, CCAA,

centros

Recursos suficientes Evaluación de

los procesos y los resultados

Corresponsabilidad y compromiso de

todos

Evaluar ¿para qué?

Conocer el grado de cumplimiento de los objetivos

Diagnóstico de los aprendizajes en relación con los

contextos socioeconómico y

cultural de ls alumnos

Rendir cuentas a familias, sociedad,

Parlamento

Diagnóstico de las políticas educativas

Toma de decisiones de mejora de la

educación

Mejorar resultados:

éxito de todos

• Los alumnos puedan recibir un apoyo más eficaz• El profesorado y los centros tengan referencias

externas de su trabajo y sus resultados.• Las familias conozcan mejor los logros y dificultades del

aprendizaje de sus hijos• La sociedad adquiera el conocimiento indispensable

para promover el compromiso con la educación• Las políticas educativas estén sustentadas en una

información seria y sistemática.

La evaluación como instrumento de información para que:

– Los indicadores dan información cuantitativa sobre la realidad educativa

– Las evaluaciones externas permiten hacer visibles los resultados de las políticas y los procesos de enseñanza y aprendizaje.

Rendir cuentas = responsabilidad

Dos lógicas posibles:

Rendición de cuentas a la sociedad:

Lógica de enfrentamiento

Lógica de colaboración

• El profesor: responsabiliza al alumno (no estudia), a la familia (no apoya) y a las autoridades educativas (no facilitan medios).

• La familia: responsabiliza al docente, a los centros y a la Administración.

• Las autoridades educativas: responsabilizan a docentes, centros y familias.

• Los partidos políticos se culpan entre sí.

Lógica de enfrentamiento:

RESULTADO: Guerra de “todos contra todos”. Los protagonistas se desligan de su responsabilidad y la atribuyen a otros. Los sistemas no cambian ni mejoran.

• Los centros y los docentes buscan las mejores estrategias de enseñanza-aprendizaje, formación y actualización permanente.

• Las familias se implican y apoyan la labor de docentes y centros.• Los alumnos realizan el esfuerzo ineludible que requiere el

aprender.• La sociedad valora la educación y a sus profesionales

(consideración social y prioridad económica).• El poder político facilita un marco legal eficaz y los recursos

necesarios.• Las autoridades rinden cuentas, corrigen las políticas y ofrecen

compromiso, competencia técnica, apoyo y confianza a los centros y al profesorado.

Lógica de colaboración:

RESULTADO: Transparencia del sistema educativo. Identificación de puntos débiles y de propuestas de mejora. Estrategias de colaboración y cambio.

• Evaluaciones nacionales

• Evaluaciones internacionales

• Sistema estatal de indicadores de la educación

Las evaluaciones en España

CCAA

LGE CENIDE (1969)

INCIE(1974)

CIDE (1983)

LOGSE

INCE (1993) Evaluación de primaria

1995: sexto EGB

1995-1999-2003: sexto de primaria

La evaluación en España

Evaluación de secundaria

1997: diagnóstico

2000: cuarto de ESO

Evaluación de centros: EVA

Evaluación de primaria 2007

Evaluación de infantil 2008

Evaluaciones internacionales

Desde los años 60 (Siglo XX):• IEA:

– 1964 FIMS (Primer estudio internacional, matemáticas)– 1982 SIMS (Segundo estudio internacional, matemáticas)– 1991 RLS (Comprensión lectora)– 1995, 2003 TIMSS (Tercer estudio internacional, matemáticas)– 2006 PIRLS

• IAEP, ETS: 1988, 1991 (Estudio internacional, matemáticas y ciencias)

Desde 1994:• OCDE: irrupción en la evaluación internacional

– 2000, 2003 PISA (Programa internacional de evaluación de los estudiantes: comprensión lectora, matemáticas y ciencias)

– 2006

• PIRLS 2006 (IEA):– Sobre compresión lectora ( 9 años)– Prueba piloto 2005– Aplicación abril 2006

• PISA 2006 (OCDE):– Materia principal ciencias– Prueba piloto 2005– Aplicación mayo 2006

Participación española actual en las evaluaciones internacionales

• Unión Europea:– Indicadores y benchmarcks 2010– Banco de Items en lengua inglesa y francesa (2006)– Aprender a aprender (2007)– Modelo de evaluación de la educación infantil

• OCDE:– Liderazgo en los centros (2007)– Educación no formal e informal (2006)

Participación española actual en estudios internacionales

Evaluaciones generales de diagnóstico

Ley Orgánica de Educación 20 de abril de 2006

¿BOE 4 de mayo?

• Pruebas en 4º de Primaria y 2º de la E.S.O.

• Finalidad: conocer en qué medida están siendo alcanzadas las

competencias fijadas en el currículo

• Se tendrán en cuenta los contextos socioeconómicos y culturales

de alumnos, familias y centros.

• Objetivo para el Estado y las AAEE: evaluar el sistema y las

políticas educativas.

• Objetivo para los centros: detectar necesidades de refuerzo del

alumnado y valorar la eficacia de sus decisiones y actuaciones y

proponer medidas de mejora.

Evaluaciones de diagnóstico:

• Finalidad compartida por todos los implicados

• Preocupación por la mejora de la práctica profesional

• Coordinación entre CC.AA. y Ministerio

• Evaluación formativa y orientadora para los centros.

• Confidencialidad. • Informes a las familias

(censal)y al sociedad (muestral)

• Evaluación centrada en competencias básicas y niveles de rendimiento.

• Evaluación sensible a la complejidad del proceso de enseñanza-aprendizaje

• Atender no sólo a resultados, sino a causas que los explican. Contextos

• Compromiso de mejora a partir de los resultados (centros, administraciones)

• Metaevaluación: evaluar la propia evaluación

Principios de la la Evaluación General de Diagnóstico:

ÁREAS COMPETENCIAS BÁSICAS

Desde los contenidos de las distintas

áreas se trabajan las

competencias básicas

L. extranjera

E. plástica y v.

E. ciudadanía

Música

Lengua c. y l.

C. sociales

E. física

C. naturalezaComunicación lingüística

Matemática

Conocimiento e interacción con el mundo físico

Información y competencia digital

Social y ciudadana

Cultural y artística

Aprender a aprender

Iniciativa personal

Tecnologías…

Las evaluaciones internacionales: PISA

Poderoso instrumento para conocer el funcionamiento del sistema educativo

en comparación con los de otros países

Media E.T. S. Media E.T. S.

1 Hong Kong-China* 550 (4,5) ^ 21 Eslovaquia 498 (3,3) -

2 Finlandia 544 (1,9) ^ 22 Noruega 495 (2,4) -

3 Corea 542 (3,2) ^ Cataluña 494 (4,7) -

4 Holanda 538 (3,1) ^ 23 Luxemburgo 493 (1,0) -

5 Liechtenstein* 536 (4,1) ^ 24 Polonia 490 (2,5) -

6 Japón 534 (4,0) ^ 25 Hungría 490 (2,8) -

7 Canadá 532 (1,8) ^ 26 España 485 (2,4) -

8 Bélgica 529 (2,3) ^ 27 Letonia* 483 (3,7) -

9 Macao-China* 527 (2,9) ^ 28 Estados Unidos 483 (2,9) -

10 Suiza 527 (3,4) ^ 29 Rusia* 468 (4,2) v

11 Australia 524 (2,1) ^ 30 Portugal 466 (3,4) v

12 Nueva Zelanda 523 (2,3) ^ 31 Italia 466 (3,1) v

13 República Checa 516 (3,5) ^ 32 Grecia 445 (3,9) v

14 Islandia 515 (1,4) ^ 33 Serbia* 437 (3,8) v

15 Dinamarca 514 (2,7) ^ 34 Turquía 423 (6,7) v

16 Francia 511 (2,5) ^ 35 Uruguay* 422 (3,3) v

17 Suecia 509 (2,6) ^ 36 Tailandia* 417 (3,0) v

18 Austria 506 (3,3) ^ 37 México 385 (3,6) v

Castilla y León 503 (4,0) ^ 38 Indonesia* 360 (3,9) v

19 Alemania 503 (3,3) ^ 39 Túnez* 359 (2,5) v

20 Irlanda 503 (2,4) ^ 40 Brasil* 356 (4,8) v

País Vasco 502 (2,8) ^ Promedio OCDE 500 (0,6)

E.T. Error típico

S. Significatividad de la diferencia con España ^ más alta

v más baja

Los países con asterisco no son miembros de la OCDE

Matemáticas

Resultados españoles:

• Por debajo de la media y de países como Francia y Alemania

• A la altura de Noruega y Estados Unidos

• Por encima de Italia

Grecia y Portugal

Resultados PISA en matemáticas

300

350

400

450

500

550

600

Hon

g Ko

ng-C

hina

*Fi

nlan

dia

Cor

eaH

olan

daLi

echt

enst

ein*

Japó

nC

anad

áBé

lgic

aM

acao

-Chi

na*

Suiz

aAu

stra

liaN

ueva

Zel

anda

Rep

úblic

a C

heca

Isla

ndia

Din

amar

caFr

anci

aSu

ecia

Aust

riaC

astill

a y

León

Alem

ania

Irlan

daPa

ís V

asco

Eslo

vaqu

iaN

orue

gaC

atal

uña

Luxe

mbu

rgo

Polo

nia

Hun

gría

Espa

ñaLe

toni

a*Es

tado

s U

nido

sR

usia

*Po

rtuga

lIta

liaG

reci

aSe

rbia

*Tu

rquí

aU

rugu

ay*

Taila

ndia

*M

éxic

oIn

done

sia*

Túne

z*Br

asil*

Hong Kong: 550

Media OCDE :500

España :485

1 2 3

Resultados en matemáticas

0

5

10

15

20

25

30

<0 1 2 3 4 5 6

Niveles de competencia

Po

rce

nta

jes

España

Finlandia

0

5

10

15

20

25

30

<0 1 2 3 4 5 6

Niveles de competencia

Por

cent

ajes

España

Finlandia

Situación real Situación figurada: (se realiza una traslación a la derecha equivalente a un nivel)

Porcentajes por niveles de competencia: comparación con Finlandia

Diferencia de los centros privados frente a los públicos

32

26

10

10

20

30

40

sin detracción detracción del nivel socio-económico y cultural del alumno

detracción adicional del nivelsocio-económico y cultural

promedio del centro

Si se detrae el efecto del nivel

socio-económico y cultural de

estudiantes y centros,

los resultados son muy parecidos

Diferencias por titularidad de los centros

HolandaBélgicaPaís VascoIrlandaCoreaCataluñaCastilla y LeónEspañaJapónDinamarcaLuxemburgoMéxicoEslovaquiaHungríaAustriaAlemaniaRep. ChecaFinlandiaPortugalCanadáEstados UnidosSuizaNueva ZelandaSueciaItaliaGreciaTurquíaNoruegaPoloniaIslandia

Promedio OCDE

77%

68%

60%

58%

58%

48%

42%

38%

27%

22%

14%

13%

13%

11%

8%

8%

7%

7%

6%

6%

6%

5%

5%

4%

4%

3%

1%

1%

1%

0%

20%

Porcentaje de estudiantes que asisten a centros privados en

países de la OCDE

Proporción pública /privada:

El sistema educativo español

produce una buena tasa de equidad, pero

resultados pobres

Brasil

Uruguay

Finlandia

España

Canadá

País VascoIrlanda

Castilla y León

Cataluña

CoreaHolanda

Turquía

México

Grecia

Italia

Bélgica

Alemania OCDE

EEUU

Portugal

Hungría

IslandiaAustralia

Japón

350

400

450

500

550

600

650

151617181920212223242526272829

Coeficiente de variación en Matemáticas

Pun

tuac

ión

med

ia e

n M

atem

átic

as

M ayor equidad

Ma

yo

r e

xc

ele

nc

ia

Relación entre resultados en matemáticas y equidad:

350

400

450

500

550

600

0 10.000 20.000 30.000 40.000 50.000 60.000 70.000 80.000 90.000 100.000

Mexico

Greece

Portugal Italy

Spain

GermanyAustria

Ireland

United States

Norway

Korea

Czech republic

Slovak republicPoland

Hungary

Finland

NetherlandsCanada Switzerland

IcelandDenmark

FranceSweden

BelgiumAustralia

Japan

R2 = 0.28

Gasto acumulado (US$)

Resu

ltad

os

en

Mate

máti

cas

Gasto por estudiante y resultados:

Resultados en matemáticas en relación con el nivel socioeconómico y cultural:

300

400

500

600

-1,5 -1,0 -0,5 0,0 0,5 1,0

Indice PISA de estatus socio-económico y cultural

Pun

tuac

ión

en M

atem

átic

as

España

Portugal

Uruguay

Serbia y M.

Grecia

Italia

Islandia

Noruega

Canadá

FinlandiaHong-Kong

Macao

Corea

Japón

Suiza

Francia

Polonia

Tailandia Turquía

México

BrasilIndonesiaTúnez

Letonia Estados Unidos

Luxemburgo

Suecia

Holanda

Alemania

Los resultados obtenidos por España superan ligeramente a los esperados en un país con

nuestro nivelsocioeconómico y cultural

471

489

514

458

508

532

400 500 600

Estudiosobligatorios

Bachillerato

Universidad

OCDE

España

Resultados en función del mayor nivel educativo alcanzado por las madres

Influencia del entorno socioeconómico y cultural en los resultados:

573 Profesor de universidad 549 Profesora de secundaria

551 Ingeniero 547 Profesora de universidad

551 Oficinista 546 Maestra de preescolar

549 Profesor de secundaria 543 Farmacéutica

540 Arquitecto 543 Médico

537 Militar (Suboficial) 531 Oficinista

532 Médico 530 Maestra primaria

529 Militar (Oficial) 530 Maestra educación especial

527 Maestro de primaria 524 Contable

526 Abogado 520 Ayudante Técnico Sanitario· · · ·· · · ·· · · ·

462 Zapatero 465 Cocinera

458 Mecánico 463 Limpiadora

457 Peón 460 Zapatera

454 Cocinero 460 No sé

454 Carpintero 453 Obrera de la industria

452 Marinero 453 Agricultora cualificada

447 Empleado de limpieza 453 Directora de ventas

443 Pintor 452 Servicio doméstico

437 Albañil 442 Panadera

428 Trabajador no cualificado 429 Labradora

Padres Madres

Resultadospor profesionesde los padres

Repetición de curso: ninguno

100

200

300

400

500

600

700

800

-4 -3 -2 -1 0 1 2 3

Índice socio-económ ico y cultural

Pu

ntu

ació

n e

n M

atem

átic

as

100

200

300

400

500

600

700

800

-4 -3 -2 -1 0 1 2 3

Índice socio-económ ico y cultural

Pu

ntu

ació

n e

n M

atem

átic

as

Repetición de curso: uno

100

200

300

400

500

600

700

800

-4 -3 -2 -1 0 1 2 3

Índice socio-económ ico y cultural

Pu

ntu

ació

n e

n M

atem

átic

as

Repetición de curso: dos

Resultados en función de la repetición de curso:

512

433

391

355

300

350

400

450

500

550

No Sólo enSecundaria

Sólo enPrimaria

En Primaria yen

Secundaria

Influencia de la historia académica

Resultados según los estudiantes hayan cursado educación infantil:

458

491

450

500

550

Un año omenos

Más de un año

Influencia de la historia académica

Los centros eficaces (PISA)

Dan respuesta a un alumnado cada vez más

diverso

Predisponen al alumnado al

esfuerzo, a la disciplina y a disfrutar en el aprendizaje

Buenas relaciones: profesor / alumno

Tienen altas expectativas para todos

sus alumnos

Los resultados españoles en perspectiva

¿de dónde venimos?

Política educativa desde 1970: más y mejor educación

1970. Educación y desarrollo económicoEscolarización de 6 a 14 años:

1990. La educación como derecho.

1991. Equidad y calidad• Escolarización de 6 a 16 años • Equidad: educación para todos• Educación de calidad.

Preocupación por los resultados:Indicadores educativos y evaluaciones internacionales: IEA, OCDE, UE.

2000. Los objetivos educativos europeos.

Los indicadores educativos en el siglo XIX y la primera mitad del XX. Escolarización y alfabetización

AÑO Tasa escolarización

5-14 años

Tasa alfabetización

1860 < 25% < 30%

1910 36.2 49.7

1940 54.7 76.8

1970 76.2 91.2

1980 100.0 93.6

Los resultados españoles en perspectiva:

Grupos de edad 25-34 35-44 45-54 55-64

España 60 48 33 19

Media OCDE 75 70 62 51

Población que ha completado al menos la educación secundaria superior (bach + FP) %

(Indicadores OCDE 2003)

Aumento del periodo de escolarización

España Media OCDE

Enseñanza formal recibida por la población de 25 a 64 años (2003)

10,5 12,0

Esperanza de escolarización (en años) (2001) 17,3 16,9

La formación de los ocupados

2000 2001 2002 2003 2004  

Analfabetos 0,5 0,5 0,4 0,4 0,4  

Estudios primarios 25,2 23,5 22,2 20,4 18,9  

Estudios secundarios 46,5 47,4 48,1 49,5 49,9  

Estudios universitarios 27,8 28,7 29,3 29,7 30,8  

Gasto público en educación en porcentaje del PIB

1970 1975 1980 1985 1990 1995 2000 2004

España 1.7 1.8 2.5 3.7 4.4 4.7 4.4 4.4

Media UE 5.1 5.4 5.4 5.3 5.6 5.0

Media OCDE 5.2 5.6 5.5 5.3 5.4 4.8

– Competencias clave (PISA): mejorar resultados (<15% / >25%).

– Titulados en secundaria postobligatoria: 80-85%.

– Graduados en matemáticas ciencias y tecnología (en el objetivo).

– Abandono escolar prematuro: <10%.

– Porcentaje de adultos que participa en formación: 12%.

– Gasto público en educación igual a la media de la Unión Europea.

El éxito de todos los alumnos como objetivo: puntos de referencia europeos

Compromisos de toda la sociedad

Esfuerzo inversorEsfuerzo inversor

Apoyo al profesorado

Apoyo al profesorado

El éxito de todos los alumnosEl éxito de todos los alumnos

AutonomíaAutonomíaEvaluaciónEvaluación

Gráficos puntos de referencia 2010

COMPETENCIAS CLAVE (UE)

Gráfico 5: Porcentaje de alumnos de 15 años en cada nivel de competencia en la escala de Matemáticas de Pisa 2003 .

Punto de referencia España Fecha Dato 2012 12 años C. lectora Matemáticas Inglés

2003 2003 2003

2501

2501

2501

2571

2571

2571

Promedio

15 años C. lectora Matemáticas

2003 2003

21,1%2

23,0%2

?16,0%2

?17,0%2

Niveles

inferiores C. lectora Matemáticas

2003 2003

23,2%3

25,6%3 29,0%3

32,0%3 Niveles

Superiores Inglés 2001 2504 2574 Promedio

9 6 7 5 81 6

18

513

7 311

6

1213 9 11

15

5

11

21

12

19

14

8

19

12

19 2216 21

25

16

20

26

24

25

23

18

27

22

23 25

20

26

27

28

26

20

28

23

26

23

24

25

21 20

21

22

18

26

22

11

20

13

19

23

13

20

12 11

17

127

1712

39 5 8

18

5

12

4 4 9 4 1 7 3 1 2 2 2 71 4

0

10

20

30

40

50

60

70

80

90

100

Aleman

ia

Austri

a

Dinam

arca

Finlan

dia

Franc

ia

Gre

cia

Irlan

daIta

lia

Luxe

mbu

rgo

Paises

Bajo

s

Portu

gal

Suecia

Nivel <1 Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5 Nivel 6

ABANDONO ESCOLAR PREMATURO (UE)

Fecha Dato Anual 2010 UE (25) UE (15)

2004 2004

15,9 18,0

10%

España 2004 30,4

Porcentaje de población de 18 a 24 años que ha completado como máximo la primera etapa de educación secundaria (CINE 2) y no sigue ningún estudio o formación. Unión Europea. Año 2004

.

18,0

15,9

30,4

0

20

40

60

UE

(25)

UE

(15)

Ale

man

ia (1

)A

ustri

a

Chi

pre

Din

amar

caE

slov

enia

(2)

Est

onia

Finl

andi

aFr

anci

aG

reci

a (1

)

Irlan

da (1

)Ita

lia (1

)Le

toni

aLi

tuan

iaM

alta

Pol

onia

Por

tuga

lR

. Che

caR

. Esl

ovac

aR

eino

Uni

do (1

)S

ueci

a

%

TITULADOS EN EDUCACIÓN SECUNDARIA SEGUNDA ETAPA (UE)

Porcentaje de población de 20 a 24 años que al menos ha alcanzado el nivel de la segunda etapa de educación secundaria (CINE 3). Unión Europea. Año 2004

76,4

73,5

62,5

0

20

40

60

80

100

UE (25)

(1)

UE (15)

(1)

Aleman

ia(1)

Austri

a

Chipre

Dinam

arca

Eslove

nia

Eston

ia

Finlan

dia

Franc

ia

Gre

cia(1

)

Irlan

da(1

)

Italia

(1)

Leto

nia

Litua

niaM

alta

Polonia

Portu

gal

R. Che

ca

R.Eslo

vaca

Reino

Unido

Suecia

Fecha Dato Anual 2010UE (25) 2004 76,4% 85%España 2004 62,5% 3% 80%

PARTICIPACIÓN EN EL APRENDIZAJE PERMANENTE (UE)

Porcentaje de población de 25 a 64 años que participa en una acción de educación o formación en las cuatro semanas previas a la encuesta. Unión Europea. Año 2004

Fecha Dato Anual 2010UE(25)UE (15)

20042004

9,4%10,1% 12,5%

España 2004 5,2% 1% ?11%

10,19,4

5,2

0

5

10

15

20

25

30

35

40

UE (25)

UE (15)

Aleman

ia

Austri

a

Chipre

Dinam

arca

Eslove

nia

Eston

ia

Finlan

dia

Franc

ia

Gre

cia

Irlan

daIta

lia

Leto

nia

Litua

nia

Luxe

mbu

rgoM

alta

Polonia

Portu

gal

R. Che

ca

R. Eslo

vaca

Reino

Unido

Suecia

%