1

Seminario Iberoamericano de Evaluación de los niveles de alfabetismo de Personas

Jóvenes y Adultas

23-25 de noviembre de 2010Asunción, Paraguay

Estudios internacionalesInstituto de Evaluación

Ministerio de Educación de España

Unión EuropeaEECL Estudio Europeo de Competencia Lingüística

OCDEPISA (15 años). Comprensión lectora, Matemática, CientíficaPIAAC (16-65 años). Comprensión lectora, MatemáticaTALIS (profesorado)

Evaluaciones IEA ICCS (14 años). Social y ciudadanaPIRLS-TIMSS (9 años). Comprensión Matemática y

CientíficaTEDS-M. Formación inicial del profesorado de matemáticas

Un Nuevo Diseño para una Nueva Era, OCDE

Programme for the International Assessment of AdultCompetencies

Programa internacional para la evaluación de las competencias de las personas adultas

4

Antecedentes

IALS (International Adult Literacy Survey)

Se llevó a cabo en 3 fases (1994, 1996 y 1998) en 20 países. Primer estudio comparativo internacional de habilidades de adultos

ALL (Adult Literacy and Life Skills Survey)

En 2003 midió las competencias lingüística y matemática, la resolución de problemas e indirectamente la familiaridad con las tecnologías de la información y la comunicación.

Países participantes

Alemania IrlandaAustralia HungríaAustria ItaliaBélgica JapónCanadá Malta

Chile Noruega

Corea Nueva ZelandaDinamarca Países Bajos

España Polonia

Estados Unidos PortugalEstonia República ChecaFederación Rusa República EslovacaFinlandia Reino UnidoFrancia Suecia

6

PIAAC …

Entrevistará en sus domicilios a 5.000 personasadultas (en cada país) de edades comprendidasentre los 16 y 65 años, para medir suscompetencias en comprensión lectora ymatemática.

Recogerá información sobre los antecedentes,resultados y contextos de desarrollo y el uso delas competencias.

7

para…

Proporcionar una evaluación comprensiva del potencial delcapital humano a:

Las personas con alto nivel de rendimiento (mostrar hasta quépunto son capaces de aplicar sus competencias para resolverproblemas difíciles que requieren dominio de la tecnología).

Las personas con bajas competencias en comprensión yexpresión lectora (mostrar hasta qué punto sus problemas tienenque ver con la realización de las funciones de lectura básicas o conla comprensión y aplicación).

Mostrar hasta qué punto las competencias que poseen laspersonas son utilizadas en el ámbito del trabajo e identificarel papel que juegan estas competencias en la mejora de lasperspectivas de la población en riesgo en el mercadolaboral y la ganancia social de la educación y la formaciónAyudar a los gobiernos a entender mejor cómo lossistemas de educación y formación pueden desarrollarestas competencias.

Medida de lascompetencias de personas adultas

Medida a través de tests en áreasdonde existen metodologías

Medida indirecta en otras áreasque apoyan los objetivos de PIAAC

Medida de resultadossociales y económicosclave Experiencia en el mercado

laboral , estatus y transiciones, salarios, aprendizaje de personas adultas y resultado social

Medida de la utilización de lascompetencias

A través de un estudio de requisitos laborales

Un cuestionario de contexto

Contextualizar y analizarelementos

determinantes de lascompetencias, su desarrolloy aplicación

Personas encuestadas

Evaluacióndirecta e indirecta

Personas encuestadas

Evaluaciónindirecta

Personas

encuestadas

Evaluaciónindirecta

ej. Preguntassobre

competenciasrelacionadas con

el trabajo JRA

Personas

encuestadas

Evaluaciónindirecta

PIAACUn estudio internacional multi-ciclíco de las competencias de las

personasas adultas

9

Plan de análisis e informes del PIAAC:

• Estudio Piloto. Dificultades2009 - 2010

• Estudio principal• Octubre 2011-Marzo 20122011-2012

• El primer informe internacional se publicará en septiembre de 20132013

10

El proyecto en España

Ministerios, departamentos y otras instituciones participantes en el GTEPIAAC:

Ministerio de EducaciónInstituto de EvaluaciónOficina de estadísticaSubdirección Gral Tecnologías de la InformaciónSubdirección Gral de Aprendizaje a lo largo de la vida

Ministerio de Trabajo e InmigraciónSubdirección General de Políticas Activas de Empleo

Ministerio de Economía y Hacienda Instituto Nacional de Estadística

11

Características de la prueba

Encuesta a domicilio que se divide en dos partes:

Entrevista sobre los antecedentes personales,educativos/formativos y laborales del entrevistado

Ejercicios de medición de habilidades de cálculo ycomprensión lectora. El test valora dos aspectos básicos,obligatorios para todos los países participantes: el gradode alfabetización y el de cálculo

Dos opciones internacionales:

Componentes de la comprensión lectora (España)

Resolución de problemas por ordenador

12

Formatos

Dos formatos perfectamente equivalentes:

Formato de cuadernillo de papel

Formato informatizado

La asignación de las personas de la muestra a la prueba en uno y otro formato se realiza de forma aleatoria.

Muestra

Muestreo realizado siguiendo el procedimientohabitual de encuestas dirigidas a hogares(polietápico).

Estudio Piloto:

1200 encuestas válidas de entre una muestra de 4250 participantes

Estudio principal:

6000 encuestas válidas de entre una muestra de 30000 participantes

14

LENGUAS

Castellano, catalán, gallego, euskera yvalenciano.

Estudio Piloto: Laboratorio cognitivo (10-15personas por lengua)

Estudio Principal: ampliación a 6.000 casos enEspaña por las lenguas

15

Marco de la Evaluación

PIAAC Reading Component: A Conceptual Framework

Marco de los componentes de lectura:

AlfanuméricoDecodificación y reconocimiento de

palabras visualSignificado de palabras (vocabulario escrito)Procesamiento de frasesComprensión de textos básicos

Nivel

Lo que saben y lo que saben hacer los alumnos

en cada uno de los niveles de rendimiento

5

650

En el nivel 5 los alumnos, además de los conocimientos y destrezas de los niveles anteriores, son capaces de: • sintetizar un texto divulgativo, • elaborar un texto organizando sus partes de forma que expresen una progresión temática que permita seguir la información que se pretende dar, utilizando al mismo tiempo los mecanismos más relevantes para conseguir una cohesión léxica y gramatical, con legibilidad y presentación correctas, • resumir por escrito la información extraída de un texto, eliminando la información no relevante.

4

575

En el nivel 4 los alumnos además de los conocimientos y destrezas de los niveles anteriores pueden: • organizar la información de un texto reconociendo palabras poco usuales e identificando las partes del mismo y sus relaciones, • valorar las acciones de los personajes a partir del conjunto de informaciones que aparecen aisladas a lo largo de un texto y escribe sus reflexiones, • adaptar, recrear y aplicar a otros contextos lo leído en un texto, • elaborar un texto -a partir de otro leído- con coherencia, cohesión léxica y gramatical y progresión temática de las ideas que quieren expresar.

3

485

En el nivel 3 los alumnos, además de los conocimientos y destrezas de los niveles anteriores,

pueden: • sintetizar información práctica que les permite actuar adecuadamente en la vida cotidiana, • buscar información en textos con mayor extensión y dificultad que los de anteriores niveles, • reflexionar sobre los valores o formas de ser de los personajes a partir de la forma de expresarse de los mismos, • organizar la información y reconociendo e identificando las relaciones entre partes concreta del texto, • integrar el significado de frases literarias por el contexto de texto, • realizar descripciones con una cierta coherencia y cohesión léxica y gramatical basadas en un texto previamente leído usando un vocabulario adecuado a la situación a la que se destina el texto, controlando aspectos como la legibilidad de caligrafía.

2

408

En el nivel 2 los alumnos, además de los conocimientos y destrezas del nivel anterior, son capaces de: • obtener e identificar la información de un texto corto, sintetizarla eligiendo la frase que mejor lo consigue, • reflexionar sobre la forma de actuar de un personaje ante un hecho concreto, valorar lo que dice y las afirmaciones que se vierten en el texto, • organizar y localizar en un texto hechos y tiempos concretos que les permitan orientarse en situaciones concretas de la vida cotidiana, • sustituir palabras que aparecen en un texto por otras de su vocabulario sin que pierda cohesión, o elegir las palabras que mejor se adecuen a otra que no son de su vocabulario usual, • escribir un texto coherente, bien a partir de frases independientes bien libremente, de forma que coincida con las ideas de un texto leído previamente, • reconocer el significado de símbolos gráficos en la escritura.

1

333

En el nivel 1 los alumnos tienen capacidad para:

• conocer el destinatario de un escrito, • conocer el significado de expresiones comunes insertas en un texto, • Integrar el significado de expresiones comunes insertas en un texto y el de algunas palabras de uso relativamente frecuente, • sintetizar información relativa a hechos concretos o a rasgos más destacados de un personaje, • identificar situaciones y acciones concretas vinculadas a dicho personaje, • reflexionar sobre la definición de un objeto a partir de la información obtenida de un texto, • localizar el espacio en que se desarrolla una historia, organizando la información del texto, • completar un texto de forma coherente con palabras dadas.

12

13

28

22

19

18

14

14

14

13

13

13

13

11

9

9

8

7

7

7

7

3

4

17

9

6

6

4

4

3

4

3

3

3

2

2

2

2

1

1

1

1

28

27

30

31

31

33

30

30

32

29

30

28

29

26

22

23

22

23

22

23

24

30

29

17

23

26

26

28

29

30

29

31

29

31

31

30

34

31

32

31

32

33

19

19

6

12

13

13

17

17

16

18

17

18

17

22

24

23

24

25

26

25

24

8

8

2

3

5

4

7

6

5

7

6

9

7

8

13

9

13

12

13

12

11

Total ESPAÑA

Ceuta

Canarias

C. Valenciana

Andalucía

Cataluña

Castilla-Mancha

Cantabria

La Rioja

Castilla y León

Nivel 1 Nivel<1 Nivel 2 Nivel 3 Nivel 4 Nivel 5

Competencia en comunicación lingüística

-100 -50 0 50 100

Trat.de la información, azar y prob.

Geometría

La Medida

Números y operaciones

Reflexión

Conexión

Reproducción

Procesos

Contenidos

Competencia MatemáticaDimensiones

Cohesión

Coherencia

Adecuación

Presentación/ Revisión

Reflexión/Valoración

Integración y síntesis

Organización

Aproximación/Identificación

Comprensión

Expresión

Competencia en Comunicación LingüísticaDimensiones

420

440

460

480

500

520

540

No completó

estudios

obligatorios

Estudios

obligatorios

(ESO,EGB)

Bachillerato,FP

medio y superior

Estudios

universitarios

medios o superiores

LING MAT MFIS SyC

Resultados medios de los alumnos de acuerdocon el nivel de estudios de los padres

21

Ejemplo de ítemLlamadas internacionales

Llamar a Portugal desde el extranjero:Cuando usted hace una llamada directa a Portugal desde otro país,después de marcar el número que permite el acceso al serviciointernacional (que varía de país a país), debe marcar el 351 ( prefijode Portugal) y el prefijo interurbano sin el primer 0.Ejemplo:Para llamar al 12 34 56 de Lisboa, debe marcar:

Hacer llamadas internacionales desde Portugal:Las comunicaciones directas internacionales por teléfono puedenhacerse marcando el prefijo internacional y los prefijos del país yde la ciudad, seguidos del número de teléfono deseado.Ejemplo:Para llamar al número 86 47 36 de Bonn,Alemania, debe marcar:

22

Preguntas 10-14. Use la información telefónica dePortugal, de la página anterior, para responder alas preguntas 10 a la 14.

10. Identifique las dos situaciones en las que tendría que marcarel 098.

11. Escriba el número completo que tendría usted que marcarpara llamar por teléfono desde Portugal al número 395613 deLuanda, Angola.

12. ¿Cuál es el prefijo de país si quiere llamar a Portugal desdeotro país?

13. ¿Qué número marcaría si estuviese en Portugal y necesitaseinformación sobre prefijos de países?

14. Rodee con un círculo el número al que llamaría para contactarcon Canadá usando AT&T Canadá.

23

Ejemplo de ítemLlamadas internacionales

Pregunta 1. Aquí tiene una fotografía de botellas de bebida.

1. En total, ¿cuántas botellas hay en las dos cajas llenas?

Ejemplos de componentes de lectura

1. La niña corrió. SÍ NO

2. Él nadó una pintura. SÍ NO

3. El suave gato ronroneaba. SÍ NO

4. Tres banderas levantaron el auto. SÍ NO

5. Una serpiente se tragó al ratón gris. SÍ NO

6. Él hombre más hambriento se comió una gran cena. SÍ NO

7. Un buen amigo es amable y bolsillo. SÍ NO

8. El gato que perseguía al ratón escribió una vela. SÍ NO

9. Si la cocina está caliente, debería tocarla. SÍ NO

10. La mujer que fue a la biblioteca sacó algunos libros. SÍ NO

Instrucciones:Encierre en un círculo la palabra SÍ, si la oración tiene sentido. Encierre en un círculo la palabra NO, si la oración no tiene sentido.

Estructura organizativa

OECD Secretariat

Consortium

NPM

Board of Participating Countries

SMEG

TAG

Reuniones Internacionales OCDE-PIAAC

Próxima reunión del Consejo (Board of ParticipatingCountries): 15-17 de diciembre de 2010 enWashington, Estados Unidos

Próxima reunión de NPMs: 12-17 de diciembre de2010 en Princeton, Estados Unidos

Cuando se puede medir aquello de lo que se habla, y expresarlo con números,sabes algo de ello(…)Lord Kelvin

¡Aguije!¡Obrigada!

¡Gracias!

Rosario Sánchez Núñez-Arenas

www.institutodeevaluacón.mec.es