El marco PISA para la evaluación lingüística

Eduardo Vidal-AbarcaCatedrático Universidad de Valencia

Miembro del Grupo de Expertos de PISA-Lectura

Contenidos

PISA: Una visión general PISA-Lectura TCL-PISA

De la evaluación al currículum

PISA

Una visión general

Mapa de PISA

Países OCDE

Países fuera OCDE en PISA 2006

Países fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA

DEL MUNDO

Evolución de PISA

Países OCDE

Países fuera OCDE en PISA 2006

Países fuera OCDE en PISA 2006 Y PARA

TAPAR EL MAPA DEL MUNDO

0

10

20

30

40

50

60

70

80

2000 2003 2006 2009

N P

aíse

s

La evaluación de PISA

Competencias complejasLectura, Matemáticas, CienciasEvaluadas cada 3 años

2000 Lectura, Matemáticas, Ciencias

2003 Lectura, Matemáticas, Ciencias

2006 Lectura, Matemáticas, Ciencias2009 Lectura, Matemáticas, Ciencias

Recomendaciones de política educativa

Tipos de evaluación

Evaluación

Sistemas(Calidad del sistema,

política educativa)

Individuos(Clasificar, intervenir)

En común:

Definir un campo de evaluación

Diseñar tareas representativas (modelos teóricos, currículum)

Graduar tareas por dificultad

Desarrollar instrumentos de medida (fiabilidad, validez, etc)

Tipos de evaluación

Evaluación

Sistemas(Calidad del sistema,

política educativa)

Individuos(Clasificar, intervenir)

Diferencias:

Muestras vs. Totalidades

Cantidad de ítems de las pruebas

Uso de los datos

PISA: Lectura

Evaluación de sistemas: PISA

La competencia en lectura se define como comprender, usar y reflexionar sobre textos escritos a fin de lograr metas personales, desarrollar el conocimiento y las potencialidades personales, y participar en la sociedad

Marco internacional de evaluaciónConsenso (definición, marco, medidas)

Conexión: políticas públicas – evaluación - investigación

Evaluar capacidades lectoras:Más allá de lo escolar (Curriculum vs. Capacidades)

Ampliar lo textual (desarrollo personal y social)

Conectar con procesos (investigación cognitiva)

Organización de PISA Lectura

Situaciones: ¿En qué situaciones se lee?Textos: ¿Qué textos se leen?Aspectos (tareas): ¿En qué tareas hay que

ser un competente lector?

Situaciones

Publicas (38 %) – participar en la sociedad Documentos oficiales, periódicos, folletos públicos, etc

Educativas (28%) - información y conocimiento Libros de texto, enciclopedias educativas, etc

Personal (19 %) – intereses personales Novelas, biografías, cartas, textos informativos, etc

Ocupacionales (15 %) – tareas laborales Leer para hacer (p. ej., qué hacer en caso de …)

Textos

Continuos (64 %) Expositivos Narrativos Argumentativos Descriptivos Instrucciones

No-continuos (36%) Gráficos Tablas Diagramas Mapas Anuncios

Artículo periodístico

-Público

-Continuo-Expositivo

Folleto informativo

-Ocupacional

-Continuo-Descriptivo

Figura de Enciclopedia

-Educativo

-No-Continuo - Gráfico

Informe de resultados

-Público

-No-Continuo Tabla

Textos

Continuos No-continuos Mixtos Múltiples

Medio: Impreso Electrónicos

2009

Aspectos (tareas)

INTRUCCIONES:

Consulta la tabla para contestar a las preguntas siguientes

COMPRENDER

USAR

REFLEXIONAR SOBRE

Textos escritosPreguntas de

Aspectos (estructura de tareas)

LECTURA

Información en texto Fuera del texto

LECTURA

Información en texto Fuera del texto

Partes independientes Relaciones en el

texto

Todo el texto Partes del texto

Aspectos (estructura de tareas)

LECTURA

Información en texto Fuera del texto

Partes independientes Relaciones en el

texto

Todo el texto Partes del texto

Recuperar Comprensión global

Interpretar

Aspectos (estructura de tareas)

LECTURA

Información en texto Fuera del texto

Partes independientes Relaciones en el

texto Contenido Estructura

Todo el texto Partes del texto

Recuperar Comprensión global

InterpretarReflexionar y

Evaluar Contenido

Reflexionar y Evaluar Forma

Aspectos (estructura de tareas)

Escalas (Capacidades)LECTURA

Información en texto Fuera del texto

Recuperar información

Interpretar Reflexionar

Recuperar

Comprensión global

Interpretar

Contenido

Forma

PROCESOS DE COMPRENSION

Comprender un texto: Operaciones -> representación mental

Intra-texto: (ciclos) Formar ideas Relacionar ideas: partes, globalmente Auto-regular

Más allá: contenidos, forma Responder preguntas:

Comprender pregunta (Auto-regular) Activar representación Construir Respuesta (Auto-regular)

Decisiones (¿releer?)

OPERACIONES MENTALES

Formar ideas

Relacionar ideas:

-Elementos textuales

-Relación global

-Párrafo

-Texto

Auto-regular

REPRESENTACION FINAL

Representación mental COHERENTE

Representación mental INCOHERENTE (y errónea)

CONOCIMIENTO PREVIO + TEXTO

PROCESO PREGUNTA-RESPUESTA

PREGUNTA

¿Cuál de las …?

RESPUESTA

… … …… …. ..TEXTO

Xxx xxx xx xxx xxx xx x xxx xxx x xxx xx xx x xx xx xx

Ciclos: pregunta – (texto) - respuesta

Auto-regulación 2

CAMBIOS EN LA REPRESENTACIÓN

Fuentes de Dificultad

Texto: longitud, complejidad, familiaridad

Pregunta -Texto: cantidad de información para buscar o relacionar superposición pregunta-texto (inferencias) información textual en competición (contexto de

ideas) cantidad conocimiento previo para activar

(transferencia)

Formato de pregunta: seleccionar vs. producir

EJEMPLOS

EJEMPLO

EJEMPLO

Niveles de competencia (Integrar)

Comprensión completa y detallada del texto

Inferencias basadas-en-el-texto en contexto poco familiar

Integrar partes del texto para entender una idea importante

Identificar la idea esencial de un texto

Reconocer el tema esencial del texto cuando el tema es familiar

5

4

3

2

1

Conclusiones

Esquema de competencias amplio pero específico

Más allá de lo escolarTareas variadas y ajustadas a

competencias

Test (Individual) de Competencias en Lectura para ESO (TCL)

TCL-PISA (Lápiz y papel)

Modelo PISA de CapacidadesRecuperar InterpretarReflexionar

Objetivos:Evaluar capacidades a comienzos de ESOConectar con intervención educativa

Procedimiento de elaboración

Decidir el esquema de competencias (PISA) Seleccionar/Elaborar Textos

Pertinentes Atractivos

Elaborar preguntas Formulación clara Dificultad variada Criterios de corrección claros

Pruebas piloto previas

Contenido

Textos: Continuos 3 No continuos 2

Preguntas (20) Recuperar Integrar Reflexionar

Tarea: Contestar preguntas usando información

textual

Ejemplo 1

Ejemplo 2 Accidentes de tráfico

Ejemplo 3

Variación de la temperatura de La Tierra (1000-2000)

Aumento de Emisiones de CO2 (1800-2000)

El calentamiento global

Ejemplo 4Energía nuclear

Aplicación

Muestra 603 niños y niñas de 1º, 2º, 3º ESO (204, 200, 199

alumnos respectivamente) Control de variables demográficas y educativas

Puntuación por curso

1112,6

13,8

0

2

4

6

8

10

12

14

16

18

20

1 ESO 2 ESO 3 ESO

Med

ia

Diferencias significativas entre cursos

Relación TCL y Rendimiento

Ciencias: .481**Ciencias Sociales: .298** Matemáticas: .223* Valenciano: .187* Lengua Española: .121

Conclusiones

Evaluación individual basada en PISA

Adecuada para niveles ESO

Base para intervención educativa

Relación variada con Rendimiento

Evaluación de competencias en centros y aulas

De la evaluación de competencias al currículum

escolar

Enseñanza/Evaluación de competencias en centros

¿Qué competencias enseñar/evaluar? POCAS competencias Competencias CLAVE Contextos REALES Conexión TRANSVERSAL y LONGITUDINAL

¿Qué tareas utilizar? Alineadas con las competencias Variadas (en dificultad y representatividad) Con criterios de corrección claros Amenas

Evaluación de competencias en centros

Procedimiento para evaluación sumativa Elaborar un esquema coherente (competencias –

situaciones – conocimientos) Seleccionar/Elaborar materiales de evaluación a

partir del esquema y elaborar criterios de corrección

Probar materiales (textos, preguntas, etc …): dificultad, adecuación, facilidad de corrección

Desarrollar prueba final Tomar criterios externos de validez

Enseñanza de competencias

Alinear enseñanza y evaluación (pero no confundir) Enseñar a comprender:

¿Qué enseñar? Captar ideas Relacionar ideas Sintetizar Aplicar Reflexionar y evaluar

Cómo enseñar Guiar el aprendizaje Atender diferencias individuales

Evaluar periódicamente

¡Gracias por la atención!