PRINCIPALES CARACTERÍSTICAS DEL ESTUDIO PISA 2012 ________________________________________ Documento de trabajo

Subsecretaría de educación Dirección Provincial de Planeamiento Dirección de Prospectiva e Investigación Educativa

2

Este documento de trabajo está basado en un documento similar que tuvo como destinata-rios a los equipos técnicos del nivel central de la provincia de Buenos Aires involucrados en el Estudio PISA 2012 y a los actores territoriales y escolares vinculados con las escuelas que participaron del mismo.

Diciembre, 2012

ESTUDIO PISA 2012

Documento de trabajo

Qué es PISA

PISA (Programme for International Student Assessment: Programa para la Evaluación Inter-

nacional de Estudiantes) es un estudio comparativo, internacional y periódico del rendimien-

to educativo de los alumnos de 15 años, a partir de la evaluación de tres competencias cla-

ve: competencia lectora, competencia matemática y competencia científica; estas compe-

tencias son evaluadas cada tres años, desde la primera convocatoria que tuvo lugar en el

año 2000.

El programa es implementado por la Organización para la Cooperación y el Desarrollo Eco-

nómico (OCDE)1.

A nivel nacional, la coordinación del estudio está a cargo de la Dirección Nacional de Infor-

mación y Evaluación de la Calidad Educativa (DiNIECE) del Ministerio de Educación de la

Nación.

En la provincia de Buenos Aires, la coordinación de la aplicación de los instrumentos que

conforman el estudio está a cargo de la Dirección de Evaluación e Investigación Educativa

de la Dirección Provincial de Planeamiento.

Qué países participan de PISA

El total de países y economías participantes en el estudio PISA fue de 43 en 2000, 41 en

2003, 57 en 2006 y 65 en 2009.

En 2012 participaron del estudio 65 países y economías:

Países/economías de la OCDE: Alemania, Australia, Austria, Bélgica, Canadá, Chile, Corea,

1 La OCDE es un organismo internacional creado en 1960 sobre la base de un acuerdo de 18 países europeos,

Estados Unidos y Canadá. Paulatinamente, la OCDE incorporó a las economías más desarrolladas y algunos

países en vías de desarrollo.

3

Dinamarca, Eslovaquia, Eslovenia, España, Estados Unidos, Estonia, Finlandia, Francia,

Grecia, Hungría, Irlanda, Islandia, Israel, Italia, Japón, Luxemburgo, México, Noruega, Nue-

va Zelanda, Países Bajos, Polonia, Portugal, Reino Unido, República Checa, Suecia, Suiza,

Turquía.

Países/economías asociados: Albania, Argentina, Brasil, Bulgaria, Colombia, Costa Rica,

Croacia, Emiratos Árabes Unidos, Federación Rusa, China-Hong Kong, China-Macao,

China-Shanghai, China-Taipei, Georgia, Indonesia, Jordania, Kazajistán, Latvia, Liech-

tenstein, Lituania, Malasia, Montenegro, Perú, Qatar, Rumania, Serbia, Singapur, Tailan-

dia, Túnez, Uruguay, Vietnam.

Nuestro país participa de PISA desde 2000, aunque no participó del estudio en 2003.

Qué evalúa y sobre qué indaga PISA

PISA no ha sido diseñado para evaluar el aprendizaje de contenidos curriculares específi-

cos. Tampoco está pensado para evaluar el desempeño de los docentes ni los diseños cu-

rriculares o programas vigentes.

El propósito principal del Estudio PISA es evaluar competencias clave de acuerdo con la

definición y selección de las mismas adoptada por OCDE. Desde esta perspectiva, una

competencia es la capacidad de responder a demandas complejas y llevar a cabo tareas

diversas de forma adecuada; supone una combinación de actividades prácticas, conocimien-

tos, motivación, valores éticos, actitudes, emociones y otros componentes sociales y de

comportamiento que se movilizan conjuntamente para lograr una acción eficaz.

El estudio PISA considera que las competencias han sido adquiridas en un nivel aceptable

cuando los alumnos están en condiciones de seguir aprendiendo a lo largo de su vida, de

aplicar lo que han aprendido (tanto en la escuela como fuera de ella), de evaluar sus opcio-

nes y de tomar decisiones.

Además de analizar el nivel de desempeño de los alumnos en las competencias ya mencio-

nadas, PISA aporta información sobre distintos aspectos de su entorno familiar y escolar, de

la organización de las escuelas y de su oferta educativa, factores que se asocian con los

distintos niveles de competencia científica, lectora y matemática.

En relación con las circunstancias específicas de los alumnos, se investigan las diferencias

de rendimiento y las actitudes en relación con cada competencia (Ciencias, Lectura, Mate-

mática) según el género, la importancia de la historia escolar del alumno, su confianza en la

4

capacidad de superar obstáculos en las distintas áreas, las estrategias de aprendizaje que

utilizan y el interés o gusto por el estudio de cada área.

También se ponen en relación los resultados con el PBI per cápita o la inversión pública de

cada país en educación.

Por qué PISA delimita la población a evaluar en tér minos de edad y no de gra-

do o curso

Debido a las grandes diferencias en la organización de los sistemas educativos nacionales y

subnacionales es muy difícil llegar a un acuerdo sobre la comparabilidad de los resultados

tomando como base un curso o grado escolar, ya que claramente hay divergencias en el

inicio de la escolaridad y en el desarrollo curricular de los diferentes países. La delimitación

de la población a estudiar en términos de edad proporciona un punto estándar en todos los

países.

Este criterio conlleva el inconveniente de no corresponderse con un referente educativo es-

pecífico. No obstante, la edad es claramente definible y fácilmente comprensible por las au-

diencias a las que van dirigidos los resultados de los estudios.

El estudio PISA argumenta que, a los 15 años de edad, la mayoría de los países participan-

tes han garantizado al menos 10 años de escolaridad a la mayor parte de los jóvenes eva-

luados.

Con qué periodicidad evalúa PISA

La evaluación PISA es cíclica: tiene lugar cada tres años, según un plan estratégico que se

extiende hasta 2015.

Cada uno de estos ciclos analiza en profundidad una de las tres competencias clave, a la

que se destina un 60% de la prueba; a cada una de las otras dos competencias se le destina

un 20% de la prueba.

PISA 2000 hizo foco en Lectura; PISA 2003, en Matemática; PISA 2006, en Ciencias; PISA

2009, nuevamente en Lectura.

PISA 2012 hizo foco otra vez en Matemática. Cabe señalar que como Argentina no participó

del Estudio PISA en el año 2003, solo se podrán establecer perfiles básicos o análisis resu-

midos de los resultados 2012, según lo establecido por la OCDE.

5

Cuáles son los elementos que conforman la evaluació n de las competencias

en PISA2

Competencia científica (Ciencias)

Competencia lectora (Lectura)

Competencia matemática (Matemática)

Definición

Es el grado en el que un indi-viduo: • posee conocimiento científi-

co y lo emplea para identifi-car preguntas, adquirir co-nocimientos nuevos, explicar fenómenos científicos y ex-traer conclusiones basadas en la evidencia sobre temas relacionados con la ciencia;

• entiende las características distintivas de la ciencia co-mo forma de conocimiento e investigación;

• demuestra que sabe cómo la ciencia y la tecnología influ-yen en nuestro entorno ma-terial, intelectual y cultural;

• se interesa por temas cientí-ficos como un ciudadano que reflexiona.

La competencia científica implica tanto la comprensión de conceptos científicos como la capacidad de aplicar una perspectiva científica y de pensamiento basándose en pruebas científicas.

Es la capacidad de un indivi-duo para entender, emplear y reflexionar sobre textos escri-tos para alcanzar sus objeti-vos, desarrollar su conoci-miento y potencial, y participar en la sociedad. Además de la decodificación y la comprensión literal, la com-petencia lectora implica la lectura, la interpretación y la reflexión, y una capacidad de utilizar la lectura para alcan-zar los propios objetivos en la vida. El enfoque de PISA es estu-diar en qué medida los indivi-duos pueden “leer para aprender” más que “aprender a leer”; de ahí que no se eva-lúe a los alumnos en las des-trezas de lectura más básicas.

Es la capacidad de un indivi-duo para formular, emplear e interpretar la Matemática en contextos distintos. Incluye el razonamiento matemático y el uso de conceptos, herramien-tas, hechos y procedimientos matemáticos para describir, explicar y predecir fenóme-nos. Ayuda a las personas a reconocer el papel que la Matemática juega en el mun-do, para sostener juicios fun-damentados y para utilizar e interesarse por la Matemática, de forma que responda a las necesidades de la vida de ese individuo como un ciudadano constructivo, comprometido y reflexivo. La competencia matemática se relaciona con un uso am-plio y funcional de esa cien-cia; el interés incluye la capa-cidad de reconocer y formular problemas matemáticos en situaciones diversas.

Contenidos

Conocimiento de la ciencia, como: • Sistemas físicos. • Sistemas vivos. • Sistemas de la tierra y el

espacio. • Sistemas tecnológicos. Conocimiento sobre la cien-cia, como: • Investigación científica. • Explicaciones científicas.

Según el formato de los mate-riales de lectura: • Textos continuos, que inclu-

yen diferentes tipos de prosa como narración, exposición y argumentación.

• Textos discontinuos, que incluyen gráficos, tablas, listas, etc.

• Textos mixtos, en formato continuo y discontinuo.

• Textos múltiples: textos independientes yuxtapues-tos.

• Cantidad. • Espacio y Forma. • Cambio y Relaciones. • Incertidumbre.

2 Basado en: Gobierno de España. Ministerio de Educación. Instituto de Evaluación (2010). PISA 2009. Programa para la Evaluación Inter-nacional de los Alumnos. OCDE. Informe español. Disponible en: http://www.educacion.gob.es/dctm/ministerio/horizontales/prensa/notas/2010/20101207-pisa2009-informe-espanol.pdf?documentId=0901e72b806ea35a OECD (2010). PISA 2009 Results: What Students Know and Can Do. Student Performance in Reading, Mathematics and Sci-ence. Volume I. Disponible en: http://www.oecd.org/dataoecd/10/61/48852548.pdf

6

Competencia científica (Ciencias)

Competencia lectora (Lectura)

Competencia matemática (Matemática)

Procesos

• Identificar cuestiones cientí-ficas.

• Explicar fenómenos científi-camente.

• Utilizar pruebas científicas.

• Obtener información. • Integrar e interpretar. • Reflexionar y evaluar. • Complejos: por ejemplo,

buscar, evaluar e integrar información de textos elec-trónicos múltiples3.

• Reproducción (operaciones matemáticas simples).

• Conexiones (relacionar ideas para resolver problemas).

• Reflexión (razonamiento matemático en sentido am-plio).

Contextos y

situaciones

El área de aplicación de la ciencia, centrada en su em-pleo en relación con el con-texto personal, social y global, como: • Salud. • Recursos naturales. • Medio ambiente. • Riesgos naturales. • Límites de la ciencia y la

tecnología.

El uso para el que se ha escri-to un texto: • Personal. • Educativo. • Laboral. • Público.

El área de aplicación de la Matemática, que se centra en su uso en relación con el contexto personal, social y global, como: • Personal. • Educativo y laboral. • Público. • Científico.

Qué instrumentos aplica PISA

El estudio PISA administra tres tipos de instrumentos:

• Cuadernillo de Prueba.

• Cuestionario del Estudiante.

• Cuestionario de la Escuela.

El Cuadernillo de Prueba está organizado en torno a unidades, que normalmente incluyen

textos o información gráfica sobre situaciones de la vida real, a partir de los cuales se le

plantea al estudiante una serie de cuatro o cinco preguntas de diferente grado de compleji-

dad.

Las pruebas incluyen cinco tipos diferentes de ítems:

• Preguntas de selección múltiple simple, en las que los estudiantes tienen que elegir una

entre varias respuestas alternativas (ANEXO. Ejemplo 1: La representación será la tram-

pa).

3 En 2009, por primera vez PISA evaluó la competencia lectora de los estudiantes de 15 años en relación con textos digitales o electrónicos (hipertextos), concebidos como un tipo particular de textos escritos provistos de herramientas de navegación que le permiten al lector moverse de una página o sitio a otro. Participaron de la experiencia los siguientes países: Australia, Aus-tria, Bélgica, Chile, China-Hong Kong, China-Macao, Colombia, Corea, Dinamarca, España, Francia, Hungría, Irlanda, Islandia, Japón, Noruega, Nueva Zelandia, Polonia, Suecia.

7

• Preguntas de selección múltiple compleja, en las que los estudiantes tienen que escoger

una de dos posibles respuestas (por ejemplo, sí/no, de acuerdo/en desacuerdo) a una se-

rie de proposiciones (ANEXO. Ejemplo 2: Carpintero).

• Preguntas de respuesta construida cerrada, en las que se pide un dato o una expresión

corta, de un rango muy limitado de respuestas posibles; se corrigen en términos de co-

rrecto o incorrecto (ANEXO. Ejemplo 3: El tránsito de Venus).

• Preguntas de respuesta construida corta, que requieren una respuesta breve que puede

no ser única y admitir variantes que el corrector debe contemplar (ANEXO. Ejemplo 4:

Chatear).

• Preguntas de respuesta construida abierta, en las que se exige una elaboración y expre-

sión por escrito del pensamiento del joven (ANEXO. Ejemplo 5: Respaldo al presidente).

La duración de la prueba es aproximadamente de dos horas.

El Cuestionario del Estudiante releva información sobre la familia, el estudiante, el clima es-

colar y de las clases, las bibliotecas, las actividades de lectura del estudiante, etc.

La duración de este cuestionario es de 35 minutos, aproximadamente.

El Cuestionario de la Escuela, que es respondido por un integrante del equipo directivo, re-

colecta información sobre la escuela y sus características, el cuerpo docente y los estudian-

tes, los recursos de la escuela, las políticas y prácticas escolares, etc.

Cómo presenta PISA los resultados

PISA proporciona tres tipos principales de resultados:

• Resultados globales y niveles de desempeño en las tres competencias (Ciencias, Lectu-

ra, Matemática). Asociando los ejercicios de la prueba a distintos niveles de dificultad, se

definen entre cinco y siete niveles de desempeño en la escala de puntajes de cada com-

petencia, de manera que el Nivel 1 es el más básico; esos niveles de desempeño permi-

ten describir lo que los alumnos que los alcanzan pueden hacer. En el caso de la compe-

tencia sobre la que se hace foco en cada ciclo, PISA reporta información sobre resultados

en sus diferentes dimensiones (contenidos y procesos).

• Relación entre los resultados y distintos factores asociados, como los contextos sociales,

económicos y culturales, las circunstancias individuales de los alumnos o la organización

y el funcionamiento de las escuelas.

8

• Análisis de tendencias, que se derivan de la recogida cíclica de datos y muestran los

cambios en los niveles y en la distribución de los resultados y en las relaciones entre los

resultados y las variables del entorno de los alumnos y de las escuelas a lo largo del

tiempo.

Dado que existen rasgos socio-económicos y educativos marcadamente diferentes entre los

países participantes, la comparación de resultados debe ser cuidadosamente considerada,

pues se debe tener presente que no se trata de una evaluación “entre iguales en condicio-

nes iguales”. Este es, quizás, uno de los aspectos más criticables del uso irreflexivo que se

hace de los resultados de PISA. Los rankings de países incurren en el error de no contem-

plar la incidencia de factores organizacionales, culturales y socioeconómicos sumamente

desiguales en los resultados globales de cada país. De este modo, resultados que podrían

analizarse con provecho para otro tipo de lecturas, se deslegitiman por el abuso en la com-

paración de sistemas educativos complejos y heterogéneos.

A qué escala son representativos los resultados del estudio PISA

Como el estudio PISA se aplica sobre una muestra de escuelas representativa del país, sus

resultados tienen representatividad a esa misma escala; es decir, son representativos a es-

cala nacional y no a escala provincial.

Además, por tratarse de un estudio orientado a establecer comparaciones entre sistemas

educativos nacionales, PISA no devuelve información acerca de los resultados de cada una

de las escuelas evaluadas.

No obstante, es importante precisar que en 2012 la provincia de Buenos Aires aportará 75

escuelas a la muestra nacional (52 escuelas de gestión estatal, de las cuales 5 son escuelas

técnicas y 23 escuelas de gestión privada).

Qué resultados obtuvo nuestro país en el último est udio PISA (2009)

Puntajes medios en PISA 2009

Lectura Ciencias Matemática Promedio países

OCDE 493 501 496

Promedio países América Latina 408 405 393

República Argen-tina 398 401 388

9

Porcentaje de alumnos por nivel de desempeño en PIS A 2009

10

La documentación disponible del Estudio PISA argumenta que el Nivel 2 es el que corres-

ponde al nivel de proficiencia, es decir, aquel en el que el rendimiento de los jóvenes eva-

luados alcanza el grado mínimo de adquisición de la competencia específica para garantizar

su desempeño personal y social.

Cuál es el sentido de la participación de la provin cia de Buenos Aires en PISA

2012

Si bien los estudios evaluativos internacionales, como PISA, implican procesos decisionales

externos a los países participantes y a sus jurisdicciones, esa externalidad no invalida la

utilidad de sus resultados.

Por su naturaleza tales estudios promueven lecturas comparativas de resultados entre paí-

ses; sin embargo, la provincia de Buenos Aires puede releer desde su perspectiva particular

la información que el estudio PISA arroja y, a partir de esa relectura, aprovechar la informa-

ción de acuerdo a los lineamientos de la política educativa provincial.

El artículo 5º de la Ley de Educación Provincial Nº 13.688 establece:

La Provincia, a través de la Dirección General de Cultura y Educación, tiene la responsabi-

lidad principal e indelegable de proveer, garantizar y supervisar una educación integral, in-

clusiva, permanente y de calidad para todos sus habitantes, garantizando la igualdad, gra-

tuidad y la justicia social en el ejercicio de este derecho, con la participación del conjunto

de la comunidad educativa.

Esta perspectiva de derecho proporciona una clave para resignificar la participación provin-

cial en el estudio PISA y para interrogar sus resultados con objetivos propios.

En este marco, la participación de la provincia en PISA 2012 implica:

a) Coordinar, por medio de la Dirección de Evaluación e Investigación Educativa de la Direc-

ción Provincial de Planeamiento, la instrumentación del estudio en el territorio bonaeren-

se.

b) Acompañar, desde las distintas Direcciones de la Dirección General de Cultura y Educa-

ción, a los actores territoriales y escolares (inspectores, directores, profesores, familias,

alumnos), ofreciendo información respecto del estudio, aportando recursos para participar

de él en mejores condiciones y promoviendo la reflexión sobre los sentidos de una parti-

cipación comprometida y responsable: hacer visibles los esfuerzos cotidianos de los do-

centes, impugnar los discursos que desvalorizan esos esfuerzos y descalifican a los jó-

11

venes, involucrar a los estudiantes de 15 años en un ejercicio ciudadano solidario para

con otros jóvenes que se beneficiarán de las decisiones que se tomen a partir de los re-

sultados.

c) Profundizar en la interpretación y apropiación de los resultados del estudio a partir de

preocupaciones y líneas de acción específicamente jurisdiccionales y aprovechar las

conclusiones a las que se arribe en proyectos de mejora; la identificación de errores recu-

rrentes en las respuestas de los alumnos o la indagación acerca de las razones que los

llevan a omitir respuestas (¿falta de comprensión?, ¿ausencia de saberes?, ¿desinte-

rés?) pueden aportar tantos o más indicios para definir esos proyectos que la considera-

ción de las respuestas satisfactorias.

12

Bibliografía

• Gobierno de España. Ministerio de Educación. Instituto de Evaluación (2010). PISA

2009. Programa para la Evaluación Internacional de los Alumnos. OCDE. Informe

español.

Disponible en:

http://www.educacion.gob.es/dctm/ministerio/horizontales/prensa/notas/2010/201012

07-pisa2009-informe-espanol.pdf?documentId=0901e72b806ea35a

• Instituto Vasco de Evaluación e Investigación Educativa (2011). PISA: Competencia

científica para el mundo del mañana. I. Marco y análisis de los ítems.

Disponible en:

http://www.isei-

ivei.net/cast/pub/itemsliberados/Ciencias2011/ciencias_PISA2009completo.pdf

• Instituto Vasco de Evaluación e Investigación Educativa (2011). PISA: Comprensión

lectora. I. Marco y análisis de los ítems.

Disponible en:

http://www.isei-

ivei.net/cast/pub/itemsliberados/lectura2011/lectura_PISA2009completo.pdf

• Instituto Vasco de Evaluación e Investigación Educativa (2005). Proyecto PISA 2003.

Ejemplos de ítems de Matemáticas y Solución de Problemas.

Disponible en: http://www.isei-ivei.net/cast/pub/pisaitemscastellano.pdf

• OCDE (s/f). El Programa PISA de la OCDE. Qué es y para qué sirve.

Disponible en: http://www.pisa.oecd.org/dataoecd/58/51/39730818.pdf

OECD. The PISA 2009 profiles by country/economy. Sitio web.

http://stats.oecd.org/PISA2009Profiles/#app=85dc&d016-selectedIndex=0&73e3-

selectedIndex=4&c05d-selectedIndex=2&289f-selectedIndex=0&5854-

selectedIndex=0&a56e-selectedIndex=0&67df-selectedIndex=0&ae18-

selectedIndex=0&224e-selectedIndex=0&b2cd-selectedIndex=0&5869-

selectedIndex=0

• OECD (2011). PISA 2009 Results: Students on Line: Digital Technologies and Per-

formance. Volume V.

Disponible en: http://www.oecd.org/dataoecd/46/55/48270093.pdf

13

• OECD (2010). PISA 2009 Results: What Students Know and Can Do. Student Per-

formance in Reading, Mathematics and Science. Volume I.

Disponible en: http://www.oecd.org/dataoecd/10/61/48852548.pdf

• OECD (2009). PISA 2009 Assessment Framework. Key competencies in reading,

mathematics and science.

Disponible en: http://www.oecd.org/dataoecd/11/40/44455820.pdf

• OECD (2009). Take the Test. Sample Questions from OECD´s PISA Assessment.

Disponible en: http://www.oecd.org/dataoecd/47/23/41943106.pdf

• República Argentina. Ministerio de Educación de la Nación. Subsecretaría de Pla-

neamiento Educativo. Dirección Nacional de Información y Evaluación de la Calidad

Educativa (s/f). PISA 2009. Programme for International Student Assessment. Argen-

tina. Resumen ejecutivo.

Disponible en:

http://diniece.me.gov.ar/images/stories/diniece/evaluacion_educativa/internacionales/PISA09_Resumen_ejecutivo.pdf

14

ANEXO: Ejemplos de preguntas Ejemplo 1: La representación será la trampa. Pregun ta de selección múltiple simple (competencia lectora).

15

16

Ejemplo 2: Carpintero. Pregunta de selección múltip le compleja (competencia matemática).

17

Ejemplo 3: El tránsito de Venus. Pregunta de respue sta construida cerrada (competencia científica).

18

Ejemplo 4: Chatear. Pregunta de respuesta construid a corta (competencia ma-temática).

19

Ejemplo 5: Respaldo al presidente. Pregunta de resp uesta construida abierta (competencia matemática).

20

Gobernador

Dn. Daniel Scioli

Vicegobernador

Lic. Gabriel Mariotto

Directora General de Cultura y Educación

Dra. Nora De Lucia

Subsecretario de Educación

Ing. Carlos Gianella

Dirección Provincial de Planeamiento

Lic. Marisa Paviskov

Dirección de Prospectiva e Investigación Educativa

Lic. Silvia Puccini

DGCyE / Dirección Provincial de Planeamiento

Diag. 73 Nº 1910 (1900) – La Plata

(0221) 483-8777/424-9508

planeamiento@ed.gba.gov.ar

www.abc.gov.ar