1. LOS RESULTADOS DE APRENDIZAJES ESCOLARES:UNA DISCUSIN METAEVALUATIVA DESDE LAS SOCIEDADESQUE LOS PRODUCEN Prof. Dr. Luis Sime Poma. Nov. 2008 2. Justificacin:

Los resultados de las pruebas estandarizadas en el mbito escolar tanto a escala nacional como internacional han abierto una etapa distinta en las polticas educativas que permiten tiposde medicin y comparacin al interior de los pases como a nivel internacional.

No obstante dicho avance, el riesgo es a una lectura descontextualizada de los resultados sin considerar a la sociedad que los produce y que nos permita elaborar imgenes ms complejas de dnde provienen los resultados obtenidos, cul es esa sociedad realmente existente detrs de los datos.

Luis Simehttp://blog.pucp.edu.pe/luissime 3.

Estas correlaciones contextuales y referenciales con otros aspectos de la sociedad contribuyen a una visin ms amplia y crtica de los resultados de aprendizajes y una prudencia mayor para establecer comparaciones e intereses de transferibilidad de ciertos modelos educativos que responden tambin a modelos de desarrollo.

Luis Simehttp://blog.pucp.edu.pe/luissime 4. 2. Objetivos o propsitos de la investigacin

Contribuir a un debate ms crtico sobre el anlisis de los resultados de aprendizaje basados en pruebas estandarizadas desde una perspectiva metaevaluativa contextualista y de paradigmas de desarrollo.

Relacionar los resultados de los aprendizajes de pruebas internacionalesPISA (2006) con otros datos relevantes de lamisma sociedad.

Luis Simehttp://blog.pucp.edu.pe/luissime 5. 3. Perspectivas o aproximacin conceptual .

3.1. Desde un enfoque metaevaluativo contextualista

3.2. Desde un enfoque sobre educacin y desarrollo

Luis Simehttp://blog.pucp.edu.pe/luissime 6. 3.1. Desde un enfoque metaevaluativo contextualista

En este camino de reconceptualizacin, retomando un trabajo previo (Sime 2005), proponemos entender la metaevaluacin contextualista comola reflexin crtica y pluridisciplanria de los procesos, instrumentos y resultados de evaluaciones a la luz de los contextos sociales en las cuales se insertan.

Las pruebas estandarizadas que se han aplicado a nivel nacional, latinoamericano e internacional en las ltimas dcadas constituyen un discurso, una prctica y una poltica evaluativa que exige de planteamientos metaevaluativos crticos, contextualistas y pluridisciplinarios como los que propone Bonnet (2006) al llamar la atencin en las singularidades lingsticas y culturales en las evaluaciones internacionales de PISA, haciendo suya la pregunta: en qu medida la evaluacin de las competencias de los alumnos en este estudios comporta sesgos culturales diversos que haran difcil o errnea la comparacin entre los pases? (p.92); o las reflexiones de diversos autoresincluidas en Iaies (2003) cuyo propio ttulo nos da un aliento metaevaluativo desde la poltica: Evaluar las evaluaciones. Una mirada poltica acerca de las evaluaciones de la calidad educativa.

Luis Simehttp://blog.pucp.edu.pe/luissime 7.

Una cuarta vertientees la que se dirigea relacionar los resultados PISA con variables macro sociales.Entre ellas se destaca aquella que visualiza una relacin entre dichos resultados con el PBI del pas o nivel de inversin en educacin. Nuestro aporte se sita en esta vertiente.

En efecto, nuestra perspectiva opta porsituar los datosdesde los contextos sociales que los han generado.Detrs de dichos resultados existen sociedades cuya complejidad en la produccin de esos resultados queda implcita y sin una interpretacin ms sistmica.En ese sentido, se busca interrogar los datos desde la misma sociedad.

A su vez, los anlisis que han buscado relacionarlos resultados de las pruebas estandarizadas sobre ciertos tipos de aprendizajes como los informes PISA con otros datos ms all del sistema educativo, han estado mayormente correlacionados con el factor econmico, especialmente con el PBI de los pases (HanushekyWmann2007) siendo ms escasos los anlisis que hayan intentado anlisis estadsticos o reflexiones crticas con otros factores de las sociedades.

Luis Simehttp://blog.pucp.edu.pe/luissime 8. 3.2. Desde un enfoque sobre educacin y desarrollo

Desde este punto de vista, la interaccin entre educacin y desarrollo requiere ser pensada ms all del reduccionismo economicista que privilegia las variables vinculadas al crecimiento econmico sin integrar otras dimensiones que son igualmente importantes en el desarrollo de la sociedad.

Luis Simehttp://blog.pucp.edu.pe/luissime 9.

El repensar el rol de la educacin en funcin de la construccin de un paradigma de desarrollo alternativo, implica considerar ms profundamente la relacin entre la educacin con variables que representen la situacin de sustentabilidad ambiental de una sociedad, as como la situacin de salud y de violencia.Este cuestionamiento desde esas variables nos lleva inscribir los procesos educativos como parte de las experiencias conflictivas que la sociedad hace por un desarrollo sustentable, saludable y pacfico.

Luis Simehttp://blog.pucp.edu.pe/luissime 10. 4. Mtodos, tcnicas o modos de anlisis y fuentes de informacin

El estudio establece relaciones entre los datos PISA 2006basados en resultados de ciencias, con las variables e indicadores siguientes:

1. ambiental (emisin de gases invernadero C02)

2. salud (obesidad, tabaquismo y cncer)

3. violencia (suicidio)

Luis Simehttp://blog.pucp.edu.pe/luissime 11.

Se seleccionaron 20 pases(66.6%) de los 30 que conforman la OECD entre los cuales 12 (44%) pertenecen a la Unin Europea- sobre los cuales la informacin de PISAy otras requeridas para el estudio, aportadas por fuentes confiables, permitieranla comparacin de la informacin sobre datos que no ms atrs del 2002 y sin buscar una correlacin estadstica sino referencial entre las variables estudiadas. Este parmetro de seleccin (solo pases OCDE, y fuentes desde el 2002) fue estrechando el nmero de pases a los aqu seleccionados.

Luis Simehttp://blog.pucp.edu.pe/luissime 12. 5. Resultados y /o conclusiones preliminares

5.1. Resultados

a) Relaciones entre resultados PISA y la variable ambiental (emisin de gases C02)

b) Relaciones entre resultados PISA y la variable salud (obesidad)

c) Relaciones entre resultados PISA y la variable salud (tabaquismo)

d) Relaciones entre resultados PISA y la variable salud (cncer)

e)Relaciones entre resultados PISA yla variable violencia (suicidio)

Luis Simehttp://blog.pucp.edu.pe/luissime 13. Tabla 3 Comparacin entre resultados PISA (2006/ ciencias) y emisin de C02 (2004) en pases de OECD Luis Simehttp://blog.pucp.edu.pe/luissime Countries OECD PISA 2006 Countries OECD C02-2004% 1 Finland 563 1 United States 22.2 2 Canad 534 2 Japan 4.6 3 Japan 531 3 Germany 3.1 4 New Zealand 530 4 Canada 2.3 4 Switzerland 530 5 United Kingdom 2.2 5 Australia 527 6 Korea 1.7 6 Netherlands 526 6 Italy 1.7 7 Korea 522 7 Mexico 1.6 8 Germany 516 8 France 1.4 9 United Kingdom 515 9 Spain 1.2 10 Austria 505 9 Australia 1.2 11 Sweden 502 10 Polonia 1.1 12 Ireland 501 11 Netherlands 0.5 13 France 495 12 Austria 0.3 13 Polonia 495 13 Finland 0.2 14 Hungary 491 13 Hungary 0.2 15 United States 489 13 Sweden 0.2 16 Spain 488 13 Ireland 0.2 17 Italy 462 13 Switzerland 0.2 18 Mexico 406 14 New Zealand 0.1 14. Tabla 7Comparacin entre resultados PISA (2006/ ciencias) y nmero de muertes por cien mil habitantes de suicidio en la poblacin en pases de OECD (2003-2007) Luis Simehttp://blog.pucp.edu.pe/luissime OECD PISA 2006 OECD Suicidio 2003-07 1 Finland 563 1 Korea 21.5 2 Canada 534 2 Hungary 21 3 Japan 531 3 Japan 19.1 4 New Zealand 530 4 Finland 18 4 Switzerland 530 5 France 14.6 5 Australia 527 6 Switzerland 14.1 6 Netherlands 526 7 Polonia 13.2 7 Korea 522 8 Austria 12.6 8 Germany 516 9 New Zealand 11.9 9 United Kingdom 515 10 Sweden 11.1 10 Austria 505 11 Australia 10.2 11 Sweden 502 11 Canada 10.2 12 Ireland 501 12 United States 10.1 13 France 495 13 Germany 9.2 13 Polonia 495 13 Ireland 9.2 14 Hungary 491 14 Netherlands 8.1 15 United States 489 15 United Kingdom 6.6 16 Spain 488 16 Spain 6.3 17 Italy 462 17 Italy 5.5 18 Mexico 406 18 Mexico 4.4 15. 5.2. Conclusiones preliminares.

Conclusiones del anlisis horizontal sobre los pases ubicados en la mitad superior de PISA

Un anlisis horizontal de las variables estudiadas nos permite sealar que aquel grupo de pases de la OECD que ocupan la mitad superior en los resultados PISA a su vez ocupanen ms de un 50%la mita superior de tres variables (C02, Obesidad y Suicidio) y en las otras variables (Tabaquismo y Cncer) representan entre el 40 y 44% de las respectivas mitades superiores.

Luis Simehttp://blog.pucp.edu.pe/luissime 16. Tabla N 8 Ubicacin de pases en mitad superior de PISA en cinco variables Luis Simehttp://blog.pucp.edu.pe/luissime OECD PISA C02 Obesidad Suicidio Tabaquismo Cancer Finland 1 13 9 4 13 19 Canada 2 4 6 11 16 7 Japan 3 2 19 3 7 27 New Zealand 4 14 4 9 14 6 Switzerland 4 13 18 6 4 18 Australia 5 9 7 11 15 12 Netherlands 6 11 14 14 1 3 Korea 7 6 20 1 8 13 Germany 8 3 10 13 10 11 United Kingdom 9 5 3 15 12 5 % de mitad superior 71% 60% 55.50% 44% 40% Total puestos 18 puestos 14 puestos 20 puestos 18 puestos 18 puestos 20 puestos 17.

b) Conclusiones del anlisis horizontal sobre los pases ubicados en la mitad inferior de PISA

Respecto al grupo de pases de la OCDE de nuestra muestra que ocupa en PISA la mitad inferiorexiste un segmento de ellos que en cuatro de las cinco variables estudiadas (Tabaquismo, cncer y suicidio), se encuentran en la mitad superior de dichas variables, representado entre 55% y 66%de dichas mitades, y en las otras dos variables (C02 y obesidad ) menos del 40%.

Luis Simehttp://blog.pucp.edu.pe/luissime 18. Tabla N 9 Ubicacin de pases en mitad inferior de PISA en cinco variables Luis Simehttp://blog.pucp.edu.pe/luissime OECD PISA Tabaquismo Cancer Suicidio Obesidad C02 Austria 10 10 14 8 13 12 Sweden 11 18 16 10 15 13 Ireland 12 3 4 13 11 13 France 13 9 9 5 16 8 Polonia 13 6 2 7 12 10 Hungary 14 2 1 2 5 13 United States 15 17 10 12 1 1 Spain 16 5 15 16 8 9 Italy 17 11 8 17 17 6 Mexico 18 5 20 18 2 7 % de mitad superior 66% 60% 55.50% 40% 28.50% Puestos totales 18 puestos 18 puestos 20 puestos 18 puestos 20 puestos 14 puestos 19.

c) Conclusiones especficas sobre ciertos pases.

El caso de Finlandia podramos configurarlo como un pas con muy alto nivel de resultados en PISA (1er puesto) pero que a su vez es alta su tasa de suicidio (el 4to puesto pero en realidad el 1ero de la Europa ms occidental en nuestra muestra si asumimos a Hungra con una tradicin ms de Europa del este) y mediana su tasa de poblacin con obesidad (el puesto 9 de 20); siendo ms bien bajo en su nivel de emisin de gases C02, (13 de 14 puestos), cncer (19 de 20 puestos) y su tasa de tabaquismo (13 de 18 puestos).De no ser por el puesto que ocupa en suicidio podramos decir que es una sociedad que ha logrado construir unacoherencia significativa entre su nivel educativo, y otras variables para un desarrollo sustentable, saludable y pacfico.

Luis Simehttp://blog.pucp.edu.pe/luissime 20.

El segundo caso muy singular es el de Estados Unidos cuyo nivel de rendimiento es bajo en PISA tanto en nuestra muestra donde ocupa la mitad inferior como si tomramos de referencia el promedio OCDE de 500 puntos, EEUU tambin es inferior a dicho promedio (489) aunquesuperior al Total Internacional (461). El contraste del caso norteamericano es que estando con puntajes bajos en PISA, ocupa a la vez puntajes muy altos en emisin de gases C02 y en obesidad, el primer puesto en ambas variables, y una posicin intermedia en cncer (puesto 10 de 20), quedando ms hacia abajo en la tabaquismo (17 de 18 puestos) y en suicidio (12 de 18 puestos).Este es el nico pas de nuestra muestra de 20 pases de la OECD que ocupa los primeros puestos en dos variables diferentes que son de alto sensibilidad para el desarrollo sustentable y saludable.

Luis Simehttp://blog.pucp.edu.pe/luissime 21.

El tercer caso es el de Hungra, un pas cuyos resultados en PISA pertenecen a la mitad inferior en nuestro anlisis, aunque con sus 491 puntosse acerca alpromedio de la OCDE de 500 puntos y por supuesto superior al Total Internacional de PISA 2006 (461). Lo que llama la atencin de este pas es los puestos que ocupa en las variables de salud vinculadas a los indicadores de cncer, donde ocupa el primer puesto, y a los de tabaquismo y suicido, donde ocupa el segundo puesto para ambos casos, y el quinto puesto en obesidad. Es decir, en cuatro de las cinco variables estudiadas revelan problemas muy serios para construir una sociedad basada en un desarrollo sustentable, saludable y pacfico, aunque sus resultados en PISA se acerquen al promedio de la OCDE.

Luis Simehttp://blog.pucp.edu.pe/luissime 22.

d) Pistas para una mayor indagacin

1era pista: las sociedades paradjicas

PISA 2006 nos ofrece una imagen de la situacin educativa de los pases en funcin a su rendimiento respecto a ciencia resultando paradjico que aquellos pases que evidenciando un alto resultado en esta rea pertenezcan justamente a pases donde el desarrollo cientfico y tecnolgico junto ha un tipo de industrializacin y estilos de vida hanproducido graves problemas para la calidad de vida de su poblacin y ms all de ella. Cmo es que se puede estar aparentemente muy bien en educacin escolar cientfica y estar a la vez en niveles crticos en variables claves de la sociedad? Cmo hace dichas sociedades para construir esos desdoblamientos?

Luis Simehttp://blog.pucp.edu.pe/luissime 23.

2da pista: Evaluar la calidad: y la pertinencia?

Las evaluaciones estandarizadas tanto internacionales y nacionales se han legitimado sobre un discurso de la calidad educativa centrada en medir competencias en lecto escritura y matemtica centralmente, aunque PISA 2006 incluy por primera vez un conjunto de preguntas explcitas sobre temas ambientales que debieran ser ms permanentes, al igual que otros temas ms bien casi ausentes referidos por ejemplo a las epidemias que hemos analizado previamente. Es decir, los esfuerzos han estado ms dirigidos a evaluar competencias bsicas que a competencias en torno a temas cruciales que estarn marcando negativamente el contexto mundial y nacional de este siglo.Ello nos sugiere que se ha legitimado ms la necesidad de evaluar la calidad que la pertinencia educativa.

Luis Simehttp://blog.pucp.edu.pe/luissime