1. LOS RESULTADOS DE APRENDIZAJES ESCOLARES:UNA DISCUSIN
METAEVALUATIVA DESDE LAS SOCIEDADESQUE LOS PRODUCEN Prof. Dr. Luis
Sime Poma. Nov. 2008 2. Justificacin:
- Los resultados de las pruebas estandarizadas en el mbito
escolar tanto a escala nacional como internacional han abierto una
etapa distinta en las polticas educativas que permiten tiposde
medicin y comparacin al interior de los pases como a nivel
internacional.
- No obstante dicho avance, el riesgo es a una lectura
descontextualizada de los resultados sin considerar a la sociedad
que los produce y que nos permita elaborar imgenes ms complejas de
dnde provienen los resultados obtenidos, cul es esa sociedad
realmente existente detrs de los datos.
Luis Simehttp://blog.pucp.edu.pe/luissime 3.
- Estas correlaciones contextuales y referenciales con otros
aspectos de la sociedad contribuyen a una visin ms amplia y crtica
de los resultados de aprendizajes y una prudencia mayor para
establecer comparaciones e intereses de transferibilidad de ciertos
modelos educativos que responden tambin a modelos de
desarrollo.
Luis Simehttp://blog.pucp.edu.pe/luissime 4. 2. Objetivos o
propsitos de la investigacin
- Contribuir a un debate ms crtico sobre el anlisis de los
resultados de aprendizaje basados en pruebas estandarizadas desde
una perspectiva metaevaluativa contextualista y de paradigmas de
desarrollo.
- Relacionar los resultados de los aprendizajes de pruebas
internacionalesPISA (2006) con otros datos relevantes de lamisma
sociedad.
Luis Simehttp://blog.pucp.edu.pe/luissime 5. 3. Perspectivas o
aproximacin conceptual .
- 3.1. Desde un enfoque metaevaluativo contextualista
- 3.2. Desde un enfoque sobre educacin y desarrollo
Luis Simehttp://blog.pucp.edu.pe/luissime 6. 3.1. Desde un
enfoque metaevaluativo contextualista
- En este camino de reconceptualizacin, retomando un trabajo
previo (Sime 2005), proponemos entender la metaevaluacin
contextualista comola reflexin crtica y pluridisciplanria de los
procesos, instrumentos y resultados de evaluaciones a la luz de los
contextos sociales en las cuales se insertan.
- Las pruebas estandarizadas que se han aplicado a nivel
nacional, latinoamericano e internacional en las ltimas dcadas
constituyen un discurso, una prctica y una poltica evaluativa que
exige de planteamientos metaevaluativos crticos, contextualistas y
pluridisciplinarios como los que propone Bonnet (2006) al llamar la
atencin en las singularidades lingsticas y culturales en las
evaluaciones internacionales de PISA, haciendo suya la pregunta: en
qu medida la evaluacin de las competencias de los alumnos en este
estudios comporta sesgos culturales diversos que haran difcil o
errnea la comparacin entre los pases? (p.92); o las reflexiones de
diversos autoresincluidas en Iaies (2003) cuyo propio ttulo nos da
un aliento metaevaluativo desde la poltica: Evaluar las
evaluaciones. Una mirada poltica acerca de las evaluaciones de la
calidad educativa.
Luis Simehttp://blog.pucp.edu.pe/luissime 7.
- Una cuarta vertientees la que se dirigea relacionar los
resultados PISA con variables macro sociales.Entre ellas se destaca
aquella que visualiza una relacin entre dichos resultados con el
PBI del pas o nivel de inversin en educacin. Nuestro aporte se sita
en esta vertiente.
- En efecto, nuestra perspectiva opta porsituar los datosdesde
los contextos sociales que los han generado.Detrs de dichos
resultados existen sociedades cuya complejidad en la produccin de
esos resultados queda implcita y sin una interpretacin ms
sistmica.En ese sentido, se busca interrogar los datos desde la
misma sociedad.
- A su vez, los anlisis que han buscado relacionarlos resultados
de las pruebas estandarizadas sobre ciertos tipos de aprendizajes
como los informes PISA con otros datos ms all del sistema
educativo, han estado mayormente correlacionados con el factor
econmico, especialmente con el PBI de los pases
(HanushekyWmann2007) siendo ms escasos los anlisis que hayan
intentado anlisis estadsticos o reflexiones crticas con otros
factores de las sociedades.
Luis Simehttp://blog.pucp.edu.pe/luissime 8. 3.2. Desde un
enfoque sobre educacin y desarrollo
- Desde este punto de vista, la interaccin entre educacin y
desarrollo requiere ser pensada ms all del reduccionismo
economicista que privilegia las variables vinculadas al crecimiento
econmico sin integrar otras dimensiones que son igualmente
importantes en el desarrollo de la sociedad.
Luis Simehttp://blog.pucp.edu.pe/luissime 9.
- El repensar el rol de la educacin en funcin de la construccin
de un paradigma de desarrollo alternativo, implica considerar ms
profundamente la relacin entre la educacin con variables que
representen la situacin de sustentabilidad ambiental de una
sociedad, as como la situacin de salud y de violencia.Este
cuestionamiento desde esas variables nos lleva inscribir los
procesos educativos como parte de las experiencias conflictivas que
la sociedad hace por un desarrollo sustentable, saludable y
pacfico.
Luis Simehttp://blog.pucp.edu.pe/luissime 10. 4. Mtodos, tcnicas
o modos de anlisis y fuentes de informacin
- El estudio establece relaciones entre los datos PISA
2006basados en resultados de ciencias, con las variables e
indicadores siguientes:
- 1. ambiental (emisin de gases invernadero C02)
- 2. salud (obesidad, tabaquismo y cncer)
Luis Simehttp://blog.pucp.edu.pe/luissime 11.
- Se seleccionaron 20 pases(66.6%) de los 30 que conforman la
OECD entre los cuales 12 (44%) pertenecen a la Unin Europea- sobre
los cuales la informacin de PISAy otras requeridas para el estudio,
aportadas por fuentes confiables, permitieranla comparacin de la
informacin sobre datos que no ms atrs del 2002 y sin buscar una
correlacin estadstica sino referencial entre las variables
estudiadas. Este parmetro de seleccin (solo pases OCDE, y fuentes
desde el 2002) fue estrechando el nmero de pases a los aqu
seleccionados.
Luis Simehttp://blog.pucp.edu.pe/luissime 12. 5. Resultados y /o
conclusiones preliminares
- a) Relaciones entre resultados PISA y la variable ambiental
(emisin de gases C02)
- b) Relaciones entre resultados PISA y la variable salud
(obesidad)
- c) Relaciones entre resultados PISA y la variable salud
(tabaquismo)
- d) Relaciones entre resultados PISA y la variable salud
(cncer)
- e)Relaciones entre resultados PISA yla variable violencia
(suicidio)
Luis Simehttp://blog.pucp.edu.pe/luissime 13. Tabla 3 Comparacin
entre resultados PISA (2006/ ciencias) y emisin de C02 (2004) en
pases de OECD Luis Simehttp://blog.pucp.edu.pe/luissime Countries
OECD PISA 2006 Countries OECD C02-2004% 1 Finland 563 1 United
States 22.2 2 Canad 534 2 Japan 4.6 3 Japan 531 3 Germany 3.1 4 New
Zealand 530 4 Canada 2.3 4 Switzerland 530 5 United Kingdom 2.2 5
Australia 527 6 Korea 1.7 6 Netherlands 526 6 Italy 1.7 7 Korea 522
7 Mexico 1.6 8 Germany 516 8 France 1.4 9 United Kingdom 515 9
Spain 1.2 10 Austria 505 9 Australia 1.2 11 Sweden 502 10 Polonia
1.1 12 Ireland 501 11 Netherlands 0.5 13 France 495 12 Austria 0.3
13 Polonia 495 13 Finland 0.2 14 Hungary 491 13 Hungary 0.2 15
United States 489 13 Sweden 0.2 16 Spain 488 13 Ireland 0.2 17
Italy 462 13 Switzerland 0.2 18 Mexico 406 14 New Zealand 0.1 14.
Tabla 7Comparacin entre resultados PISA (2006/ ciencias) y nmero de
muertes por cien mil habitantes de suicidio en la poblacin en pases
de OECD (2003-2007) Luis Simehttp://blog.pucp.edu.pe/luissime OECD
PISA 2006 OECD Suicidio 2003-07 1 Finland 563 1 Korea 21.5 2 Canada
534 2 Hungary 21 3 Japan 531 3 Japan 19.1 4 New Zealand 530 4
Finland 18 4 Switzerland 530 5 France 14.6 5 Australia 527 6
Switzerland 14.1 6 Netherlands 526 7 Polonia 13.2 7 Korea 522 8
Austria 12.6 8 Germany 516 9 New Zealand 11.9 9 United Kingdom 515
10 Sweden 11.1 10 Austria 505 11 Australia 10.2 11 Sweden 502 11
Canada 10.2 12 Ireland 501 12 United States 10.1 13 France 495 13
Germany 9.2 13 Polonia 495 13 Ireland 9.2 14 Hungary 491 14
Netherlands 8.1 15 United States 489 15 United Kingdom 6.6 16 Spain
488 16 Spain 6.3 17 Italy 462 17 Italy 5.5 18 Mexico 406 18 Mexico
4.4 15. 5.2. Conclusiones preliminares.
- Conclusiones del anlisis horizontal sobre los pases ubicados en
la mitad superior de PISA
- Un anlisis horizontal de las variables estudiadas nos permite
sealar que aquel grupo de pases de la OECD que ocupan la mitad
superior en los resultados PISA a su vez ocupanen ms de un 50%la
mita superior de tres variables (C02, Obesidad y Suicidio) y en las
otras variables (Tabaquismo y Cncer) representan entre el 40 y 44%
de las respectivas mitades superiores.
Luis Simehttp://blog.pucp.edu.pe/luissime 16. Tabla N 8 Ubicacin
de pases en mitad superior de PISA en cinco variables Luis
Simehttp://blog.pucp.edu.pe/luissime OECD PISA C02 Obesidad
Suicidio Tabaquismo Cancer Finland 1 13 9 4 13 19 Canada 2 4 6 11
16 7 Japan 3 2 19 3 7 27 New Zealand 4 14 4 9 14 6 Switzerland 4 13
18 6 4 18 Australia 5 9 7 11 15 12 Netherlands 6 11 14 14 1 3 Korea
7 6 20 1 8 13 Germany 8 3 10 13 10 11 United Kingdom 9 5 3 15 12 5
% de mitad superior 71% 60% 55.50% 44% 40% Total puestos 18 puestos
14 puestos 20 puestos 18 puestos 18 puestos 20 puestos 17.
- b) Conclusiones del anlisis horizontal sobre los pases ubicados
en la mitad inferior de PISA
- Respecto al grupo de pases de la OCDE de nuestra muestra que
ocupa en PISA la mitad inferiorexiste un segmento de ellos que en
cuatro de las cinco variables estudiadas (Tabaquismo, cncer y
suicidio), se encuentran en la mitad superior de dichas variables,
representado entre 55% y 66%de dichas mitades, y en las otras dos
variables (C02 y obesidad ) menos del 40%.
Luis Simehttp://blog.pucp.edu.pe/luissime 18. Tabla N 9 Ubicacin
de pases en mitad inferior de PISA en cinco variables Luis
Simehttp://blog.pucp.edu.pe/luissime OECD PISA Tabaquismo Cancer
Suicidio Obesidad C02 Austria 10 10 14 8 13 12 Sweden 11 18 16 10
15 13 Ireland 12 3 4 13 11 13 France 13 9 9 5 16 8 Polonia 13 6 2 7
12 10 Hungary 14 2 1 2 5 13 United States 15 17 10 12 1 1 Spain 16
5 15 16 8 9 Italy 17 11 8 17 17 6 Mexico 18 5 20 18 2 7 % de mitad
superior 66% 60% 55.50% 40% 28.50% Puestos totales 18 puestos 18
puestos 20 puestos 18 puestos 20 puestos 14 puestos 19.
- c) Conclusiones especficas sobre ciertos pases.
- El caso de Finlandia podramos configurarlo como un pas con muy
alto nivel de resultados en PISA (1er puesto) pero que a su vez es
alta su tasa de suicidio (el 4to puesto pero en realidad el 1ero de
la Europa ms occidental en nuestra muestra si asumimos a Hungra con
una tradicin ms de Europa del este) y mediana su tasa de poblacin
con obesidad (el puesto 9 de 20); siendo ms bien bajo en su nivel
de emisin de gases C02, (13 de 14 puestos), cncer (19 de 20
puestos) y su tasa de tabaquismo (13 de 18 puestos).De no ser por
el puesto que ocupa en suicidio podramos decir que es una sociedad
que ha logrado construir unacoherencia significativa entre su nivel
educativo, y otras variables para un desarrollo sustentable,
saludable y pacfico.
Luis Simehttp://blog.pucp.edu.pe/luissime 20.
- El segundo caso muy singular es el de Estados Unidos cuyo nivel
de rendimiento es bajo en PISA tanto en nuestra muestra donde ocupa
la mitad inferior como si tomramos de referencia el promedio OCDE
de 500 puntos, EEUU tambin es inferior a dicho promedio (489)
aunquesuperior al Total Internacional (461). El contraste del caso
norteamericano es que estando con puntajes bajos en PISA, ocupa a
la vez puntajes muy altos en emisin de gases C02 y en obesidad, el
primer puesto en ambas variables, y una posicin intermedia en cncer
(puesto 10 de 20), quedando ms hacia abajo en la tabaquismo (17 de
18 puestos) y en suicidio (12 de 18 puestos).Este es el nico pas de
nuestra muestra de 20 pases de la OECD que ocupa los primeros
puestos en dos variables diferentes que son de alto sensibilidad
para el desarrollo sustentable y saludable.
Luis Simehttp://blog.pucp.edu.pe/luissime 21.
- El tercer caso es el de Hungra, un pas cuyos resultados en PISA
pertenecen a la mitad inferior en nuestro anlisis, aunque con sus
491 puntosse acerca alpromedio de la OCDE de 500 puntos y por
supuesto superior al Total Internacional de PISA 2006 (461). Lo que
llama la atencin de este pas es los puestos que ocupa en las
variables de salud vinculadas a los indicadores de cncer, donde
ocupa el primer puesto, y a los de tabaquismo y suicido, donde
ocupa el segundo puesto para ambos casos, y el quinto puesto en
obesidad. Es decir, en cuatro de las cinco variables estudiadas
revelan problemas muy serios para construir una sociedad basada en
un desarrollo sustentable, saludable y pacfico, aunque sus
resultados en PISA se acerquen al promedio de la OCDE.
Luis Simehttp://blog.pucp.edu.pe/luissime 22.
- d) Pistas para una mayor indagacin
- 1era pista: las sociedades paradjicas
- PISA 2006 nos ofrece una imagen de la situacin educativa de los
pases en funcin a su rendimiento respecto a ciencia resultando
paradjico que aquellos pases que evidenciando un alto resultado en
esta rea pertenezcan justamente a pases donde el desarrollo
cientfico y tecnolgico junto ha un tipo de industrializacin y
estilos de vida hanproducido graves problemas para la calidad de
vida de su poblacin y ms all de ella. Cmo es que se puede estar
aparentemente muy bien en educacin escolar cientfica y estar a la
vez en niveles crticos en variables claves de la sociedad? Cmo hace
dichas sociedades para construir esos desdoblamientos?
Luis Simehttp://blog.pucp.edu.pe/luissime 23.
- 2da pista: Evaluar la calidad: y la pertinencia?
- Las evaluaciones estandarizadas tanto internacionales y
nacionales se han legitimado sobre un discurso de la calidad
educativa centrada en medir competencias en lecto escritura y
matemtica centralmente, aunque PISA 2006 incluy por primera vez un
conjunto de preguntas explcitas sobre temas ambientales que
debieran ser ms permanentes, al igual que otros temas ms bien casi
ausentes referidos por ejemplo a las epidemias que hemos analizado
previamente. Es decir, los esfuerzos han estado ms dirigidos a
evaluar competencias bsicas que a competencias en torno a temas
cruciales que estarn marcando negativamente el contexto mundial y
nacional de este siglo.Ello nos sugiere que se ha legitimado ms la
necesidad de evaluar la calidad que la pertinencia educativa.
Luis Simehttp://blog.pucp.edu.pe/luissime