INEE - México PISA 2009 Completo

8/3/2019 INEE - Mxico PISA 2009 Completo

1/289


2/289


3/289

2

Mxico en PISA 2009

MXICO EN PISA 2009

Directora de Comunicacin y DiusinAriella Aureli Sciarreta

Coordinacin EditorialSubdirector de DiusinPedro Rangel Garca

Correccin de estiloCsar Rebolledo GonzlezNorma Alaro AguilarMara Esther Saldvar Chvez

Diseo grfco y composicin electrnicaJuan Cristbal Ramrez Peraza

INSTITUTO NACIONAL PARA LA EVALUACIN DE LA EDUCACINJos Ma. Velasco 101- 5. Piso, Col. San Jos Insurgentes,Delegacin Benito Jurez, Mxico, 03900, D.F.

Primera edicin 2010

El contenido, la presentacin, as como la disposicin en conjunto y de cada pgina de esta obra son propie-dad del editor. Se autoriza su reproduccin parcial o total por cualquier sistema mecnico, electrnico yotros, citando la uente.

Impreso en Mxico

ISBN: XXX-XXX-XXXX-XX-X


4/289

3

Contenido

Presentacin 5Introduccin 9

Captulo 1 13Descripcin general de PISA

Captulo 2 27Administracin de PISA 2009 en Mxico

Captulo 3 43Desempeo en LecturaCaptulo 4 83

Desempeo en CienciasCaptulo 5 99Desempeo en MatemticasCaptulo 6 115Comparativo de Lectura 2000-2009 en MxicoConclusin 139Anexos

Anexo 1. Tablas de datos 155Anexo 2. Reactivos de Lectura de PISA 2009 229Anexo 3. Pases miembros y asociados que han participado en los ciclos de PISA 269Anexo 4. Relacin de participantes 271Anexo 5. La enseanza de la lectura en Mxico: resea histrica 275


5/289


6/289

5

Presentacin

El InstItuto nacIonalparala EvaluacIn de la Educacin (INEE), desde 2003, esla institucin responsable de coordinar en Mxico la implementacin del Progra-ma para la Evaluacin Internacional de Estudiantes (PISA por sus siglas en ingls) entodas sus ases. En esta entrega se presentan resultados de la aplicacin del Programa en2009 que midi, al igual que en el ao 2000, la Lectura como rea principal y a Mate-mticas y Ciencias como reas secundarias. En esta ocasin ser posible realizar compa-raciones en el tiempo que permitirn observar tendencias en el desempeo de jvenesmexicanos de 15 aos que se encontraban en la escuela.

La inormacin derivada de la aplicacin de la prueba PISA 2009, as como de loscuestionarios de contexto que la acompaan es muy amplia, por lo que puede y debe serobjeto de mltiples y diversos anlisis y estudios. En este inorme nacional slo se pre-sentan algunos resultados producto de los primeros anlisis generales, de manera que sudiusin sea simultnea con el inorme internacional elaborado por la Organizacin parala Cooperacin y el Desarrollo Econmico (OCDE).

Adems del inorme internacional y el nacional mencionados, se contar con unreporte especial para Mxico elaborado por la OCDE a solicitud de la Secretara de Edu-cacin Pblica. Cada inorme tiene un nasis particular y una mirada propia sobre losdatos que los dierencia. El inorme internacional abarca todos los pases participantes(miembros y no miembros de la OCDE), en tanto que el reporte adicional sobre Mxicodestaca las tendencias de sus resultados, as como comparaciones internacionales conalgunas naciones como el caso del G-20 y pases con producto interno bruto (PIB) simi-lar. Por su parte, el inorme nacional, preparado por el INEE, presenta comparacionesde los resultados de Mxico con un conjunto de pases seleccionados ex proeso, comoel caso de los iberoamericanosy, sobre todo, centra su atencin en el anlisis al interior

del pas a n de indagar sobre los avances nacionales logrados o, cuando ue posible, delos alcanzados por las entidades ederativas.Conocer el lugar que ocupa Mxico en distintas listas de pases o el ordenamiento

de las entidades ederativas al interior de la nacin segn las comparaciones que seelijan realizar seguir siendo objeto de revisiones y refexiones. Si bien los ordena-mientos no se pueden evitar, es indispensable explicitar los undamentos y las decisio-nes que los sustentan para que tengan signicado desde la perspectiva del desarrollode la educacin.


7/289

6

Mxico en PISA 2009

Es importante insistir en la naturaleza del diseo de esta prueba internacional a granescala y destacar que el verdadero sentido de su aplicacin e interpretacin de resultadosse orienta a proporcionar elementos para sustentar decisiones de poltica educativa. s-

tas, traducidas en programas, acciones y presupuestos, debern contribuir a mejorar demanera signicativa la calidad y equidad de la educacin, especialmente la de aquellossectores de la poblacin histricamente ms desavorecidos.

Para dar su justa dimensin a los resultados de PISA 2009, es necesario tener presentes lassiguientes consideraciones. Primera: cualquier resultado educacional debe ser ledo en el con-texto social, cultural y econmico de la poblacin evaluada y ha de analizarse en uncin delas oportunidades o limitaciones que ste le orece, pues no es igual lograr las competen-cias en un contexto rodeado de estmulos que avorecen el desarrollo, a lograr competenciasen un contexto con carencias y limitaciones. De esta manera, cuando un joven muestra eldesempeo de sus competencias en un ambiente avorable, debe reconocerse aunque seaun hecho altamente esperable. Pero si los jvenes se desarrollan en ambientes poco estimu-lantes y logran una progresin en el desarrollo de sus competencias, no slo es importanteevidenciar el esuerzo, sino adems debe dimensionarse lo que representa.

La segunda est relacionada con la tradicin de celebrar los grandes resultados yminimizar los resultados pequeos, graduales y de largo alcance. Esta tendencia tienegraves riesgos porque nos puede llevar a los extremos, es decir, a diundir solamente lostriunos nunca tantos como se desean o los grandes racasos, lo que resulta pocoapropiado para estimular las transormaciones continuas y paulatinas.

La tercera est vinculada con las anteriores y relacionada con el grupo de jvenes dequince aos que obtuvieron mejores resultados en PISA 2009. Dar cuenta de sus logroses visibilizar sus esuerzos y hacerlos patentes ante sus propios ojos, en el entendido de

que el reconocimiento de los mismos, es un estmulo que puede propiciar otros ms enel uturo.

Una ltima consideracin se reere a la necesidad de ver en perspectiva los resulta-dos de la presente evaluacin de PISA. Esto es, los estudiantes de 15 aos sujetos de estaevaluacin iniciaron nueve o diez aos antes su educacin bsica; en el ao 2000 seencontraban en primero o segundo de primaria. Esto pone de relieve el hecho de que eldesempeo observado en los resultados de 2009 se debe, entre otros actores, al trabajoacumulado y progresivo de maestros y alumnos durante nueve ciclos escolares.

Al tener presentes estas consideraciones, se puede armar que los avances logradosen los resultados de PISA 2009 merecen ser reconocidos en el marco de las condiciones

sociales y econmicas en que vive una parte signicativa de los jvenes mexicanos. Estaconciencia permite dimensionar tanto los logros como el esuerzo que implicaron. Elavance en los resultados permite suponer que algo empieza a suceder y que tuvieronlugar transormaciones en el saber y saber hacer de esos jvenes de 15 aos, los cualesimpactarn sus proyectos de vida.

Por el propio carcter de la prueba y de las inormaciones que la acompaan, nocontamos con elementos para decir en qu grado infuyeron las prcticas docentes, lasacciones de los padres y madres, la gestin de autoridades escolares o el impacto de


8/289

7

algunos de los programas impulsados para contribuir a mejorar la calidad educativa. Sinembargo, los datos y la estadstica muestran avances y con ello se abre la posibilidad deestablecer nuevos mbitos de indagacin y, en consecuencia, de intervencin.

No debemos olvidar que los resultados de la evaluacin tienen sentido si y slo si sonutilizados para transormar una realidad; en este caso, la educacin en cada saln declases y en cada escuela. Por ello es importante promover una comprensin de los datoscon sentido y contexto, pues de esta manera se podrn impulsar nuevos esuerzos, tantode jvenes mexicanos como de docentes, padres, autoridades y uncionarios.

En otro orden de ideas, este inorme nacional es producto de una labor intensa y mi-nuciosa que signic muchas horas de trabajo de un grupo amplio de personas. El INEEexpresa su proundo agradecimiento a las reas Estatales de Evaluacin que conormanel Consejo Consultivo y cuya participacin en sta y otras evaluaciones es undamental.Nuestro reconocimiento a los maestros que ormaron parte de los grupos que elabora-ron unidades de reactivos y codicaron casi un milln de respuestas abiertas.

Asimismo, el agradecimiento del Instituto a los directivos y docentes de las es-cuelas de educacin secundaria o de educacin media superior donde se localiz a losalumnos de la muestra. Tambin un reconocimiento a los estudiantes que generosamen-te participaron en el estudio al responder la prueba y el cuestionario de contexto.

Mencin especial merece la Direccin de Proyectos Internacionales y Especiales delpropio INEE y las personas que la integran, ya que en ella recae la delicada responsabi-lidad de la operacin del Proyecto PISA desde su organizacin hasta el punto de llegadaque es preparar, redactar y presentar el inorme nacional, y que continuar con el desa-rrollo de otros estudios y anlisis.

Asimismo, se reconoce a la Direccin de Relaciones Nacionales y Logstica del Insti-

tuto su diligente trabajo en el proceso de las aplicaciones piloto y denitiva, las cualesexigen una coordinacin ecaz interna y con las entidades ederativas. Tambin se in-cluye a la Direccin de Inormtica que llev a cabo la captura de datos, a la DireccinGeneral Adjunta que realiz revisiones acuciosas de distintos borradores del inormenacional, y a la Direccin de Indicadores Educativos por su apoyo con inormacionesestadsticas adicionales.

En el Anexo 4 se encuentra la relacin completa de las personas que participaron enel complejo proceso de PISA 2009, iniciado en el ao 2007.

No se puede concluir esta breve presentacin sin mencionar el acompaamiento gene-roso y cuidadoso del Consejo Tcnico del Instituto, cuyas aportaciones, siempre pertinen-

tes y enriquecedoras, ortalecen el trabajo institucional. Asimismo, se agradece a la JuntaDirectiva por seguir con atencin y cuidado las distintas ases del proceso de PISA 2009.De igual manera, se agradece el apoyo otorgado en algunas actividades del proceso

de PISA 2009 a la Secretara de Educacin Pblica a travs de las Subsecretaras de Edu-cacin Bsica y Educacin Media Superior, y de la Unidad de Evaluacin de PolticasEducativas, as como a la Ocina de la OCDE en Mxico.

El INEE tambin reconoce el constante inters de los medios de comunicacin, quie-nes contribuyen a diundir los resultados de PISA.


9/289

8

Mxico en PISA 2009

Con esta nueva entrega de resultados educacionales, el Instituto ratica su compro-miso de realizar evaluaciones conables y vlidas de la calidad de la educacin nacional,a n de aportar elementos a la toma de decisiones que permitan mejorar los procesos

pedaggicos de cada aula y escuela. Aspiramos a que, cuando este Inorme sea entregadoa las autoridades educativas, a los maestros, a los padres de amilia y a otros sectores dela sociedad mexicana, se avive el inters genuino por la educacin de las nuevas genera-ciones y se clariquen los caminos que an hay por andar.

No olvidemos que es relevante dimensionar los resultados de las evaluaciones y com-prender que a partir de stos podemos construir nuevas posibilidades para ormar mejoresciudadanos, lograr mejores prcticas educativas, contar con escuelas de mayor calidad,ortalecer nuestro Sistema Educativo y construir una sociedad mejor, ms humana y conrelaciones ms equitativas y justas.

Margarita Zorrilla Fierro

Directora General

Mxico, diciembre de 2010


10/289

9

Introduccin

La presente obra expone los resultados sobre el rendimiento de los estudiantes mexi-canos de 15 aos en las reas o competencias de Lectura, Ciencias y Matemticas en laprueba realizada por el Programa para la Evaluacin Internacional de Estudiantes (PISA,

por sus siglas en ingls) en 2009. El objetivo es dar cuenta de los resultados ms relevan-tes tanto desde una perspectiva nacional como internacional.El inorme est conormado por seis captulos y una seccin de conclusiones. El ca-

ptulo 1, Descripcin general de PISA 2009, orece a los lectores la inormacin generalacerca de PISA. Se describen sus caractersticas principales, particularmente su propsi-to, los pases participantes y los aspectos metodolgicos que lo caracterizan, as comolos aspectos que distinguen este ciclo. El captulo cierra con un apartado sobre el uso delos resultados que aporta esta prueba.

El segundo captulo,Administracin de PISA 2009 en Mxico, incluye inormacin so-bre la administracin de la prueba en Mxico y detalla las responsabilidades del Insti-tuto Nacional para la Evaluacin de la Educacin (INEE) como coordinador de la ad-

ministracin de PISA en el pas. Un tema central en este captulo es la caracterizacinde la muestra y de la poblacin, o universo, considerados por este estudio. Adems, sebrindan a los lectores elementos para interpretar correctamente los resultados del inor-me. Se explica la orma en que estn construidas las escalas en las que se reportan laspuntuaciones de PISA, as como la conormacin y sentido de los niveles de desempeoque se denen en cada una de ellas. Se puntualizan tres aspectos de los resultados quese repiten en cada nivel de anlisis: las medias de las puntuaciones obtenidas por losestudiantes; los porcentajes de alumnos que se sitan en cada nivel de competencia, yel anlisis de la dispersin entre los percentiles 5 y 95.

Los captulos 3, 4 y 5,Desempeo en Lectura, Ciencias y Matemticas: perspectiva inter-

nacional y nacional (un captulo por rea, respectivamente), presentan los resultados delrendimiento de los estudiantes en cada una de las reas. Su estructura es similar, puescomienzan con un panorama conceptual de cada competencia (denicin y dimen-siones), seguido por las medias de desempeo de la escala global para los 65 pases, yposteriormente el anlisis se concentra en las medias y porcentajes de estudiantes enlos niveles de desempeo de un grupo de 22 pases seleccionados, para nalizar con lasdispersiones de las puntuaciones en los percentiles 5 y 95.


11/289

10

Mxico en PISA 2009

En este inorme los resultados de Mxico no se comparan siempre con los de todoslos pases que participaron en PISA 2009, sino con un subconjunto de 22 naciones, in-tegrado de la siguiente manera:

Cuatro pases con resultados extremos: dos particularmente altos,

Shanghi-China y Corea del Sur, y dos especialmente bajos, Azerbaiyn y Kirguis-tn.Canad y Estados Unidos, como socios comerciales y vecinos.Los 10 pases iberoamericanos, incluido Mxico, por similitud cultural y nivel dedesarrollo: Argentina, Brasil, Chile, Colombia, Espaa, Panam, Per,Portugal y Uruguay. Estos pases constituyeron desde 2005 el Grupo Ibero-americano de PISA (GIP), con propsitos de apoyo mutuo.Seis pases seleccionados a partir un anlisis de conglomerados: FederacinRusa, Indonesia, Italia, Polonia, Tailandia y Turqua.

Gracias a lo anterior, el inorme nacional permite comparar la situacin de Mxico conla de otros pases de manera ms signicativa, sin detrimento de la comparacin con elresto de los pases participantes. sta podr verse con detalle en el inorme internacionalas como en un reporte especial sobre Mxico preparado por la OCDE a solicitud expre-sa de la Secretara de Educacin Pblica, en el cual se hace nasis en la comparacininternacional.

Adems del promedio OCDE, que incluye a los pases que pertenecen a este organis-mo, se incorpor un elemento nuevo: el promedio de Amrica Latina (AL). Este ltimopermite tener un reerente ms propicio para Mxico pues abarca a los pases de AmricaLatina participantes en PISA 2009: Argentina, Brasil, Chile, Colombia, Mxico, Panam,Per y Uruguay.

Es necesario aclarar que slo en el captulo 3, el reerido a la competencia lectora, seincluyen las medias y porcentajes de estudiantes en los niveles de desempeo de las tressubescalas (Acceder y recuperar, Integrar e interpretary Refexionar y evaluar), dado que setrata del rea prioritaria en este ciclo. En el caso de las reas no prioritarias -Matemticasy Ciencias - no hay medicin de subescalas sino slo la escala global.

El captulo 6, Comparativo de lectura 2000-2009 en Mxico, es sin duda especial y sedierencia de los inormes anteriores, pues en l se hace el recuento de los resultados detal orma que permite analizar, en perspectiva, de manera conable y consistente, losdesempeos de ambos ciclos con el n de posibilitar juicios sobre si se avanz o no eneste perodo en la competencia lectora de la poblacin estudiantil de 15 aos.

El anlisis comparativo de estos dos ciclos slo se expresa a nivel nacional sin lasentidades ederativas, debido a que en el ao 2000 Mxico no particip con una muestraampliada. Los anlisis que se presentan incluyen medias de desempeo, porcentajes deestudiantes en los dierentes niveles de desempeo y la dispersin del rendimiento de losestudiantes.

Con el propsito de explicar estos resultados se incluyen actores demogrcos, eco-nmicos, educativos y otros que contribuyen a identicar la infuencia del entorno enlos desempeos, as como los cambios ocurridos.


12/289

11

En la Conclusin se resumen los principales hallazgos. Se muestra el balance del com-parativo de lectura 2000-2009 en Mxico y se presentan de manera sucinta los esuerzosrealizados para el omento de la lectura en el pas, as como la relacin entre los nuevos

programas de primaria y secundaria, y la competencia lectora de PISA. La Conclusinnaliza con dos apartados: las implicaciones y retos para las polticas educativas y lasugerencia de uturos estudios.

Es conveniente mencionar que a dierencia de los inormes anteriores, en ste se pri-vilegia el anlisis por entidad ederativa, dado que se cuenta con una muestra ampliadacon representatividad nacional y por entidad, como se tuvo en 2003 y 2006. Adems,como parte de los resultados de PISA 2009 no se incluyen los anlisis por modalidadni por nivel educativo, debido a que este tipo de resultados es ms pertinente para laopcin de grado en la que Mxico tambin particip con una muestra nacional de es-cuelas y estudiantes del ltimo grado de Educacin Media Superior, que ser motivo deun reporte especial.


13/289


14/289

13

CAPTULO 1

Decrcn generl de pisa

Introduccin

Losestudiantesestnbienpreparados para enrentar los retos del uturo? Soncapaces de analizar, razonar y comunicar sus ideas de manera ecaz? Este es el tipo

de preguntas que busca responder el Programa para la Evaluacin Internacional de

los Estudiantes (Programme or International Student Assessment, PISA).

Para introducir al lector al contenido de PISA, en este primer captulo se tratan algu-

nas caractersticas generales del Programa. Se especica de inicio el propsito del mismo

y la relacin de los pases que intervinieron en el ciclo 2009. Enseguida se presenta la

parte central de este apartado, a saber, la descripcin metodolgica del proyecto en rela-

cin con la poblacin objetivo, la seleccin de la muestra de escuelas y los instrumentos

de medicin utilizados.

PISA se sustenta en un enoque de evaluacin especco, por lo que en esta seccin seabordan sus undamentos y se mencionan las reas o dominios que mide. En esta oca-

sin, por ser Lectura el rea prioritaria, se detallan los rasgos novedosos en la medicin

de este dominio. Finalmente, se subraya la importancia del proyecto como uente de

inormacin que contribuye a la toma de decisiones en materia de polticas educativas.

Qu es PISA?

Es un estudio peridico y comparativo, promovido y organizado por la Organizacin

para la Cooperacin y el Desarrollo Econmicos (OCDE), en el cual participan los pases

miembros y no miembros de la organizacin (asociados).

Su propsito principal es determinar en qu medida los estudiantes de 15 aos, que

estn por concluir o han concluido su educacin obligatoria, han adquirido los cono-

cimientos y habilidades relevantes para participar activa y plenamente en la sociedad

moderna.

PISA se centra en la capacidad de los estudiantes para usar los conocimientos y habi-

lidades y no en saber hasta qu punto dominan un plan de estudios o currculo escolar.

Por ello, no mide qu tanto pueden reproducir lo que han aprendido, sino que indaga


15/289

14

Mxico en PISA 2009

lo que en PISA se denomina competencia (literacy); es decir, la capacidad de extrapolar lo

que se ha aprendido a lo largo de la vida y su aplicacin en situaciones del mundo real, as

como la capacidad de analizar, razonar y comunicar con ecacia al plantear, interpretar

y resolver problemas en una amplia variedad de situaciones.La inormacin derivada de PISA permite identicar el nivel de competencia de los

estudiantes, en comparacin con los de otros pases participantes. Ayuda a identicar

ortalezas y debilidades del sistema educativo nacional y, sobre todo, permite detectar

qu actores se asocian con el xito educativo.

PISA es un estudio de evaluacin riguroso, estandarizado y con elevados controles de

calidad en todas sus etapas, lo que asegura su validez y conabilidad.

En trminos generales, sus caractersticas principales son:

Uso de un concepto innovador de competencia ( literacy).

Le da importancia al aprendizaje a lo largo de la vida.

Maneja ciclos denidos, lo que permite el monitoreo del progreso educativo.

Cuenta con una amplia cobertura geogrca.

Se orienta hacia la poltica educativa.

Pases participantes

En PISA 2009 se han incorporado ms pases con respecto a los ciclos anteriores. En el ao

2000, el estudio se realiz en 43 pases, en el 2003 en 41 y en el 2006 en 57. 1 En la Tbl1.1 se enlistan los 65pases2 que participaron en 2009, 34 son miembros de la OCDE y31 son pases asociados y economas.3

Es preciso aclarar que Chile, Eslovenia, Estonia e Israel participantes en PISA

2009 slo recientemente ingresaron como miembros de la OCDE. Esto ltimo tuvoimplicaciones en el manejo de los datos, ya que para el clculo de la media de la OCDE y

de los ndices se tom en cuenta a los actuales 34 miembros. Esto signica que la media

de los pases miembros de la OCDE en PISA 2009 no es estrictamente comparable con

las medias de los ciclos de 2000 a 2006.

En total, participaron aproximadamente 475,000 estudiantes seleccionados al azar,

quienes representan a cerca de 22 millones de jvenes de 15 aos inscritos en las escue-

las de estos 65 pases.

1 En elAnexo 3 se pueden revisar los pases participantes en los dierentes ciclos.

2 En el reporte se emplean los trminos de Montenegro y Serbia para reerirse, respectivamente a la Repbli-ca de Montenegro y la Repblica de Serbia.

3 Se llama economas a regiones administrativas de un pas, como Hong Kong y Shanghi.


16/289

15

Tabla 1.1 Pases participantes, PISA 2009

MIEMBROS DE LA OCDE ASOCIADOS

1. Alemania 19. Irlanda 1. Albania 19. Montenegro

2. Australia 20. Islandia 2. Argentina 20. Panam

3. Austria 21. Israel 3. Azerbaiyn 21. Per

4. Blgica 22. Italia 4. Brasil 22. Qatar

5. Canad 23. Japn 5. Bulgaria 23. Rumania

6. Chile 24. Luxemburgo 6. Colombia 24. Serbia

7. Corea del Sur 25. Mxico 7. Croacia 25. Shanghi-China

8. Dinamarca 26. Noruega 8. Dubi-EAU 26. Singapur

9. Eslovaquia 27. Nueva Zelanda 9. Federacin Rusa 27. Tailandia

10. Eslovenia 28. Polonia 10. Hong Kong-China 28. Taipi

11. Espaa 29. Portugal 11. Indonesia 29. Trinidad y Tobago

12. Estados Unidos 30. Reino Unido 12. Jordania 30. Tnez

13. Estonia 31. Repblica Checa 13. Kazajistn 31. Uruguay14. Finlandia 32. Suecia 14. Kirguistn

15. Francia 33. Suiza 15. Letonia

16. Grecia 34. Turqua 16. Liechtenstein

17. Holanda 17. Lituania

18. Hungra 18. Macao-China

Fuente: OECD (2010)

Los ciclos

Una caracterstica importante de PISA es la periodicidad de su aplicacin. El estudio est

organizado para ser aplicado cada tres aos y en cada ciclo se enatiza un rea o dominiodierente. En el ao 2000 el nasis ue Lectura, en 2003 Matemticas y en 2006 Ciencias.

PISA completa ahora su cuarto ciclo de evaluaciones. Regresa a Lectura como rea

principal al igual que en 2000, pero con la dierencia que en 2009 se incluy el uso de

textos digitales, como podr advertirse ms adelante.

Poblacin objetivo

El estudio de PISA se enoca a los estudiantes que al momento de la aplicacin se ubi-

quen en el rango de edad que va de los 15 aos tres meses a 16 aos dos meses (OECD,

2008). Adems deben estar inscritos en una institucin educativa a partir del sptimogrado (UNESCO, 2006), que en Mxico corresponde al primer ao de secundaria y se

excluye a los alumnos que se encuentren en sexto grado o por debajo de ste.

Esta denicin de poblacin objetivo tiene el propsito de garantizar que los resul-

tados sean comparables entre pases, dadas sus dierencias en cuanto a la naturaleza y

alcance de la educacin preescolar, la edad de ingreso a la enseanza obligatoria y, en

general, la estructura de los sistemas educativos. Todo lo anterior conduce a que los gra-

dos escolares no sean comparables en el contexto internacional.


17/289

16

Mxico en PISA 2009

En consecuencia, para poder comparar vlidamente los resultados educativos de unos

pases con otros, se opta por denir la poblacin objetivo con reerencia a una edad de-

terminada.

Muestra

Se utilizan muestras representativas que oscilan entre 4,500 y 10,000 estudiantes de un

mnimo de 150 escuelas de cada pas (OECD, 2008), de manera que sea posible realizar ine-

rencias para el pas en su conjunto, no as para regiones o estados. Se permite que algn pas

solicite una sobremuestra, con el propsito de disponer de una mayor representatividad con

respecto a cierto estrato de la poblacin, por ejemplo estados, modalidades, entre otros.

Con base en un marco que incluye a todas las escuelas en las que se encuentran ins-

critos alumnos de 15 aos, se selecciona de manera proporcional al nmero de estu-

diantes con estas caractersticas la muestra de escuelas para la aplicacin del estudio

denitivo, considerando reemplazos para los casos en los que no sea posible la aplica-

cin. La posibilidad de reemplazar escuelas se limita a un porcentaje mximo estableci-

do con criterios denidos rigurosamente.

A partir de la muestra de escuelas se seleccionan aleatoriamente a los alumnos que

participarn. Esta tarea de seleccin al azar de estudiantes es atribucin del pas, no as

la muestra de escuelas, que es responsabilidad del organismo encargado de esta materia

por la OCDE.

Instrumentos

Se aplican dos tipos de instrumentos escritos: los cuadernillos y los cuestionarios decontexto.

Los cuadernillos

La prueba de PISA 2009 abarc 190 preguntas relativas a las tres reas de evaluacin (Lectura,

Ciencias y Matemticas). En el supuesto de que cada uno de los estudiantes tuviera que resol-

ver la prueba de orma total, les llevara aproximadamente seis horas y media completarla.

Para evitar lo anterior y para asegurar un muestreo amplio de tareas y ganar en e-

ciencia, los instrumentos de medicin estn diseados conorme a un esquema matri-

cial que asegura la mayor cobertura de contenidos, sin que los estudiantes respondan la

totalidad de la prueba. Con este esquema, a un alumno le toma alrededor de dos horas

responder un cuadernillo integrado por mdulos de las tres reas. Con sus respuestas y

las de otros estudiantes, se logra completar la prueba sin que esto implique una jornada

extenuante que impacte en sus desempeos ni en el operativo de la aplicacin.

Los mdulos estn compuestos de diversas unidades de reactivos, conormadas de un

estmulo comn (texto, tabla, grca, gura) y de entre tres a cinco reactivos asociados

a l.


18/289


19/289

18

Mxico en PISA 2009

El cuestionario del estudiante se contesta despus de haber resuelto el cuadernillo de la prue-

ba y toma 30 minutos completarlo. El cuestionario escolar, dirigido al director de la escuela,

incluye inormacin sobre las caractersticas del centro escolar y tambin se responde

en 30 minutos.La estructura de los cuestionarios, tanto el escolar como el del alumno, considera dos

componentes. Uno recoge inormacin bsica que se mantiene en cada ciclo del proyec-

to. Otro ocalizado para obtener inormacin particular del rea principal.

Para este ciclo, el cuestionario del estudiante solicit inormacin sobre:

La trayectoria educativa y datos generales del estudiante.

Los antecedentes econmicos, sociales y culturales de la amilia.

Los aspectos de la vida de los estudiantes, tales como actividades de lectura, tiem-

po dedicado al aprendizaje, el ambiente escolar, el proceso de enseanza-aprendi-

zaje de las clases de Espaol, asistencia a las bibliotecas y las estrategias de lectura

y comprensin de textos.

El cuestionario escolarintegr preguntas sobre:

Estructura, organizacin y polticas, y prcticas escolares.

Tipo de alumnado y de personal docente.

Calidad de los recursos humanos y materiales con que cuenta la escuela.

Plan de estudios, evaluacin de estudiantes y ambiente escolar.

reas y enfoque de la evaluacin

Como ya se mencion, PISA se centra en tres reas que tradicionalmente se han consi-

derado claves para el aprendizaje en todos los sistemas educativos: Lectura, Ciencias y

Matemticas. En la Tbl 1.4 se presenta un resumen conceptual de estas reas.PISA 2009 dene las reas dentro de un marco de reerencia que incluye tres aspec-

tos:

Los conocimientos y competencias de cada materia que los estudiantes necesitan

aplicar.

Los contextos en los cuales se encuentran los problemas.

Las actitudes y disposicin del estudiante hacia el aprendizaje.


20/289

19

Tabla 1.4 Resumen conceptual de las reas de evaluacin,PISA 2009

Lectura Ciencias Matemticas

Defnicin

La capacidad de un indivi-duo para comprender, em-plear, reexionar e interesar-se en textos escritos con elfn de lograr metas propias,desarrollar sus conocimien-tos y su potencial personal, yparticipar en la sociedad.

La capacidad de un individuoque tiene conocimiento cien-tfco y lo utiliza para identifcar temas, adquirir nuevosconocimientos, explicar en-menos cientfcos y obtenerconclusiones basndose enevidencias acerca de proble-mas relacionados con la cien-cia, con el fn de comprendery tomar decisiones relativas almundo natural y a los cam-bios producidos por la activi-

dad humana.

La capacidad de un individuo paraanalizar, razonar y comunicar de or-ma efcaz a la vez de plantear, resol-ver, e interpretar problemas matem-ticos en una variedad de situacionesque incluyen conceptos matemticoscuantitativos, espaciales, de probabili-dad o de otro tipo. Adems, tiene quever con la capacidad para identifcar yentender la uncin que desempeanlas matemticas en el mundo, emitirjuicios undados y, utilizar y relacionar-se con las matemticas de orma quepueda satisacer las necesidades de lavida diaria de un ciudadano construc-tivo, comprometido y reexivo.

Contenido

Tipo de material de lectura:Continuo : incluyen di-erentes tipos de prosacomo narracin, expo-sicin.Discontinuo : listas, gr-fcas, ormularios.Mixto : abarca el conti-nuo y discontinuo.Mltiple : son textos in-dependientes unidospara ciertos propsitos.

Conocimiento de la cienciaSistemas sicosSistemas vivosSistemas de la Tierra y elespacioSistemas tecnolgicos

Conocimiento sobre la cien-cia

Investigacin cientfcaExplicaciones cientfcas

CantidadEspacio y ormaCambio y relacionesProbabilidad

Proceso

Acceder y recuperar

Integrar e interpretarReexionar y evaluarCompleja (slo para tex-

tos electrnicos)

Identifcar temas cient-fcosExplicar cientfcamenteenmenosUsar evidencia cientfca

ReproduccinConexinReexin

Situacin ocontexto

PersonalEducativoLaboralPblico

Situaciones de tipo personal,social y global en reas deaplicacin:

SaludRecursos naturalesAmbienteRiesgosFronteras de la ciencia yla tecnologa

PersonalEducativo y laboralPblicoCientfco

Fuente: OECD (2010)

Como se ha dicho, la evaluacin en PISA no se concibe como curricular, sino basada

en competencias. Esto es, en trminos de las habilidades, destrezas y actitudes de los

estudiantes para analizar y resolver problemas, para manejar inormacin y para respon-

der a situaciones reales presentes o uturas que se les puedan presentar en la vida real.

Como se coment al inicio de este captulo, el estudio se basa en un modelo din-

mico de aprendizaje en el que los nuevos conocimientos y habilidades necesarios para


21/289

20

Mxico en PISA 2009

adaptarse con xito a un mundo cambiante se obtienen continuamente a lo largo de la

vida. Un concepto crucial en el enoque es el trmino literacy. Aunque ste ha sido tradu-

cido como cultura, ormacin, alabetizacin, aptitud, habilidad, y hasta se ha llegado a

utilizar la palabra literacidad, en Mxico se ha manejado el trmino de competencia.El concepto de literacyo competencia se reere a la capacidad de los estudiantes para

extrapolar lo que han aprendido, y aplicar sus conocimientos y habilidades en nuevos

escenarios, as como para analizar, razonar y comunicarse de manera satisactoria al

plantear, resolver e interpretar problemas en diversas situaciones del mundo real.

En este enoque, la adquisicin de competencias es un proceso que dura toda la

vida y no slo se obtiene a travs de la escuela o el aprendizaje ormal, sino mediante

la interaccin con los compaeros, los pares y la sociedad. Las competencias tambin

se identican con habilidades complejas que son relevantes para el bienestar personal,

social y econmico en la vida como adultos.

Para tener una idea ms ntida de lo que signica el enoque de PISA, es preciso ubicar

esta prueba en un contexto en el que la globalizacin de la economa en las sociedades del

siglo XXI plantea nuevos desaos para la educacin. Este proceso mundial, aunado al am-

plio desarrollo de la tecnologa y la inormacin, ha dado lugar a lo que se conoce como

la sociedad del conocimiento, de la inormacin, de la comunicacin o del aprendizaje.

Con este panorama, se espera que los sistemas educativos proporcionen a todos los

jvenes una educacin de calidad que promueva los aprendizajes para la vida en un

contexto de crecimiento exponencial de la inormacin y del conocimiento en todos

los campos. La diversicacin sin precedentes de los espacios, medios y lenguajes para

la produccin, circulacin y utilizacin de esta inormacin y conocimiento son un reto

para el camino que debe tomar la educacin en estos das.

Un principio rector adoptado por la sociedad del conocimiento es el llamado apren-dizaje a lo largo de la vida. Bajo este principio, el aprendizaje no comienza el primer da

de clases ni concluye con la aprobacin de determinado nivel o con la obtencin de

un certicado de estudios. El aprendizaje se realiza a lo largo de toda la vida; es decir,

se mantiene desde el nacimiento hasta el nal de la existencia. Adems, no slo posee

una perspectiva longitudinal, tambin sucede a lo ancho de la vida. Esto signica que

el aprendizaje no se desarrolla nicamente dentro del sistema educativo, tambin se

produce en otros espacios que integran la vida social, como el hogar, el juego, el trabajo,

entre otros.

Escalas y niveles de desempeoLos aspectos conceptuales mencionados anteriormente sirven de base reerencial para

estructurar la prueba de PISA como un instrumento que permite medir las competen-

cias, y que ayuda a derivar los resultados del desempeo de la muestra de estudiantes

que participan en dicha prueba.

Los resultados que reporta PISA se presentan en una escala global (para cada una de

las tres reas) y por subescalas (slo para el rea principal). Tanto para la escala global


22/289

21

como para las subescalas existen niveles de desempeo dierenciados por un rango de

puntaje. Los niveles, al estar asociados a reactivos de dicultad creciente, permiten cata-

logar el desempeo de los estudiantes al describir lo que son capaces de hacer.

Los puntajes de los niveles de desempeo se expresan en una escala continua conun puntaje promedio de 500, establecida para los pases miembros de la OCDE en 2000,

y una desviacin estndar de 100 puntos.

Dos caractersticas de los niveles de desempeo son su jerarqua e inclusin. Esto

signica que un estudiante en un nivel particular no slo demuestra conocimientos y

habilidades propias de ese nivel, sino tambin las competencias requeridas en los nive-

les ineriores; por ejemplo, un estudiante en el Nivel 3 tambin es competente en los

Niveles 1 y 2. De acuerdo con PISA, el Nivel 2 se considera como el mnimo necesario

para que un joven pueda integrarse de manera adecuada como adulto capaz en la socie-

dad del conocimiento.

Lo diferente en PISA 2009

Un nuevo perfl en lectura

Al igual que en el ao 2000, para este ciclo el rea a la que se le dio nasis ue Lectura,

lo cual permitir contrastar los resultados en perspectiva al revisar tendencias en un

periodo de nueve aos.

Para el ciclo de 2009 se actualiz el marco de reerencia de Lectura de 2000, con el

propsito de mejorar la medicin de la competencia lectora, as como de ajustarlo para

que refejara los cambios actuales en la orma cmo la gente lee despus de casi una

dcada de estudio.Es necesario aclarar que el marco de reerencia puede actualizarse para lograr una me-

jor precisin conceptual, sin detrimento de la estructura bsica y sin perder la compa-

rabilidad entre ciclos, manteniendo as correspondencia con el objetivo y los principios

originales para los que ue planteado el estudio.

Los ajustes que se realizaron para precisar la concepcin de la competencia lectora

consistieron en que en el ao 2000 se manejaba qu tanto los estudiantes recuperan in-

ormacin, y en 2009 la mirada se orient tambin a qu tanto pueden accedera ella. Si

antes se centr la atencin en la interpretacin de lo que se lee, en 2009 se dirigi, ade-

ms, a qu tan bien los alumnos integran lo que leen. Finalmente, tanto en 2000 como

en 2009 se tom en cuenta la capacidad dereexionar y evaluar

lo que se lee.

Oportunidad para una comparacin confable

Con PISA 2009 es posible realizar un comparativo conable con los resultados de 2000,

ya que se midi de manera amplia el rea de Lectura. Comparativo que no se consigue

de manera sucientemente conable al tratarse de los ciclos intermedios 2003 y 2006,

cuando la Lectura no ue el rea principal de evaluacin.


23/289

22

Mxico en PISA 2009

Este comparativo permitir identicar los cambios que hubieran ocurrido en nueve

aos en el sistema educativo en cuanto a la competencia lectora, as como mirar en

perspectiva los resultados y revisar las tendencias

Una medicin ms detallada de la competencia lectora

Para este ciclo se incorpor a la prueba un conjunto nuevo de reactivos dirigido a la

medicin ms precisa de los niveles bajos de desempeo de la competencia lectora. El

nuevo grupo de reactivos ue similar a los reactivos estndar, excepto en la dicultad.

Esta innovacin tuvo tres propsitos: mejorar la descripcin de lo que los estudiantes

en los niveles bajos de desempeo saben, comprenden y pueden hacer; contar con una

descripcin ms amplia de lo que signica un desempeo en esos niveles; y medir ms

habilidades bsicas de lectura y hacer que la experiencia de la prueba sea pertinente en

el sentido de que los estudiantes de menor desempeo puedan contestar las preguntas.

Anteriormente, la descripcin de los niveles ms bajos de desempeo era muy gene-ral, dado que se basaba en pocos reactivos y por ello no ayudaba a identicar lo que eran

capaces de hacer los estudiantes ah ubicados. Esta situacin redundaba en insucientes

elementos inormativos para que los pases con altos porcentajes de estudiantes en los

niveles bajos pudieran planear acciones educativas puntuales para atender sus carencias

y deciencias.

Las puntuaciones que obtienen los estudiantes en PISA no dependen del nmero de

aciertos sobre el total de preguntas, sino que se toma en cuenta si las que se responden

bien son ms o menos diciles. Por ello, la inclusin de los nuevos reactivos no implica

que la prueba se vuelva menos dicil, ni que los estudiantes de menor nivel tengan un

mejor desempeo, ni que se pierda la comparabilidad. Ms bien se tiene una prueba conuna gama ms amplia de reactivos y, en ese sentido, los estudiantes responden tareas de

todo tipo de dicultad.

Aunque los pases podan optar por tomar o no este nuevo grupo de reactivos, se re-

comendaba para los casos que, como Mxico, presentan altos porcentajes de estudiantes

en los niveles bajos.

En una buena medicin debe haber reactivos de todas las dicultades para que midan

las dierentes habilidades de los estudiantes desde las ms bajas hasta las ms altas. Se

trata de que los estudiantes respondan adecuadamente los reactivos de dierentes di-

cultades, tanto ciles como diciles, para poder identicar su desempeo. Por ello, el

creciente nmero de pases con altas proporciones de estudiantes de bajo desempeo

hizo aconsejable este incremento del nmero de reactivos de menor dicultad.

Los resultados de todos los pases, independientemente de haber o no optado por

el nuevo grupo de reactivos, se reportan en la misma escala de Lectura sin distincin

alguna.

Por otro lado, como parte de esta mejora en la medicin, el nivel de desempeo ms

bajo se desglos en dos y tambin se agreg un nivel alto de desempeo en aras de des-

cribir con ms detalle lo que son capaces de hacer los lectores altamente competentes.


24/289

23

Hasta ahora la prueba de Lectura en PISA tena cinco niveles, de 1 a 5, adems del nivel

llamado por debajo del 1; ahora se identican siete niveles, como sigue: 1b, 1a, 2, 3, 4,

5 y 6, adems del denominado por debajo del 1b. La descripcin de cada nivel se po-

dr consultar ms adelante en el captulo correspondiente a los resultados de Lectura.

La medicin de la lectura en textos digitales

En el ciclo 2009, por primera vez se realiz la medicin de la competencia lectora en la

modalidad por computadora, con el propsito de medir qu tan bien leen los estudian-

tes textos digitales. Optaron por esta modalidad 20 pases; Mxico no particip en esta

opcin debido a la alta de inraestructura de cmputo en las escuelas.

Insercin de nueva inormacin de contexto de los estudiantes

Debido a que en el ciclo 2000 hubo variables de contexto sobre el inters o motivacin(engagement) en actividades de lectura y sobre el conocimiento y uso de estrategias de

aprendizaje que ueron tiles para asociarlas con el desempeo de los estudiantes, en

2009 estos temas reaparecieron con mejoras.

Los cambios se refejaron en preguntas sobre:

El uso de tcnicas para aprender, particularmente, la manera en que entienden y

aprenden conceptos o textos y las aproximaciones que usan los estudiantes para

resumir textos, as como qu tan conscientes estn de su habilidad para recurrir a

una variedad de estrategias para procesar textos.

La visita a la biblioteca para el prstamo de libros, la lectura o el uso de Internet.

La promocin del inters por la lectura por parte de los proesores y las ormas de

hacerlo.

La manera en que los estudiantes aprovechan las nuevas tecnologas, ya sea para

acceder a Internet o por diversin.

Con la incorporacin de estas preguntas se espera disponer de ms elementos de con-

texto que permitan comprender ms ampliamente los resultados de PISA.

Uso de los resultados

Los resultados tienen la particularidad de ser datos cuantitativos y comparativos. Al ser

un proyecto dirigido a orientar la poltica educativa, su principal uncin es suminis-

trar inormacin y acilitar el conocimiento sobre la situacin del sistema educativo, lo

que contribuye a undamentar las decisiones sobre las reormas y diseo de polticas

educativas que habrn de emprenderse en el mediano y largo plazos. De esta orma, la

inormacin derivada de la evaluacin pretende:

Ser la base para el diseo de polticas educativas que contribuyan a la mejora.

Promover el estudio, la investigacin y el anlisis de la realidad educativa para

lograr una mejora en la calidad educativa.


25/289

24

Mxico en PISA 2009

Proporcionar elementos tcnicos, metodolgicos y analticos rigurosos y slidos

que sirvan de apoyo a los procesos de evaluacin y cuyos resultados se traduzcan

en mejoras a la educacin.

PISA presenta comparaciones internacionales sobre el desempeo de los sistemaseducativos con mediciones slidas y vlidas para dierentes culturas sobre las competen-

cias que son importantes para la vida adulta. Las evaluaciones que slo ponen a prueba

el dominio de los planes de estudios orecen mediciones sobre la ecacia interna de los

sistemas educativos, pero no revelan qu tan ecazmente estn preparando las escuelas

a los estudiantes para la vida despus de haber completado su educacin ormal.

La inormacin obtenida tambin permite a los diseadores de polticas observar de

cerca los actores de contexto asociados con el xito educativo, y no slo para hacer

comparaciones entre resultados aislados. Los datos del estudio sealan, por ejemplo, la

dierencia en el desempeo entre estudiantes que viven en hogares con ms y menos re-

cursos econmicos de sus propios pases, comparados con el desempeo de estudiantes

en condiciones similares dentro de otras naciones.

Se presenta un enoque de los resultados educativos utilizando como base de evi-

dencia las experiencias de los estudiantes de los pases participantes, en lugar de las

experiencias del contexto cultural especco de un solo pas. El contexto internacional

permite a los diseadores de polticas valorar de mejor orma los supuestos acerca de la

calidad de los resultados educativos de sus propios pases.

Si bien el estudio permite asociar al desempeo dierentes variables de contexto del

entorno inmediato de escuelas y amilias de los estudiantes, no identica relaciones de

causa-eecto entre los insumos, los procesos y los logros educativos. PISA es un estudio

de evaluacin eminentemente descriptivo que permite poner de relieve las principales

caractersticas en que los sistemas educativos son comunes y dierentes, y compartir esoshallazgos con educadores, investigadores, proesores, tomadores de decisiones y pblico

en general.

Como se ha dicho antes, el enoque internacional del estudio orece a los diseadores

de polticas una perspectiva que posibilita conocer ortalezas y debilidades de sus pro-

pios sistemas educativos. Con el anlisis contextual de los resultados es posible que los

diseadores de polticas puedan enrentar los desempeos decientes y consolidar las

reas uertes.

Al ser un proyecto sistemtico, riguroso y peridico, se brinda la oportunidad a los

gobiernos de dar seguimiento regular al avance de sus sistemas educativos y evaluar las

polticas nacionales a la luz del desempeo de otros pases. A la vez, por las caractersti-cas metodolgicas y tcnicas tan robustas de su sistema de medicin, el estudio invita a

los pases a contrastar sus propios sistemas de evaluacin y adquirir los elementos ms

avanzados para incorporarlos a los modelos propios de evaluacin. En este sentido, PISA

representa una rica uente de aprendizaje para ortalecer los sistemas de evaluacin de

cada pas.

Finalmente, adems del impacto educativo, metodolgico y poltico, PISA es un un-

damento para el desarrollo de investigaciones que proundicen el conocimiento de la


26/289

25

realidad educativa de los pases, cuyos resultados puedan ser elementos bsicos para el

diseo de polticas propias y que sirvan de retroalimentacin al propio proyecto.

Bibliografa

UNESCO (2006). Clasifcacin Internacional Normalizada de la Educacin (CINE). Reedi-

cin. Recuperado el 8 de junio de 2010, desde http://www.uis.unesco.org/TEMPLATE/

pd/isced/ISCED_E.pd

OECD (2008). School Sampling Preparation Manual. PISA 2009 Main Study. Version May

2008 (Documento Interno).

OECD (2010). What Students Know and Can Do: Students perormance in Reading, Mathe-

matics and Science in PISA 2009. Volume I. Paris: OECD.


27/289


28/289

27

CAPTULO 2

Admntracn de pisA 2009 en Mxco

Introduccin

Estecaptulocontienecuatrosecciones. La primera se reere a la descripcin de losaspectos operativos del estudio de PISA 2009 en Mxico, para lo cual se indica launcin del INEE como coordinador de las dierentes tareas en la administracin

de la prueba, as como los aspectos concretos de sta. Se contina con una seccin sobrela caracterizacin de la muestra de estudiantes participantes.

La siguiente seccin presenta la descripcin de la poblacin (universo de estudio) quesirve como reerente para ubicar que los resultados, que se presentarn en los captulosposteriores, han de reerirse a esa poblacin, en tanto que la muestra de estudiantes esun subconjunto de ella que se utiliza para realizar inerencias.

La cuarta y ltima seccin contiene elementos clave para entender los resultados. Pue-

de armarse que sta es undamental para poder analizar y comprender los datos que sepresentarn en los siguientes captulos, por lo que se recomienda su revisin detenida.

Administracin de PISA 2009

La coordinacin de la administracin de PISA en Mxico ha sido responsabilidad delINEE desde abril de 2003. De esta orma el Instituto, a travs de la Direccin de Pro-yectos Internacionales y Especiales (DPIE), ha sido el Centro Nacional que coordina yadministra las distintas etapas de los ciclos de este estudio.

El Centro Nacional en cada pas participante debe cumplir con una serie de con-troles externos y estndares tcnicos establecidos por PISA (OECD, 2007a), a n deasegurar la calidad de las dierentes actividades del estudio; una de ellas, en el caso delINEE, es la administracin de los instrumentos de medicin en las 32 entidades. Otrasactividades son la traduccin y adaptacin de los materiales de medicin, el diseo delmarco muestral de escuelas, la seleccin al azar de la muestra de estudiantes, la codi-cacin de las preguntas de respuesta abierta construida, y la captura de inormacin eintegracin de la base de datos. La preparacin de este inorme nacional, con base en elanlisis de los resultados, corresponde tambin al INEE.


29/289


30/289

29

Tabla 2.3 Nmero de escuelas y estudiantes y tasas de participacinpor entidad, PISA 2009

EntidadEscuelas

participantesEstudiantes

participantes

Tasas de participacin(%)

Escuelas Estudiantes

Aguascalientes 49 1,181 100 96Baja California 43 1,096 100 97Baja California Sur 45 1,163 100 93Campeche 50 1,213 98 92Coahuila 45 1,202 100 96Colima 50 1,319 100 98Chiapas 51 1,238 98 94Chihuahua 44 1,097 98 99

Distrito Federal 42 1,123 95 89Durango 48 1,073 98 95Guanajuato 53 1,271 100 96Guerrero 50 1,256 100 95Hidalgo 50 1,218 100 98Jalisco 47 1,146 100 96Mxico 50 1,245 100 97Michoacn 47 1,045 85 91Morelos 44 1,114 96 93Nayarit 53 1,233 100 94Nuevo Len 46 1,170 100 93Oaxaca 41 1,041 79 97Puebla 52 1,343 100 96Quertaro 49 1,313 100 97Quintana Roo 46 1,174 100 94San Luis Potos 51 1,229 98 97Sinaloa 46 1,194 100 96Sonora 46 1,149 100 94Tabasco 49 1,216 100 92Tamaulipas 45 1,163 100 96Tlaxcala 47 1,250 100 96Veracruz 53 1,324 100 99Yucatn 51 1,282 100 96

Zacatecas 52 1,169 100 97Nacional 1,535 38,250 98 95

Fuente: INEE. Elaboracin con datos de Westat (2010).


31/289

30

Mxico en PISA 2009

Caracterizacin de la muestra de estudiantes

La muestra se conorm de un total de 38,250 estudiantes cuya caracterizacin se pre-

senta a continuacin.

Gnero

A nivel nacional, de los 38,250 estudiantes que participaron en este ciclo, 52% ueronmujeres y 48% hombres.

Nivel y modalidad de servicio educativo

En la Tabla 2.4 se muestra que hubo mayor cantidad de estudiantes de Educacin Me-dia Superior (EMS) que de secundaria. En lo que se reere a las modalidades de servicio

educativo, la mayora de los estudiantes participantes estaban inscritos en el bachillera-to general y el bachillerato tecnolgico, seguidos por la secundaria general.

Tabla 2.4 Estudiantes participantes por nivel y modalidadde servicio educativo, PISA 2009

Modalidad de servicio educativo Estudiantes PorcentajeSecundaria General 5,061 13.2Secundaria Tcnica 3,381 8.8Telesecundaria 2,026 5.3

Subtotal secundaria 10,468 27.4Bachillerato General 15,653 40.9Bachillerato Tecnolgico 10,264 26.8Profesional Tcnico 1,865 4.9

Subtotal EMS 27,782 72.6

Total 38,250 100.0

Fuente: INEE. Elaboracin con la base de datos de PISA 2009.

Grado escolar

De acuerdo con la normatividad educativa, los mexicanos deberan iniciar la primariaa los seis aos, por lo que a los 15 aos estaran cursando el primer ao de educacinmedia superior. Las distintas echas de nacimiento de los estudiantes al iniciar el cicloescolar crean dierencias de casi un ao respecto a la edad estipulada para cada ao esco-lar en los niveles educativos. Esto trae como consecuencia, en el caso de la evaluacin dePISA, que se tenga poblacin estudiantil de 15 aos cursando esencialmente el primerao de educacin media superior, pero que tambin se tengan estudiantes inscritos entercero de secundaria.


32/289

31

La proporcin de estudiantes que participaron en PISA 2009 por grado escolar, tan-to en secundaria como en EMS, es un dato indicativo del probable rezago para el casode estudiantes que con 15 aos estn cursando primero o segundo de secundaria. Sin

embargo, tambin con esa edad hay estudiantes adelantados quienes ya estn cursandosegundo o tercer ao de educacin media superior.La situacin de extraedad y de ventaja acadmica se aprecia en la Tabla 2.5, que

incluye los datos de secundaria y EMS. Se observa que de los 38,250 estudiantes, 71.9%cursaba el primer ao de educacin media superior (grado 10) y 21.8% tercero de secun-daria (grado 9). Estos estudiantes se consideran regulares por estar en el grado que poredad les corresponde.

Por otra parte, 5.6% de alumnos cursaba el primero o segundo grados de secundaria,es decir, en extraedad; y menos de 1% de estudiantes adelantados que a la edad de 15aos ya estaban en segundo o tercer ao de educacin media superior.

Tabla 2.5 Estudiantes participantes segn el grado escolar,PISA 2009

Grado escolarSecundaria Educacin Media Superior

Total1. 2. 3. 1. 2. 3.Grado CINE* 7 8 9 10 11 12

Estudiantes 409 1,738 8,321 27,494 283 5 38,250Porcentaje 1.1 4.5 21.8 71.9 0.7 0.0 100.0

Fuente: INEE. Elaboracin con la base de datos de PISA 2009.* CINE: Clasicacin Internacional Normalizada de Educacin. UNESCO, 2006.

Sostenimiento y localidad de las escuelas

En las Tabla 2.6 y 2.7 se puede observar que 89.3% de los estudiantes provino deescuelas pblicas, y 87% de escuelas urbanas.1

Tabla 2.6 Estudiantes participantes segn el sostenimientode las escuelas, PISA 2009

Sostenimiento Estudiantes Porcentaje

Privado 4,080 10.7Pblico 34,170 89.3Total 38,250 100.0

Fuente: INEE. Elaboracin con la base de datos dePISA 2009.

1 La denicin de localidad es la misma que utiliza el INEGI en el Censo de 2000 y en el Conteo de 2005.sta se reere a la zona geogrca y se considera urbana si tiene 2,500 o ms habitantes.


33/289

32

Mxico en PISA 2009

Tabla 2.7 Estudiantes participantes segn el tipo de localidad,PISA 2009

Tipo de localidad Estudiantes PorcentajeRural 4,981 13.0

Urbano 33,269 87.0

Total 38,250 100.0

Fuente: INEE. Elaboracin con la base de datos dePISA 2009.

Poblacin

Para dimensionar el alcance de PISA en Mxico hay que mencionar las caractersticas de

la poblacin a la que se dirigi el estudio (universo). No hay que olvidar que la muestraes representativa para estudiantes de 15 aos. Los resultados obtenidos por los 38,250alumnos de 15 aos entonces son representativos de la poblacin elegible que asciendea 1425,397 estudiantes de 15 aos inscritos en sptimo grado (primero de secundaria)o superior.

Conorme a las edades establecidas por PISA y la echa programada para la aplicacin,en esta ocasin los estudiantes elegibles nacieron entre el 1 de enero y el 31 de diciem-bre de 1993.

Cobertura

Un dato reerencial importante es la cobertura respecto a la poblacin total de jvenes de15 aos y el total de estudiantes de 15 aos inscritos en sptimo grado o por arriba, dadoque es un indicador de la capacidad del sistema educativo para atender a esta poblacin.

Como se observa en la Tabla 2.8, la cobertura lograda por el sistema educativo mexi-cano en 2009 se increment 3.3% respecto al ciclo anterior y 14.6% (326,792 estudian-tes de 15 aos) respecto al ao 2000.2

2 En el inorme internacional de PISA 2009 se present el ndice de cobertura con base en la estimacin delnmero de estudiantes de 15 aos inscritos en sptimo grado (primero de secundaria) o superior.


34/289

33

Tabla 2.8 Poblacin de 15 aos y cobertura escolar en los ciclos PISA

Ciclo de

PISA

Poblacin total de

jvenes de 15 aos

Poblacin total de estudiantes de 15 aos

inscritos en sptimo grado o superior

ndice de cobertura

poblacin matriculada%2000 2127,504 1098,605 51.62003 2192,452 1273,163 58.12006 2200,916 1383,364 62.92009 2151,771 1425,397 66.2

Fuentes: OCDE (2001, 2004, 2007b, 2009)

Por primera ocasin en los ciclos de PISA, se aprecia una disminucin en la poblacintotal de jvenes de 15 aos entre 2006 y 2009. En ese mismo perodo, la cantidad de j-venes de 15 aos inscritos al menos en secundaria se increment en 42,033 estudiantes,

lo que indica un aumento en la cobertura lograda por el sistema educativo mexicano.En la Tabla 2.9 las ciras muestran que la mayor parte de los jvenes que siguen en la

escuela a los 15 aos est comenzando la enseanza media superior (45.9%); y hay unaproporcin importante en secundaria (20.4%), aunque tambin se registra que muchosjvenes no asisten a la escuela o estn en primaria (33.8%) y por ende no ueron inclui-dos en la conormacin del universo a evaluar.

De los estudiantes de 15 aos inscritos en secundaria o educacin media superior(1425,397), 42% asiste principalmente al bachillerato general, 22% al bachillerato tec-nolgico y 13% a la secundaria general.

En lo que respecta al tipo de sostenimiento, 87% est inscrito en escuelas pblicas.

Por tipo de localidad, 80% de los estudiantes de 15 aos asiste a escuelas urbanas y 20%se encuentra en escuelas rurales.En la Tabla 2.9,se desagrega la poblacin de 15 aos por entidad ederativa. La en-

tidad con mayor nmero de jvenes por atender es el Estado de Mxico, mientras que lade menor nmero de estudiantes es Baja Caliornia Sur. Adems de que esta ltima tienela menor cantidad de jvenes, su cobertura en secundaria y educacin media superior esinerior en cinco puntos porcentuales respecto a la del Distrito Federal, que cuenta conla mayor tasa de cobertura.

Otros datos relevantes tienen que ver con los porcentajes totales de los estudiantesinscritos en secundaria o media superior (66.2%) y su complemento de los que estntodava en primaria o uera de la escuela (33.8%). Sera esperable que las entidades enlas que existen menos jvenes en primaria o uera de la escuela tengan mayor problemapara obtener buenos resultados en PISA, que aquellas en las que ms jvenes estn enesa situacin, porque no son elegibles en PISA.

Por otro lado, es importante destacar el dato reerido a la proporcin de jvenes de15 aos que todava est en secundaria. Una entidad como Oaxaca, con una coberturabastante buena en el contexto nacional (70.6%), tiene una proporcin alta de jvenesde 15 aos todava en secundaria, lo cual posiblemente tambin contribuya a no obte-ner buenos resultados en PISA.


35/289

34

Mxico en PISA 2009

Tabla 2.9 Poblacin de 15 aos inscrita en diferentes niveleseducativos por entidad federativa

EntidadPoblacin de 15

aos 2007

Porcentaje de estudiantes inscritos enel sistema escolarizado

Porcentajefuera de laescuela o

en primariaEn mediasuperior

Ensecundaria

Total

Distrito Federal 144,712 62.0 21.6 83.6 16.4Baja California Sur 9,906 60.1 18.9 79.0 21.0Tabasco 43,531 57.3 21.4 78.7 21.3Morelos 33,134 56.0 19.4 75.4 24.6Sinaloa 53,982 55.3 19.2 74.5 25.5Hidalgo 51,125 55.9 18.5 74.3 25.7Veracruz 151,460 45.6 26.9 72.5 27.5

Durango 33,150 53.1 18.5 71.7 28.3Nayarit 20,066 53.4 18.2 71.6 28.4Oaxaca 82,385 38.8 31.7 70.6 29.4Sonora 47,471 48.8 21.2 70.0 30.0Tlaxcala 23,199 52.1 17.7 69.8 30.2Campeche 16,539 42.8 26.3 69.2 30.8Tamaulipas 58,090 49.6 18.8 68.4 31.6Chihuahua 64,280 52.1 16.2 68.2 31.8Quertaro 35,286 47.2 20.4 67.6 32.4San Luis Potos 53,910 44.8 22.4 67.3 32.7Puebla 119,871 47.9 19.1 67.1 32.9

Colima 11,540 48.1 18.4 66.5 33.5Baja California 56,126 46.2 19.4 65.6 34.4Yucatn 38,148 39.7 25.3 64.9 35.1Quintana Roo 25,198 38.0 26.5 64.6 35.4Coahuila 50,283 51.8 11.9 63.7 36.3Aguascalientes 23,479 51.8 11.7 63.5 36.5Guerrero 74,201 32.2 30.4 62.5 37.5Zacatecas 30,007 46.1 15.8 61.9 38.1Nuevo Len 77,579 49.7 11.7 61.4 38.6Mxico 281,737 44.8 16.5 61.3 38.7Guanajuato 108,849 39.6 20.3 59.9 40.1Chiapas 105,121 31.4 27.4 58.8 41.2

Michoacn 88,223 36.9 19.0 55.9 44.1Jalisco 139,183 37.2 16.0 53.2 46.8Nacional 2,151,771 45.9 20.4 66.2 33.8

Fuente: INEE. Elaboracin con datos del Marco de Muestreo para PISA 2009 y Proyecciones dela poblacin de Mxico 2005-2050, Conapo.


36/289

35

Es preciso aclarar que la muestra de 38,250 estudiantes representa a 1305,461 j-venes de 15 aos que asisten a la secundaria o a la educacin media superior a nivelnacional. La discrepancia entre la cantidad de estudiantes representados (1305,401) y

las ciras proporcionadas en el apartado de la poblacin de estudio (1425,397), se debea que PISA considera a los estudiantes de 15 aos tres meses a 16 aos dos meses, y lasestadsticas del citado apartado consideran nicamente a los jvenes de 15 aos cum-plidos.

Por la orma en que se selecciona la muestra,3 las proporciones de las categoras usa-das en su caracterizacin pueden dierir de manera importante de las de la poblacin.Esta dierencia se corrige mediante el uso de ponderadores, de manera que los resultadosse pueden considerar representativos de la poblacin con los mrgenes de error corres-pondientes.

Elementos para entender los resultados

En esta seccin se orecen elementos para que los lectores puedan interpretar correcta-mente los resultados que se presentarn en los siguientes captulos.

Se explicar primero la orma en que se construyen las escalas de PISA, as como losniveles de competencia que se denen en cada una; despus se dan elementos para lacorrecta lectura de las tablas y grcas en que se resume la inormacin sobre los resul-tados.

En cada nivel de anlisis de Mxico en la perspectiva internacional o por entidadederativa se da inormacin de tres maneras:

Primero, los resultados de pases y entidades se muestran presentando las medias de

las puntuaciones de los alumnos en las escalas de que se trate. Las medias se presen-tan inicialmente para el conjunto de los 65 pases y posteriormente se concentranpara los 22 pases seleccionados como grupo de comparacin, integrado como sigue:cuatro pases con resultados extremos, dos particularmente altos: Shanghi-China yCorea del Sur, y dos especialmente bajos: Azerbaiyn y Kirguistn; Canad y EstadosUnidos, como socios comerciales y vecinos; los 10 pases iberoamericanos, por susimilitud cultural y nivel de desarrollo: Espaa y Portugal, Argentina, Brasil, Chile,Colombia, Panam, Per y Uruguay que, junto con Mxico, han constituido desde2005 el Grupo Iberoamericano de PISA (GIP), con propsitos de apoyo mutuo. Seispases ms, seleccionados mediante un anlisis de conglomerados: Federacin Rusa,

3 El muestreo que utiliza PISA es probabilstico, estraticado y bietpico (OECD, 2008). En la primera etapa,PISA selecciona a las escuelas a partir del Marco de Muestreo integrado por el INEE con inormacin de laForma 911 de la SEP (inicio del ciclo escolar 2007-2008). En la segunda etapa, el INEE selecciona aleato-riamente a los estudiantes de 15 aos de los centros escolares seleccionados por PISA. En cada una de ellasse selecciona a 35 alumnos de 15 aos, y en las escuelas con menos de 35 estudiantes se eligen a todos. Laestimacin se realiza con los ponderadores que se calculan como el inverso de la probabilidad de seleccinde los centros escolares y de los alumnos en la muestra. Los ponderadores se utilizan debido a que las es-cuelas se seleccionan con una probabilidad proporcional al tamao y por los ajustes a la no respuesta enlas dos etapas.


37/289

36

Mxico en PISA 2009

Indonesia, Italia, Polonia, Tailandia y Turqua. El otro nivel presenta los resultadospor entidad.Segundo, los resultados se orecen en trminos del porcentaje de estudiantes cuyo

puntaje los ubica en uno u otro de los niveles de desempeo denidos. Estos se pre-sentan slo para el grupo de comparacin y por entidades.Tercero, se presentan grcas de la dispersin de puntuaciones en los rangos percen-tilares 5 y 95, en los que se incluyen las medias de desempeo y el rango P5-P95. Semuestra la dispersin para el grupo de comparacin y por entidades.

En las tres ormas de anlisis se incluyen los promedios OCDE y de Amrica Latina(AL). El primero se reere a la media de los 34 pases miembros de la OCDE, los cuales seponderaron por igual, a n de evitar que dicho valor estuviera sesgado hacia los pasescon mayor poblacin escolar de 15 aos. En 2009, el promedio de la OCDE en Lecturaue de 493 puntos con una desviacin estndar de 93.

Para el clculo del promedio de AL se adopt la misma metodologa, otorgando igualpeso a los ocho pases latinoamericanos que participaron en PISA 2009 (Argentina, Bra-sil, Chile, Colombia, Mxico, Panam, Per y Uruguay). El valor promedio de los paseslatinoamericanos en Lectura ue de 408 puntos y la desviacin estndar de 98 puntos.

Las escalas de PISA

Las pruebas PISA comprenden unidades de reactivos sobre tres grandes campos: com-petencias lectoras, matemticas y cientcas. La respuesta a algunas preguntas, comose ha apuntado ya, requiere seleccionar la alternativa correcta entre varias propuestas(reactivos de opcin mltiple); casi la mitad de stos requiere, en cambio, que cada

alumno desarrolle su propia respuesta. Las respuestas a los reactivos de opcin mltiplese procesan en orma simple; las preguntas de respuesta abierta implican la calicacinpor equipos de maestros preparados para ello.

Dado el distinto grado de dicultad de cada pregunta, y que las preguntas de res-puesta abierta no se calican slo como correctas e incorrectas, sino que pueden serparcialmente correctas, el puntaje total de un alumno no es simplemente la suma de susrespuestas acertadas, sino que se obtiene mediante tcnicas estadsticas complejas, perode probada solidez, derivadas de la Teora de Respuesta al tem.

Con base en esas tcnicas, los resultados de PISA se presentan en escalas que se carac-terizan por tener una media terica de 500 puntos y una desviacin estndar de 100.4

Debe recordarse que por el gran nmero de preguntas que comprenden las pruebasusadas en PISA, no sera adecuado solicitar a cada alumno que las respondiera en sutotalidad, por lo que la prueba se divide en partes, que se aplican a distintos alumnoscon base en un diseo cuidadoso (matricial) que no permite dar resultados sobre cada

4 La media de 500 puntos y la desviacin estndar de 100 se establecieron en PISA 2000 como reerentepara los ciclos posteriores en los que la media puede ser distinta. La media de 2009, de 493 puntos, refejala incorporacin a la OCDE de cuatro nuevos pases, cuyos resultados son, en general, ineriores al grupoanterior de la OCDE.


38/289

37

alumno o cada escuela, pero s sobre el conjunto de alumnos de un pas o regin. Aunen estos casos hay mrgenes de error, inevitables en cualquier investigacin, pero dedimensiones aceptables y de los que se inorma en cada caso.

En cada aplicacin de PISA uno de los tres campos es medido con mayor detalle, puesse utilizan ms preguntas, de manera que es posible construir varias subescalas. En PISA2009 el campo evaluado con mayor detalle ue el de la competencia lectora, por lo quesus resultados pueden desglosarse en tres subescalas (Acceder y recuperar,Integrar e inter-pretaryReexionar y evaluar).

Los niveles de desempeo

A partir de las distribuciones de los resultados de los alumnos, se denen varias cate-goras para cada escala medida por las pruebas PISA, denominadas de manera genricaniveles de desempeo o de competencia.

En unas escalas se establecen seis niveles y en otras siete (como es ahora la escala de Lectu-ra), cada uno de los cuales se dene por un rango de puntuaciones; a los anteriores se aadeun nivel ms, que puede denominarse Debajo del Nivel 1 o Nivel 0, en el que se sitanlas puntuaciones que quedan por debajo del umbral inerior del Nivel 1 (esto aplica paraCiencias y Matemticas). La tabla siguiente presenta, de manera genrica, los niveles dedesempeo de las escalas de PISA.

Descripcin genrica de los niveles de desempeo

Niveles Descripcin genrica

Nivel 6 Situarse en uno de los niveles ms altos signifca que un alumno tiene potencialpara realizar actividades de alta complejidad cognitiva, cientfcas u otras.

Nivel 5Nivel 4

Nivel 3Por arriba del mnimo necesario y, por ello, bastante bueno, aunque no del nivel

deseable para la realizacin de las actividades cognitivas ms complejas.

Nivel 2Identifca el mnimo adecuado para desempearse en la sociedad

contempornea.Nivel 1a

Insufcientes (en especial el 0) para acceder a estudios superiores y desarrollar

las actividades que exige la vida en la sociedad del conocimiento.Nivel 1bNivel 0

El signicado preciso de los niveles de competencia es distinto, desde luego, paracada escala y subescala. En cada uno de los captulos o apartados siguientes se precisa-rn los niveles correspondientes, con base en los marcos de reerencia de cada campomedido por PISA, que permiten dar sentido a los niveles de competencia de las escalasrespectivas, que cubren una gama muy amplia de habilidades.

En general, el Nivel 2 de cada escala representa el mnimo necesario para que unjoven pueda seguir estudiando en niveles educativos superiores, o pueda insertarse con


39/289

38

Mxico en PISA 2009

xito en el mercado laboral; por ello, el que existan proporciones considerables de jve-nes en los Niveles 1a, 1b y 0 debe ser considerado preocupante.

Tambin hay que jarse en la proporcin de estudiantes que alcance a ubicarse en los ni-

veles ms altos de desempeo, recordando que ni siquiera los pases con mejores resultadosconsiguen situar en ellos a la mayor parte de su poblacin. Pero si los porcentajes de jvenesque lo consiguen en un pas son demasiado bajos, eso querr decir que, si no se modicatal situacin, esa nacin no podr aspirar a ormar un nmero suciente de especialistas dealto nivel, cientcos y otros, lo que ser un obstculo importante para el desarrollo de unasociedad avanzada y una economa competitiva en el mundo globalizado del siglo XXI.

Las interpretaciones ms simples y sus limitaciones

La orma ms limitada de presentar los resultados de PISA se reduce a hacer un ordena-miento simple de los pases o, en su caso, de las entidades ederativas con base en lamedia de las puntuaciones obtenidas por los alumnos respectivos.

Esos ordenamientos simples, conocidos como rankings, resultan atractivos porquepermiten obtener un tipo de conclusiones, que parecen claras, sobre cules sistemaseducativos seran de mejor o peor calidad, en uncin del lugar que ocupen en el orde-namiento mencionado.

Tal tipo de conclusiones, sin embargo, carecen de sustento slido, ya que no tomaen cuenta varios aspectos tcnicos de los ordenamientos simples mencionados, que seresumen como sigue:

Multidimensionalidad de las pruebas. En cada aplicacin de PISA se miden tres com-petencias: lectora, matemtica y cientca. Aunque los resultados de cada pas en las

tres suelen situarse en un rango cercano, la coincidencia no es perecta, por lo quelas puntuaciones de cada escala dan lugar a ordenamientos dierentes. Una mismacompetencia puede tener varias dimensiones, cada una de las cuales da lugar a unasubescala y un ordenamiento distinto.Distancia entre puntuaciones. Los rankings se prestan a interpretaciones que ignoran laimportancia de la distancia que separa cualquier pareja de puntuaciones, que puedeser pequea o grande. Las dierencias pequeas son engaosas, ya que pueden sermenores al intervalo de confanza de la medicin.

Debe recordarse que los resultados de las pruebas PISA no son el promedio de laspuntuaciones de todos los sujetos de la poblacin, sino que son estimadas a partir de lo

obtenido por los integrantes de una muestra, por lo que de manera inevitable hay unmargen de error. Un buen diseo muestral permite estimar con precisin ese margen,con una probabilidad determinada, como se hace en PISA.

Cuando la distancia que separa los promedios obtenidos por los estudiantes de dospases es menor al margen de error que se maneja, con cierto grado de probabilidad,no se puede armar que el resultado de quienes tienen la puntuacin superior seaeectivamente mejor que el de los otros. En esos casos, los pases en cuestin debernconsiderarse tcnicamente empatados.


40/289

39

Considerando lo anterior, y con el propsito de evitar las interpretaciones simplistas,las grcas que presentan ordenamientos de pases o entidades se han diseado en este in-orme en orma tal que la distancia que separa en la grca a dos pases o entidades es pro-

porcional a la dierencia real de sus puntuaciones promedio. Por tanto, se incluye siempreel intervalo de conanza correspondiente, de manera que se puede apreciar cilmentecules puntuaciones no dieren de manera signicativa, en trminos estadsticos, porquelos intervalos de conanza se traslapan, y en qu casos la dierencia es importante.

Una limitacin an ms elemental de las interpretaciones simplistas de los resulta-dos basados en ordenamientos simples de puntuaciones promedio es la que consiste eninterpretar una puntuacin ms alta como refejo inequvoco de mejor calidad de lasescuelas, y una puntuacin ms baja como signo indudable tambin de menor calidadde ellas. Los resultados se deben a muchos actores, unos del mbito de la escuela, perootros, cuya importancia se reitera estudio tras estudio, del entorno amiliar y social delos alumnos: los de una escuela que unciona bien, pueden tener resultados inerioresa los de otra de uncionamiento menos ordenado, debido precisamente al peso de losactores del entorno.

En sociedades muy desiguales, como la mexicana, las interpretaciones simplistas delos rankings pueden ser injustas con las escuelas que atienden a alumnos de mediosdesavorecidos, mxime si se tiene en cuenta que suelen tambin contar con menosrecursos que las escuelas a las que asisten mayoritariamente alumnos de medios msavorables. Esto no debe llevar a la conclusin de que los resultados de pruebas como lasde PISA no son importantes, pero s debe alertar sobre la necesidad de tener en cuentaotros elementos sobre los recursos de las escuelas y sobre su orma de operar para poderllegar a conclusiones sobre su calidad.

Si los resultados de PISA en un pas son mejores que en otro, no se puede inerir sinms que las escuelas del primero sean ms ecaces, pues el aprendizaje comienza antesde asistir a la escuela y se desarrolla dentro y uera de ella. La conclusin vlida, en cam-bio, es que el impacto acumulado de las experiencias de aprendizaje en ese pas, desdela inancia hasta los 15 aos, dentro y uera de la escuela, ha trado consigo mejoresresultados en los aspectos evaluados por PISA.

Una mejor perspectiva: los niveles de competencia

El segundo tipo de presentacin de resultados que se utiliza permite interpretaciones

ms ricas que el primero. Se trata de las grcas de porcentajes de estudiantes por pas oentidad que se ubican en los niveles de desempeo de cada escala.Las interpretaciones de los resultados de PISA que centran la atencin en el lugar ocu-

pado en ordenamientos simples son relativas, y no inorman sobre la situacin de un paso entidad en trminos absolutos, lo que s permiten hacer los porcentajes de jvenes quese ubican en cada nivel de desempeo. La escasa utilidad de los rankings se aprecia, si seacepta que el propsito que debe perseguir el sistema educativo de un pas no es estarmejor que otro, sino conseguir que los nios y jvenes del pas de que se trate tengan


41/289

40

Mxico en PISA 2009

buenos niveles de preparacin. Ser mejor o peor que alguien no es necesariamente bue-no ni malo. Estar ligeramente detrs de alguien muy bueno es muy bueno y estar ligera-mente mejor que alguien muy malo sigue siendo malo.

Si muchos pases consiguen que altas proporciones de sus jvenes tengan buenos nivelesde desempeo, importar poco que uno est en un lugar ligeramente ms alto o ms bajo enun grupo en el que las distancias que separan a sus integrantes son pequeas, probablemen-te poco signicativas. De manera anloga, poca importancia deber darse al hecho de estararriba de otros pases o entidades, si una proporcin considerable de los jvenes del propiosistema educativo no alcanza los niveles mnimos necesarios para una vida adulta plena.

Como se ha explicado antes, los niveles de desempeo de las escalas de PISA se de-nen de tal manera que el Nivel 2 corresponde al mnimo necesario para que una personapueda desenvolverse adecuadamente en la vida adulta, y que los niveles ms altos sonnecesarios para la ormacin de especialistas de alto nivel.

Tener proporciones considerables de estudiantes por debajo del Nivel 2 debe conside-rarse como motivo de preocupacin, independientemente del lugar que se ocupe en unordenamiento, y tambin deber ser motivo de alerta el tener muy pocos alumnos enlos niveles de competencia ms altos.

Un complemento: las brechas

La tercera orma en que se presentarn los resultados son las dispersiones de puntuacio-nes en los rangos percentilares 5 y 95. Este tipo de anlisis complementa a las medias ya los porcentajes de estudiantes por nivel de desempeo. Este anlisis se realiza para elgrupo comparado de 22 pases y por entidades.

Adems de buscar que los niveles de los estudiantes en las reas medidas por PISAsean, en promedio, muy altos, las polticas educativas deben preocuparse tambin por-que no haya muchos jvenes en los niveles ineriores de desempeo. En otras palabras,adems de calidad, debe buscarse tambin equidad.

La equidad puede analizarse considerando la mayor o menor homogeneidad de ladistribucin de los resultados obtenidos por los estudiantes. Para ello, la inormacinque dan las medias debe complementarse con alguna medida de dispersin, como ladesviacin estndar. Por ser ms cil de interpretar, se utiliza la dierencia entre laspuntuaciones que se sitan en el percentil 95 y las del percentil 5 de la distribucin, osea, entre las puntuaciones ms altas y ms bajas.

Los rangos orecen al lector la oportunidad de analizar qu tanto se dispersan losdesempeos de los estudiantes. Lo deseable es tener una baja dispersin, lo que signicauniormidad y equidad.

Cuatro reglas para la interpretacin de los resultados

Las consideraciones anteriores pueden sintetizarse en la orma de las cuatro reglassiguientes, cuyo respeto permitir hacer mejores interpretaciones:


42/289

41

Regla 1. Los ordenamientos simples de promedios (listas de posiciones o rankings)son indicadores insucientes de la calidad educativa.

Regla 2. Los porcentajes de estudiantes en los niveles de desempeo indican mejor el

grado en que un pas consigue que sus jvenes desarrollen las competenciasnecesarias para la vida en las sociedades contemporneas.Regla 3. Los ordenamientos de promedios y los porcentajes de estudiantes en ciertos

niveles de desempeo adquieren sentido teniendo en cuenta el contexto so-cioeconmico y cultural de los hogares, as como el de las escuelas.

Regla 4. En las dispersiones, sera recomendable para los pases tener una dierenciamenor a la del promedio de la OCDE (305 puntos en Lectura, 308 en Cien-cias y 300 en Matemticas), y para las entidades la dispersin debe ser menora la nacional (276 en Lectura, 254 en Ciencias y 259 en Matemticas), lo cualsera indicio de equidad, en tanto que una dierencia mayor debera interpre-tarse como una situacin de desigualdad.

Finalmente, en las tablas del Anexo 1, la inormacin sobre los resultados incluye elgrado de incertidumbre de las estimaciones expresado mediante el error estndar (EE).Cuando la magnitud del error estndar es pequea comparada con las unidades de me-dida, se puede deducir que los valores tendern a variar poco de muestra en muestra; ypor tanto, se puede tener ms conanza en los resultados. El error estndar permite cal-cular el intervalo de conanza dentro del que se encontrar, con determinada probabili-dad, el valor real, que se ha estimado a partir de la muestra utilizada. De esta manera serefeja el grado de incertidumbre asociado a las inerencias sobre medias y proporcionesde la poblacin hechas a partir de la muestra.

Bibliografa

INEE (2009). Panorama Educativo de Mxico. Indicadores del Sistema Educativo Nacional.Mxico: INEE.

OECD (2001).Knowledge and Skills or Lie. First Results rom the OECD Programme or In-ternational Student Assessmet (PISA) 2000. Paris: OECD. [Versin en espaol: OCDE(2002). Conocimientos y actitudes para la vida. Primeros Resultados del Programa Inter-nacional de Evaluacin de Estudiantes (PISA) 2000 de la OCDE. Mxico: Santillana].

OECD (2004).Learning or Tomorrows World. First Results rom PISA 2003. Paris: OECD.[Versin en espaol: OCDE (2005).Inorme PISA 2003. Aprender para el mundo del

maana. Madrid: Santillana].OECD (2007a). Technical Standards or PISA 2009. Governing Board.Directorate or Edu-cation Programme or International Student Assessment. Documento para uso o-cial. 4 de abril de 2007.

OECD (2007b).PISA 2006. Science Competencies or Tomorrows World. Volume 1 Analysis.Paris: OECD. [Versin en espaol: OCDE (2008). Inorme PISA 2006. Competenciascientfcas para el mundo del maana. Madrid: Santillana].


43/289

42

Mxico en PISA 2009

OECD (2008). School Sampling Preparation Manual. PISA 2009 Main Study. Version May2008. (Documento Interno).

WESTAT (2010). PISA 2009. Weighting Summary Report. Mexico. (Documento Interno).

OECD (2010). What Students Know and Can Do: Students perormance in Reading, Math-ematics and Science in PISA 2009. Volume I. Paris: OECD.UNESCO (2006). Clasifcacin Internacional Normalizada de la Educacin (CINE). Reedi-

cin. Recuperado el 8 de junio de 2010 desde:http://www.uis.unesco.org/TEMPLATE/pd/isced/ISCED_E.pd


44/289

43

CAPTULO 3

Desempeo en Lectura

Introduccin

Qusabenysoncapacesdehacerlos jvenes de 15 aos como lectores? Son capa-ces de localizar y usar inormacin de un texto para interpretar, reexionar y emitirun juicio crtico tomando en cuenta su propia experiencia? Pueden leer diversostipos de texto para dierentes propsitos? Los resultados de PISA proporcionan respues-tas a estas preguntas.

Como se ha comentado, un aspecto crucial en PISA es identifcar de qu manera lossistemas educativos y la sociedad contribuyen en la preparacin de los jvenes paraenrentar la vida en la sociedad actual. La lectura es, de acuerdo con PISA, una compe-tencia undamental que permite el aprendizaje dentro y uera del mbito escolar y que

ayuda a asumir ormas de pensar y ser.El propsito de este captulo es presentar los resultados de Mxico en el dominio deLectura, en los contextos internacional y nacional.

Para su organizacin se dividi en tres apartados. El primero abre con un panoramaconceptual de la competencia lectora basado en el marco de reerencia ms reciente dePISA (OECD, 2009) y en el reporte internacional (OECD, 2010). Adems, se explica ladefnicin, se desglosan las dimensiones que conorman este dominio y se incluye ladescripcin de las tareas de los niveles de desempeo en la escala global.

El segundo presenta los resultados que Mxico obtuvo en comparacin con los deotros pases. Primero se incluyen las medias de desempeo de los 65 pases participan-tes, y posteriormente el anlisis se concentra en las medias y porcentajes en los nivelesde desempeo de 22 de ellos que se seleccionaron para ormar un grupo de compara-cin, tanto en la escala global como en las subescalas. Un anlisis fnal se refere a lapresentacin de la dispersin (rango) de los resultados entre los per

INEE - México PISA 2009 Completo

Documents

Transcript of INEE - México PISA 2009 Completo