1. MXICO EN PISA 2009 Autores del informe: Mara Antonieta Daz Gutirrez, Directora de Proyectos Internacionales y Especiales (DPIE) del Instituto Nacional para la Evaluacin de la Edu- cacin (INEE). Gustavo Flores Vzquez, Subdirector de Anlisis y Aprovechamiento de Resultados Internacionales de la DPIE. Con la colaboracin de: Damin Canales Sn- chez, Roberto Solis Gonzlez, Yesenia de la Cruz Hernndez y Plcido Morelos Mora, integrantes de la Subdireccin de Anlisis y Aprovechamien- to de Resultados Internacionales. 1

2. Mxico en PISA 2009MXICO EN PISA 2009Directora de Comunicacin y DifusinAriella Aureli SciarretaCoordinacin EditorialSubdirector de DifusinPedro Rangel GarcaCorreccin de estiloCsar Rebolledo GonzlezNorma Alfaro AguilarMara Esther Saldvar ChvezDiseo grfico y composicin electrnicaJuan Cristbal Ramrez PerazaINSTITUTO NACIONAL PARA LA EVALUACIN DE LA EDUCACINJos Ma. Velasco 101- 5. Piso, Col. San Jos Insurgentes,Delegacin Benito Jurez, Mxico, 03900, D.F.Primera edicin 2010El contenido, la presentacin, as como la disposicin en conjunto y de cada pgina de esta obra son propie-dad del editor. Se autoriza su reproduccin parcial o total por cualquier sistema mecnico, electrnico yotros, citando la fuente.Impreso en MxicoISBN: XXX-XXX-XXXX-XX-X2 3. ContenidoPresentacin 5Introduccin 9Captulo 1 13Descripcin general de PISACaptulo 2 27Administracin de PISA 2009 en MxicoCaptulo 3 43Desempeo en LecturaCaptulo 4 83Desempeo en CienciasCaptulo 5 99Desempeo en MatemticasCaptulo 6 115Comparativo de Lectura 2000-2009 en MxicoConclusin 139AnexosAnexo 1. Tablas de datos 155Anexo 2. Reactivos de Lectura de PISA 2009 229Anexo 3. Pases miembros y asociados que han participado en los ciclos de PISA 269Anexo 4. Relacin de participantes 271Anexo 5. La enseanza de la lectura en Mxico: resea histrica2753 4. PresentacinElInstItuto nacIonal para la EvaluacIn de la Educacin (INEE), desde 2003, es la institucin responsable de coordinar en Mxico la implementacin del Progra- ma para la Evaluacin Internacional de Estudiantes (PISA por sus siglas en ingls) entodas sus fases. En esta entrega se presentan resultados de la aplicacin del Programa en2009 que midi, al igual que en el ao 2000, la Lectura como rea principal y a Mate-mticas y Ciencias como reas secundarias. En esta ocasin ser posible realizar compa-raciones en el tiempo que permitirn observar tendencias en el desempeo de jvenesmexicanos de 15 aos que se encontraban en la escuela.La informacin derivada de la aplicacin de la prueba PISA 2009, as como de loscuestionarios de contexto que la acompaan es muy amplia, por lo que puede y debe serobjeto de mltiples y diversos anlisis y estudios. En este informe nacional slo se pre-sentan algunos resultados producto de los primeros anlisis generales, de manera que sudifusin sea simultnea con el informe internacional elaborado por la Organizacin parala Cooperacin y el Desarrollo Econmico (OCDE).Adems del informe internacional y el nacional mencionados, se contar con unreporte especial para Mxico elaborado por la OCDE a solicitud de la Secretara de Edu-cacin Pblica. Cada informe tiene un nfasis particular y una mirada propia sobre losdatos que los diferencia. El informe internacional abarca todos los pases participantes(miembros y no miembros de la OCDE), en tanto que el reporte adicional sobre Mxicodestaca las tendencias de sus resultados, as como comparaciones internacionales conalgunas naciones como el caso del G-20 y pases con producto interno bruto (PIB) simi-lar. Por su parte, el informe nacional, preparado por el INEE, presenta comparacionesde los resultados de Mxico con un conjunto de pases seleccionados ex profeso, comoel caso de los iberoamericanos y, sobre todo, centra su atencin en el anlisis al interiordel pas a fin de indagar sobre los avances nacionales logrados o, cuando fue posible, delos alcanzados por las entidades federativas.Conocer el lugar que ocupa Mxico en distintas listas de pases o el ordenamientode las entidades federativas al interior de la nacin segn las comparaciones que seelijan realizar seguir siendo objeto de revisiones y reflexiones. Si bien los ordena-mientos no se pueden evitar, es indispensable explicitar los fundamentos y las decisio-nes que los sustentan para que tengan significado desde la perspectiva del desarrollode la educacin.5 5. Mxico en PISA 2009Es importante insistir en la naturaleza del diseo de esta prueba internacional a granescala y destacar que el verdadero sentido de su aplicacin e interpretacin de resultadosse orienta a proporcionar elementos para sustentar decisiones de poltica educativa. s-tas, traducidas en programas, acciones y presupuestos, debern contribuir a mejorar demanera significativa la calidad y equidad de la educacin, especialmente la de aquellossectores de la poblacin histricamente ms desfavorecidos.Para dar su justa dimensin a los resultados de PISA 2009, es necesario tener presentes lassiguientes consideraciones. Primera: cualquier resultado educacional debe ser ledo en el con-texto social, cultural y econmico de la poblacin evaluada y ha de analizarse en funcin delas oportunidades o limitaciones que ste le ofrece, pues no es igual lograr las competen-cias en un contexto rodeado de estmulos que favorecen el desarrollo, a lograr competenciasen un contexto con carencias y limitaciones. De esta manera, cuando un joven muestra eldesempeo de sus competencias en un ambiente favorable, debe reconocerse aunque seaun hecho altamente esperable. Pero si los jvenes se desarrollan en ambientes poco estimu-lantes y logran una progresin en el desarrollo de sus competencias, no slo es importanteevidenciar el esfuerzo, sino adems debe dimensionarse lo que representa.La segunda est relacionada con la tradicin de celebrar los grandes resultados yminimizar los resultados pequeos, graduales y de largo alcance. Esta tendencia tienegraves riesgos porque nos puede llevar a los extremos, es decir, a difundir solamente lostriunfos nunca tantos como se desean o los grandes fracasos, lo que resulta pocoapropiado para estimular las transformaciones continuas y paulatinas.La tercera est vinculada con las anteriores y relacionada con el grupo de jvenes dequince aos que obtuvieron mejores resultados en PISA 2009. Dar cuenta de sus logroses visibilizar sus esfuerzos y hacerlos patentes ante sus propios ojos, en el entendido deque el reconocimiento de los mismos, es un estmulo que puede propiciar otros ms enel futuro.Una ltima consideracin se refiere a la necesidad de ver en perspectiva los resulta-dos de la presente evaluacin de PISA. Esto es, los estudiantes de 15 aos sujetos de estaevaluacin iniciaron nueve o diez aos antes su educacin bsica; en el ao 2000 seencontraban en primero o segundo de primaria. Esto pone de relieve el hecho de que eldesempeo observado en los resultados de 2009 se debe, entre otros factores, al trabajoacumulado y progresivo de maestros y alumnos durante nueve ciclos escolares.Al tener presentes estas consideraciones, se puede afirmar que los avances logradosen los resultados de PISA 2009 merecen ser reconocidos en el marco de las condicionessociales y econmicas en que vive una parte significativa de los jvenes mexicanos. Estaconciencia permite dimensionar tanto los logros como el esfuerzo que implicaron. Elavance en los resultados permite suponer que algo empieza a suceder y que tuvieronlugar transformaciones en el saber y saber hacer de esos jvenes de 15 aos, los cualesimpactarn sus proyectos de vida.Por el propio carcter de la prueba y de las informaciones que la acompaan, nocontamos con elementos para decir en qu grado influyeron las prcticas docentes, lasacciones de los padres y madres, la gestin de autoridades escolares o el impacto de6 6. algunos de los programas impulsados para contribuir a mejorar la calidad educativa. Sinembargo, los datos y la estadstica muestran avances y con ello se abre la posibilidad deestablecer nuevos mbitos de indagacin y, en consecuencia, de intervencin. No debemos olvidar que los resultados de la evaluacin tienen sentido si y slo si sonutilizados para transformar una realidad; en este caso, la educacin en cada saln declases y en cada escuela. Por ello es importante promover una comprensin de los datoscon sentido y contexto, pues de esta manera se podrn impulsar nuevos esfuerzos, tantode jvenes mexicanos como de docentes, padres, autoridades y funcionarios. En otro orden de ideas, este informe nacional es producto de una labor intensa y mi-nuciosa que signific muchas horas de trabajo de un grupo amplio de personas. El INEEexpresa su profundo agradecimiento a las reas Estatales de Evaluacin que conformanel Consejo Consultivo y cuya participacin en sta y otras evaluaciones es fundamental.Nuestro reconocimiento a los maestros que formaron parte de los grupos que elabora-ron unidades de reactivos y codificaron casi un milln de respuestas abiertas. Asimismo, el agradecimiento del Instituto a los directivos y docentes de las es-cuelas de educacin secundaria o de educacin media superior donde se localiz a losalumnos de la muestra. Tambin un reconocimiento a los estudiantes que generosamen-te participaron en el estudio al responder la prueba y el cuestionario de contexto. Mencin especial merece la Direccin de Proyectos Internacionales y Especiales delpropio INEE y las personas que la integran, ya que en ella recae la delicada responsabi-lidad de la operacin del Proyecto PISA desde su organizacin hasta el punto de llegadaque es preparar, redactar y presentar el informe nacional, y que continuar con el desa-rrollo de otros estudios y anlisis. Asimismo, se reconoce a la Direccin de Relaciones Nacionales y Logstica del Insti-tuto su diligente trabajo en el proceso de las aplicaciones piloto y definitiva, las cualesexigen una coordinacin eficaz interna y con las entidades federativas. Tambin se in-cluye a la Direccin de Informtica que llev a cabo la captura de datos, a la DireccinGeneral Adjunta que realiz revisiones acuciosas de distintos borradores del informenacional, y a la Direccin de Indicadores Educativos por su apoyo con informacionesestadsticas adicionales. En el Anexo 4 se encuentra la relacin completa de las personas que participaron enel complejo proceso de PISA 2009, iniciado en el ao 2007. No se puede concluir esta breve presentacin sin mencionar el acompaamiento gene-roso y cuidadoso del Consejo Tcnico del Instituto, cuyas aportaciones, siempre pertinen-tes y enriquecedoras, fortalecen el trabajo institucional. Asimismo, se agradece a la JuntaDirectiva por seguir con atencin y cuidado las distintas fases del proceso de PISA 2009. De igual manera, se agradece el apoyo otorgado en algunas actividades del procesode PISA 2009 a la Secretara de Educacin Pblica a travs de las Subsecretaras de Edu-cacin Bsica y Educacin Media Superior, y de la Unidad de Evaluacin de PolticasEducativas, as como a la Oficina de la OCDE en Mxico. El INEE tambin reconoce el constante inters de los medios de comunicacin, quie-nes contribuyen a difundir los resultados de PISA. 7 7. Mxico en PISA 2009Con esta nueva entrega de resultados educacionales, el Instituto ratifica su compro-miso de realizar evaluaciones confiables y vlidas de la calidad de la educacin nacional,a fin de aportar elementos a la toma de decisiones que permitan mejorar los procesospedaggicos de cada aula y escuela. Aspiramos a que, cuando este Informe sea entregadoa las autoridades educativas, a los maestros, a los padres de familia y a otros sectores dela sociedad mexicana, se avive el inters genuino por la educacin de las nuevas genera-ciones y se clarifiquen los caminos que an hay por andar.No olvidemos que es relevante dimensionar los resultados de las evaluaciones y com-prender que a partir de stos podemos construir nuevas posibilidades para formar mejoresciudadanos, lograr mejores prcticas educativas, contar con escuelas de mayor calidad,fortalecer nuestro Sistema Educativo y construir una sociedad mejor, ms humana y conrelaciones ms equitativas y justas.Margarita Zorrilla FierroDirectora GeneralMxico, diciembre de 20108 8. IntroduccinLa presente obra expone los resultados sobre el rendimiento de los estudiantes mexi-canos de 15 aos en las reas o competencias de Lectura, Ciencias y Matemticas en laprueba realizada por el Programa para la Evaluacin Internacional de Estudiantes (PISA,por sus siglas en ingls) en 2009. El objetivo es dar cuenta de los resultados ms relevan-tes tanto desde una perspectiva nacional como internacional. El informe est conformado por seis captulos y una seccin de conclusiones. El ca-ptulo 1, Descripcin general de PISA 2009, ofrece a los lectores la informacin generalacerca de PISA. Se describen sus caractersticas principales, particularmente su propsi-to, los pases participantes y los aspectos metodolgicos que lo caracterizan, as comolos aspectos que distinguen este ciclo. El captulo cierra con un apartado sobre el uso delos resultados que aporta esta prueba. El segundo captulo, Administracin de PISA 2009 en Mxico, incluye informacin so-bre la administracin de la prueba en Mxico y detalla las responsabilidades del Insti-tuto Nacional para la Evaluacin de la Educacin (INEE) como coordinador de la ad-ministracin de PISA en el pas. Un tema central en este captulo es la caracterizacinde la muestra y de la poblacin, o universo, considerados por este estudio. Adems, sebrindan a los lectores elementos para interpretar correctamente los resultados del infor-me. Se explica la forma en que estn construidas las escalas en las que se reportan laspuntuaciones de PISA, as como la conformacin y sentido de los niveles de desempeoque se definen en cada una de ellas. Se puntualizan tres aspectos de los resultados quese repiten en cada nivel de anlisis: las medias de las puntuaciones obtenidas por losestudiantes; los porcentajes de alumnos que se sitan en cada nivel de competencia, yel anlisis de la dispersin entre los percentiles 5 y 95. Los captulos 3, 4 y 5, Desempeo en Lectura, Ciencias y Matemticas: perspectiva inter-nacional y nacional (un captulo por rea, respectivamente), presentan los resultados delrendimiento de los estudiantes en cada una de las reas. Su estructura es similar, puescomienzan con un panorama conceptual de cada competencia (definicin y dimen-siones), seguido por las medias de desempeo de la escala global para los 65 pases, yposteriormente el anlisis se concentra en las medias y porcentajes de estudiantes enlos niveles de desempeo de un grupo de 22 pases seleccionados, para finalizar con lasdispersiones de las puntuaciones en los percentiles 5 y 95. 9 9. Mxico en PISA 2009 En este informe los resultados de Mxico no se comparan siempre con los de todoslos pases que participaron en PISA 2009, sino con un subconjunto de 22 naciones, in-tegrado de la siguiente manera: Cuatro pases con resultados extremos: dos particularmente altos, Shanghi- China y Corea del Sur, y dos especialmente bajos, Azerbaiyn y Kirguis- tn. Canad y Estados Unidos, como socios comerciales y vecinos. Los 10 pases iberoamericanos, incluido Mxico, por similitud cultural y nivel de desarrollo: Argentina, Brasil, Chile, Colombia, Espaa, Panam, Per, Portugal y Uruguay. Estos pases constituyeron desde 2005 el Grupo Ibero- americano de PISA (GIP), con propsitos de apoyo mutuo. Seis pases seleccionados a partir un anlisis de conglomerados: Federacin Rusa, Indonesia, Italia, Polonia, Tailandia y Turqua. Gracias a lo anterior, el informe nacional permite comparar la situacin de Mxico conla de otros pases de manera ms significativa, sin detrimento de la comparacin con elresto de los pases participantes. sta podr verse con detalle en el informe internacionalas como en un reporte especial sobre Mxico preparado por la OCDE a solicitud expre-sa de la Secretara de Educacin Pblica, en el cual se hace nfasis en la comparacininternacional. Adems del promedio OCDE, que incluye a los pases que pertenecen a este organis-mo, se incorpor un elemento nuevo: el promedio de Amrica Latina (AL). Este ltimopermite tener un referente ms propicio para Mxico pues abarca a los pases de AmricaLatina participantes en PISA 2009: Argentina, Brasil, Chile, Colombia, Mxico, Panam,Per y Uruguay. Es necesario aclarar que slo en el captulo 3, el referido a la competencia lectora, seincluyen las medias y porcentajes de estudiantes en los niveles de desempeo de las tressubescalas (Acceder y recuperar, Integrar e interpretar y Reflexionar y evaluar), dado que setrata del rea prioritaria en este ciclo. En el caso de las reas no prioritarias -Matemticasy Ciencias - no hay medicin de subescalas sino slo la escala global. El captulo 6, Comparativo de lectura 2000-2009 en Mxico, es sin duda especial y sediferencia de los informes anteriores, pues en l se hace el recuento de los resultados detal forma que permite analizar, en perspectiva, de manera confiable y consistente, losdesempeos de ambos ciclos con el fin de posibilitar juicios sobre si se avanz o no eneste perodo en la competencia lectora de la poblacin estudiantil de 15 aos. El anlisis comparativo de estos dos ciclos slo se expresa a nivel nacional sin lasentidades federativas, debido a que en el ao 2000 Mxico no particip con una muestraampliada. Los anlisis que se presentan incluyen medias de desempeo, porcentajes deestudiantes en los diferentes niveles de desempeo y la dispersin del rendimiento de losestudiantes. Con el propsito de explicar estos resultados se incluyen factores demogrficos, eco-nmicos, educativos y otros que contribuyen a identificar la influencia del entorno enlos desempeos, as como los cambios ocurridos.10 10. En la Conclusin se resumen los principales hallazgos. Se muestra el balance del com-parativo de lectura 2000-2009 en Mxico y se presentan de manera sucinta los esfuerzosrealizados para el fomento de la lectura en el pas, as como la relacin entre los nuevosprogramas de primaria y secundaria, y la competencia lectora de PISA. La Conclusinfinaliza con dos apartados: las implicaciones y retos para las polticas educativas y lasugerencia de futuros estudios. Es conveniente mencionar que a diferencia de los informes anteriores, en ste se pri-vilegia el anlisis por entidad federativa, dado que se cuenta con una muestra ampliadacon representatividad nacional y por entidad, como se tuvo en 2003 y 2006. Adems,como parte de los resultados de PISA 2009 no se incluyen los anlisis por modalidadni por nivel educativo, debido a que este tipo de resultados es ms pertinente para laopcin de grado en la que Mxico tambin particip con una muestra nacional de es-cuelas y estudiantes del ltimo grado de Educacin Media Superior, que ser motivo deun reporte especial. 11 11. CAPTULO 1Descripcin general de pisaIntroduccinLos estudiantes estn bien preparados para enfrentar los retos del futuro? Son capaces de analizar, razonar y comunicar sus ideas de manera eficaz? Este es el tipo de preguntas que busca responder el Programa para la Evaluacin Internacional delos Estudiantes (Programme for International Student Assessment, PISA). Para introducir al lector al contenido de PISA, en este primer captulo se tratan algu-nas caractersticas generales del Programa. Se especifica de inicio el propsito del mismoy la relacin de los pases que intervinieron en el ciclo 2009. Enseguida se presenta laparte central de este apartado, a saber, la descripcin metodolgica del proyecto en rela-cin con la poblacin objetivo, la seleccin de la muestra de escuelas y los instrumentosde medicin utilizados. PISA se sustenta en un enfoque de evaluacin especfico, por lo que en esta seccin seabordan sus fundamentos y se mencionan las reas o dominios que mide. En esta oca-sin, por ser Lectura el rea prioritaria, se detallan los rasgos novedosos en la medicinde este dominio. Finalmente, se subraya la importancia del proyecto como fuente deinformacin que contribuye a la toma de decisiones en materia de polticas educativas.Qu es PISA?Es un estudio peridico y comparativo, promovido y organizado por la Organizacinpara la Cooperacin y el Desarrollo Econmicos (OCDE), en el cual participan los pasesmiembros y no miembros de la organizacin (asociados). Su propsito principal es determinar en qu medida los estudiantes de 15 aos, queestn por concluir o han concluido su educacin obligatoria, han adquirido los cono-cimientos y habilidades relevantes para participar activa y plenamente en la sociedadmoderna. PISA se centra en la capacidad de los estudiantes para usar los conocimientos y habi-lidades y no en saber hasta qu punto dominan un plan de estudios o currculo escolar.Por ello, no mide qu tanto pueden reproducir lo que han aprendido, sino que indaga 13 12. Mxico en PISA 2009lo que en PISA se denomina competencia (literacy); es decir, la capacidad de extrapolar loque se ha aprendido a lo largo de la vida y su aplicacin en situaciones del mundo real, ascomo la capacidad de analizar, razonar y comunicar con eficacia al plantear, interpretary resolver problemas en una amplia variedad de situaciones. La informacin derivada de PISA permite identificar el nivel de competencia de losestudiantes, en comparacin con los de otros pases participantes. Ayuda a identificarfortalezas y debilidades del sistema educativo nacional y, sobre todo, permite detectarqu factores se asocian con el xito educativo. PISA es un estudio de evaluacin riguroso, estandarizado y con elevados controles decalidad en todas sus etapas, lo que asegura su validez y confiabilidad. En trminos generales, sus caractersticas principales son: Uso de un concepto innovador de competencia (literacy). Le da importancia al aprendizaje a lo largo de la vida. Maneja ciclos definidos, lo que permite el monitoreo del progreso educativo. Cuenta con una amplia cobertura geogrfica. Se orienta hacia la poltica educativa.Pases participantesEn PISA 2009 se han incorporado ms pases con respecto a los ciclos anteriores. En el ao2000, el estudio se realiz en 43 pases, en el 2003 en 41 y en el 2006 en 57.1 En la Tabla1.1 se enlistan los 65 pases2 que participaron en 2009, 34 son miembros de la OCDE y31 son pases asociados y economas.3 Es preciso aclarar que Chile, Eslovenia, Estonia e Israel participantes en PISA2009 slo recientemente ingresaron como miembros de la OCDE. Esto ltimo tuvoimplicaciones en el manejo de los datos, ya que para el clculo de la media de la OCDE yde los ndices se tom en cuenta a los actuales 34 miembros. Esto significa que la mediade los pases miembros de la OCDE en PISA 2009 no es estrictamente comparable conlas medias de los ciclos de 2000 a 2006. En total, participaron aproximadamente 475,000 estudiantes seleccionados al azar,quienes representan a cerca de 22 millones de jvenes de 15 aos inscritos en las escue-las de estos 65 pases.1En el Anexo 3 se pueden revisar los pases participantes en los diferentes ciclos.2En el reporte se emplean los trminos de Montenegro y Serbia para referirse, respectivamente a la Repbli-ca de Montenegro y la Repblica de Serbia.3Se llama economas a regiones administrativas de un pas, como Hong Kong y Shanghi.14 13. Tabla 1.1 Pases participantes, PISA 2009 MIEMBROS DE LA OCDEASOCIADOS1. Alemania 19. Irlanda1. Albania19. Montenegro2. Australia20. Islandia 2. Argentina20. Panam3. Austria21. Israel 3. Azerbaiyn 21. Per4. Blgica22. Italia 4. Brasil 22. Qatar5. Canad 23. Japn5. Bulgaria 23. Rumania6. Chile24. Luxemburgo 6. Colombia 24. Serbia7. Corea del Sur25. Mxico 7. Croacia25. Shanghi-China8. Dinamarca26. Noruega8. Dubi-EAU26. Singapur9. Eslovaquia 27. Nueva Zelanda9. Federacin Rusa27. Tailandia10. Eslovenia 28. Polonia10. Hong Kong-China 28. Taipi11. Espaa29. Portugal 11. Indonesia 29. Trinidad y Tobago12. Estados Unidos30. Reino Unido12. Jordania30. Tnez13. Estonia 31. Repblica Checa13. Kazajistn31. Uruguay14. Finlandia 32. Suecia 14. Kirguistn15. Francia 33. Suiza15. Letonia16. Grecia34. Turqua16. Liechtenstein17. Holanda17. Lituania18. Hungra18. Macao-ChinaFuente: OECD (2010)Los ciclosUna caracterstica importante de PISA es la periodicidad de su aplicacin. El estudio estorganizado para ser aplicado cada tres aos y en cada ciclo se enfatiza un rea o dominiodiferente. En el ao 2000 el nfasis fue Lectura, en 2003 Matemticas y en 2006 Ciencias. PISA completa ahora su cuarto ciclo de evaluaciones. Regresa a Lectura como reaprincipal al igual que en 2000, pero con la diferencia que en 2009 se incluy el uso detextos digitales, como podr advertirse ms adelante.Poblacin objetivoEl estudio de PISA se enfoca a los estudiantes que al momento de la aplicacin se ubi-quen en el rango de edad que va de los 15 aos tres meses a 16 aos dos meses (OECD,2008). Adems deben estar inscritos en una institucin educativa a partir del sptimogrado (UNESCO, 2006), que en Mxico corresponde al primer ao de secundaria y seexcluye a los alumnos que se encuentren en sexto grado o por debajo de ste. Esta definicin de poblacin objetivo tiene el propsito de garantizar que los resul-tados sean comparables entre pases, dadas sus diferencias en cuanto a la naturaleza yalcance de la educacin preescolar, la edad de ingreso a la enseanza obligatoria y, engeneral, la estructura de los sistemas educativos. Todo lo anterior conduce a que los gra-dos escolares no sean comparables en el contexto internacional. 15 14. Mxico en PISA 2009 En consecuencia, para poder comparar vlidamente los resultados educativos de unospases con otros, se opta por definir la poblacin objetivo con referencia a una edad de-terminada.MuestraSe utilizan muestras representativas que oscilan entre 4,500 y 10,000 estudiantes de unmnimo de 150 escuelas de cada pas (OECD, 2008), de manera que sea posible realizar infe-rencias para el pas en su conjunto, no as para regiones o estados. Se permite que algn passolicite una sobremuestra, con el propsito de disponer de una mayor representatividad conrespecto a cierto estrato de la poblacin, por ejemplo estados, modalidades, entre otros. Con base en un marco que incluye a todas las escuelas en las que se encuentran ins-critos alumnos de 15 aos, se selecciona de manera proporcional al nmero de estu-diantes con estas caractersticas la muestra de escuelas para la aplicacin del estudiodefinitivo, considerando reemplazos para los casos en los que no sea posible la aplica-cin. La posibilidad de reemplazar escuelas se limita a un porcentaje mximo estableci-do con criterios definidos rigurosamente. A partir de la muestra de escuelas se seleccionan aleatoriamente a los alumnos queparticiparn. Esta tarea de seleccin al azar de estudiantes es atribucin del pas, no asla muestra de escuelas, que es responsabilidad del organismo encargado de esta materiapor la OCDE.InstrumentosSe aplican dos tipos de instrumentos escritos: los cuadernillos y los cuestionarios decontexto.Los cuadernillosLa prueba de PISA 2009 abarc 190 preguntas relativas a las tres reas de evaluacin (Lectura,Ciencias y Matemticas). En el supuesto de que cada uno de los estudiantes tuviera que resol-ver la prueba de forma total, les llevara aproximadamente seis horas y media completarla. Para evitar lo anterior y para asegurar un muestreo amplio de tareas y ganar en efi-ciencia, los instrumentos de medicin estn diseados conforme a un esquema matri-cial que asegura la mayor cobertura de contenidos, sin que los estudiantes respondan latotalidad de la prueba. Con este esquema, a un alumno le toma alrededor de dos horasresponder un cuadernillo integrado por mdulos de las tres reas. Con sus respuestas ylas de otros estudiantes, se logra completar la prueba sin que esto implique una jornadaextenuante que impacte en sus desempeos ni en el operativo de la aplicacin. Los mdulos estn compuestos de diversas unidades de reactivos, conformadas de unestmulo comn (texto, tabla, grfica, figura) y de entre tres a cinco reactivos asociadosa l.16 15. Los reactivos varan por tipo de formato. Casi la mitad de las preguntas son de opcinmltiple, es decir, implica que los estudiantes seleccionen una opcin de entre cuatroo cinco (opcin mltiple simple) o bien seleccionen una o dos posibles respuestas (porejemplo: s/no o acuerdo/desacuerdo) de una serie de oraciones o afirmaciones (opcinmltiple compleja). La otra mitad de las preguntas requieren que el estudiante constru-ya su propia respuesta. En algunas se trata de respuestas breves y en otras de respuestasms extensas (respuesta abierta construida). Se utilizaron 13 versiones de cuadernillos que incluyeron los 190 reactivos distri-buidos en 72 unidades y stas se organizaron en 13 mdulos, tal como se aprecia enla Tabla 1.2. En ella se observa que aproximadamente la mitad de los reactivos (53%)correspondi al rea de Lectura.Tabla 1.2 Reactivos por dominio, PISA 2009Unidades de % de reactivos Dominio MdulosReactivos reactivos por dominioLectura 729101 53Ciencias318 53 28Matemticas 325 36 19Total1372190 100Fuente: OECD (2010)Del total de reactivos, 90 fueron preguntas abiertas (47%), la mayora obviamente deLectura (62%).Tabla 1.3 Reactivos abiertos por dominio, PISA 2009% de reactivos Dominio Reactivos abiertosabiertos Lectura 5662 Ciencias1921 Matemticas 1517 Total 90 100Fuente: OECD (2010)Los cuestionarios de contextoEstos cuestionarios se dirigen tanto a los alumnos como al director de la escuela. Soninstrumentos cuya funcin es aportar informacin sobre las caractersticas del entornoinmediato de los estudiantes y sobre las escuelas. Los factores contextuales se aprove-chan para un mejor anlisis y comprensin de los resultados. 17 16. Mxico en PISA 2009 El cuestionario del estudiante se contesta despus de haber resuelto el cuadernillo de la prue-ba y toma 30 minutos completarlo. El cuestionario escolar, dirigido al director de la escuela,incluye informacin sobre las caractersticas del centro escolar y tambin se respondeen 30 minutos. La estructura de los cuestionarios, tanto el escolar como el del alumno, considera doscomponentes. Uno recoge informacin bsica que se mantiene en cada ciclo del proyec-to. Otro focalizado para obtener informacin particular del rea principal. Para este ciclo, el cuestionario del estudiante solicit informacin sobre: La trayectoria educativa y datos generales del estudiante. Los antecedentes econmicos, sociales y culturales de la familia. Los aspectos de la vida de los estudiantes, tales como actividades de lectura, tiem- po dedicado al aprendizaje, el ambiente escolar, el proceso de enseanza-aprendi- zaje de las clases de Espaol, asistencia a las bibliotecas y las estrategias de lectura y comprensin de textos. El cuestionario escolar integr preguntas sobre: Estructura, organizacin y polticas, y prcticas escolares. Tipo de alumnado y de personal docente. Calidad de los recursos humanos y materiales con que cuenta la escuela. Plan de estudios, evaluacin de estudiantes y ambiente escolar.reas y enfoque de la evaluacinComo ya se mencion, PISA se centra en tres reas que tradicionalmente se han consi-derado claves para el aprendizaje en todos los sistemas educativos: Lectura, Ciencias yMatemticas. En la Tabla 1.4 se presenta un resumen conceptual de estas reas. PISA 2009 define las reas dentro de un marco de referencia que incluye tres aspec-tos: Los conocimientos y competencias de cada materia que los estudiantes necesitanaplicar. Los contextos en los cuales se encuentran los problemas. Las actitudes y disposicin del estudiante hacia el aprendizaje.18 17. Tabla 1.4 Resumen conceptual de las reas de evaluacin,PISA 2009Lectura Ciencias Matemticas La capacidad de un individuo para analizar, razonar y comunicar de for-La capacidad de un individuo ma eficaz a la vez de plantear, resol-que tiene conocimiento cien- ver, e interpretar problemas matem-tfico y lo utiliza para identi- ticos en una variedad de situacionesLa capacidad de un indivi-ficar temas, adquirir nuevos que incluyen conceptos matemticosduo para comprender, em-conocimientos, explicar fen- cuantitativos, espaciales, de probabili-plear, reflexionar e interesar- menos cientficos y obtener dad o de otro tipo. Adems, tiene quese en textos escritos con elconclusiones basndose enDefinicin ver con la capacidad para identificar yfin de lograr metas propias,evidencias acerca de proble- entender la funcin que desempeandesarrollar sus conocimien- mas relacionados con la cien- las matemticas en el mundo, emitirtos y su potencial personal, ycia, con el fin de comprender juicios fundados y, utilizar y relacionar-participar en la sociedad.y tomar decisiones relativas al se con las matemticas de forma quemundo natural y a los cam- pueda satisfacer las necesidades de labios producidos por la activi- vida diaria de un ciudadano construc-dad humana. tivo, comprometido y reflexivo.Tipo de material de lectura: Continuo: incluyen di- Conocimiento de la ciencia ferentes tipos de prosa Sistemas fsicos como narracin, expo- Sistemas vivos sicin. Sistemas de la Tierra y el Cantidad Discontinuo: listas, gr-espacio Espacio y formaContenidoficas, formularios. Sistemas tecnolgicos Cambio y relaciones Mixto: abarca el conti- Probabilidad nuo y discontinuo. Conocimiento sobre la cien- Mltiple: son textos in- cia dependientes unidos Investigacin cientfica para ciertos propsitos. Explicaciones cientficas Acceder y recuperar Identificar temas cient- Integrar e interpretar ficos Reproduccin Reflexionar y evaluarProceso Compleja (slo para tex- Explicar cientficamente Conexin fenmenos Reflexin tos electrnicos) Usar evidencia cientficaSituaciones de tipo personal,social y global en reas deaplicacin: Personal Personal Salud Educativo y laboralSituacin o Educativo Recursos naturales Pblicocontexto Laboral Ambiente Cientfico Pblico Riesgos Fronteras de la ciencia y la tecnologaFuente: OECD (2010) Como se ha dicho, la evaluacin en PISA no se concibe como curricular, sino basadaen competencias. Esto es, en trminos de las habilidades, destrezas y actitudes de losestudiantes para analizar y resolver problemas, para manejar informacin y para respon-der a situaciones reales presentes o futuras que se les puedan presentar en la vida real. Como se coment al inicio de este captulo, el estudio se basa en un modelo din-mico de aprendizaje en el que los nuevos conocimientos y habilidades necesarios para 19 18. Mxico en PISA 2009adaptarse con xito a un mundo cambiante se obtienen continuamente a lo largo de lavida. Un concepto crucial en el enfoque es el trmino literacy. Aunque ste ha sido tradu-cido como cultura, formacin, alfabetizacin, aptitud, habilidad, y hasta se ha llegado autilizar la palabra literacidad, en Mxico se ha manejado el trmino de competencia.El concepto de literacy o competencia se refiere a la capacidad de los estudiantes paraextrapolar lo que han aprendido, y aplicar sus conocimientos y habilidades en nuevosescenarios, as como para analizar, razonar y comunicarse de manera satisfactoria alplantear, resolver e interpretar problemas en diversas situaciones del mundo real.En este enfoque, la adquisicin de competencias es un proceso que dura toda lavida y no slo se obtiene a travs de la escuela o el aprendizaje formal, sino mediantela interaccin con los compaeros, los pares y la sociedad. Las competencias tambinse identifican con habilidades complejas que son relevantes para el bienestar personal,social y econmico en la vida como adultos.Para tener una idea ms ntida de lo que significa el enfoque de PISA, es preciso ubicaresta prueba en un contexto en el que la globalizacin de la economa en las sociedades delsiglo XXI plantea nuevos desafos para la educacin. Este proceso mundial, aunado al am-plio desarrollo de la tecnologa y la informacin, ha dado lugar a lo que se conoce comola sociedad del conocimiento, de la informacin, de la comunicacin o del aprendizaje.Con este panorama, se espera que los sistemas educativos proporcionen a todos losjvenes una educacin de calidad que promueva los aprendizajes para la vida en uncontexto de crecimiento exponencial de la informacin y del conocimiento en todoslos campos. La diversificacin sin precedentes de los espacios, medios y lenguajes parala produccin, circulacin y utilizacin de esta informacin y conocimiento son un retopara el camino que debe tomar la educacin en estos das.Un principio rector adoptado por la sociedad del conocimiento es el llamado apren-dizaje a lo largo de la vida. Bajo este principio, el aprendizaje no comienza el primer dade clases ni concluye con la aprobacin de determinado nivel o con la obtencin deun certificado de estudios. El aprendizaje se realiza a lo largo de toda la vida; es decir,se mantiene desde el nacimiento hasta el final de la existencia. Adems, no slo poseeuna perspectiva longitudinal, tambin sucede a lo ancho de la vida. Esto significa queel aprendizaje no se desarrolla nicamente dentro del sistema educativo, tambin seproduce en otros espacios que integran la vida social, como el hogar, el juego, el trabajo,entre otros.Escalas y niveles de desempeoLos aspectos conceptuales mencionados anteriormente sirven de base referencial paraestructurar la prueba de PISA como un instrumento que permite medir las competen-cias, y que ayuda a derivar los resultados del desempeo de la muestra de estudiantesque participan en dicha prueba. Los resultados que reporta PISA se presentan en una escala global (para cada una delas tres reas) y por subescalas (slo para el rea principal). Tanto para la escala global20 19. como para las subescalas existen niveles de desempeo diferenciados por un rango depuntaje. Los niveles, al estar asociados a reactivos de dificultad creciente, permiten cata-logar el desempeo de los estudiantes al describir lo que son capaces de hacer.Los puntajes de los niveles de desempeo se expresan en una escala continua conun puntaje promedio de 500, establecida para los pases miembros de la OCDE en 2000,y una desviacin estndar de 100 puntos. Dos caractersticas de los niveles de desempeo son su jerarqua e inclusin. Estosignifica que un estudiante en un nivel particular no slo demuestra conocimientos yhabilidades propias de ese nivel, sino tambin las competencias requeridas en los nive-les inferiores; por ejemplo, un estudiante en el Nivel 3 tambin es competente en losNiveles 1 y 2. De acuerdo con PISA, el Nivel 2 se considera como el mnimo necesariopara que un joven pueda integrarse de manera adecuada como adulto capaz en la socie-dad del conocimiento.Lo diferente en PISA 2009Un nuevo perfil en lecturaAl igual que en el ao 2000, para este ciclo el rea a la que se le dio nfasis fue Lectura,lo cual permitir contrastar los resultados en perspectiva al revisar tendencias en unperiodo de nueve aos. Para el ciclo de 2009 se actualiz el marco de referencia de Lectura de 2000, con elpropsito de mejorar la medicin de la competencia lectora, as como de ajustarlo paraque reflejara los cambios actuales en la forma cmo la gente lee despus de casi unadcada de estudio. Es necesario aclarar que el marco de referencia puede actualizarse para lograr una me-jor precisin conceptual, sin detrimento de la estructura bsica y sin perder la compa-rabilidad entre ciclos, manteniendo as correspondencia con el objetivo y los principiosoriginales para los que fue planteado el estudio. Los ajustes que se realizaron para precisar la concepcin de la competencia lectoraconsistieron en que en el ao 2000 se manejaba qu tanto los estudiantes recuperan in-formacin, y en 2009 la mirada se orient tambin a qu tanto pueden acceder a ella. Siantes se centr la atencin en la interpretacin de lo que se lee, en 2009 se dirigi, ade-ms, a qu tan bien los alumnos integran lo que leen. Finalmente, tanto en 2000 comoen 2009 se tom en cuenta la capacidad de reflexionar y evaluar lo que se lee.Oportunidad para una comparacin confiableCon PISA 2009 es posible realizar un comparativo confiable con los resultados de 2000,ya que se midi de manera amplia el rea de Lectura. Comparativo que no se consiguede manera suficientemente confiable al tratarse de los ciclos intermedios 2003 y 2006,cuando la Lectura no fue el rea principal de evaluacin. 21 20. Mxico en PISA 2009Este comparativo permitir identificar los cambios que hubieran ocurrido en nueveaos en el sistema educativo en cuanto a la competencia lectora, as como mirar enperspectiva los resultados y revisar las tendenciasUna medicin ms detallada de la competencia lectoraPara este ciclo se incorpor a la prueba un conjunto nuevo de reactivos dirigido a lamedicin ms precisa de los niveles bajos de desempeo de la competencia lectora. Elnuevo grupo de reactivos fue similar a los reactivos estndar, excepto en la dificultad. Esta innovacin tuvo tres propsitos: mejorar la descripcin de lo que los estudiantesen los niveles bajos de desempeo saben, comprenden y pueden hacer; contar con unadescripcin ms amplia de lo que significa un desempeo en esos niveles; y medir mshabilidades bsicas de lectura y hacer que la experiencia de la prueba sea pertinente enel sentido de que los estudiantes de menor desempeo puedan contestar las preguntas. Anteriormente, la descripcin de los niveles ms bajos de desempeo era muy gene-ral, dado que se basaba en pocos reactivos y por ello no ayudaba a identificar lo que erancapaces de hacer los estudiantes ah ubicados. Esta situacin redundaba en insuficienteselementos informativos para que los pases con altos porcentajes de estudiantes en losniveles bajos pudieran planear acciones educativas puntuales para atender sus carenciasy deficiencias. Las puntuaciones que obtienen los estudiantes en PISA no dependen del nmero deaciertos sobre el total de preguntas, sino que se toma en cuenta si las que se respondenbien son ms o menos difciles. Por ello, la inclusin de los nuevos reactivos no implicaque la prueba se vuelva menos difcil, ni que los estudiantes de menor nivel tengan unmejor desempeo, ni que se pierda la comparabilidad. Ms bien se tiene una prueba conuna gama ms amplia de reactivos y, en ese sentido, los estudiantes responden tareas detodo tipo de dificultad. Aunque los pases podan optar por tomar o no este nuevo grupo de reactivos, se re-comendaba para los casos que, como Mxico, presentan altos porcentajes de estudiantesen los niveles bajos. En una buena medicin debe haber reactivos de todas las dificultades para que midanlas diferentes habilidades de los estudiantes desde las ms bajas hasta las ms altas. Setrata de que los estudiantes respondan adecuadamente los reactivos de diferentes difi-cultades, tanto fciles como difciles, para poder identificar su desempeo. Por ello, elcreciente nmero de pases con altas proporciones de estudiantes de bajo desempeohizo aconsejable este incremento del nmero de reactivos de menor dificultad. Los resultados de todos los pases, independientemente de haber o no optado porel nuevo grupo de reactivos, se reportan en la misma escala de Lectura sin distincinalguna. Por otro lado, como parte de esta mejora en la medicin, el nivel de desempeo msbajo se desglos en dos y tambin se agreg un nivel alto de desempeo en aras de des-cribir con ms detalle lo que son capaces de hacer los lectores altamente competentes.22 21. Hasta ahora la prueba de Lectura en PISA tena cinco niveles, de 1 a 5, adems del nivelllamado por debajo del 1; ahora se identifican siete niveles, como sigue: 1b, 1a, 2, 3, 4,5 y 6, adems del denominado por debajo del 1b. La descripcin de cada nivel se po-dr consultar ms adelante en el captulo correspondiente a los resultados de Lectura.La medicin de la lectura en textos digitalesEn el ciclo 2009, por primera vez se realiz la medicin de la competencia lectora en lamodalidad por computadora, con el propsito de medir qu tan bien leen los estudian-tes textos digitales. Optaron por esta modalidad 20 pases; Mxico no particip en estaopcin debido a la falta de infraestructura de cmputo en las escuelas.Insercin de nueva informacin de contexto de los estudiantesDebido a que en el ciclo 2000 hubo variables de contexto sobre el inters o motivacin(engagement) en actividades de lectura y sobre el conocimiento y uso de estrategias deaprendizaje que fueron tiles para asociarlas con el desempeo de los estudiantes, en2009 estos temas reaparecieron con mejoras. Los cambios se reflejaron en preguntas sobre: El uso de tcnicas para aprender, particularmente, la manera en que entienden yaprenden conceptos o textos y las aproximaciones que usan los estudiantes pararesumir textos, as como qu tan conscientes estn de su habilidad para recurrir auna variedad de estrategias para procesar textos. La visita a la biblioteca para el prstamo de libros, la lectura o el uso de Internet. La promocin del inters por la lectura por parte de los profesores y las formas dehacerlo. La manera en que los estudiantes aprovechan las nuevas tecnologas, ya sea paraacceder a Internet o por diversin. Con la incorporacin de estas preguntas se espera disponer de ms elementos de con-texto que permitan comprender ms ampliamente los resultados de PISA.Uso de los resultadosLos resultados tienen la particularidad de ser datos cuantitativos y comparativos. Al serun proyecto dirigido a orientar la poltica educativa, su principal funcin es suminis-trar informacin y facilitar el conocimiento sobre la situacin del sistema educativo, loque contribuye a fundamentar las decisiones sobre las reformas y diseo de polticaseducativas que habrn de emprenderse en el mediano y largo plazos. De esta forma, lainformacin derivada de la evaluacin pretende: Ser la base para el diseo de polticas educativas que contribuyan a la mejora. Promover el estudio, la investigacin y el anlisis de la realidad educativa para lograr una mejora en la calidad educativa. 23 22. Mxico en PISA 2009 Proporcionar elementos tcnicos, metodolgicos y analticos rigurosos y slidos que sirvan de apoyo a los procesos de evaluacin y cuyos resultados se traduzcan en mejoras a la educacin. PISA presenta comparaciones internacionales sobre el desempeo de los sistemaseducativos con mediciones slidas y vlidas para diferentes culturas sobre las competen-cias que son importantes para la vida adulta. Las evaluaciones que slo ponen a pruebael dominio de los planes de estudios ofrecen mediciones sobre la eficacia interna de lossistemas educativos, pero no revelan qu tan eficazmente estn preparando las escuelasa los estudiantes para la vida despus de haber completado su educacin formal. La informacin obtenida tambin permite a los diseadores de polticas observar decerca los factores de contexto asociados con el xito educativo, y no slo para hacercomparaciones entre resultados aislados. Los datos del estudio sealan, por ejemplo, ladiferencia en el desempeo entre estudiantes que viven en hogares con ms y menos re-cursos econmicos de sus propios pases, comparados con el desempeo de estudiantesen condiciones similares dentro de otras naciones. Se presenta un enfoque de los resultados educativos utilizando como base de evi-dencia las experiencias de los estudiantes de los pases participantes, en lugar de lasexperiencias del contexto cultural especfico de un solo pas. El contexto internacionalpermite a los diseadores de polticas valorar de mejor forma los supuestos acerca de lacalidad de los resultados educativos de sus propios pases. Si bien el estudio permite asociar al desempeo diferentes variables de contexto delentorno inmediato de escuelas y familias de los estudiantes, no identifica relaciones decausa-efecto entre los insumos, los procesos y los logros educativos. PISA es un estudiode evaluacin eminentemente descriptivo que permite poner de relieve las principalescaractersticas en que los sistemas educativos son comunes y diferentes, y compartir esoshallazgos con educadores, investigadores, profesores, tomadores de decisiones y pblicoen general. Como se ha dicho antes, el enfoque internacional del estudio ofrece a los diseadoresde polticas una perspectiva que posibilita conocer fortalezas y debilidades de sus pro-pios sistemas educativos. Con el anlisis contextual de los resultados es posible que losdiseadores de polticas puedan enfrentar los desempeos deficientes y consolidar lasreas fuertes. Al ser un proyecto sistemtico, riguroso y peridico, se brinda la oportunidad a losgobiernos de dar seguimiento regular al avance de sus sistemas educativos y evaluar laspolticas nacionales a la luz del desempeo de otros pases. A la vez, por las caractersti-cas metodolgicas y tcnicas tan robustas de su sistema de medicin, el estudio invita alos pases a contrastar sus propios sistemas de evaluacin y adquirir los elementos msavanzados para incorporarlos a los modelos propios de evaluacin. En este sentido, PISArepresenta una rica fuente de aprendizaje para fortalecer los sistemas de evaluacin decada pas. Finalmente, adems del impacto educativo, metodolgico y poltico, PISA es un fun-damento para el desarrollo de investigaciones que profundicen el conocimiento de la24 23. realidad educativa de los pases, cuyos resultados puedan ser elementos bsicos para eldiseo de polticas propias y que sirvan de retroalimentacin al propio proyecto.BibliografaUNESCO (2006). Clasificacin Internacional Normalizada de la Educacin (CINE). Reedi-cin. Recuperado el 8 de junio de 2010, desde http://www.uis.unesco.org/TEMPLATE/pdf/isced/ISCED_E.pdfOECD (2008). School Sampling Preparation Manual. PISA 2009 Main Study. Version May2008 (Documento Interno).OECD (2010). What Students Know and Can Do: Students performance in Reading, Mathe-matics and Science in PISA 2009. Volume I. Paris: OECD.25 24. CAPTULO 2Administracin de pisA 2009 en MxicoIntroduccinEste captulo contiene cuatro secciones. La primera se refiere a la descripcin de losaspectos operativos del estudio de PISA 2009 en Mxico, para lo cual se indica lafuncin del INEE como coordinador de las diferentes tareas en la administracinde la prueba, as como los aspectos concretos de sta. Se contina con una seccin sobrela caracterizacin de la muestra de estudiantes participantes. La siguiente seccin presenta la descripcin de la poblacin (universo de estudio) quesirve como referente para ubicar que los resultados, que se presentarn en los captulosposteriores, han de referirse a esa poblacin, en tanto que la muestra de estudiantes esun subconjunto de ella que se utiliza para realizar inferencias. La cuarta y ltima seccin contiene elementos clave para entender los resultados. Pue-de afirmarse que sta es fundamental para poder analizar y comprender los datos que sepresentarn en los siguientes captulos, por lo que se recomienda su revisin detenida.Administracin de PISA 2009La coordinacin de la administracin de PISA en Mxico ha sido responsabilidad delINEE desde abril de 2003. De esta forma el Instituto, a travs de la Direccin de Pro-yectos Internacionales y Especiales (DPIE), ha sido el Centro Nacional que coordina yadministra las distintas etapas de los ciclos de este estudio. El Centro Nacional en cada pas participante debe cumplir con una serie de con-troles externos y estndares tcnicos establecidos por PISA (OECD, 2007a), a fin deasegurar la calidad de las diferentes actividades del estudio; una de ellas, en el caso delINEE, es la administracin de los instrumentos de medicin en las 32 entidades. Otrasactividades son la traduccin y adaptacin de los materiales de medicin, el diseo delmarco muestral de escuelas, la seleccin al azar de la muestra de estudiantes, la codifi-cacin de las preguntas de respuesta abierta construida, y la captura de informacin eintegracin de la base de datos. La preparacin de este informe nacional, con base en elanlisis de los resultados, corresponde tambin al INEE.27 25. Mxico en PISA 2009 La aplicacin se realiz el 29 de marzo de 2009 en las 32 entidades federativas. Si bienen el ao 2000 se particip solamente con la cantidad necesaria para una muestra nacio-nal, en el ciclo 2009 (al igual que en 2003 y 2006), Mxico mantuvo la decisin de teneruna sobremuestra de escuelas y estudiantes con el propsito de disponer de informacinrepresentativa por entidad federativa. La cantidad de escuelas y estudiantes considerados en los distintos ciclos de PISA seindica en la Tabla 2.1.Tabla 2.1 Cantidad de escuelas y estudiantes en los ciclos de PISA Ciclo Escuelas Estudiantes 2000183 5,276 20031,124 29,983 20061,140 33,706 20091,535 38,250 Fuente: INEE. Elaboracin con las bases de datos de PISA 2000, 2003, 2006 y 2009. En la Tabla 2.2 se presentan los porcentajes de participacin que se alcanzaron enel ciclo 2009. Si se comparan las tasas requeridas para asegurar la comparabilidad inter-nacional de resultados con las obtenidas a nivel nacional, se observa que se cumplicabalmente con los parmetros establecidos.Tabla 2.2 Tasas de participacin requerida y obtenida, PISA 2009 Requerida por PISA Obtenida por para pasMxicoEstudiantes 80%95%Escuelas85%98% Fuente: Westat (2010). Al revisar los tamaos de las muestras por entidad federativa, en la Tabla 2.3 se des-taca la participacin de la mayora de las escuelas en las que se plane y logr aplicarla prueba. Slo en Oaxaca la tasa de participacin de escuelas fue inferior a 85%. En loque se refiere a la participacin de estudiantes en todas las entidades se alcanzaron tasassuperiores a 80%.28 26. Tabla 2.3 Nmero de escuelas y estudiantes y tasas de participacinpor entidad, PISA 2009 Tasas de participacin Escuelas Estudiantes (%)Entidad participantes participantes EscuelasEstudiantesAguascalientes491,181100 96Baja California 431,096100 97Baja California Sur 451,163100 93Campeche501,2139892Coahuila451,202100 96Colima501,319100 98Chiapas 511,2389894Chihuahua 441,0979899Distrito Federal421,1239589Durango 481,0739895Guanajuato531,271100 96Guerrero501,256100 95Hidalgo 501,218100 98Jalisco 471,146100 96Mxico501,245100 97Michoacn 471,0458591Morelos 441,1149693Nayarit 531,233100 94Nuevo Len461,170100 93Oaxaca411,0417997Puebla521,343100 96Quertaro 491,313100 97Quintana Roo461,174100 94San Luis Potos 511,2299897Sinaloa 461,194100 96Sonora461,149100 94Tabasco 491,216100 92Tamaulipas451,163100 96Tlaxcala471,250100 96Veracruz531,324100 99Yucatn 511,282100 96Zacatecas 521,169100 97Nacional 1,53538,25098 95Fuente: INEE. Elaboracin con datos de Westat (2010). 29 27. Mxico en PISA 2009Caracterizacin de la muestra de estudiantesLa muestra se conform de un total de 38,250 estudiantes cuya caracterizacin se pre-senta a continuacin.GneroA nivel nacional, de los 38,250 estudiantes que participaron en este ciclo, 52% fueronmujeres y 48% hombres.Nivel y modalidad de servicio educativoEn la Tabla 2.4 se muestra que hubo mayor cantidad de estudiantes de Educacin Me-dia Superior (EMS) que de secundaria. En lo que se refiere a las modalidades de servicioeducativo, la mayora de los estudiantes participantes estaban inscritos en el bachillera-to general y el bachillerato tecnolgico, seguidos por la secundaria general.Tabla 2.4 Estudiantes participantes por nivel y modalidadde servicio educativo, PISA 2009 Modalidad de servicio educativo EstudiantesPorcentaje Secundaria General5,06113.2 Secundaria Tcnica3,381 8.8 Telesecundaria2,026 5.3 Subtotal secundaria10,46827.4 Bachillerato General 15,65340.9 Bachillerato Tecnolgico 10,26426.8 Profesional Tcnico 1,865 4.9Subtotal EMS27,78272.6 Total38,250 100.0 Fuente: INEE. Elaboracin con la base de datos de PISA 2009.Grado escolarDe acuerdo con la normatividad educativa, los mexicanos deberan iniciar la primariaa los seis aos, por lo que a los 15 aos estaran cursando el primer ao de educacinmedia superior. Las distintas fechas de nacimiento de los estudiantes al iniciar el cicloescolar crean diferencias de casi un ao respecto a la edad estipulada para cada ao esco-lar en los niveles educativos. Esto trae como consecuencia, en el caso de la evaluacin dePISA, que se tenga poblacin estudiantil de 15 aos cursando esencialmente el primerao de educacin media superior, pero que tambin se tengan estudiantes inscritos entercero de secundaria.30 28. La proporcin de estudiantes que participaron en PISA 2009 por grado escolar, tan-to en secundaria como en EMS, es un dato indicativo del probable rezago para el casode estudiantes que con 15 aos estn cursando primero o segundo de secundaria. Sinembargo, tambin con esa edad hay estudiantes adelantados quienes ya estn cursandosegundo o tercer ao de educacin media superior. La situacin de extraedad y de ventaja acadmica se aprecia en la Tabla 2.5, queincluye los datos de secundaria y EMS. Se observa que de los 38,250 estudiantes, 71.9%cursaba el primer ao de educacin media superior (grado 10) y 21.8% tercero de secun-daria (grado 9). Estos estudiantes se consideran regulares por estar en el grado que poredad les corresponde. Por otra parte, 5.6% de alumnos cursaba el primero o segundo grados de secundaria,es decir, en extraedad; y menos de 1% de estudiantes adelantados que a la edad de 15aos ya estaban en segundo o tercer ao de educacin media superior.Tabla 2.5 Estudiantes participantes segn el grado escolar,PISA 2009 Secundaria Educacin Media Superior Grado escolar 1. 2.3. 1.2. 3. Total Grado CINE*7 8910 1112Estudiantes 409 1,738 8,32127,494283 5 38,250Porcentaje 1.14.521.871.90.70.0100.0 Fuente: INEE. Elaboracin con la base de datos de PISA 2009. * CINE: Clasificacin Internacional Normalizada de Educacin. UNESCO, 2006.Sostenimiento y localidad de las escuelas En las Tablas 2.6 y 2.7 se puede observar que 89.3% de los estudiantes provino deescuelas pblicas, y 87% de escuelas urbanas.1Tabla 2.6 Estudiantes participantes segn el sostenimientode las escuelas, PISA 2009Sostenimiento Estudiantes Porcentaje Privado4,08010.7 Pblico 34,17089.3 Total 38,250 100.0Fuente: INEE. Elaboracin con la base de datos dePISA 2009.1La definicin de localidad es la misma que utiliza el INEGI en el Censo de 2000 y en el Conteo de 2005.sta se refiere a la zona geogrfica y se considera urbana si tiene 2,500 o ms habitantes. 31 29. Mxico en PISA 2009Tabla 2.7 Estudiantes participantes segn el tipo de localidad,PISA 2009Tipo de localidadEstudiantes Porcentaje Rural4,981 13.0 Urbano33,269 87.0 Total38,250100.0Fuente: INEE. Elaboracin con la base de datos dePISA 2009.PoblacinPara dimensionar el alcance de PISA en Mxico hay que mencionar las caractersticas dela poblacin a la que se dirigi el estudio (universo). No hay que olvidar que la muestraes representativa para estudiantes de 15 aos. Los resultados obtenidos por los 38,250alumnos de 15 aos entonces son representativos de la poblacin elegible que asciendea 1425,397 estudiantes de 15 aos inscritos en sptimo grado (primero de secundaria)o superior. Conforme a las edades establecidas por PISA y la fecha programada para la aplicacin,en esta ocasin los estudiantes elegibles nacieron entre el 1 de enero y el 31 de diciem-bre de 1993.CoberturaUn dato referencial importante es la cobertura respecto a la poblacin total de jvenes de15 aos y el total de estudiantes de 15 aos inscritos en sptimo grado o por arriba, dadoque es un indicador de la capacidad del sistema educativo para atender a esta poblacin. Como se observa en la Tabla 2.8, la cobertura lograda por el sistema educativo mexi-cano en 2009 se increment 3.3% respecto al ciclo anterior y 14.6% (326,792 estudian-tes de 15 aos) respecto al ao 2000.22En el informe internacional de PISA 2009 se present el ndice de cobertura con base en la estimacin delnmero de estudiantes de 15 aos inscritos en sptimo grado (primero de secundaria) o superior.32 30. Tabla 2.8 Poblacin de 15 aos y cobertura escolar en los ciclos PISAndice de coberturaCiclo dePoblacin total de Poblacin total de estudiantes de 15 aos poblacin matriculadaPISA jvenes de 15 aosinscritos en sptimo grado o superior %20002127,5041098,60551.620032192,4521273,16358.120062200,9161383,36462.920092151,7711425,39766.2Fuentes: OCDE (2001, 2004, 2007b, 2009) Por primera ocasin en los ciclos de PISA, se aprecia una disminucin en la poblacintotal de jvenes de 15 aos entre 2006 y 2009. En ese mismo perodo, la cantidad de j-venes de 15 aos inscritos al menos en secundaria se increment en 42,033 estudiantes,lo que indica un aumento en la cobertura lograda por el sistema educativo mexicano. En la Tabla 2.9 las cifras muestran que la mayor parte de los jvenes que siguen en laescuela a los 15 aos est comenzando la enseanza media superior (45.9%); y hay unaproporcin importante en secundaria (20.4%), aunque tambin se registra que muchosjvenes no asisten a la escuela o estn en primaria (33.8%) y por ende no fueron inclui-dos en la conformacin del universo a evaluar. De los estudiantes de 15 aos inscritos en secundaria o educacin media superior(1425,397), 42% asiste principalmente al bachillerato general, 22% al bachillerato tec-nolgico y 13% a la secundaria general. En lo que respecta al tipo de sostenimiento, 87% est inscrito en escuelas pblicas.Por tipo de localidad, 80% de los estudiantes de 15 aos asiste a escuelas urbanas y 20%se encuentra en escuelas rurales. En la Tabla 2.9, se desagrega la poblacin de 15 aos por entidad federativa. La en-tidad con mayor nmero de jvenes por atender es el Estado de Mxico, mientras que lade menor nmero de estudiantes es Baja California Sur. Adems de que esta ltima tienela menor cantidad de jvenes, su cobertura en secundaria y educacin media superior esinferior en cinco puntos porcentuales respecto a la del Distrito Federal, que cuenta conla mayor tasa de cobertura. Otros datos relevantes tienen que ver con los porcentajes totales de los estudiantesinscritos en secundaria o media superior (66.2%) y su complemento de los que estntodava en primaria o fuera de la escuela (33.8%). Sera esperable que las entidades enlas que existen menos jvenes en primaria o fuera de la escuela tengan mayor problemapara obtener buenos resultados en PISA, que aquellas en las que ms jvenes estn enesa situacin, porque no son elegibles en PISA. Por otro lado, es importante destacar el dato referido a la proporcin de jvenes de15 aos que todava est en secundaria. Una entidad como Oaxaca, con una coberturabastante buena en el contexto nacional (70.6%), tiene una proporcin alta de jvenesde 15 aos todava en secundaria, lo cual posiblemente tambin contribuya a no obte-ner buenos resultados en PISA.33 31. Mxico en PISA 2009Tabla 2.9 Poblacin de 15 aos inscrita en diferentes niveleseducativos por entidad federativa Porcentaje de estudiantes inscritos enPorcentajeel sistema escolarizado Poblacin de 15fuera de la Entidad aos 2007En media Enescuela o Totalsuperior secundaria en primaria Distrito Federal 144,712 62.0 21.6 83.616.4 Baja California Sur9,906 60.1 18.9 79.021.0 Tabasco 43,531 57.3 21.4 78.721.3 Morelos 33,134 56.0 19.4 75.424.6 Sinaloa 53,982 55.3 19.2 74.525.5 Hidalgo 51,125 55.9 18.5 74.325.7 Veracruz 151,460 45.6 26.9 72.527.5 Durango 33,150 53.1 18.5 71.728.3 Nayarit 20,066 53.4 18.2 71.628.4 Oaxaca82,385 38.8 31.7 70.629.4 Sonora47,471 48.8 21.2 70.030.0 Tlaxcala23,199 52.1 17.7 69.830.2 Campeche16,539 42.8 26.3 69.230.8 Tamaulipas58,090 49.6 18.8 68.431.6 Chihuahua 64,280 52.1 16.2 68.231.8 Quertaro 35,286 47.2 20.4 67.632.4 San Luis Potos 53,910 44.8 22.4 67.332.7 Puebla 119,871 47.9 19.1 67.132.9 Colima11,540 48.1 18.4 66.533.5 Baja California 56,126 46.2 19.4 65.634.4 Yucatn 38,148 39.7 25.3 64.935.1 Quintana Roo25,198 38.0 26.5 64.635.4 Coahuila50,283 51.8 11.9 63.736.3 Aguascalientes23,479 51.8 11.7 63.536.5 Guerrero74,201 32.2 30.4 62.537.5 Zacatecas 30,007 46.1 15.8 61.938.1 Nuevo Len77,579 49.7 11.7 61.438.6 Mxico 281,737 44.8 16.5 61.338.7 Guanajuato 108,849 39.6 20.3 59.940.1 Chiapas105,121 31.4 27.4 58.841.2 Michoacn 88,223 36.9 19.0 55.944.1 Jalisco139,183 37.2 16.0 53.246.8 Nacional2,151,77145.9 20.4 66.2 33.8 Fuente: INEE. Elaboracin con datos del Marco de Muestreo para PISA 2009 y Proyecciones de la poblacin de Mxico 2005-2050, Conapo.34 32. Es preciso aclarar que la muestra de 38,250 estudiantes representa a 1305,461 j-venes de 15 aos que asisten a la secundaria o a la educacin media superior a nivelnacional. La discrepancia entre la cantidad de estudiantes representados (1305,401) ylas cifras proporcionadas en el apartado de la poblacin de estudio (1425,397), se debea que PISA considera a los estudiantes de 15 aos tres meses a 16 aos dos meses, y lasestadsticas del citado apartado consideran nicamente a los jvenes de 15 aos cum-plidos. Por la forma en que se selecciona la muestra,3 las proporciones de las categoras usa-das en su caracterizacin pueden diferir de manera importante de las de la poblacin.Esta diferencia se corrige mediante el uso de ponderadores, de manera que los resultadosse pueden considerar representativos de la poblacin con los mrgenes de error corres-pondientes.Elementos para entender los resultadosEn esta seccin se ofrecen elementos para que los lectores puedan interpretar correcta-mente los resultados que se presentarn en los siguientes captulos. Se explicar primero la forma en que se construyen las escalas de PISA, as como losniveles de competencia que se definen en cada una; despus se dan elementos para lacorrecta lectura de las tablas y grficas en que se resume la informacin sobre los resul-tados. En cada nivel de anlisis de Mxico en la perspectiva internacional o por entidadfederativa se da informacin de tres maneras: Primero, los resultados de pases y entidades se muestran presentando las medias delas puntuaciones de los alumnos en las escalas de que se trate. Las medias se presen-tan inicialmente para el conjunto de los 65 pases y posteriormente se concentranpara los 22 pases seleccionados como grupo de comparacin, integrado como sigue:cuatro pases con resultados extremos, dos particularmente altos: Shanghi-China yCorea del Sur, y dos especialmente bajos: Azerbaiyn y Kirguistn; Canad y EstadosUnidos, como socios comerciales y vecinos; los 10 pases iberoamericanos, por susimilitud cultural y nivel de desarrollo: Espaa y Portugal, Argentina, Brasil, Chile,Colombia, Panam, Per y Uruguay que, junto con Mxico, han constituido desde2005 el Grupo Iberoamericano de PISA (GIP), con propsitos de apoyo mutuo. Seispases ms, seleccionados mediante un anlisis de conglomerados: Federacin Rusa,3El muestreo que utiliza PISA es probabilstico, estratificado y bietpico (OECD, 2008). En la primera etapa,PISA selecciona a las escuelas a partir del Marco de Muestreo integrado por el INEE con informacin de laForma 911 de la SEP (inicio del ciclo escolar 2007-2008). En la segunda etapa, el INEE selecciona aleato-riamente a los estudiantes de 15 aos de los centros escolares seleccionados por PISA. En cada una de ellasse selecciona a 35 alumnos de 15 aos, y en las escuelas con menos de 35 estudiantes se eligen a todos. Laestimacin se realiza con los ponderadores que se calculan como el inverso de la probabilidad de seleccinde los centros escolares y de los alumnos en la muestra. Los ponderadores se utilizan debido a que las es-cuelas se seleccionan con una probabilidad proporcional al tamao y por los ajustes a la no respuesta enlas dos etapas.35 33. Mxico en PISA 2009 Indonesia, Italia, Polonia, Tailandia y Turqua. El otro nivel presenta los resultados por entidad. Segundo, los resultados se ofrecen en trminos del porcentaje de estudiantes cuyo puntaje los ubica en uno u otro de los niveles de desempeo definidos. Estos se pre- sentan slo para el grupo de comparacin y por entidades. Tercero, se presentan grficas de la dispersin de puntuaciones en los rangos percen- tilares 5 y 95, en los que se incluyen las medias de desempeo y el rango P5-P95. Se muestra la dispersin para el grupo de comparacin y por entidades.En las tres formas de anlisis se incluyen los promedios OCDE y de Amrica Latina(AL). El primero se refiere a la media de los 34 pases miembros de la OCDE, los cuales seponderaron por igual, a fin de evitar que dicho valor estuviera sesgado hacia los pasescon mayor poblacin escolar de 15 aos. En 2009, el promedio de la OCDE en Lecturafue de 493 puntos con una desviacin estndar de 93.Para el clculo del promedio de AL se adopt la misma metodologa, otorgando igualpeso a los ocho pases latinoamericanos que participaron en PISA 2009 (Argentina, Bra-sil, Chile, Colombia, Mxico, Panam, Per y Uruguay). El valor promedio de los paseslatinoamericanos en Lectura fue de 408 puntos y la desviacin estndar de 98 puntos.Las escalas de PISALas pruebas PISA comprenden unidades de reactivos sobre tres grandes campos: com-petencias lectoras, matemticas y cientficas. La respuesta a algunas preguntas, comose ha apuntado ya, requiere seleccionar la alternativa correcta entre varias propuestas(reactivos de opcin mltiple); casi la mitad de stos requiere, en cambio, que cadaalumno desarrolle su propia respuesta. Las respuestas a los reactivos de opcin mltiplese procesan en forma simple; las preguntas de respuesta abierta implican la calificacinpor equipos de maestros preparados para ello. Dado el distinto grado de dificultad de cada pregunta, y que las preguntas de res-puesta abierta no se califican slo como correctas e incorrectas, sino que pueden serparcialmente correctas, el puntaje total de un alumno no es simplemente la suma de susrespuestas acertadas, sino que se obtiene mediante tcnicas estadsticas complejas, perode probada solidez, derivadas de la Teora de Respuesta al tem. Con base en esas tcnicas, los resultados de PISA se presentan en escalas que se carac-terizan por tener una media terica de 500 puntos y una desviacin estndar de 100.4 Debe recordarse que por el gran nmero de preguntas que comprenden las pruebasusadas en PISA, no sera adecuado solicitar a cada alumno que las respondiera en sutotalidad, por lo que la prueba se divide en partes, que se aplican a distintos alumnoscon base en un diseo cuidadoso (matricial) que no permite dar resultados sobre cada4La media de 500 puntos y la desviacin estndar de 100 se establecieron en PISA 2000 como referentepara los ciclos posteriores en los que la media puede ser distinta. La media de 2009, de 493 puntos, reflejala incorporacin a la OCDE de cuatro nuevos pases, cuyos resultados son, en general, inferiores al grupoanterior de la OCDE.36 34. alumno o cada escuela, pero s sobre el conjunto de alumnos de un pas o regin. Aunen estos casos hay mrgenes de error, inevitables en cualquier investigacin, pero dedimensiones aceptables y de los que se informa en cada caso. En cada aplicacin de PISA uno de los tres campos es medido con mayor detalle, puesse utilizan ms preguntas, de manera que es posible construir varias subescalas. En PISA2009 el campo evaluado con mayor detalle fue el de la competencia lectora, por lo quesus resultados pueden desglosarse en tres subescalas (Acceder y recuperar, Integrar e inter-pretar y Reflexionar y evaluar).Los niveles de desempeoA partir de las distribuciones de los resultados de los alumnos, se definen varias cate-goras para cada escala medida por las pruebas PISA, denominadas de manera genricaniveles de desempeo o de competencia. En unas escalas se establecen seis niveles y en otras siete (como es ahora la escala de Lectu-ra), cada uno de los cuales se define por un rango de puntuaciones; a los anteriores se aadeun nivel ms, que puede denominarse Debajo del Nivel 1 o Nivel 0, en el que se sitanlas puntuaciones que quedan por debajo del umbral inferior del Nivel 1 (esto aplica paraCiencias y Matemticas). La tabla siguiente presenta, de manera genrica, los niveles dedesempeo de las escalas de PISA.Descripcin genrica de los niveles de desempeoNiveles Descripcin genricaNivel 6Situarse en uno de los niveles ms altos significa que un alumno tiene potencialNivel 5para realizar actividades de alta complejidad cognitiva, cientficas u otras.Nivel 4Por arriba del mnimo necesario y, por ello, bastante bueno, aunque no del nivelNivel 3deseable para la realizacin de las actividades cognitivas ms complejas.Identifica el mnimo adecuado para desempearse en la sociedadNivel 2contempornea.Nivel 1aInsuficientes (en especial el 0) para acceder a estudios superiores y desarrollarNivel 1blas actividades que exige la vida en la sociedad del conocimiento.Nivel 0 El significado preciso de los niveles de competencia es distinto, desde luego, paracada escala y subescala. En cada uno de los captulos o apartados siguientes se precisa-rn los niveles correspondientes, con base en los marcos de referencia de cada campomedido por PISA, que permiten dar sentido a los niveles de competencia de las escalasrespectivas, que cubren una gama muy amplia de habilidades. En general, el Nivel 2 de cada escala representa el mnimo necesario para que unjoven pueda seguir estudiando en niveles educativos superiores, o pueda insertarse con37 35. Mxico en PISA 2009xito en el mercado laboral; por ello, el que existan proporciones considerables de jve-nes en los Niveles 1a, 1b y 0 debe ser considerado preocupante.Tambin hay que fijarse en la proporcin de estudiantes que alcance a ubicarse en los ni-veles ms altos de desempeo, recordando que ni siquiera los pases con mejores resultadosconsiguen situar en ellos a la mayor parte de su poblacin. Pero si los porcentajes de jvenesque lo consiguen en un pas son demasiado bajos, eso querr decir que, si no se modificatal situacin, esa nacin no podr aspirar a formar un nmero suficiente de especialistas dealto nivel, cientficos y otros, lo que ser un obstculo importante para el desarrollo de unasociedad avanzada y una economa competitiva en el mundo globalizado del siglo XXI.Las interpretaciones ms simples y sus limitacionesLa forma ms limitada de presentar los resultados de PISA se reduce a hacer un ordena-miento simple de los pases o, en su caso, de las entidades federativas con base en lamedia de las puntuaciones obtenidas por los alumnos respectivos. Esos ordenamientos simples, conocidos como rankings, resultan atractivos porquepermiten obtener un tipo de conclusiones, que parecen claras, sobre cules sistemaseducativos seran de mejor o peor calidad, en funcin del lugar que ocupen en el orde-namiento mencionado. Tal tipo de conclusiones, sin embargo, carecen de sustento slido, ya que no tomaen cuenta varios aspectos tcnicos de los ordenamientos simples mencionados, que seresumen como sigue: Multidimensionalidad de las pruebas. En cada aplicacin de PISA se miden tres com-petencias: lectora, matemtica y cientfica. Aunque los resultados de cada pas en lastres suelen situarse en un rango cercano, la coincidencia no es perfecta, por lo quelas puntuaciones de cada escala dan lugar a ordenamientos diferentes. Una mismacompetencia puede tener varias dimensiones, cada una de las cuales da lugar a unasubescala y un ordenamiento distinto. Distancia entre puntuaciones. Los rankings se prestan a interpretaciones que ignoran laimportancia de la distancia que separa cualquier pareja de puntuaciones, que puedeser pequea o grande. Las diferencias pequeas son engaosas, ya que pueden sermenores al intervalo de confianza de la medicin. Debe recordarse que los resultados de las pruebas PISA no son el promedio de laspuntuaciones de todos los sujetos de la poblacin, sino que son estimadas a partir de loobtenido por los integrantes de una muestra, por lo que de manera inevitable hay unmargen de error. Un buen diseo muestral permite estimar con precisin ese margen,con una probabilidad determinada, como se hace en PISA. Cuando la distancia que separa los promedios obtenidos por los estudiantes de dospases es menor al margen de error que se maneja, con cierto grado de probabilidad,no se puede afirmar que el resultado de quienes tienen la puntuacin superior seaefectivamente mejor que el de los otros. En esos casos, los pases en cuestin debernconsiderarse tcnicamente empatados.38 36. Considerando lo anterior, y con el propsito de evitar las interpretaciones simplistas,las grficas que presentan ordenamientos de pases o entidades se han diseado en este in-forme en forma tal que la distancia que separa en la grfica a dos pases o entidades es pro-porcional a la diferencia real de sus puntuaciones promedio. Por tanto, se incluye siempreel intervalo de confianza correspondiente, de manera que se puede apreciar fcilmentecules puntuaciones no difieren de manera significativa, en trminos estadsticos, porquelos intervalos de confianza se traslapan, y en qu casos la diferencia es importante. Una limitacin an ms elemental de las interpretaciones simplistas de los resulta-dos basados en ordenamientos simples de puntuaciones promedio es la que consiste eninterpretar una puntuacin ms alta como reflejo inequvoco de mejor calidad de lasescuelas, y una puntuacin ms baja como signo indudable tambin de menor calidadde ellas. Los resultados se deben a muchos factores, unos del mbito de la escuela, perootros, cuya importancia se reitera estudio tras estudio, del entorno familiar y social delos alumnos: los de una escuela que funciona bien, pueden tener resultados inferioresa los de otra de funcionamiento menos ordenado, debido precisamente al peso de losfactores del entorno. En sociedades muy desiguales, como la mexicana, las interpretaciones simplistas delos rankings pueden ser injustas con las escuelas que atienden a alumnos de mediosdesfavorecidos, mxime si se tiene en cuenta que suelen tambin contar con menosrecursos que las escuelas a las que asisten mayoritariamente alumnos de medios msfavorables. Esto no debe llevar a la conclusin de que los resultados de pruebas como lasde PISA no son importantes, pero s debe alertar sobre la necesidad de tener en cuentaotros elementos sobre los recursos de las escuelas y sobre su forma de operar para poderllegar a conclusiones sobre su calidad. Si los resultados de PISA en un pas son mejores que en otro, no se puede inferir sinms que las escuelas del primero sean ms eficaces, pues el aprendizaje comienza antesde asistir a la escuela y se desarrolla dentro y fuera de ella. La conclusin vlida, en cam-bio, es que el impacto acumulado de las experiencias de aprendizaje en ese pas, desdela infancia hasta los 15 aos, dentro y fuera de la escuela, ha trado consigo mejoresresultados en los aspectos evaluados por PISA.Una mejor perspectiva: los niveles de competenciaEl segundo tipo de presentacin de resultados que se utiliza permite interpretacionesms ricas que el primero. Se trata de las grficas de porcentajes de estudiantes por pas oentidad que se ubican en los niveles de desempeo de cada escala. Las interpretaciones de los resultados de PISA que centran la atencin en el lugar ocu-pado en ordenamientos simples son relativas, y no informan sobre la situacin de un paso entidad en trminos absolutos, lo que s permiten hacer los porcentajes de jvenes quese ubican en cada nivel de desempeo. La escasa utilidad de los rankings se aprecia, si seacepta que el propsito que debe perseguir el sistema educativo de un pas no es estarmejor que otro, sino conseguir que los nios y jvenes del pas de que se trate tengan39 37. Mxico en PISA 2009buenos niveles de preparacin. Ser mejor o peor que alguien no es necesariamente bue-no ni malo. Estar ligeramente detrs de alguien muy bueno es muy bueno y estar ligera-mente mejor que alguien muy malo sigue siendo malo.Si muchos pases consiguen que altas proporciones de sus jvenes tengan buenos nivelesde desempeo, importar poco que uno est en un lugar ligeramente ms alto o ms bajo enun grupo en el que las distancias que separan a sus integrantes son pequeas, probablemen-te poco significativas. De manera anloga, poca importancia deber darse al hecho de estararriba de otros pases o entidades, si una proporcin considerable de los jvenes del propiosistema educativo no alcanza los niveles mnimos necesarios para una vida adulta plena.Como se ha explicado antes, los niveles de desempeo de las escalas de PISA se defi-nen de tal manera que el Nivel 2 corresponde al mnimo necesario para que una personapueda desenvolverse adecuadamente en la vida adulta, y que los niveles ms altos sonnecesarios para la formacin de especialistas de alto nivel.Tener proporciones considerables de estudiantes por debajo del Nivel 2 debe conside-rarse como motivo de preocupacin, independientemente del lugar que se ocupe en unordenamiento, y tambin deber ser motivo de alerta el tener muy pocos alumnos enlos niveles de competencia ms altos.Un complemento: las brechasLa tercera forma en que se presentarn los resultados son las dispersiones de puntuacio-nes en los rangos percentilares 5 y 95. Este tipo de anlisis complementa a las medias ya los porcentajes de estudiantes por nivel de desempeo. Este anlisis se realiza para elgrupo comparado de 22 pases y por entidades. Adems de buscar que los niveles de los estudiantes en las reas medidas por PISAsean, en promedio, muy altos, las polticas educativas deben preocuparse tambin por-que no haya muchos jvenes en los niveles inferiores de desempeo. En otras palabras,adems de calidad, debe buscarse tambin equidad. La equidad puede analizarse considerando la mayor o menor homogeneidad de ladistribucin de los resultados obtenidos por los estudiantes. Para ello, la informacinque dan las medias debe complementarse con alguna medida de dispersin, como ladesviacin estndar. Por ser ms fcil de interpretar, se utiliza la diferencia entre laspuntuaciones que se sitan en el percentil 95 y las del percentil 5 de la distribucin, osea, entre las puntuaciones ms altas y ms bajas. Los rangos ofrecen al lector la oportunidad de analizar qu tanto se dispersan losdesempeos de los estudiantes. Lo deseable es tener una baja dispersin, lo que significauniformidad y equidad.Cuatro reglas para la interpretacin de los resultadosLas consideraciones anteriores pueden sintetizarse en la forma de las cuatro reglassiguientes, cuyo respeto permitir hacer mejores interpretaciones:40 38. Regla 1. Los ordenamientos simples de promedios (listas de posiciones o rankings) son indicadores insuficientes de la calidad educativa.Regla 2. Los porcentajes de estudiantes en los niveles de desempeo indican mejor el grado en que un pas consigue que sus jvenes desarrollen las competencias necesarias para la vida en las sociedades contemporneas.Regla 3. Los ordenamientos de promedios y los porcentajes de estudiantes en ciertos niveles de desempeo adquieren sentido teniendo en cuenta el contexto so- cioeconmico y cultural de los hogares, as como el de las escuelas.Regla 4. En las dispersiones, sera recomendable para los pases tener una diferencia menor a la del promedio de la OCDE (305 puntos en Lectura, 308 en Cien- cias y 300 en Matemticas), y para las entidades la dispersin debe ser menor a la nacional (276 en Lectura, 254 en Ciencias y 259 en Matemticas), lo cual sera indicio de equidad, en tanto que una diferencia mayor debera interpre- tarse como una situacin de desigualdad. Finalmente, en las tablas del Anexo 1, la informacin sobre los resultados incluye elgrado de incertidumbre de las estimaciones expresado mediante el error estndar (EE).Cuando la magnitud del error estndar es pequea comparada con las unidades de me-dida, se puede deducir que los valores tendern a variar poco de muestra en muestra; ypor tanto, se puede tener ms confianza en los resultados. El error estndar permite cal-cular el intervalo de confianza dentro del que se encontrar, con determinada probabili-dad, el valor real, que se ha estimado a partir de la muestra utilizada. De esta manera serefleja el grado de incertidumbre asociado a las inferencias sobre medias y proporcionesde la poblacin hechas a partir de la muestra.BibliografaINEE (2009). Panorama Educativo de Mxico. Indicadores del Sistema Educativo Nacional. Mxico: INEE.OECD (2001). Knowledge and Skills for Life. First Results from the OECD Programme for In- ternational Student Assessmet (PISA) 2000. Paris: OECD. [Versin en espaol: OCDE (2002). Conocimientos y actitudes para la vida. Primeros Resultados del Programa Inter- nacional de Evaluacin de Estudiantes (PISA) 2000 de la OCDE. Mxico: Santillana].OECD (2004). Learning for Tomorrows World. First Results from PISA 2003. Paris: OECD. [Versin en espaol: OCDE (2005). Informe PISA 2003. Aprender para el mundo del maana. Madrid: Santillana].OECD (2007a). Technical Standards for PISA 2009. Governing Board. Directorate for Edu- cation Programme for International Student Assessment. Documento para uso ofi- cial. 4 de abril de 2007.OECD (2007b). PISA 2006. Science Competencies for Tomorrows World. Volume 1 Analysis. Paris: OECD. [Versin en espaol: OCDE (2008). Informe PISA 2006. Competencias cientficas para el mundo del maana. Madrid: Santillana]. 41 39. Mxico en PISA 2009OECD (2008). School Sampling Preparation Manual. PISA 2009 Main Study. Version May2008. (Documento Interno).WESTAT (2010). PISA 2009. Weighting Summary Report. Mexico. (Documento Interno).OECD (2010). What Students Know and Can Do: Students performance in Reading, Math-ematics and Science in PISA 2009. Volume I. Paris: OECD.UNESCO (2006). Clasificacin Internacional Normalizada de la Educacin (CINE). Reedi-cin. Recuperado el 8 de junio de 2010 desde:http://www.uis.unesco.org/TEMPLATE/pdf/isced/ISCED_E.pdf42 40. CAPTULO 3Desempeo en LecturaIntroduccin Qu saben y son capaces de hacer los jvenes de 15 aos como lectores? Son capa-ces de localizar y usar informacin de un texto para interpretar, reflexionar y emitirun juicio crtico tomando en cuenta su propia experiencia? Pueden leer diversostipos de texto para diferentes propsitos? Los resultados de PISA proporcionan respues-tas a estas preguntas. Como se ha comentado, un aspecto crucial en PISA es identificar de qu manera lossistemas educativos y la sociedad contribuyen en la preparacin de los jvenes paraenfrentar la vida en la sociedad actual. La lectura es, de acuerdo con PISA, una compe-tencia fundamental que permite el aprendizaje dentro y fuera del mbito escolar y queayuda a asumir formas de pensar y ser. El propsito de este captulo es presentar los resultados de Mxico en el dominio deLectura, en los contextos internacional y nacional. Para su organizacin se dividi en tres apartados. El primero abre con un panoramaconceptual de la competencia lectora basado en el marco de referencia ms reciente dePISA (OECD, 2009) y en el reporte internacional (OECD, 2010). Adems, se explica ladefinicin, se desglosan las dimensiones que conforman este dominio y se incluye ladescripcin de las tareas de los niveles de desempeo en la escala global. El segundo presenta los resultados que Mxico obtuvo en comparacin con los deotros pases. Primero se incluyen las medias de desempeo de los 65 pases participan-tes, y posteriormente el anlisis se concentra en las medias y porcentajes en los nivelesde desempeo de 22 de ellos que se seleccionaron para formar un grupo de compara-cin, tanto en la escala global como en las subescalas. Un anlisis final se refiere a lapresentacin de la dispersin (rango) de los resultados entre los percentiles 5 y 95, a finde poder apreciar la forma en que se distribuyen las puntuaciones. Para cerrar el captulo, se exponen los resultados de las entidades federativas tambinen la escala global y en las subescalas. 43 41. Mxico en PISA 2009 Los resultados de los pases y de las entidades, segn corresponda, se presentan engrficas que muestran las medias de desempeo, los porcentajes de los estudiantes situa-dos en los niveles de desempeo y los rangos percentilares.La competencia lectoraDefinicinLa competencia lectora abarca una amplia variedad de habilidades cognitivas como ladecodificacin, el conocimiento de las palabras, la gramtica y las estructuras y caracte-rsticas lingsticas y textuales, as como el conocimiento del mundo. Adems, incluyeaspectos de ndole metacognitiva como la conciencia en la habilidad de usar diferentesestrategias que sean apropiadas al leer los textos.La competencia lectora no se considera una capacidad que se adquiere slo en la infan-cia, durante los primeros aos de escolarizacin, se concibe como un proceso en evolu-cin, el cual incluye una serie de conocimientos, habilidades y estrategias que las personasvan construyendo a lo largo y ancho de la vida en mbitos diversos, mediante la interac-cin con los compaeros, la familia y con la sociedad en la que estn inmersos.El concepto de alfabetizacin (literacy) alude a una herramienta til para adquirir ycomunicar informacin. Este concepto es cercano a la nocin de competencia lectoraexpresado en PISA, que se refiere a un proceso de aplicacin activo, deliberado y funcio-nal de lectura.PISA 2009 define la competencia lectora como: La capacidad de un individuo para comprender, emplear, reflexionar e interesarse en tex- tos escritos con el fin de lograr metas propias, desarrollar sus conocimientos y su potencial personal, y participar en la sociedad.1El trmino comprender se refiere a la construccin de significados por parte del lector.Esto puede ser tan bsico como la simple comprensin de las palabras, o tan complejocomo la comprensin del tema implcito en una larga argumentacin o narracin.La palabra emplear alude a la clase de lectura en la que la informacin y las ideas obte-nidas en un texto se aplican a alguna tarea, o para reforzar o cambiar alguna creencia. Lamayor parte de la lectura llevada a cabo suele cumplir con esa funcin de uso. En todoslos casos, el lector se acerca al texto con un objetivo especfico.Reflexionar hace referencia a la relacin establecida por los lectores entre lo que leen ysus pensamientos o experiencias. Pueden usar el texto para aclarar alguna idea personal,o para hacer juicios sobre el texto mismo utilizando referencias externas. Los lectorescontinuamente hacen esta clase de juicios al acercarse a un texto.El inters implica la motivacin por la lectura. Muchas personas leen un texto slocuando la tarea se los exige; otras por el placer que les produce esta actividad o quizpor algn inters general. Unas solamente porque otros se lo solicitan (profesores, jefes,1La definicin de competencia lectora utilizada en este ciclo, a diferencia de la del 2000, se distingue por lainclusin del concepto de inters (engagement) que implica el grado de motivacin y gusto por la lectura.44 42. autoridades), mientras que algunas leen por eleccin propia. Es decir, la gente tiene di-versos intereses para acercarse a un texto en funcin del papel que representa la lecturaen sus vidas. El inters se compone