-1-

Universidad de la RepúblicaFacultad de Ciencias SocialesDepartamento de Sociología

Informe de Investigación nº40

Reporte Técnico del EstudioLongitudinal de los estudiantes evaluados por PISA 2003

en Uruguay

Tabaré FernándezMarcelo Boado

Soledad Bonapelch

Montevideo, julio de 2008

Proyecto financiado por el Fondo Clemente Estable, nº102/2005 y realizado en conveniocon la Administración Nacional de Educación Pública, División de Investigación,Evaluación y Estadísticas (DIEE).

-2-

Índice

Presentación ......... 3

1. Problema y estrategia de investigación ......... 5

2. El diseño del cuestionario auto-administrado ......... 9

3. Muestra PISA 2003 .........13

4. El Panel 2007 .........17

5. Localización y entrevista (Student Tracking) .........22

6. Panel Attrition, y factores de ajuste .........32

Bibliografía .........46

-3-

Presentación

El proyecto Trayectorias académicas y capitalización de conocimientos en el panel de alumnos deUruguay evaluados por PISA 2003 tiene como primer objetivo general describir cuáles hansido los principales eventos educativos y laborales que pautaron la transición entre los 15y los 20 años en una muestra de jóvenes que estaban escolarizados en el año 2003. Elsegundo objetivo es modelizar la relación que tienen los factores sociales y educativos enla ocurrencia de estos eventos y en el tiempo en que ocurrieron (Boado & Fernández, 2005).La idea original fue financiada por el Fondo Clemente Estable en su llamado a concursosde proyectos del año 2005. En el año 2006, la División de Investigación, Evaluación yEstadística (DIEE) de la Administración Nacional de Educación Pública (ANEP) expresósu interés por participar en el proyecto financiando una ampliación de la muestra original.En marzo de 2007 se concretó un Convenio entre la Universidad de la República y laANEP.

Para implementar los objetivos generales, se ha transformando en un panel la muestra dealumnos uruguayos que fueran evaluados en agosto de 2003 por el Programa Internacionalde Evaluación de Estudiantes (PISA), Programa diseñado por la Organización para laCooperación y el Desarrollo Económico (OECD) y en el que participó Uruguay porprimera vez para el Ciclo 2003. Con esta decisión, nuestro proyecto se asemeja al conjuntode Proyectos PISA Longitudinal (PISA-L). Es de recordar que entre los años 2001 y 2002la OECD presentó a los países participantes la posibilidad de implementar como opcióninternacional un estudio longitudinal con los estudiantes que fueran evaluados en 2003. Enese momento, Canadá, Suisa y Dinamarca ya habían puesto en marcha sus propiosestudios longitudinales con los estudiantes evaluados por PISA 2000. Luego del ciclo 2003,también Australia implementó su propio proyecto.

Existen tres singularidades de un diseño longitudinal de tipo PISA-L. En primer lugar,permite establecer cuál es la relación entre las competencias matemáticas y lingüísticasdesarrolladas hasta los 15 años medidas por PISA 2003 con cada evento de interés. Para lamayoría de los estudios sobre transición escuela-trabajo, incluso para muchos estudioslongitudinales, la competencia es una “heterogeneidad inobservable”. La hipótesisprincipal que sostenemos es que existe un factor endógeno en estos fenómenos educativosque tiene un peso marginal significativo en la elección de los cursos de vida de los jóvenes.En segundo lugar, un estudio longitudinal permite establecer temporalidades o duracionespara los fenómenos de interés, por ejemplo, el tiempo requerido para acreditar unbachillerato. Sin embargo, aquí interesa más que la temporalidad pura del fenómeno, la“temporalidad normativizada”, es decir la duración regulada por las institucioneseducativas que establece edades normativas (de ingreso y egreso) y tiempos deacreditación. En tercer lugar, este proyecto PISA-L tiene la singularidad de vincular lastrayectorias de los estudiantes con las organizaciones escolares a las que asistieron.Nuestros datos permiten no solo desagregarlas según el sector institucional de origen ( o

-4-

los cambios ocurridos) sino también identificar la escuela a la que asistieron. Este dato esfundamental en la medida en que habilita a plantearse la pregunta por cuánto importa laescuela en la heterogeneidad de las trayectorias seguidas. Esperamos avanzar en unanálisis multinivel que particione la varianza por ejemplo, en la acreditación de la EMSidentificando el aporte de las características individuales y el aporte de las característicasorganizacionales.

El presente Reporte Técnico informa sobre las decisiones metodológicas adoptadas paraconcretar los objetivos y la estrategia del proyecto. Incluye un capítulo sobre elcuestionario con las dimensiones conceptuales incluidas y la organización secuencial desus capítulos. Se presenta el diseño muestral, tanto del Panel 2007 como de la muestraoriginal de 2003 y se desarrolla una evaluación detallada sobre el seguimiento ylocalización de los estudiantes en el trabajo de campo. Entendiendo que es un puntofundamental analizar los efectos de la no respuesta sobre los páneles ( y en general sobretoda encuesta) hemos incluido un análisis detallado sobre el “panel attrition” yposteriormente informamos sobre el método utilizado para corregirlo.

Más allá de la sofisticación metodológica implicada en este proyecto, es necesarioreconocer que su éxito es el resultado de un equipo de asistentes de investitación ysupervisores de campo que brindó sus mejores cualidades personales y profesionales. Sinellos no hubiera sido posible completar la tarea: Mariana Alegre, Soledad Bonapelch,Mariángeles Caneiro, Paula Florit, Inés Malán y Cecilia Reolón.

-5-

1. PROBLEMA Y ESTRATEGIA DE INVESTIGACIÓN

1.A. DELIMITACIÓN DEL PROBLEMA

El proyecto Trayectorias académicas y capitalización de conocimientos en el panel de alumnos deUruguay evaluados por PISA 2003 tiene como objetivo general describir cuáles han sido losprincipales eventos e identificar alguno de los determinantes que pautaron la transiciónentre los 15 y los 20 años en una muestra de jóvenes que estaban escolarizados en el año2003 (Boado & Fernández, 2005). En este trabajo se aborda un aspecto muy restringido delos temas del proyecto: las trayectorias educativas en su conceptualización y medida.

A la edad de 15 años, tres de cada cuatro jóvenes uruguayos aún asistían a un centroeducativo en el Uruguay (ANEP-PISA, 2004). Se puede estimar que casi uno de cada cincojóvenes está en el mercado de trabajo en las categorías de ocupado, buscando trabajo odesocupado (ENAH, 2006, procesamiento propio). Existe consenso en la bibliografíainternacional revisada en que este tiempo se correspondería con uno de los períodos máscríticos en la vida de los jóvenes en la transición hacia la vida adulta debido al conjunto dedecisiones cruciales que se toman en los planos educativos, laborales y familiares. A suvez, estas decisiones se adoptan en el marco de una experiencia biográfica, familiar yeducativa, que los ubica en estados de inicio con muy diferentes oportunidades derealización personal. A los determinantes estructurales, de efecto más permanente, comoson la clase social o el capital cultural del hogar de origen o la socialización familiar, debeañadirse los efectos que la escolarización ha tenido en los jóvenes. En particular, se puedehipotetizar que la distribución de conocimientos y de construcción de competenciasinstrumentales en los jóvenes por parte del sistema educativo resultan fundamentales paraexplicar trayectorias divergentes. A pesar de la importancia de estos temas tanto para laspolíticas como para las ciencias sociales, no existen en Uruguay antecedentes (al menospublicados a la fecha) de estudios análogos en sus objetivos o cobertura.

El país dispone a la fecha una importante masa de investigaciones sobre la estructuraciónde la desigualdad en la distribución del conocimiento escolar básico, pero sobre la base deestudios "cross-section" (Fernández, 2007). La masa acumulada de conocimiento científicoy la orientación de las políticas educativas de reforma más recientes han dedicado escasaatención a la educación media superior y a la articulación entre esta y las universidades.A nivel de la Universidad de la República existe conocimiento acumulado de carácterexplicativo sobre abandono y rezago (Boado, 2005) pero que no permiten aún establecerinferencias causales válidas respecto de las relaciones entre la trayectoria académica y lascompetencias anteriormente adquiridas, ni tampoco, controlar por auto-selección (Greene,1999). Finalmente, el incipiente estudio sobre los grupos y áreas de investigación ydesarrollo científicos permite describir la composición y dinámicas de estos grupos perono sobre los mecanismos de selección de los nuevos miembros de recambio.

-6-

Tenemos la hipótesis de que las organizaciones escolares de la educación media presentangraves déficit de eficacia a la hora de contribuir a la capitalización de los conocimientosalcanzados por los alumnos. Esto se debería básicamente a la ausencia de mecanismos decontención, integración y orientación que permitan el desenvolvimiento de trayectoriaseducativas que conecten con la educación superior en general, incentivando lasorientaciones netamente académicas, y que finalmente incrementen las probabilidades deproto-reclutamiento para las áreas de investigación y desarrollo en especial.

Desconocemos la distribución de los estudiantes entre distintos tipos de trayectoriaeducativo-laboral desde el momento que completan la educación obligatoria hasta quetienen la edad de haber accedido exitosamente a integrarse a los estudios superiores.

Desconocemos en qué medida las trayectorias educativas desperdician, conservan ocapitalizan los niveles de conocimientos (incluido aquí particularmente los talentos). Existela presunción que tales trayectorias serían altamente deficitarias desde un punto de vistaestratégico.

No tenemos conocimiento sobre cuáles deberían ser las orientaciones prioritarias quedebiera seguir el rediseño de las organizaciones escolares del nivel medio y también delnivel universitario a los efectos de hacer plausible una estrategia de largo plazo en laformación de recursos humanos de nivel científico.

1.B. REQUERIMIENTOS DE DISEÑO

El diseño del cuestionario y de la muestra debieron ajustarse a los siguientes objetivosespecíficos incluidos en el proyecto:

1. Reconstruir retrospectivamente la sucesión de eventos académicos y laborales que losalumnos de PISA vivieron entre 2003 y 2006.2.Establecer las alternativas racionales de elección que se les presentaron a los alumnos PISAen tres momentos críticos: i) pasaje de 5º a 6º; ii) egreso de la Educación Media Superior(EMS), y iii) ingreso a al nivel terciario.3.Caracterizar los distintos modelos organizacionales de conservación de capital culturalpotencialmente existentes en los centros de EMS en las que estuvieron participando losalumnos PISA. 4.Identificar la contribución relativa de los modelos organizacionales de conservación a latrayectoria de máxima capitalización y movilidad intra-escolar de los alumnos PISA,representada por el logro del primer año terciario.5.Estimar las probabilidades que la elite académica de PISA tiene en los mecanismos deproto-recambio generacional y proto-reclutamiento en las elites académicas existentes en lasdistintas áreas de conocimiento del nivel universitario.

-7-

1.C. LA ESTRATEGIA Y SU JUSTIFICACIÓN

El diseño metodológico es de tipo longitudinal, específicamente transformando en paneluna sub-muestra de los estudiantes uruguayos incluidos en la muestra de PISA 2003.

Esta estrategia se apoya en tres singularidades de los estudios longitudinales de tipo PISA-L. En primer lugar, el diseño permite establecer cuál es la relación entre las competenciasmatemáticas y lingüísticas desarrolladas hasta los 15 años medidas por PISA 2003 con cadaevento de interés. Para la mayoría de los estudios sobre transición escuela-trabajo, inclusopara muchos estudios longitudinales, la competencia es una “heterogeneidadinobservable”. La hipótesis principal que sostenemos es que existe un factor endógeno enestos fenómenos educativos que tiene un peso marginal significativo en la elección de loscursos de vida de los jóvenes.

En segundo lugar, un estudio longitudinal permite establecer temporalidades o duracionespara los fenómenos de interés, por ejemplo, el tiempo requerido para acreditar unbachillerato. Sin embargo, aquí interesa más que la temporalidad pura del fenómeno, la“temporalidad normativizada”, es decir la duración regulada por las institucioneseducativas que establece edades normativas (de ingreso y egreso) y tiempos deacreditación. Esto nos permitirá aproximarnos a una primera discusión sobre los temasde la des-institucionalización y la des-estandarización de los cursos de vida. Las normaslegales indican que la educación obligatoria finaliza una vez completado el Ciclo Básicoalrededor de los 14 años de edad. Si la norma fuera plenamente eficaz en regular lasrelaciones sociales, hasta ese momento, los cursos de vida de los jóvenes estaríanpautados en torno al rol de estudiantes. Sin embargo, existen sobrados motivos como parasostener que la eficacia de la norma es reducida y que los cursos de vida no estánestandarizados. Más bien sostenemos que aún en el breve lapso de tiempo observado aquí(2003-2007) se podrá contar con una amplia diversidad de temporalidades. Sin embargo,más que esperar evidencia que apunte a una individualización de los cursos de vida,creemos que éstos se encuentran socialmente segmentados a partir de las clases de origende los jóvenes.

En tercer lugar, este proyecto PISA-L tiene la singularidad de vincular las trayectorias delos estudiantes con las organizaciones escolares a las que asistieron. Nuestros datospermiten no solo desagregarlas según el sector institucional de origen ( o los cambiosocurridos) sino también identificar la escuela a la que asistieron. Este dato es fundamentalen la medida en que habilita a plantearse la pregunta por cuánto importa la escuela en laheterogeneidad de las trayectorias seguidas. Esperamos avanzar en un análisis multinivelque particione la varianza por ejemplo, en la acreditación de la EMS identificando el aportede las características individuales y el aporte de las características organizacionales.

Con esta base, el cuestionario incorpora el tiempo como dimensión fundamental. Esto selogra a través del diseño de preguntas retrospectivas sobre la trayectoria académica, las

-8-

experiencias laborales y las transformaciones familiares acaecidas. Se planificó uncuestionario de diseño gráfico compatible con las exigencias de la auto-administración.Esto flexibilizaría la aplicación en dos situaciones: aplicaciones colectivas concertadas conlos centros escolares originarios de 2003 y aplicaciones individuales con encuestador enel domicilio de los jóvenes.

Para diseñar la muestra se pensó en particionar la muestra PISA 2003 en tres estratos segúnla competencia matemática estimada mediante la distribución del primer valor plausible(PV1math). El primero comprende a los alumnos que alcanzaron los tres niveles más altosde la competencia (4, 5 o 6) en los que se comprendía el 10.3% de los estudiantesuruguayos escolarizados en 2003 y en la muestra clasificaba a 600 alumnos. Un segundoestrato se delimitó con aquellos alumnos que alcanzaron los nivel de alfabetización básico(2 y 3 ): entre 420 y 544 puntos de dominio matemático. El 37.2% de los estudiantesclasificaban aquí. La muestra aleatoria será bi-etápica de tamaño estándar igual a 300casos. El tercer estrato está compuesto por los jóvenes de más bajo dominio matemático,niveles 1 y debajo de 1 con menos de 420 puntos. El 52.5% de los jóvenes clasificaban aquí;también se extraerá una muestra con las mismas características de tamaño 300.

El período de ventana para la observación se determinó entre marzo de 2003 y el momentode la encuesta en el transcurso del 2007. En el primer caso, los registros de 2003 se solapancon la información generada por PISA 2003, aunque resulta novedosa en el campo laboral.El final del período de observación al coincidir con el trabajo de campo, se extendió entremarzo y noviembre de 2007, cubriendo por lo tanto todo el año escolar aunque sin incluirsu finalización.

El trabajo de campo se planificó para realizarse entre febrero y junio de 2007, incluyendoasí en el período de observación hasta la última potencial inscripción en un curso deeducación formal (febrero de 2007). Por razones que se detallarán en el capítulo respectivo,el trabajo se extendió hasta fines de noviembre, ampliando la ventana el tiempo suficientecomo para registrar eventos de desafiliación y de repetición (por inasistencias) en unaparte importante de la muestra.

-9-

2. EL CUESTIONARIO

La fase de diseño del cuestionario se desarrolló entre los meses de junio a diciembre de2006 y comprendió tres objetivos operacionales. Primero, generar una amplia referenciasobre cuestionarios aplicados en estudios de transición escuela-trabajo, incluidosparticularmente los otros estudios PISA-L en marcha en el mundo, de tal forma quenuestros datos pudieran contar con amplia comparabilidad. Segundo, seleccionar los temascentrales a ser incluidos en el relevamiento en una población de aproximadamente 20 añosde edad. Dado que el proyecto se implementó en acuerdo con la División de Investigación,Estadística y Evaluación (DIEE) de la ANEP, estos temas dibieron contemplar los interesesoriginales del equipo más los intereses específicos de la ANEP. El tercer objetivo fuediseñar un cuestionario técnicamente riguroso pero de aplicación flexible para modalidadauto-administrado y administración vía encuesta cara-a-cara.

Este capítulo presenta las principales decisiones adoptadas para el cumplimiento delsegundo y tercer objetivo.

2.A. TEMAS: EDUCACIÓN , TRABAJO Y FAMILIA

Tres son los grandes temas originales seleccionados para indagar en este primerseguimiento:

• la experiencia del joven en la educación formal durante el período 2003 - 2007• el ingreso al mercado de trabajo y las primeras experiencias laborales• sus experiencias familiares, sea con la familia de origen o en la conformación de su

nueva familia.

El acento estará puesto en el primer tema con base en la hipótesis de que a los 20 años elrol predominante es el rol de estudiante. El 47% de las variables originales generadas porel cuestionario se corresponden con las experiencias escolares. Abarcó 5 sub-temas omódulos específicos.

El primer sub-tema giró alrededor de la caracterización (inscripción, orientación, grado,instituto, finalización) de los sucesivos ciclos escolares por los que transitó el joven entre2003 y 2007. Esperamos básicamente registrar la trayectoria de los jóvenes (ingreso yegreso) en la Educación Media Superior (EMS), lugar donde ya se encontraban casi 6 decada 10 jóvenes evaluados por PISA en el 2003.

El segundo sub-tema relevante a incluir fue caracterizar la carrera de Educación Superior(ES) y las motivaciones que movieron al estudiante para su elección. Según las definicionesoperativas de las edades normativas, a los 19-20 años los jóvenes debieran haber alcanzadola ES y estar cursando en 2007 su segundo o tercer año (si en 2003 estaban en primero o

Vide capítulo IV del informe final del Proyecto en Boado & Fernández, 2008.1

-10-

segundo de EMS). Como se indicara más arriba, esto era potencialmente verosimil paracasi el 60% de los evaluados. Sobre este punto existe conocimiento nacional acumulado.La investigación educativa específica ha proporcionado amplia caracterización sobre ladistribución de los jóvenes entre las modalidades existentes (Universitarias y nouniversitarias) y dentro de las áreas de conocimientos. También, y sobre todo a través delos censos universitarios de UDELAR se ha podido caracterizar los antecedentes de lapoblación. Sin embargo, un dato fundamental que pretende aportar este proyecto es elgrado en que los estudiantes logran objetivar el desarrollo de competencias alcanzadoshasta los 15 años en logros en la universidad; en particular, a lo que hace al estrato del10% de los jóvenes con el más alto desarrollo de las competencias matemáticas según PISA

2003. Visto desde la perspectiva del sujeto era necesario genera información pararesponder a la pregunta de en qué medida el acceso a la Educación Superior Universitaria(ESU) es un proceso donde opera la auto-selección principalmente determinado por unaauto-evaluación bastante realista de las propias competencias. Desde la perspectivamacrosocial de lo que se trataba era de aportar al incipiente estudio sobre los grupos yáreas de investigación y desarrollo científicos que permitiera describir la composición ydinámicas de estos grupos pero desde el perfil de los potenciales recambios que se estánformando en el nivel de grado.

El tercer sub-tema de interés eran las organizaciones escolares, particularmente el climaorganizacional y las relaciones entre estudiantes y docentes, como potencialmente factoresexplicativos de los resultados. En el marco de la perspectiva de los estudios sobre eficaciaescolar (Fernández, 2004), levantamos la hipótesis de que las organizaciones escolares dela educación media presentan graves déficit en cuanto a capitalizar los conocimientosalcanzados por los alumnos. Para generar información con la que testear la hipótesis fuenecesario desarrollar dentro del primer tema un sub conjunto específico de preguntas(módulo) orientado a caracterizar la última escuela secundaria a la que asistió el jovenantes de acreditar el nivel o desafiliarse. El cuarto sub-tema, la desafiliación, fue transversal a las trayectorias aunque tambiénrequirió un módulo. Uno de los intereses fundamentales de la ANEP en este proyecto fuecontar con información sobre la historia previa a la desafiliación de un estudiante. Lahipótesis aquí sostenida es que tal fenómeno se aproxima más a una sucesión de eventosque a un evento único, por el cual el joven transita recursivamente entre estados deasistencia a estados de no asistencia. Según la conceptualización más elaborada al respecto(Cardoso, 2006) estos eventos de desafiliación serían de dos tipos: inter-anual e intra-anual.Los primeros remitirían a una decisión tomada al comienzo del año escolar de no inscribirun curso en la educación formal. La reiteración de dos decisiones consecutivas de noinscribir un curso fue adoptada como la definición operativa más conservadora de unadesafiliación . Los eventos del segundo tipo resultan más difíciles de asir en la medida en1

que suponen un desdibujamiento de las rutinas socialmente legítimas del comportamiento

-11-

de estudiantes. A título de ejemplo se podrían citar la asistencia regular a clases y a cadauna de las materias, la puntualidad, la atención en clases, el registro de las clases a travésde apuntes, la tenencia y conservación de cuadernos, la tenencia de libros y/o fotocopias,la disposición de un horario periódico para la realización de tareas escolares en la casa, ladisposición de horas de estudio, la preparación sistemática de evaluaciones y la adopcióny práctica de una estrategia de aprendizaje personal. Del grado de verificación de estoscomportamientos exteriores, se podría inferir la existencia en grados variables de unhabitus académico o un sistema de disposiciones cognitivas, prácticas y afectivasgeneradoras de prácticas eficaces para el éxito en el campo académico (Fernández, 2006).Adoptando un enfoque pragmático sobre este último tipo de eventos se optó por registrarpara cada año de la trayectoria tres características: el nivel de asistencia a clases; elmomento en que (eventualmente) se decide abandonar el curso y las razones por las quese hace (esta última en forma de respuesta no codificada). Adicionalmente y a petición deANEP, se incluyó un módulo en el cuestionario específico para caracterizar el papel de lafamilia del joven y de los profesores de su centro educativo en el último acto del procesode desafiliación.

Dentro del gran tema de la experiencia con la educación, se optó por incluir la formaciónpara el trabajo como quinto sub-tema. Las restricciones de espacio implicaron la inclusiónsólo de una caracterización preliminar de la formación a través del tipo de (hasta dos)cursos tomados durante el período.

El segundo gran tema abordado en la encuesta de 2007 fueron las experiencias laboraleshabidas por el joven. El 31% de las variables originales generadas por el cuestionario secorrespondieron con cuestiones de empleo. Se espera que el acento sobre las experienciaslaborales será puesto en el segundo seguimiento proyectado (“ciclo 3") para este panel esdecir, cuando los jóvenes estén próximos a los 25 años. Se diseñaron cuatro módulos.

El primero es de caracterización de la condición de actividad del joven entre 2003 y 2007.La primera decisión adoptada en este ámbito fue no restringir la ventana de observaciónal período 2003-2007 debido a que PISA no incluyó en su propio cuestionario informaciónsobre la condición de actividad del joven. La única restricción adoptada aquí fueconceptuar como empleo aquel que hubiera tenido como duración mínima los 2 meses. Elprimer módulo especificado aquí fue el perfil de experiencia laboral del joven definido porel número de empleos tenido, su condición de actividad actual, su experiencia en algunostipos de empleos menores a los 2 meses (zafras, voluntariado, turismo). Un elementoincluido aquí como novedad fue registrar la predisposición migratoria del joven porrazones laborales y su eventual destino.

El segundo refiere al primer empleo y al empleo actual. Aquí se requirió para ambos lafecha en que estuvo empleado, el tipo de ocupación, la rama de actividad de la unidadeconómica, la categoría en la ocupación y las condiciones legales del empleo. Pero ademásse solicitó por el mecanismo de acceso al empleo. Estos fueron conceptualizados en 3

-12-

modalidades: de mercado, es decir impersonal, selectivo y frente a terceros; relacional ode cercanía entre el entrevistado y contacto; y mixto para aquellas situaciones peculiaresque rodean al autoempleo donde es difícil distinguir entre las dos previas. El cuartocapítulo refiere a quienes están buscando empleo, sea por primera vez o porque quedarondesocupados. Las preguntas nuevamente apuntan a las modalidades de búsqueda yutilizan las mismas alternativas que en el capítulo de primer / actual empleo.

Cuadro 1 Distribución de temas y sub-temas (módulos) en el cuestionario

Módulos Preguntas Variables % var.

Experienciascon laeducación

Trayectorias 2003-2007 38 83 25%

Decisiones de Desafiliación de la EM y lafamilia

3 3 1%

Ultima experiencia en la Educación Media 8 47 14%

Formación para el Trabajo 2 10 3%

Educación Terciaria 4 14 4%

ExperienciasLaborales

Tu experiencia laboral 5 23 7%

Primera experiencia laboral 12 18 5%

Tu actual/último empleo 12 18 5%

Para quienes no trabajan pero buscan trabajo 6 46 14%

Experienciafamiliar

Familia de origen 1 8 2%

Co-residencia actual y caracterización delhogar

3 27 8%

Emancipación 2 9 3%

Pareja, conyugalidad y parentalidad 6 6 2%

Preguntas deidentificación ylocalización

7 16 5%

Totales 109 328 100%

Las experiencias familiares constituyen el último capítulo de la encuesta y se abocan acuatro grandes sub-temas. Primero a caracterizar en forma más detallada la estructura delnúcleo familiar de origen del estudiante (insuficientemente descripto en PISA 2003). Elsegundo apunta a describir la situación de co-residencia actual y los cambios más recientesque pudieran haberse operado en ella. El tercero refiere a registrar aspectos generales deuna emancipación, en el caso de que la hubiera habido. Finalmente, la encuesta concluyecon una batería de preguntas sobre historia de pareja, cohabitación, conyugalidad,nupcialidad y maternidad/paternidad.

En la bibliografía y en la base internacional de PISA esto se conoce como población "PISA - elegible" o "edad-2

elegible".

-13-

3. LA MUESTRA PISA 2003

3.A. DISEÑO MUESTRAL EN PISA 2003

El Programa PISA define la población objetivo de la evaluación mediante dos requisitos.Primero, la edad y por esta razón se denomina una evaluación con una “muestra de edad”.Se evaluará a todos los jóvenes de 15 años (exactamente desde 15 años y 3 meses hasta 16años y 2 meses de edad) . El segundo requisito es que estos estudiantes estén asistiendo2

a un centro educativo que imparta algún programa curricular formal post-primario, 7ºgrado y superior, clasificado como nivel 2 o 3 en la International Standard Clasification ofEducation (ISCED). Obsérvese que la definición internacional de la población objetivoexcluye expresamente a los jóvenes que aún están en un programa de Educación Primaria(ISCED 1).

El diseño muestral aplicado por Uruguay para el ciclo 2003 fue de tipo estratificado, bi-etápico, por conglomerados, con pesos proporcional a la matrícula de la escuela. Segúnconsta en el Technical Report PISA 2003, dado que no hay documentos nacionales sobre lamuestra, el Programa Nacional PISA definió en su oportunidad tres variables deestratificación explícitas que definieron 12 estratos muestrales teóricos explícitos:

• Tipos de escuela o sector institucional (Secundaria, UTU, Primaria y Privados); • Área geográfica (área metropolitana, capitales departamentales y localidades

menores), sólo en el caso de los centros públicos y técnicos.• Tamaño de la escuela.

Las variables implícitas de estratificación fueron 3: los programas curriculares impartidospor las escuelas; el turno de la escuela y el área geográfica para el sector privado. Elresultado final de estos cruzamientos fue una muestra con 13 estratos.

Dentro de cada estrato, la selección fue bietápica. Primero se sortearon los centroseducativos con probabilidad proporcional al tamaño de la matrícula de 15 años. Luego sesortearon en forma aleatoria simple la muestra de estudiantes hasta un máximo de 35 porcentro (“Target Cluster Size”, TCS). Los pesos muestrales fueron ajustados contemplandolas tasas de participación el día de la evaluación (OECD-PISA, 2004), según se detallará másabajo en el apartado 5.2.

-14-

3.B. LA MUESTRA EFECTIVA PISA 2003

Uruguay participó en el ciclo 2003 con una muestra efectiva de 5835 estudiantes de 15 añosasistentes a un centro de educación formal post-primaria. Inscriptos en 197 centroseducativos, 70 de Montevideo y 127 del interior del país (cuadro 2). Estos jóvenes nacieronentre el 1 de abril de 1987 y el 31 de marzo de 1988.

La muestra inicial diseñada fue de 7426 estudiantes que asistían a 206 centros educativospost-primarios públicos generales, técnicos y privados. En el momento de la evaluación,2 colegios privados sorteados habían cerrado (46 estudiantes). En dos turnos de dos liceospúblicos no se pudo realizar la evaluación de acuerdo a los estándares (70 estudiantes).Otros dos liceos públicos de Montevideo y dos escuelas técnicas no participaron. 2352estudiantes no hicieron la prueba por alguna de las siguientes razones: a) había dejado deestudiar; b) se habían cambiado de centro educativo; c) estuvieron ausentes sin aviso; d)rechazaron participar; e) el centro no participó y f) sus edades reales no cumplían con losrequisitos de PISA una vez que se verificaron los datos. En el informe nacional de PISA2003 no hay reporte de las proporciones que tuvieron estas categorías y no se puedeavanzar más con los materiales preparatorios conocidos.

Cuadro 2 Descripción de la muestra del Ciclo 2003 de PISA en Uruguay

Secundaria UTU Privados Total País Total

MVD Int. MVD Int. MVD Int. MVD Int.

Estrato I (niveles 4, 5 y 6 de Matematica)

Alumnos 60 138 28 21 318 35 406 194 600

Escuelas 14 39 5 11 31 9 50 59 218

Prom. 4.3 3.5 5.6 1.9 10.3 3.9 8.1 3.3 2.8

Estrato II (niveles 2 y 3 de Matematica)

Alumnos 302 902 130 225 520 93 952 1220 2172

Escuelas 25 81 12 29 32 9 69 119 376

Prom. 12.1 11.1 10.8 7.8 16.3 10.3 13.8 10.3 5.8

Estrato III (niveles 1 y bajo 1 de Matematica)

Alumnos 442 1341 306 784 144 46 892 2171 3063

Escuelas 26 88 11 30 9 29 46 147 386

Prom. 17.0 15.2 27.8 26.1 16.0 1.6 19.4 14.8 7.9

Totales

Alumnos 804 2381 464 1030 982 174 2250 3585 5835

Escuelas 26 88 12 30 32 9 70 127 197

Fuente: Elaboración propia sobre microdatos nacionales de PISA 2003.

-15-

El cuadro 2 muestra la distribución de los jóvenes evaluados según el sector institucional,el área geográfica de las escuelas a las que asistían y el nivel de competencia matemáticaestimado a partir de la prueba aplicada, este último agregado en los tres estratos quefueron utilizados para estratificar la muestra panel 2007.

A los efectos de nuestra investigación, conviene destacar que algo más de la mitad de losestudiantes del estrato I asistían a un colegio privado de Montevideo en el 2003, en tantoque el siguiente grupo grande de estos jóvenes estaban en liceos públicos del interior. Enel estrato II el sector privado aún representa más de la mitad de los casos en Montevideo,en tanto que en los jóvenes de los liceos públicos del interior componían el grupo másnumeroso del estrato con más de 900 casos. Finalmente el estrato III se componegruesamente de estudiantes de Secundaria y de UTU del interior del país. Esta distribucióntuvo consecuencias importantes sobre la organización del trabajo de campo.

3.C. TASA DE ESCOLARIZACIÓN (NETA) PARA 15 AÑOS

La pregunta por a quienes representa la muestra de PISA 2003 puede resultar trivial perotiene un papel crucial en este estudio en el momento de la generalización. Y al respectoexisten datos contradictorios entre la base de datos generada por PISA y los documentosoficiales publicados por la ANEP.

Cuadro 3 Estimación de la población de 15 años en el Uruguay para PISA 2003

Localidades con 5 mily más habitantes

Localidades conmenos de 5 mil

habitantesTotal nacional

Encuesta de Hogares 2003 y Encuesta de Hogares Rurales 1999/2000

Total de jóvenes de15 años

100.0% 100.0% 54000 100.0%

Asisten a educaciónmedia

80.3% 51.8% 40141 74.3%

Asisten a educaciónprimaria

1.3% 1.1% 679 1.3%

No asisten 18.4% 47.1% 13179 24.4%

Total de jóvenes de15 años

100,0% 100,0% 53311(*) 100,0%

Según datos aportados en el Informe Nacional de Uruguay (ANEP-PISA, 2004: cuadro 2.2.),en el inicio del año escolar 2003 estaban asistiendo a un centro educativo unos 40141estudiantes sobre un total estimado de 54000 jóvenes de 15 años. En tal ocasión el Uruguayreportó oficialmente una tasa de escolarización del 74.3% para jóvenes de 15 años. Esta

-16-

información se elaboró integrando con dos fuentes de información. Por un lado, seutilizaron estimaciones hechas mediante la Encuesta Continua de Hogares del año 2003,utilizando como edad de referencia el rango de los 14 a los 16 años. Por otro lado y parasuplir la ausencia de información sobre los jóvenes en localidades menores de 5 milhabitantes, se utilizó la Encuesta de Hogares Rurales (EHR) de 1999/2000 levantada porel Ministerio de Ganadería conjuntamente con el Instituto de Estadística.

Según la base de datos de acceso público, los 5835 estudiantes evaluados representabana 33775 jóvenes escolarizados en el mes de agosto de 2003, magnitud que representa el62.5% de los jóvenes de 15 años en el país con base en las estimaciones combinadas de ECHy EHR.

La integración de fuentes diferentes desfazadas en tres años una de otra puede haberafectado la estimación de la tasa de escolarización. Así, cuando se expande la base PISA2003 utilizando los pesos muestrales entregados por OECD-PISA, se alcanza a una tasa deescolaridad neta al mes de agosto del 62.5%. Dado que no han habido estudios oficialesrelativos a este punto, mantendremos la cifras oficiales del 74.3%, es decir, nuestra muestraserá representativa de tres de cada cuatro jóvenes uruguayos con 15 años.

El proyecto original aprobado por el Fondo Clemente Estable indicaba una muestra de 1200 alumnos. Sin3

embargo, en el marco del Convenio con la ANEP se amplió la muestra para incrementar la representación de los estratosII y III.

-17-

4. LA MUESTRA PANEL 2007 PARA TRAYECTORIAS

4.A. INTRODUCCIÓN

El diseño muestral previó encuestar 2200 alumnos de los 5835 estudiantes evaluados en3

PISA 2003 según consta en la base internacional. Luego de varias sesiones en que sediscutieron las ventajas e inconvenientes estadísticos y operativos de distintos diseñosmuestrales, optamos por una muestra aleatoria de estudiantes con estratos de asignaciónno proporcional, donde el tamaño de cada estrato fuera razonable para las inferenciassobre cada una de las tres “subpoblaciones académicas”.

El cómputo de los pesos muestrales debió corregir la sobre-representación generada,siguiendo la metodología empleada por PISA. El ponderador final de estudiantesincorpora por lo tanto los pesos asignados por PISA 2003 a la muestra de Uruguay más lospesos calculados para este panel 2007.

4.B. DISEÑO MUESTRAL

Los estratos fueron definidos con base a los niveles de desempeños de los estudiantes enel área focal de la evaluación, Matemática. De los siete niveles establecidos (bajo 1,1,2,3,4,5,6 y 7) se crearon tres estratos. El estrato I está conformado por aquellos estudiantesque tuvieron los tres más altos desempeños: niveles 4, 5 y 6 de la escala. Desde un puntode vista sociológico constituyen una proto “elite académica”con un 10% de los estudiantesuruguayos evaluados y cuyo desempeño se ubica al nivel internacional de la OECD. Elestrato II quedó conformado por los estudiantes que tuvieron desempeños suficientesalcanzando una competencia matemática capaz de afrontar tareas y problemas simples.Representan al 41.6%. Finalmente, el estrato III está conformado por aquellos estudiantesque no alcanzaron el umbral de competencia definido por PISA y por tanto a los 15 añosestán en un estado de alto riesgo de exclusión educativa y económica, vistos losrequerimientos de competencias que ha generado la sociedad del conocimiento. Casi lamitad de los estudiantes uruguayos, el 47.8%, están en este estrato.

La segunda decisión que adoptamos fue sobrerepresentar al estrato I en nuestro panelasignándoles probabilidad de selección igual a uno. Esto supuso sub-representar el pesode los otros estratos, fundamentalmente del estrato III. La justificación de esta decisiónradica en la diversidad de intereses existentes detrás de cada sub-conjunto de estudiantesa encuestar. Como se indicó más arriba, este estudio a la vez puede proporcionar unaadecuada descripción de los procesos de recambio en las elites académicas dedicadas a la

-18-

investigación y al desarrollo (por lo que interesa el proceso de capitalización de losestudiantes con más altas competencias a los 15 años), a la vez que permitirá identificar losprocesos de movilidad social (aquí interesan los estudiantes “alfabetos”) y los procesos deexclusión social sancionados por un bajo desarrollo de las competencias que cierran uncírculo perverso. Estadísticamente, esto no era posible si se mantenían las proporcionesoriginales entre los estratos.

4.C. EL CÓMPUTO DE LOS PESOS MUESTRALES EN PISA 2003

Según se especifica en el Technical Report PISA 2003 (OECD-PISA, 2003) la probabilidadinicial de selección para la j-ésima escuela en el h-ésimo estrato está dada por la ecuación[1]:

[1]

El cómputo de probabilidad de selección del i-ésimo alumno dentro de cada j-ésimaescuela supone muestreo aleatorio simple:

[2]

Donde:

i el i-ésimo alumno, tal que i=1, 2,3,.... Nj la j-ésima escuela, tal que j=1,2,3,....Mh el h-ésimo estrato de muestreo, tal que h=1,2,3....L

h N es el número total de alumnos en el h-ésimo estrato de la muestra

hM es el número total de escuelas en el h-ésimo estrato de la muestra

jhN es el número total de alumnos de 15 años en la j-ésima escuela del h-ésimo estrato

hn es el número total de alumnos a ser muestreados en el h-ésimo estrato

hm es el número total de escuelas a ser muestreadas en el h-ésimo estrato

jhn es el número de alumnos de 15 años a ser muestreados en la j-ésima escuela del h-ésimo estrato

ijhP es la probabilidad de selección del i-ésimo estudiante en la j-ésima escuela en el h-ésimo estrato de muestreo

Ahora bien, PISA 2003 como todos los estudios más sólidos actuales, establece un ajustede los pesos muestrales ex-post fundado en los siguientes considerandos (OECD-PISA,2004: 108 y ss):

-19-

• sobre o sub representación de ciertos tipos de escuelas • información inexacta sobre el tamaño de las escuelas (al cual está atado la selección

proporcional al tamaño, PPS)• rechazo de la escuela seleccionada a participar en el estudio• rechazo del estudiante a participar en el estudio• restricción a pesos muestrales de magnitudes relativamente muy grandes asignados

a pequeños conjuntos de estudiantes.

En el caso de Uruguay, tres de los cinco “problemas” mencionados se verificaron en elciclo 2003, por lo cual correspondió aplicar correcciones a los pesos muestrales que acontinuación se informan sumariamente con base en el capítulo respectivo del ya citadoTechnical Report 2003. La ecuación siguiente indica el cómputo para el peso final

ij(w_fstuwt ) de cada estudiante evaluado:

[3]

2ijk 1jhLos términos (1/P ) y (1/P ) indican respectivamente el inverso de la probabilidad de

selección para el i-ésimo estudiante y la j-ésima escuela en el h-ésimo estrato de muestreo

1j 1jhy se resuelven sin particularidades de las ecuaciones [1] y [2]. En adelante W = (1/P )

2ij 2ijky W = (1/P ) .

1jEl término f representa un factor de ajuste que compensa por la no participación de

algunas escuelas y que se calcula con base en subconjuntos de escuelas similares. El primerpaso para realizar este ajuste consiste en la conformación dentro de cada estrato de lamuestra de subconjunto de escuelas similares en aquellas variables que el país definiócomo “de estratificación implícitas”. Usualmente se conforman entre 10 a 15 grupos dentrode cada país con un mínimo deseable de 5 o 6 escuelas cada uno. En el caso de Uruguay,se conformaron 45 grupos o estratos implícitos. Dentro de cada estrato, se computa elfactor de la siguiente forma:

[4]

Donde Ù representa el conjunto de todas las escuelas del estrato implícito de muestreo quedebieron haber realizado la prueba de PISA y à representa el subconjunto de esas escuelasque realizaron la evaluación. La ecuación [4] resulta una razón entre la matrícula total delestrato y la matrícula representada por las escuelas participantes ; tendrá una magnitudde 1 si todas las escuelas participaron. La lógica es similar a la aquí aplicada paracomputar un factor de ajuste por asignación no proporcional de los casos a los estratos de

-20-

la muestra del Panel 2007. OECD-PISA tomó la determinación de marcar para revisión

1jtodo f que superara el valor de 2.

1ijEl término f compensa el hecho de que en algunos países y en algunas escuelas sóloA

fueron evaluados estudiantes de 15 años si estaban asistiendo al grado modal.

1jEl término t es un factor de ajuste usado para restringir inesperadamente altos valores

computados para el peso de las escuelas.

2ijEl término t es un factor de ajuste para el ponderador de los estudiantes que corrige

valores inesperadamente altos computados para el peso de los estudiantes.

4.D. PESOS MUESTRALES A PRIORI PARA EL PANEL 2007

Son aquellos que se calcularían en el caso hipotético de que todos los estudiantesmuestreados hubieran respondido a la encuesta. Estas probabilidades de selección delpanel 2007 se calculan directamente aplicando la ecuación [1] para cada estrato. Losfactores de expansión (pesos no normalizados) se definen directamente como los inversosde las anteriores probabilidades (ecuación [5])(w_strata). El peso final no normalizadopara el panel 2007 se ajusta mediante el producto del peso PISA 2003 (“w_fstuwt”) por elpeso del estrato [6]. Sin embargo, dado el diseño muestral aplicado, se hizo necesariointroducir correcciones por sobre y sub-representación en el momento de computar lospesos muestrales normalizados (“pondera”, ecuación [7]). Estos pesos se calcularon a prioria través del producto del factor de expansión en el estrato y una razón entre lasmagnitudes absolutas no ponderadas de casos que debieran haber sido incluidos en el casode fijación proporcional (n ) y las magnitudes absolutas no ponderadas del estrato de laT

Hmuestra PISA 2003 (N ).

[5]

[6]

[7]

El cuadro 4 muestra las distribuciones en la muestra, en el panel, las probabilidades deselección, los factores de expansión y los pesos normalizados calculados para el Panel 2007.

-21-

Cuadro 4

Comparativos entre la Muestra PISA 2003, el Panel 2007 y los pesos muestrales priori

Niveles de

competencia

matemática

PISA 2003

Muestra

Teórica c/

afijación

proporciona

l

Prob.

Selección

Teórica

(m=2200)

Panel 2007

Prob.

Selección

diseñadasFact Exp.

Base

expandida

Base

expandida

Ponderador

Peso

Normalizad

o

Base

normalizad

a

Base

Normalizad

a

N (%) M P M (%) P N % N %T T D D

Estrato I

(niveles 4,5

y 6)

600 10.3% 226 0.377 600 27.3% 1.000 1.000 600 10.3% 0.377 226 10.3%

Estrato II

(niveles 2 y

3)

2172 37.2% 819 0.377 800 36.4% 0.368 2.715 2172 37.2%1.024

819 37.2%

Estrato III

(niveles

bajo 1 y 1)

3063 52.5% 1155 0.377 797 36.3% 0.260 3.843 3063 52.5% 1.449 1155 52.5%

total 5835 100.0% 2200 2197 100.0% 5835 100.0% 2200 100.0%

Fuente: Elaboración propia con base en los microdatos nacionales de PISA 2003 y en la base de datos de seguimiento del Panel 2007.

-22-

5. LOCALIZACIÓN Y ENTREVISTA (“TRACKING”)

5.A. INTRODUCCIÓN

En los estudios de panel, la bibliografía contemporánea recomienda el diseño deprotocolos estrictos para la localización y entrevista de los seleccionados, minimizando lasposibilidades de “salida” por vía del rechazo (explícito o implícito) o su no localización.Este seguimiento o ”tracking” es particularmente crítico para encuestas con una poblacióncon alta movilidad geográfica o a intervalos de tiempo importantes. Tal fue el caso nuestrodonde re-entrevistábamos a una muestra levantada cuatro años antes. En esta seccióndescribimos los aspectos que caracterizaron la logística implementada para lograr elobjetivo de entrevistar a los jóvenes seleccionados. La base de datos generada por estalogística (un “student tracking file”, STF, siguiendo la propia denominación de PISA),clasificó a cada joven según la información generada por el encuestador o el supervisor delcampo en siete categorías. Los dos últimos apartados se explayan en detallar estos criteriosy su implementación.

Cuadro 5 Categorías en el Student Tracking File (STF)

5.B. LOCALIZACIÓN

La primera etapa del Tracking consistió en localizar geográficamente a los jóvenesparticipantes de PISA 2003 que fueron incluidos en el panel, sea como titulares o comoposibles remplazos. Técnicamente esta tarea se completa con la elaboración de una basede datos con nombres y apellidos a la cual se ha añadido de direcciones y teléfonosactuales. En varios países europeos que cuentan con un extendido sistema de seguridadsocial y que además operan dentro de una eficaz formalidad burocrática, este paso no toma

0. Entrevista realizada

1. Rechazo explícito participar en el Proyecto

2. Migrantes se trasladaron a otro país o a otra localidad (no se considera migrante si se mudó dentro de lamisma localidad). Hay dos posibles migraciones: “1" a otra localidad del interior/otro depto y “2 “a otropaís.

3. Rechazo sanitario: jóvenes que indican por razones de salud relativamente durables no pueden realizarla entrevista: por ejemplo enfermedades crónicas, casos de internación hospitalaria o internaciónambulatoria, problemas psiquiátricos, o internación con medidas de seguridad en el INAU.

4. No ubicables: la dirección o el teléfono son incorrectos, no viven más y no hay otros compañeros o vecinosque puedan proporcionar información sobre él.

5. Rechazo implícito: agendan entrevista pero no se puede llevar adelante; no se puede encontrar unmomento para realizar la entrevista luego de tres intentos realizados y supervisados.

6. No respondentes: se les deja mensaje con familiares pero no se logra encontrarlos luego en forma personal.

-23-

más que una semana una vez que se han sorteado los resguardos legales del anonimato.

En marzo de 2006 tomamos formalmente contacto con la Dirección de InvestigaciónEvaluación y Estadística del CODICEN solicitándole el listado de estudiantes participantesen PISA 2003. Habiendo recibido la base de datos descubrimos que no se había registradola cédula de identidad (excepto para pocos estudiantes de la UTU) ni tampoco existíainformación sobre dirección. Ninguna de estas variables había sido incluida en la logísticadel ciclo 2003 de PISA y por tanto no se tenía registrada.

El paso siguiente consistió en volver a solicitar la información sobre los estudiantes en tresvaraibles: cédula de identidad, dirección y teléfono. El pedido se realizó en formasimultánea al CODICEN y a los tres consejos desconcentrados. El mismo proceso se siguiócon cada uno de los 41 colegios privados y con el Liceo Militar, gestión que debió hacerseuno a uno en forma independiente. Hacia noviembre del año 2006 se había completado lainformación en 35 colegios privados y en el Liceo Militar.

Dos colegios privados habían cerrado y se desconocía el paradero de un total de 8estudiantes. Otros cuatro colegios tenían vigentes rigurosas normas de anonimato queimpedían entregar la información a terceros sin antes contar con el consentimiento de untotal de 59 estudiantes sorteados. A pesar de estos contratiempos, el listado de estudiantesy direcciones, incluyendo los últimos cuatro colegios y excluyendo los dos primeros,estuvo completo para el mes de abril de 2007 (7 meses después de la solicitud). El casomás grave fue la pérdida de los centros privados con 24 estudiantes muestreados, caso queserá motivo de tratamiento más abajo.

Las bases del sector público se recibieron en forma gradual y muy posteriormente. Entrediciembre de 2006 y marzo de 2007 se obtuvo el listado de Primaria (datos sobre 10estudiantes) y de UTU (información sobre la totalidad de los 1472 estudiantes evaluadospor PISA) en diciembre del 2006. La información generada por Secundaria comenzó allegar en mayo del año 2007 cuando había empezado el trabajo de campo y se concluyó enforma simultánea a la realización del trabajo, en particular para los liceos del Interior delpaís.

Ahora bien, las dificultades para la localización de los estudiantes radicaron no solo en eltiempo que insumió las diferentes gestiones inter-institucionales emprendidas, sino en lacalidad de la información recibida. Esta era incompleta y desactualizada para la mayoría delos registros solicitados, en particular en Secundaria. Dado que no se trata de un problemacoyuntural sino estructural atingente al proceso de generación, hacemos una pequeñadisgresión al respecto.

La Administración Nacional de Educación Pública (ANEP) logró hacia el 2005 conectar loscentros educativos públicos en red y generar una base central donde se registran lasactividades académicas de los estudiantes en el sector público. Esto que si bien será un gran

-24-

avance, aún presenta serios problemas para fines de un “tracking”. En primer lugar, cadaConsejo (Primaria, Secundaria y UTU) administran la base en forma independiente, condiferentes formatos y rutinas de actualización. En segundo lugar, las unidades que generanla información son los propios centros públicos, con lo que la validez y la actualidad de lainformación dependen de las rutinas administrativas que cada centro pueda desarrollar enel conjunto de sus prioridades y recursos humanos (escasos). En tercer lugar, la exactitudcon que la información es recogida en los centros difiere ampliamente según el sectorinstitucional, el nivel de estudios y el área geográfica. En cuarto lugar, las bases no sonexhaustivas para todos los estudiantes.

Estos cuatro factores conllevaron a que aproximadamente la mitad de los registrosestuvieran incompletos, sean en numeración de calle o en teléfono. Con este panorama seadoptó una estrategia de localización en cuatro pasos.

Primero, se reiteró a cada uno de los centros educativos públicos de Secundaria y UTU, elpedido de información para actualizar y chequear los datos, gestión que se hizo previo alinicio o en simultáneo con el desarrollo del trabajo de campo en la localidad. En segundolugar, se realizó un rastreo del número telefónico existente mediante una “lógica difusa”sobre la guía telefónica, rastreo que se culminó realizando un llamado a la casa delestudiante. Si el número correspondía, se realizaba la primera presentación del proyectoy la invitación a participar en él. El tercer paso consistió en indagar a través de suscompañeros sobre los estudiantes de los cuales no se disponía información. Finalmente,el cuarto paso fue enviar a un encuestador a la dirección aproximada que se lograbacompletar en los tres anteriores y recabar información adicional, cuestión que en lamayoría de los casos culminaba en un reporte de “no ubicable”.

Un caso particular del seguimiento lo representó el fenómeno migratorio. Podemosdistinguir tres tipos particulares de movimientos geográficos: los intra-localidad,básicamente debidos a cambios de domicilio ocurridos recientemente; los entre localidado de migración intra-nacional; y la emigración internacional. Aunque sólo los dos últimoscasos se corresponden estrictamente con “migraciones”, la magnitud con que se identificópresente el primero ha dado lugar al desarrollo de formas de seguimiento análogas.

El protocolo seguido en el campo tanto para los “no ubicables” como para los “migrantes”consistió en registrar la más amplia cantidad de información sobre el destino actual decada joven sorteado, tanto dentro como fuera de la localidad. Las fuentes de informaciónmás próximas fueron los vecinos, aunque en varios casos también reportó el hecho lapropia familia que aún permanece en la localidad. Si la información era proporcionada porlos vecinos, se trató de corroborar la información con preguntas a otros compañeros delcentro educativo.

Ahora bien, la distinción entre “no ubicables” y “migrantes” resulta precisamente de esteprotocolo de consultas y triangulaciones, en la medida en que un cambio de residencia sin

-25-

otra información fue clasificado como “no ubicable” y en cambio lo fue como “migrante”si existía información precisa al respecto. Es factible que el resultado de la aplicación delprotocolo haya sido una sub-estimación de la cantidad de migrantes. Esto por la razón deque algunas migraciones pueden haber estado acompañadas por una completa pérdida devínculos con la localidad o barrio originales.

Sólo a quienes se puede clasificar como migrantes internacionales se les considera dadosde baja del panel. Los restantes jóvenes fueron re-asignados para ser encuestados en lalocalidad en la que se encuentran actualmente.

5.C. ETAPA DE CONTACTO , MOTIVACIÓN Y REALIZACIÓN DE LA ENTREVISTA

Se aplicaron consecutivamente dos modalidades de entrevista. En primera instancia unaaplicación colectiva y autoadministrada del cuestionario, y luego entrevistas individuales.

El procedimiento de contacto y motivación utilizado en el trabajo de campo es descrito acontinuación, y el mismo se aplica para los jóvenes pertenecientes a todo el interior delpaís, Escuelas Técnicas de Montevideo y Colegio privados de Montevideo. En lo que a losliceos públicos de la capital refiere, se aplicó únicamente la entrevista individual, estoimplicó un tratamiento diferenciado de los mismos.

5.D. REALIZACIÓN DE LA ENTREVISTA COLECTIVA

Para llevar adelante el conjunto de entrevistas colectivas, fue necesario acordar con lasautoridades del centro educativo un día, hora y salón de encuentro. En los casos en loscuales existían posibilidades locativas, se realizaban dos aplicaciones por centro educativo,de esta manera se le podría dar al joven opciones de horarios y días a concurrir.

Una vez obtenida una vía de comunicación con el joven (bajo los procedimientosmencionados en el numeral 6.A) se procedía a convocar al listado completo de integrantesde la muestra, es decir, suplentes y titulares. El contacto telefónico consistía en hacer unapresentación general de los objetivos del estudio, intentando de esta forma motivar aljoven a participar, aludiendo que era también una instancia de reencuentro con suscompañeros de generación. Por último, se lo convocaba a participar de una aplicacióncolectiva de la entrevista, la que se haría de modo autoadministrado en el centro educativoal que concurría al momento de participar en la prueba PISA 2003. Los datosproporcionados en una primer instancia por CODICEN, y luego por cada centro educativono estaban en su totalidad actualizados. Por dicho motivo se le mencionaba al joven losnombres de sus compañeros a convocar, principalmente con dos objetivos: por un ladoconseguir mayores datos para poder ubicar a todos los integrantes de la muestra, y porel otro para activar las posibles redes de comunicación existentes entre ellos.

Una vez en un salón dentro del centro educativo, se realizaba una breve presentación de

-26-

los objetivos del proyecto, explicando su conexión con la prueba PISA 2003. Cada jovencompletaba de manera personal el cuestionario y se respondían dudas generales oindividuales que pudieran surgir. Al culminar se les mostraba la lista de los compañerosque no habían asistido, intentando corroborar si la información que teníamos era correctapara así poder llenar los vacíos de información.

5.E. REALIZACIÓN DE LA ENTREVISTA INDIVIDUAL

Luego de aplicada la entrevista colectiva se realizaba un listado de los casos que noasistieron a la aplicación colectiva del cuestionario en el centro educativo, pero que se lesdebería aplicar la entrevista de forma individual. Se procedía a ubicar los casos pendientesen un mapa. Una vez mapeados los domicilios de los jóvenes, los supervisores dividíanlos casos por zonas para facilitarle al entrevistador el traslado entre las diversas entrevistasa realizar.

Para poder concretar una entrevista personal, el supervisor se contactaba nuevamente conel joven, a fin de corroborar los datos de teléfono, dirección, y celular. Asimismo, sepactaba un día, horario, y lugar en el que se realizaría la entrevista. Con esta finalidad seintentaba dar preferencia al hogar del joven ya que de esta forma se reducen lasposibilidades de olvido o evasión de la entrevista.

Por último, se entregaba a cada entrevistador un cronograma de entrevistas a realizar,divididas según zonas barriales. Al mismo tiempo se entregaba un listado de aquellosjóvenes a los que no se había podio contactar (porque tenía mal el teléfono, o ninguno delos compañeros dio datos), pero cuya dirección se encontraba en la zona asignada. Es decir,lo que se hacia en estos casos era concurrir a la dirección para verificar la veracidad de suexistencia. De ser correcta se procedía con la entrevista, de no ser así era necesarioconsultar a los vecinos aledaños para lograr obtener algún dato de referencia actualizadosobre el paradero del joven a ubicar. En el caso de que se obtuviera el nuevo domicilio, setransfería dicha información al supervisor, para que este reasignara el caso a unentrevistador que estuviera trabajando en la zona del nuevo domicilio.

Una vez concretada la aplicación de la entrevista, se realizaba una presentación personaly una breve introducción acerca de los objetivos del proyecto. En la consecución de laentrevista se utilizaban tarjetas para facilitar la visualización de las diferentes opciones derespuesta.

Con la información ya recaba, los formularios de entrevistas eran entregados a lossupervisores, para que éstos realizaran una pre-crítica de los cuestionarios, con el objetivode detectar inconsistencias u omisión de respuestas. En caso de que alguna de estassituaciones fuera identificada, el entrevistador debía contactar nuevamente al entrevistadopara llenar de manera correcta el cuestionario.

-27-

Los procedimientos de supervisión de la tarea de los encuestadores y específicamente delos formularios, incluyeron varias dimensiones del trabajo de campo. Para poder detectarposibles inconsistencias de respuestas dentro de la entrevista y verificar la autenticidad desu contenido, se llamaba nuevamente el joven para la reformulación de preguntas delcuestionario elegidas al azar.

5.F. PROBLEMAS DE LOCALIZACIÓN Y NO RESPUESTA

Como ya fue indicado en el Cuadro 6, las diversas situaciones encontradas en el campofueron clasificadas en 7 categorías. Excluyendo la categoría de “entrevista realizada”, las6 restantes dan cuenta de la heterogeneidad de los problemas de localización o evasión ala realización de la entrevista por parte de los jóvenes. A continuación se explicitan loscriterios adoptados y su implementación.

En el caso de aquellos jóvenes con los cuales no se pudo contactar telefónicamente y seposeía la dirección, se concurría al lugar para verificar si seguía siendo este su lugar deresidencia, o si existía algún vecino que pudiera dar información sobre la nueva direccióno teléfono del joven. Para que un joven fuera categorizado como “no ubicable”, debíacumplir los siguientes requisitos: teléfono incorrecto, dirección incorrecta (certificado porlos datos de un vecino que avalara dicha información) y por último, que ninguno de suscompañeros del centro educativo tuviese información sobre el mismo. Esta situación fuesupervisada mediante el llamado al vecino que proporcionó el dato de no residencia en esadirección del joven.

En aquellos casos en que se dejaba más de tres veces una carta de visita a la familia, y queno se lograba establecer un contacto directo con el joven, se lo incluía dentro de la categoríade “no respondente”. Esta categoría fue utilizada en el campo de manera transitoria, yaque si dicha situación no se resolvía posteriormente pasaba a ser categorizada como“rechazo implícito”.

Si el joven no se encontraba en el hogar el día y la hora pactada, o no concurría al lugaracordado, se lo volvía a llamar para concretar un nuevo encuentro. Luego de haberagendado tres entrevistas sin éxito, se clasificaba al joven como “rechazo implícito”.

La categoría de “rechazo explícito” incluía dos situaciones. Por un lado, el rechazo porparte de algún adulto responsable que no permitía acceder a dialogar con el estudianteevaluado por PISA 2003. Por el otro, el rechazo a realizar la entrevista por parte de losmismos jóvenes, aludiendo en la mayoría de los casos a la falta de interés o de tiempo.

Aquellos casos en los que no se encontraban en condiciones físicas o psicológicas parapoder realizar la entrevista, o estaban internados en centros bajo medidas de seguridad,se incluían dentro de la categoría “rechazo sanitario”. Ejemplo de ello fueron los jóvenesque se encontraban presos, internados por drogadicción, depresión o que padecían

-28-

enfermedades crónicas.

Las tres categorías de rechazo fueron supervisadas mediante un nuevo llamado delsupervisor al joven, con el fin de intentar persuadirlo para la realización de la entrevistao corroborar su rechazo a realizarla.

5.G. TRATAMIENTO DE LOS MIGRANTES

Una séptima categoría incluyó aquellos casos “migrantes”. Es preciso aclarar que no seconsideró como migrante por mudanza dentro de la misma localidad (migración intra-localidad). Para que fuera categorizado como “migrante” se consideraban dos situaciones:1. el traslado a otra localidad del interior o departamento del país, 2. el traslado a otro país,es decir, la migración internacional.

Una vez que se obtenía la información de migración a otro departamento dentro del país,se pedían los datos completos de la nueva ubicación, es decir, teléfono, celular y dirección.Dicha información era transferida a un supervisor encargado de ingresar la nuevainformación y reasignar el caso al supervisor encargado de la zona correspondiente.

Se incluye dentro de la categoría de migración internacional, los casos de aquellos cuyosfamiliares o personas cercanas dieran la información confirmando que el joven no seencontraba en el país de manera permanente. De todas maneras se les solicitabainformación sobre la residencia actual del joven y alguna vía de comunicación paracontactarlo, como por ejemplo el e-mail.

5.H. TRATAMIENTO DE LOS SUPLENTES

En cumplimento del diseño muestral se sorteó una muestra de suplentes para los estratosII y III del mismo tamaño asignado a cada estrato. Desde el inicio se tomó la decisión desolicitar a las autoridades la información de los suplentes en el mismo acto que se recabala información sobre los titulares. Lo mismo se realizó frente a los directivos de los centroseducativos públicos, privados y técnicos.

En la logística del campo, el tratamiento de los suplentes difirió por un lado, según fueranaplicaciones colectivas del cuestionario o entrevistas individuales; y por otro lado, segúnel campo fuera en Montevideo o los distintos campos del interior del país, básicamentepor razones de economía.

Para las aplicaciones colectivas, tanto en Montevideo como en el Interior, se tomó ladecisión de convocar tanto a titulares como a suplentes en la medida que esto representabaun ahorro de tiempo. Sin perjuicio de que igual se procedía buscando entrevistarindividualmente a los titulares que no habían concurrido a la aplicación colectiva, ya secontaban con suplentes registrados. Este método se aplicó tanto en Montevideo (aunque

-29-

sólo para el sector privado y el sector técnico) como en el Interior (todos los sectores).

Para las entrevistas individuales en Montevideo, la gestión del campo siguió losparámetros tradicionales procurando conseguir primero a los titulares, según losprocedimientos arriba descriptos. En la primera quincena del mes de noviembre se realizóun balance sobre la no respuesta en los estratos II y III de Montevideo y sobre esta base sevolvieron a sortear de la lista de suplentes el número de casos necesarios para llegar hastael tamaño muestral definido por las variables explícitas e implícitas de estratificación.

En el interior la situación se enfrentó con una estrategia distinta. En la medida en que eranecesario visitar 71 localidades en 18 departamentos no era económicamente afrontableorganizar dos campos: uno para titulares y otro para los suplentes una vez que se realizaraun balance análogo al hecho en Montevideo. En consecuencia y suponiendopragmáticamente que el número de entrevistas a titulares iba a ser menor que el tamañode la muestra, se optó por incluir en los mapas y en las hojas de ruta de los encuestadorestanto a los titulares como a los suplentes.

La aplicación de esta estrategia conllevó la inclusión a los trabajos de tracking y deentrevista a 440 jóvenes del estrato II y a 494 jóvenes del estrato III.

5.I. RESULTADOS DEL TRACKING Y CATEGORÍA DE CONTACTOS

La estrategia seguida de “tracking” y el tratamiento de los suplentes fue muy eficiente enun aspecto: el número final de entrevistas a suplentes fue de 616 y de titulares 1585.Permitió así elevar la tasa bruta de respuesta del 72% al 100%: 2201 casos en un tamaño de2200. Sin embargo, es necesario proceder a un examen más detallado de cuáles categoríasde jóvenes no respondieron antes de asignar los suplentes.

El cuadro 6 muestra la distribución de los jóvenes encuestados desagregados en cuatrocategorías de respuestas y según los tres estratos de muestreo originales y los dos estratosde remplazo (EII y EIII). Tal como se puede apreciar, fueron encuestados 2196 estudiantesde los 3131 contactados. La suma de los encuestados titulares y suplentes del estrato II esigual a 886 casos, lo cual supera el número de 800 asignado por diseño. En el estrato IIItambién se obtuvo una sobre-entrevista equivalente a 56 casos. Esto es resultado de lalogística empleada para entrevistar en los campos del interior tal como se ha detallado eneste capítulo.

En el estrato I se encuestaron 455 de los 600 jóvenes, lo cual representa el 75.8%. Los noubicables fueron algo más (11.5%) que los jóvenes que rechazaron (implícita oexplícitamente) hacer la entrevista (7.7%). Los migrantes no encuestados fueron el 5.0%, la mayoría de ellos actualmente residentes fuera del país. Como se recordará laprobabilidad de selección en este estrato fue de 1 por lo que no corresponde asignarsuplentes en él.

-30-

Cuadro 6 Descripción de los resultados del “tracking”. Incluye todos los suplentes

encuestados.

Estrato IEstrato II Titulares

Estrato IIITitulares

Sup. Est. II Sup. Est. III Total

Encuestados 455 603 527 285 331 2201

75.8% 75.4% 66.1% 64.6% 66.5% 70.2%

Rechazos 46 36 45 81 33 241

7.7% 4.5% 5.6% 18.4% 6.6% 7.7%

Migrados noencuestados

30 47 58 30 50 215

5.0% 5.9% 7.3% 6.8% 10.0% 6.9%

No ubicados 69 114 167 45 84 479

11.5% 14.3% 21.0% 10.2% 16.9% 15.3%

Totales 600 800 797 441 498 3136

En el estrato II se entrevistaron 603 jóvenes de los 800 previstos, lo cual representa una tasade respuesta del 75.4%. El nivel de migrados no encuestados fue similar al estrato I (5.9%).Los no ubicables fueron algo más que en el estrato I (el 14.3%) y los rechazos fueron unpoco menos (4.5%). Se entrevistaron 285 suplentes en este estrato con lo cual la tasa derespuesta final alcanzó al 110.9%, excediendo el tamaño de la muestra asignado. Ladistribución de estos suplentes encuestados fue diferencial según la primera gran variablede estratificación implícita (región). Así por ejemplo, mientras que en Montevideo el saldoentre la no respuesta (NR) y suplentes fue deficitario (- 32), en las tres restantes fuesuperhabitario: Canelones/Maldonado + 38; Colonia/ San José +14 y el resto del Interiorcon + 66 casos. Estos desbalances requerirán de un examen detallado de la distribución dela NR y eventualmente, el cómputo de factores de ajuste.

En el estrato III, se entrevistaron 527 jóvenes de los 797 sorteados como titulares,representando una tasa de respuesta del 66.1%. El nivel de migrados no encuestados eslevemente más alto que en los otros casos (7.3%), los rechazos se mantuvieron pero los noubicables treparon hasta el 21%, el doble que en el estrato I. La dificultad para encontrarestudiantes de este estrato se mantuvo incluso dentro de los suplentes, donde el 16.8% nopudo ser ubicado en terreno. Se entrevistaron 331 suplentes, una tasa del 66.2% del totalde suplentes contactados. La suma de titulares y suplentes informa que hubo una sobre-entrevista de 89 casos, también distribuida diferencialmente según la región. EnMontevideo el déficit fue de 18 casos, en Canelones/Maldonado se cubrieron todos loscupos en tanto que en Colonia/San José y en el resto del interior hubo excedentes.

-31-

Visto en forma transversal, el mayor problema del seguimiento fue la categoría “noubicables”(15.3%). Tanto en el estrato III de titulares como entre los suplentes, esteproblema se destacó en relación a los otros estratos y alcanzó los guarismos mayores: 21%y 16.6% respectivamente. Esta inubicabilidad se origina en cambios de dirección (tantodentro de una misma localidad como cambios de localidad) que no quedaron registradosen ninguna parte del sistema educativo (público) ni tampoco fueron conocidos por vecinosde la vieja residencia del estudiante. Tanto en Secundaria como en UTU la búsqueda sehizo contra los nombres y apellidos del panel 2007 sobre la base completa y retrospectivade todos los estudiantes de los dos sub-sistemas. La información por lo general es la mismade la que existían en los registros de los 192 centros de la muestra panel 2007. Por otrolado, se puede observar que las chances de no ser ubicable se duplican si el estudianteestaba en el 2003 rezagado en su trayectoria educativa; es decir en alguna modalidad delCiclo Básico o en un curso básico de la UTU.

El porcentaje de los jóvenes migrantes es mayor en el estrato II que en el I y en el estratoIII que en el estrato II. Al desagregar el destino de la migración según los informantes enel terreno, no parecerían existir diferencias importantes entre estratos en las proporcionesde los migrantes al exterior y los migrantes a otras localidades. Un poco más de uno decada diez jóvenes de la muestra panel 2007 habrían emigrado hacia otra localidad en elpaís en tanto que próximo al 3% del panel 2007 lo habría hecho al exterior (datos noponderados).

-32-

6. “PANEL ATTRITION” Y PESOS MUESTRALES

6.A. INTRODUCCIÓN

La falta de información en una encuesta se debe a dos tipos de problemas que requierenser distinguidos. Por un lado, el encuestado puede haberse negado a responder un sub-conjunto de preguntas, dando lugar a una situación de “item-non response”. Por otro lado,el encuestado puede haber rechazado de plano responder a todo el conjunto de preguntas,lo cual da lugar a una situación de “unit non-response”. Este último tipo de problemas sepresenta con particular gravedad en los estudios longitudinales de paneles. En lassucesivas oleadas del panel es posible que la persona u organización seleccionada desistade continuar, haya migrado, sea inubicable o haya “dejado de existir”. Este fenómeno demortandad del panel se denomina en inglés como “panel attrition”, aunque también puedeser conceptuado como una forma de “truncamiento” en los datos.

Este problema particular de los paneles tiene magnitudes diversas en los estudios y sueleacarrear al menos dos consecuencias graves. La primera y más visible consecuencia es lareducción del tamaño de la muestra con el consiguiente impacto sobre las varianzas y laspruebas de hipótesis. La segunda consecuencia es la posible introducción de un sesgo (unadiferencia sistemática entre la esperanza del estadístico calculado y el parámetro estimado)si se comprueba de que la falta de información tiene razones sistemáticas. La existencia deun mecanismo no aleatorio de selección de las observaciones cuestiona la pretensión devalidez del mecanismo aleatorio de selección utilizado en el muestreo.

Por lo general, los analistas suelen tratar el problema de la falta de información en losítemes (unit-non response) utilizando procedimientos de rutina incorporados en lospaquetes estadísticos de uso frecuente. Así el SPSS permite optar entre tres formasalternativas. La primera es el “list-wise deletion” o eliminación de todos los casos en losque al menos halla falta de información en una de las variables utilizadas. La segundaalternativa consiste en imputar a los casos sin información el promedio muestral de lavariable utilizada. El tercer procedimiento es el “pair-wise deletion” que maximiza lainformación existente utilizando para cada análisis toda la información existente en lamatriz; v.g. dando lugar a distintos “n” finales.

Ahora bien, en el “panel attrition” por definición la eliminación de los casos ocurrió en elmismo trabajo de campo y las tres alternativas anteriores pierden sentido. En la matrizgenerada por la encuesta de seguimiento faltan varios renglones; no tienen la mismadimensión. No es posible observar los cambios ocurridos en el tiempo a las unidadesanalizadas. Si el análisis se realizara desconociendo este hecho, tendría efectos semejantesal uso de una alternativa “listwise”.

Verificado este problema, la bibliografía aconseja realizar un abordaje en dos etapas. Una

-33-

primera consiste en un detallado examen descriptivo de quienes son los casos perdidos enlos seguimientos a los efectos de inferir qué tipos de mecanismos de selección operaron.La segunda parte consiste en aplicar correcciones. Aquí aparecen dos caminos a recorrer.Por un lado, se recomienda aplicar correcciones fundadas en la introducción de factoresde ajuste a los pesos muestrales. Este es el camino recorrido por OECD-PISA (2004) paracorregir la disminución de las muestras por rechazo de escuelas y estudiantes (véase másarriba, numeral 2.4c). Por otro lado, los econometristas han depurado modelos quecorrigen las estimaciones controlando por la probabilidad de (auto)selección de losrespondentes. El más reconocido modelo se debe a J.J. Heckman y está instrumentado envarios paquetes estadísticos.

6.B. ANTECEDENTES EMPÍRICOS

El primer grupo de antecedentes de relevancia sobre temas de “panel attrition” que hemosconsultado refiere a los tres países que implementaron con éxito un estudio longitudinaldel tipo PISA-L . Se trata del Youth in Transition Survey (YITS) de Canadá vinculado conPISA-2000; el estudio PISA - L de Dinamarca y el Longitudinal Surveys of Australian Youth(LSAY) vinculado a PISA 2003. Existen también otros dos proyectos en curso en EstadosUnidos, sin vínculo con PISA aunque generados a partir de evaluaciones nacionales: elEducational Longituinal Study (ELS:2002) y el Early Childhood Longitudinal Study (ECLS-K:1998), desarrollados por el National Center for Educational Statistics (NCES).

The Human Research & Development Center (HRDC) y Statistics Canada implementaronel Youth In Transition Survey (YITS) sobre la muestra nacional seleccionada para el Ciclo2000 de PISA (Knighton & Brussière, 2006). Participaron originalmente los 29330estudiantes de PISA 2000, los que para el primer seguimiento de 2002 respondieron en un90.5% y en el segundo seguimiento llegaron al 84.4%. No tenemos conocimiento de laexistencia de un estudio de los problemas de panel attrition. El Australian Council ofEducational Research conjuntamente con Australian Government Departament ofEducation, Science and Training, diseñaron e implementaron el LSAY (Y03). Luego de laaplicación del Ciclo 2003 de PISA, se seleccionó como universo a los 12551 jóvenesparticipantes. Ese primer año se logró respuestas válidas de 10370 de los 11619participantes ubicados (82.6%). En el ciclo de 2004 se obtuvieron 9378 encuestas completas(74.7%). Tampoco tenemos conocimiento de la existencia de un estudio de los problemasde panel attrition. El Proyecto PISA-L de Dinamarca es desarrollado por el Instituto Danésde Investigación sobre el Gobierno (AKF) para estudios sobre desarrollo local. Tuvo comobase el primer ciclo de PISA en el año 2000 con estudiantes nacidos entre 1983 y 1984 (enel 2004). No existen referencias sobre la tasa de cobertura de este estudio ni tampoco sobrelos efectos de la NR en las estimaciones.

Los demás antecedentes sobre este tema provienen de los estudios de opinión, deaudiencias, de mercado, demográficos o de movilidad social, principalmente. Variostrabajos técnicos específicos describen la magnitud del problema, sus causas y las

-34-

alternativas existentes para su resolución. La bibliografía es crecientemente amplia y enparticular, correlativa al desarrollo de estudios de panel. Interesa concluir esta sección conalgunos papers que sistematizan el conocimiento en áreas principales.

El primer trabajo discute la afirmación generalmente aceptada sobre el vínculo entre NRy sesgo de estimación. Pertenece a Robert Groves, director del Survey Research Center dela Universidad de Michigan. En uno de los artículos centrales del Public Opinion QuarterlySpecial Issue 2006, Groves señaló en primer lugar, que todos los trabajos en la materiainforman sobre tasas crecientes de NR en todos los tipos de encuesta que se aplican. Elfenómeno no sólo es frecuente sino incremental. En segundo lugar, mostró que losestudios que se practicaban sobre sesgo por NR concluyeron que este era un problemapresente en la mayoría de las encuestas. Estos dos hechos impactan directamente sobre lateoría del muestreo con base probabilística en la que se supone que no existe esteproblema. Groves señaló que, sin embargo, los investigadores suelen tener por aceptablestasas de respuesta del 50%, como buenas el 60% y como muy buenas las tasas del 70%. Yestos estándares sólo se fundamentan en la experiencia. Entre los escasos desarrollosteóricos existentes sobre el sesgo y sobre NR, conviene resaltar dos. Una primera teoríasostiene la existencia de un núcleo duro de NR que desarrolla un comportamiento reactivoa cualquier tipo de encuesta que se trate en la misma especie. En este contexto, el sesgo estáligado a la NR mediante una función lineal y directa. Una segunda teoría sostiene que laNR observada en una encuesta es una realización estocástica, una propensión a noresponder variable de encuesta a encuesta, y de pregunta en pregunta. Esta concepciónpermite establecer una función entre el sesgo y la NR que tiene como término fundamentalla covariación entre la propensión y la variable de interés a estimar. La formalizaciónpermite extenderla a sub-clases (por ejemplo, hombres y mujeres) lo cual puede contribuira pensar situaciones en que la NR por clases se cancelan manteniendo las estimacionesinsesgadas. Con base en esta última teoría expuso una síntesis del conocimiento que sedestaca en el cuadro 7.

Cuadro 7 Síntesis del conocimiento actual sobre No Respuesta según Groves (2006:649-650)

A. El sesgo causado por la NR varía entre los diferentes estimados de una mismaencuesta.

B. Una disminución en la tasa de NR no siempre puede conllevar a una reducciónen el sesgo generado por la NR.

C. Los componentes distinguibles en la NR pueden afectar diferencialmente lacovariación entre la variable de interés y la propensión a no responder. Entreellos, destáncanse el idioma, el estado de salud, etc.

D. Para discernir cuándo la NR conlleva un sesgo debemos entender cómo estánrelacionadas las variables de interés con las influencias a favor y en contra de laparticipación en la encuesta.

-35-

E. No existe un mínimo de respuesta debajo del cual las estimaciones de unaencuesta estarían necesariamente sesgadas.

F. Es un área de importante estudio científico la relación entre la NR y losprotocolos de contacto y entrevista aplicados en la realización de las encuestas.

Uno de los causantes más reiterados entre los componentes de la NR es la no ubicabilidad.Según Neukirch (2003) la mobilidad social y regional tiene un impacto significativo sobrela no respuesta en páneles. Hill (2004) reseñando los reportes sobre este tema realizadosen países en desarrollo, destaca la importancia que tiene la NR ocasionada por el cambiode residencia en países con dinámicas demográficas y territoriales importantes, quegenearlmente afectan a grupos sociales específicos: trabajadores rurales supernumerarios,hambrunas, reformas agrarias, clase media urbana, desplazados por conflictos étnicos y/opolíticos. De ambos estudios se deduce la misma hipótesis: si la movilidad social(ascendente o descendente) está asociada a movilidad residencial (migración intra ointernacional), cualquier estudio panel que no contemple estrategias para lidiar con estafuente de NR generará estimaciones sesgadas muy especialmente sobre todas aquellasvariables de trayectoria.

6.C. TIPOS DE NO REPUESTA

Tal como se presentó anteriormente, la NR parecería ser un problema cuando estárelacionada con las variables de interés. Es necesario explorar con más detalle en estepunto desarrollando una tipología de NR y ubicar las consecuencias y correctivos quepueden adoptarse en cada caso.

La metodología para trabajar el tema de la falta de información es una creación en paralelohecha por Donald B. Rubin y James J. Heckman de fines de los años setenta. Trabaja conel concepto de “missing value “ el cual se aplica tanto a una variable como a un caso.Respectivamente dan lugar a problemas de “item non-response” y “unit non-response”.El problema del panel attrition es un caso típico de “unit non-response”, aunque aquípresentaremos los conceptos con mayor generalidad. Conservaremos los términos y lassiglas en inglés en la siguiente síntesis. Primero expondremos una tipología de norepuestas debida a Rubin.

Previamente acordemos una terminología básica. A los efectos de una mayor simplicidad,pensaremos que tenemos una variable Y (vector columna) con celdas observadas y celdasno observadas y una variable X (matriz de variables) potencialmente utilizable paraexplicar Y relevadas en el anterior seguimiento del panel y por tanto, con todos los valoresobservados. Supongamos para fijar mejor las ideas, de que Y representa trayectoriasacadémicas y que X es la clase social. El enfoque será probabilístico y condicional: es decir,en la probabilidad de una celda con “missing” en Y, P (Y=.) y analizamos esa probabilidad

Esto abre una polémica interesante y crucial pero hasta el presente marginal en el análisis de los estudios del4

tipo de PISA, TIMSS o PIRLS que recurren a procedimientos de imputación de los missing values a pesar de que sonMCAR, tal como los propios técnicos lo reconocen. Vide OECD-PISA, 2004: 128 y 129.

-36-

condicional a cierto valor de Y, P(Y=./ Y = y) o condicional a cierto valor de X, P(Y=./X=x).Para esta síntesis seguiremos a Allison (2001) y King et al (2001).

La primera situación se denomina “missing completely at random” (MCAR). Lainformación faltante en Y es independiente de los valores de Y así como es independientetambién de los valores de X. Esto sea tanto en casos de “item non-response” como de “unitnon-response”.

[8] P (Y=. / Y, X) = P(Y=.)

La evaluación de aprendizajes que PISA realiza en cada ciclo es un ejemplo claro de MCARaplicado al caso de “item non response”. En PISA alrededor de la mitad de los estudiantesno responden a ítemes de las áreas menores de la evaluación (para el ciclo 2003, lectura yciencias), generándose “missing data” en la variable de puntaje para estas áreas. Sinembargo, el mecanismo que genera este missing es aleatorio porque se sortean loscuadernillos de prueba entre los estudiantes, de tal forma que la falta de información nodepende ni del nivel de aprendizajes Y, ni de ninguna otra variable X . 4

La falta de información en sucesivos levantamientos de un panel resulta más compleja decatalogar como MCAR. No sería posible sostener que existe MCAR si los integrantes delpanel que no fueron encuestados, es decir Y = ., provienen en una proporción mayor dehogares de clase obrera (X=x) o si quienes no fueron encuestados son proporcionalmentemás entre quienes abandonaron la educación formal (Y=y).

La segunda situación se denomina “missing at random” (MAR). Los requisitos paraverificar esta situación son menos exigentes que para la anterior y hacen depender estaclasificación de que la información faltante sólo este asociada a ciertos valores observadosen X pero no a ciertos valores de Y. Formalmente:

[9] P (Y=. /Y, X) = P(Y=. / X)

En este caso, la clave está en Y: si ciertos valores de la trayectoria académica repercutenen que la persona no conteste una encuesta sobre trayectorias, entonces la información nopuede ser MAR.

En el ejemplo anterior, la información será MAR si una mayor proporción de norespondentes es originario de la clase obrera. Pero en tal caso, una vez controlada estavariable, los missing values deberá distribuirse al azar dentro de cada categoría de clase

-37-

social. Dado que este concepto de condicionalidad está basado sólo en X, es posible añadiruna importante cantidad de variables observadas X, tales como el sexo, el área geográfica,el nivel de desempeño matemático, (matriz X) hasta haber minimizado la varianza noexplicada. Si la información es clasificable como MAR, resulta posible predecir los valoresde Y faltantes utilizando un modelo multivariado de imputación. Allison (2001: 5) añadeque en tal situación no es necesario modelizar específicamente el mecanismo generador delos datos faltantes para realizar la estimación. El proceso es “ignorable”. Añadiremos queademás si la información es MAR, una vez ajustada una matriz X se puede suponer quelos casos observados dentro de cada celda es representativa tanto de los casosobservados como de los no observados. Este supuesto da lugar a una de las estrategiaspara lidiar con los casos de “unit non response” consistente en ajustar los pesos muestrales.

Ahora bien, si la probabilidad de que una celda de Y en la matriz de datos esté vacíadepende de valores no observados de la variable Y, se dice que el proceso generador delos missing data es “no ignorable” (NI). Este puede ser el caso de una encuesta sobretrayectorias educativas a la cual los jóvenes que no responden fueran aquellos que tuvieronmás fracasos y problemas con la educación. Para estos casos, el mecanismo generador delos missing data debe ser modelado a los efectos de obtener estimadores no sesgados. Unode los instrumentos más populares de corrección es la estimación en dos pasos para losmodelos de regresión propuesto por Heckman cuando tenemos selección en la variabledependiente. Pero, como señala Allison (2001), el desarrollo de este tipo de instrumentosrequiere un muy buen conocimiento previo sobre la naturaleza de los procesosgeneradores de missing data.

En la mayoría de los casos es imposible testear si la información es MAR o por elcontrario NI porque se desconoce el verdadero valor de Y dado que no pudo ser captadoen las encuestas. Las pruebas pueden eventualmente aproximarse a Y utilizando variablesproxi que se suponen teóricamente correlacionadas, como por ejemplo, aquí se supone quelas trayectorias educativas están condicionadas por el nivel de competencia matemáticadesarrollado por los estudiantes hasta los 15 años.

6.D. DOS HIPÓTESIS SOBRE LA NO RESPUESTA EN EL PANEL 2007

En razón de los fundamentados establecidos en el inicio de esta sección, se realizó unamplio y detallado análisis de la no-respuesta (por migración, rechazo o inubicabilidad)a los efectos de determinar si el mecanismo generador de esta situación podría haberintroducido sesgos. Para este análisis se partió de dos hipótesis en parte sugeridas por labibliografía y en parte por la exploración de los datos.

La primera hipótesis podríamos llamarla “reactividad temática”. Se inspira en el análisisde Goldthorpe (2000) sobre la toma de decisiones educacionales que se realiza entreaquellos que tienen expectativas de ascenso social a través de la educación. Sostiene queaquellos jóvenes que tuvieron experiencias con fuertes fracasos de sus expectativas con la

Por definción, un estudiante estaría rezagado en 2003 si se encontraba cursando ISCED 2 en cualquiera de5

las modalidades: general, técnica o profesional.

-38-

educación media (repetición, cambios de centro, cambios de orientación, abandonos)tienen mayores objeciones y resistencias a responder a una encuesta sobre trayectoriasacadémicas que devela y revive aquellas experiencias negativas. Con este fundamento sepodría explicar básicamente las situaciones de rechazo (implícito o implícito) y se aplicaríacon preferencia a los jóvenes del estrato II, que son aquellos que apriori podrían tenermayor incertidumbre sobre trayectorias ascendentes, descendentes o estáticas.

La segunda hipótesis refiere a la coyuntura de desintegración social generada por la “grancrisis” (2000-2004). La pérdida de empleo y los incrementos en el costo de la viviendahabrían obligado a los hogares de clase obrera e intermedia (en el lenguaje de Goldthorpeotra vez) a desplazamientos residenciales importantes. Esta “estrategia de sobrevivencia”supone conceptualmnte un proceso de movilidad social descendente que pudo haberseverificado en dos grados. Pudo cambiarse pero manteniendo ciertos vínculos y redes convecinos e instituciones de su antigua residencia o pudo haberse cambiado habiendo rototales redes y vínculos, en una expresión máxima de desarraigo o desintegración social. Elmecanismo de la movilidad geográfica sería generador de “no respuestas” por“inubicabilidad” o por “migración”. Tal como la formulamos, estas hipótesis no sonantagónicas sino incluso complementarias.

Dado que se desconocen los verdaderos valores de las variables de interés para todas estassituaciones, se utilizó la estrategia de identificar variables proxi que permitieran testearindirectamente algunas hipótesis. Por razones de disponibilidad, para la primera hipótesis(“reactividad temática”) se utilizaron tres variables educativas que se suponenfuertemente relacionadas con la trayectoria académica: 1) el puntaje obtenido en el área dematemática en PISA 2003, 2) la condición de estudiante rezagado al 2003 y 3) el climaorganizacional del centro en el que estudiaba en 2003 tal como era percibido por el joven .5

Para la segunda hipótesis utilizaremos como proxi la clase social reportada para el hogardel estudiante por PISA 2003.

6.E. ANÁLISIS DE SESGOS SEGÚN VARIABLES PROXI

El primer examen consistió en comparar (1) el promedio de matemática para toda lamuestra de Uruguay en PISA 2003; (2) el panel 2007 seleccionado, y (3) el panelimplementado. La estimación se realizó utilizando los pesos de PISA 2003 y los pesos apriori para el panel 2007 (wst1), según se expuso más arriba en los numerales 5.b y 5.c. Elcuadro 8 muestra que los promedios difieren en magnitudes. El máximo es el estimado (3)computado sólo con los titulares encuestados y el mínimo valor se observa en (4). Si bienlas medias discrepan, las diferencias entre los valores no supera los intervalos de confianzaque se pueden construir.

-39-

Cuadro 8 Comparación entre estadísticos de matemática en PISA 2003 y entre los estudiantes

muestreados para el panel 2007 y los efectivamente encuestados

MediaNacional

Estrato I Estrato II EstratoIII

(1) Muestra Uruguay para OECD-PISA 2003 422.2 (3.0)

586.7 474.7 342.5

(2) Panel teórico 2007 (encuestados y no -encuestados;ponderados; incluye los no encuestados)

423.2(5.0)

589.1 472.7 342.3

(3) Panel 2007 (solo titulares encuestados; sin correcciones ycon los ponderados originales a priori; wst1)

429.4(5.2)

589.4 472.9 343.9

(4) Muestra panel 2007 (titulares y remplazos; pesos wst2) 419.5(4.7)

589.4 472.9 343.9

(5) Muestra panel 2007 (titulares y remplazos; pesos wst3) 422.5(4.9)

589.0 475.0 342.8

Fuente: El estimado (3) fue ponderado por el peso wst1 según se detalla en ecuación [6]. Elestimado (4) fue estimado por la ecuación [NN].

Una segunda lectura del mismo cuadro 8 puede realizarse analizando las diferencias entrelos estimados de los tres estratos. Se puede apreciar que la mayor magnitud en lasdiferencias se aprecia en el estrato I, donde cualquiera sea la forma de definir la muestray los pesos, se observa una sistemática sobre-estimación (2.2 puntos). En los otros dosestratos no hay una diferencia tan pronunciada. Punto a punto la mejor estimación estáproporcionada por la línea (5): 2.3 en el estrato I; 3 décimas en el estrato II y 3 décima enel estrato III.

Este primer examen permite formular la hipótesis de que habría una relación entre la NRa la encuesta y el desempeño en matemática, de tal forma que los NR tendrían enpromedio menores competencias. Si estas competencias están asociadas a la trayectoria,tal como se enuncia en este proyecto, habría evidencia para sospechar la ocurrencia de unsesgo de selección por NR.

El segundo examen consistió en dividir la muestra de titulares seleccionada para el panel2007 en dos sub-conjuntos según hubieran o no respondido a la encuesta. Se aplicó unanálisis de varianza y se obtuvo los resultados que se transcriben en el cuadro 9. Tal comose puede apreciar, el impacto de la mayor tasa de NR en el estrato III se traduce como erade esperar en un aumento del promedio en el puntaje de matemática en 26 puntos: 428.6en los titulares que respondieron y 406.0 en los titulares que no respondieron. Se utilizóel peso definido en la ecuación [6] normalizándolo según la ecuación [7].

-40-

Cuadro 9 Análisis de varianza para el puntaje en Matemática en PISA 2003 para respondentes

y no respondentes de la muestra TITULAR

.. oneway pv1math nr [fweight = wst1b], tabulate

| Summary of Plausible value in math nr | Mean Std. Dev. Freq. Obs.------------+------------------------------------------------ 0 | 406.01851 95.801133 9028 9028 1 | 428.55405 95.514246 23183 23183------------+------------------------------------------------ Total | 422.23786 96.127612 32211 32211

Analysis of Variance Source SS df MS F Prob > F------------------------------------------------------------------------Between groups 3299841.54 1 3299841.54 361.10 0.0000 Within groups 294337236 32209 9138.35374------------------------------------------------------------------------ Total 297637077 32210 9240.51777

Bartlett's test for equal variances: chi2(1) = 0.1170 Prob>chi2 = 0.732

En el tercer examen se excluye del análisis de varianza al estrato I y compara lospromedios de tres grupos: respondentes titulares de los estratos II y III (1127 casos),respondentes suplentes de esos estratos y no respondentes titulares. Se utilizó el pesodefinido en la ecuación [6] normalizándolo según la ecuación [7]. El cuadro 10 muestraque existe una diferencia entre los dos sub-conjuntos de respondentes; la diferencia esimportante y significativa al comparar estos grupos con el promedio con los no-respondentes.

Cuadro 10 Análisis de varianza para Matemática (PISA 2003), muestra completa (titulares

respondentes, suplentes respondentes y no respondentes). Base ponderada.

. oneway pv1math nr2 [fweight = wst2b] if s_anep !=1, tabulate

| Summary of Plausible value in math nr2 | Mean Std. Dev. Freq. Obs.------------+------------------------------------------------ Tit. Resp | 408.33206 80.27153 20593 20593 Rempl. Re | 397.4893 83.645833 10690 10690 NR | 389.60104 83.953372 13124 13124------------+------------------------------------------------ Total | 400.18616 82.587483 44407 44407

Analysis of Variance Source SS df MS F Prob > F------------------------------------------------------------------------Between groups 2914686.25 2 1457343.13 215.73 0.0000 Within groups 299964980 44404 6755.35942------------------------------------------------------------------------ Total 302879666 44406 6820.69238

-41-

El cuarto examen utiliza la variable rezago en 2003 para comparar los grupos derespondentes y no-respondentes de los titulares. No se pesaron los casos. En el cuadro 11se observa un nivel de asociación débil entre ambas variables (r=Phi=V=0.12). Entre losrezagados se incrementa casi 12 puntos porcentuales los no respondentes.

Cuadro 11 Relación entre no respuesta y rezago en 2003. Datos no ponderados. Muestra titular.

. tab nr lagged ,col row chi2 gamma V

| programa nr | ISCED 3 rezago | Total-----------+----------------------+---------- 0 | 1,128 454 | 1,582 | 71.30 28.70 | 100.00 | 75.96 63.76 | 72.01 -----------+----------------------+---------- 1 | 357 258 | 615 | 58.05 41.95 | 100.00 | 24.04 36.24 | 27.99 -----------+----------------------+---------- Total | 1,485 712 | 2,197 | 67.59 32.41 | 100.00 | 100.00 100.00 | 100.00

Pearson chi2(1) = 35.5106 Pr = 0.000 Cramér's V = 0.1271 gamma = 0.2846 ASE = 0.045

El quinto utilizó cuatro indicadores de clima organizacional construidos para PISA 2003:sentido de pertenencia (belong), actitudes hacia la escuela (atschl), clima disciplinario enla clase de matemática y relaciones entre los estudiantes y los profesores (sturel). Laconstrucción de estos índices se detalla en el Technical Report 2003 paginas 271 y siguientes.La matriz de correlaciones indica que no existen diferencias sustantivas entre estasvariables de clima y la no respuesta entre los titulares.

Cuadro 12 Matriz de correlaciones entre el clima organizacional del centro en 2003

. corre nr belong sturel atschl disclim [w=w2](analytic weights assumed)(sum of wgt is 3.1040e+04)(obs=2044)

| nr belong sturel atschl disclim-------------+--------------------------------------------- nr | 1.0000 belong | -0.0311 1.0000 sturel | 0.0632 0.2467 1.0000 atschl | 0.0236 0.1862 0.2970 1.0000 disclim | -0.0373 0.0599 0.0792 0.0997 1.0000

-42-

Los cinco exámenes anteriores no entregan evidencia concluyente ni para apoyar ni paradescartar la hipótesis de “reactividad temática”. Existen diferencias significativas en elnivel de competencia de quienes responden y quienes no responden, pero estas norepercuten seriamente al usar la muestra para estimar el promedio de matemática global.Esto no garantiza obviamente que no haya impacto sobre las trayectorias, la cuestión defondo que motivó el examen.

Cuadro 13 Recategorización de los grandes grupos ocupacionales de ISCO 88. Status más alto

entre el padre y la madre del estudiante.

Clasificación ISCO-88 Estratificación PISA Esquema de clases en Golthorpe

Grandes grupos ocupacionales 1, 2 y 3 No m anual altam ente calificado Clases I y II de servicio

Grandes grupos ocupacionales 4 y 5 No manual con baja calificación Clases III y IV

Grandes grupos ocupacionales 6 y 7 Manual calificado Clases V y VI

Grandes grupos ocupacionales 8 y 9Manual con reducida o nula

calificaciónClases VII A y VII B

Fuente: elaborado por el autor con base en los microdatos liberados de PISA 2003. Http://w w w .pisa.oecd.org

El sexto y último examen practicado se refirió a la variable clase social del hogar delestudiante. Entre los indicador disponibles se prefirió la clasificación en cuatro clasesocupacionales según agrupamientos de ISCO88 (hsecateg) emparentada conceptualmentecon la pauta de estratificación de Goldthorpe, según se muestra en el cuadro siguiente. Elcuadro 14 permite observar la distribución de la no respuesta dentro de las cuatro clasessociales.

Cuadro 14 Distribución de la no respuesta según clase social para la muestra titular

| highest parent white collar/blue collar | classification nr | ="white c ="white c ="blue co ="blue co | Total-----------+--------------------------------------------+---------- 0 | 731 328 264 234 | 1,557 | 46.95 21.07 16.96 15.03 | 100.00 | 75.91 69.20 70.21 68.62 | 72.28 -----------+--------------------------------------------+---------- 1 | 232 146 112 107 | 597 | 38.86 24.46 18.76 17.92 | 100.00 | 24.09 30.80 29.79 31.38 | 27.72 -----------+--------------------------------------------+---------- Total | 963 474 376 341 | 2,154 | 44.71 22.01 17.46 15.83 | 100.00 | 100.00 100.00 100.00 100.00 | 100.00

Los porcentajes no varían sustantivamente entre las clases III a VII, aunque parecería haberuna pequeña disminución (mayor proporción de respuestas) para las clases I y II. Es decir,si la no respuesta fuera generada por “inubicabilidad” el mecanismo generador parecería

-43-

estar asociado a la pertenencia a la clase social intermedia u obrera.

6.F. MODELO GENERAL

El conjunto de variables proxi utilizadas en el apartado anterior se combinó con lasvariables de estratificación de la muestra a los efectos de examinar en forma multivariadala distribución tanto de la no respuesta global como por separado el “rechazo” y la“inubicabilidad”. Se ajustaron modelos logísticos de efectos principales restringidos a lamuestra de titulares y ponderando por los factores descriptos en las ecuaciones [6] y [7].La misma matriz X fue utilizada a los efectos de comparar los efectos marginales. Losresultados se exponen en el cuadro 15.

Una primera lectura a practicar puede ser por renglones, identificando si al menos una vezse halló que la variable independiente era estadísticamente significativa. La últimacolumna contiene esta significación. Ahí se observa que la pertenencia al sector privado,la residencia en Maldonado, el nivel de competencias en 2003 y el rezago son las cuatrovariables estadísticamente significativas en algún modelo. Ni el género ni la clase socialni las otras regiones geográficas de residencia parecerían haber incidido en la no respuesta.

En segundo lugar, cuando la variable es significativa en dos modelos, el sentido de laasociación permanece similar. Así el ex-alumno del sector privado más probablemente norespondiera la encuesta por un acto voluntario de rechazarla (implícita o explícitamente).La residencia en Maldonado contribuye a que más probablemente se haya reportado queel joven fue inubicable en las direcciones conseguidas y por esto no se obtuvo la encuesta.Haber estado rezagado al menos un grado en 2003 respecto del nivel/grado normativo dela educación formal, incrementa la propensión a no responder, básicamente porque no selo ubicó. En cambio, un más alto desempeño en PISA2003 disminuye tanto la probabilidadde rechazo como la probabilidad de no respuesta general.

En síntesis, podría suponerse que la muestra tuvo una sobre representación en lasrespuestas del sector público, de los residentes en cualquier lugar excepto en Maldonado,de los estudiantes que cursaban su grado normativo y que tenían un alto desempeño.

Ahora bien, tal como se examinara más arriba utilizando el desempeño en Matemática,estos sesgos de NR parecerían haber tenido sólo un efecto marginal y no significativo sobreaquel estimado. Es decir, cabría la hipótesis de que los factores de sesgos identificadosno son sistemáticamente en la misma dirección, sino que se neutralizaron recíprocamente.Bajo esta hipótesis, el tratamiento más razonable y económico de la NR es computar pesosmuestrales ex-post bajo la hipótesis de que estamos en una situación “MAR”: huboaleatoriedad en la respuesta dentro de las celdas conformadas por las variables deestratificación (matriz X).

-44-

Cuadro 15 Modelo logístico explicativo de los unit - missing data

No respuesta Inubicable Rechazo Efecto

Constante-0.822

(0.476)-1.758

(0.651)-1.422

(1.019)

Mujer0.221 *(0.133)

0.042(0.184)

-0.065(0.335)

Sector Privado0.379 **(0.184)

-0.382(0.254)

1.822 ***(0.259)

+

Canelones-0.185 (0.228)

-0.558(0.303)

0.967 **(0.404)

Maldonado0.882 ***

(0.238)1.444 ***

(0.300)0.549

(0.571)+

Colonia-San José-0.102

(0.287)0.287

(0.424)0.722

(0.721)

Resto del país0.070

(0.175)-0.237

(0.239)-0.158

(0.415)

Desempeño enmatemática PISA 2003

-0.002 **(0.001)

-0.001(0.001)

-0.005 ***(0.002)

-

Rezagado en 20030.483 ***

(0.175)0.681 ***

(0.229)-0.203

(0.413)+

Clase III y IV0.250

(0.177)0.329

(0.253)-0.022

(0.307)

Clase V y VI0.142

(0.189)0.201

(0.252)-0.667 *(0.403)

Clase VII a y VII b0.036

(0.202)-0.185

(0.269)-0.329

(0.487)

Referencia: (*) P < 0.10; (**) P < 0.05; (***) P < 0.01.

6.G. PESOS MUESTRALES: ALTERNATIVAS METODOLÓGICAS

En términos generales, la NR de las encuestas suele ser tratada mediante el cómputo ex-post de factores de ajuste que compensan respuestas diferenciales observadas y por estemedio, se proponen reducir los posibles sesgos sobre las estimaciones. Esta metodologíase introdujo a principios de los años noventa y ha sido utilizada largamente por losdiversos estudios internaiconales que ha realizado la IEA (TIMSS, PIRLS, Civic Education)o la OECD (PISA). (Por ejemplo, Foy, Rust & Schleicher, 1996; Foy, 1996; OECD-PISA, 2004;Joncas, 2004). Visto el respaldo que tiene, puede decirse que forma parte de las “mejores

-45-

prácticas” en materia de muestreo e inferencia.

Luego del análisis teórico y de la exploración empírica sobre la NR se abrieron dosposibilidades: i) ajustar la muestra utilizando factores de ajuste por estrato corrigiendo conel mismo patrón la sobre o sub-entrevista; o ii) realizar un ajuste utilizando pseudo-estratos definidos dentro de los estratos de muestreo a partir del uso de las variables deestratificación implícita.

La primera metodología supone que la NR se distribuyó de la misma forma dentro de lasdistintas variables de estratificación implícitas utilizadas en el diseño muestral. Es decir,la NR es independiente de las variables independientes y por tanto, MCAR. En razón deello, construye pesos siguiendo la misma lógica y función desarrolladas más arriba en elcuadro 4 y en las ecuaciones [5] a [7]. Este peso se denominó “wst2" y se añadió a la basede datos.

Ahora bien, la investigación educativa de mayor prestigio y desarrollo, por ejemplo TIMSS,PISA o NAEP adoptaron desde mediados de los años 90 el uso de factores de ajuste por NRfundamentados en una pseudo-estratificación ex-post. Esta opción supone que la NR sedistribuye MAR pero que está asociada a una matriz de variables independientes muyespecíficas. Usando estas variables se procede a generar estratos ex-post de muestreodentro de los estratos originales que son utilizados para recalcular las probabilidades deselección, corrigiendolas por el inverso de la tasa de respuesta. Por esta razón, estasvariables se denominan “de estratificación implícita” y a todo el procedimiento se lecataloga como de “pseudo-estratificación” (Fay, 1997: 77; OECD-PISA, 2005: 110-113; TIMSS,2003: 75).

6.H. METODOLOGÍA DE LOS PSEUDO-ESTRATOS

La metodología aplicada para el cómputo de los pesos para el panel 2007 es análoga a laque desarrollara PISA para el Ciclo 2003 y TIMSS (1995,1999 y 2003)y que se aplica en formageneralizada en otros estudios educativos similares. Implica computar un factor decorrección que expande las respuestas observadas hasta completar el tamaño diseñadopara una celda definida según variables implícitas del diseño muestral.

Consiste en asignar a cada caso el producto del peso original de cada estudiante asignadopor PISA en 2003 (w_fstuwt) multiplicado por el peso ex-ante del j-ésimo estrato del Panel2007 (w_strata) y luego multiplicado por un factor de ajuste (waf) que compensa la norespuesta dentro de los k-ésimos sub-grupos conformados dentro de cada j-ésimo estrato porlas variables de estratificación implícitas. Formalmente:

-46-

[10]

n representa el número de no respondentes dentro del j-ésimo estrato y dentro del K-NR

ésimo estrato. n representa el número de respondentes dentro del j-ésimo estrato y dentro del K-ésimoR

estrato.

El procedimiento seguido fue el siguiente. Dentro de cada estrato explícito de muestreo,se conformaron sub-grupos a partir del entrecruzamiento simultáneo de las cuatrovariables implícitas de estratificación: • región: Montevideo, Canelones y Maldonado; Colonia y San José; y el resto del

interior.• sector: privado o público (técnico o general o tecnológico )• sexo: mujer , hombre • programa: (ISCED) 2A, 2B, 2C, 3A y 3b/3c

Establecida la cantidad de casos que debieran haberse encuestado en cada celda por diseñomuestral, se procedió luego a establecer la razón entre este número y el total de casosefectivamente encuestados. Para este cálculo los emigrados no encuestados fueronincluidos junto con las otras categorías de NR. La razón daba 1 si en la celda se habíanrealizado todas las entrevistas planificadas. Si el valor era mayor que 1 indicaba lapresencia de NR. Dado el método de entrevistas en los campos del interior, hubo casos enque la razón dio menor que 1. En esta situación, antes de aplicar el factor de ajuste secontrolaba si todos los titulares habían sido encuestados o si por el contrario, el exceso erael resultado de una combinación de titulares y suplentes encuestados. En la primeraalternativa, se aplicó un factor de 1. En la segunda alternativa el factor aplicado fue unnúmero menor que 1.

Practicados estos cálculos se realizaron tres controles recomendados por la bibliografía: i)número de sub-grupos con menos de 5 casos; ii) número de factores con valores superioresa 2; y iii) número de factores inferiores a 0.50. Los exámenes confirmaron la validez delfactor de ajuste y de la construcción del peso muestral realizado que se incorporó a la basede datos con el nombre de “WST3".

-47-

Bibliografía

Allison, Paul (2001) Missing Data. Quantitative Applications in Social Science num. 136. SageUniversity Paper. Sage. Thousand Oaks, CA.

ANEP /PISA (2004) Primer Informe Nacional PISA 2003 Uruguay. Versión preliminar. Montevideo.

Berk, Richard (1983) “An introduction to sample selection bias in sociological data”. AmericanSociological Review, vol. 48 (June 1983), pp. 386-398.

Bertschy, Kathrin; Cattaneo, Alejandra & Wolter, Stefan (2008) What happened to the PISA 2000Participants Five Years Latter?. IZA Discussion Papper Series 3323. Institute for the Studyof Labor (IZA). Bonn.

Boado, Marcelo (2005) Movilidad social en las ciudades uruguayas. Tesis de Doctorado en Sociología.Inst. Universitario de Pesquisas de Río de Janeiro (IUPERJ); Univ. Cándido Mendes, Ríode Janeiro.

Boado, Marcelo & Fernández, Tabaré (2005) Trayectorias académicas y capitalización de conocimientosen los estudiantes uruguayos evaluados por PISA 2003. Proyecto de Investigación FCE/DSnº102. Montevideo.

Chubb, John & Moe, Terry (1990) Politics, Markets and America’s Schools. Brookings Institution.Washington, DC.

Denis, Michael & Li, Richard (2003) Effects of Panel Attrition on Survey Estimates. For presentationat the 2003 Annual Meeting of the American Association for Public Opinion Research inNashville, TN. Knowledge Network. Menlo Park, CA.

Fernández, Tabaré (2004) “De las escuelas eficaces a las reformas de segunda generación”.Estudios Sociológicos, vol XXII, núm 66. México, D.F.

Fernández, Tabaré (2006) "Una aproximación a las relaciones entre clase social y habitus: lasdisposiciones académicas de los alumnos iberoroamericanos evaluados por PISA 2003". EnRevista Electrónica sobre Calidad, Eficacia y Cambio en la Educación. Vol. 4 núm. 1(Enero) .

Fernández, Tabaré (2007) Distribución del conocimiento escolar: clases sociales, escuelas y sistemaeducativo en América Latina. El Colegio de México, México D.F.

Foy, Pierre (1997) “Calculation of sampling weights”. In In M.O. Martin & D.L. Kelly (eds). ThirdInternational Mathematics and Science Study (TIMSS). Thechnical Report Volume II:implementation and analysis. Boston College. Chestnut Hill, MA.

-48-

Foy, Pierre; Rust, Keith & Schleicher, Andreas (1996) “Sample Design”. In M.O. Martin & D.L.Kelly (eds). Third International Mathematics and Science Study (TIMSS). Thechnical ReportVolume I: design and development. Boston College. Chestnut Hill, MA.

Groves, Robert (2006) “Nonresponse rates and nonresponse bias in household surveys”. PublicOpinion Quartely, vol. 70 no. 5. Special Issue 2006. Pp. 646-675.

Hazelwood, Lieu; Mach, Traci & Wolken, John (2007) Alternative Methods of Unit Non ResponseWeighting Adjustment: An Application from the 2003 Survey of Small Business Finances. Financeand Economics Discussion Series. Division of Research and Statistics and Monetary AffairsFederal Reserve Board. Washington, DC.

Hill, Zelee (2004) “Reducing attrition in panel studies in developing countries”. InternationalJournal of Epidemiology, vol. 33, pp. 493-498.

Joncas, Marc (2004) “TIMSS 2003 sampling weights and participation rates”. In M.O. Martin, VSMullis & SJ Chorotstowki (2004) TIMSS 2003 Technical report. TIMSS & PIRLS InternationalStudy Center, Lynch School of Education, Boston College. MA.

King, Gary; Honaker, James; Joseph, Anne & Scheve, Kenneth (2001) “Analyzing incompletepolitical science data; an alternative algorithm for multiple imputation”. American PoliticalScience Review vol 95(1). Pp. 49-69.

Knighton, Tamara & Bussière, Patrick (2006) Educational Outcomes at Age 19 associated with ReadingAbility at age 15. Research Paper. Statistics Canada / Human Resources and DevelpmentCanada /Ministery of Industry. Ottawa.

Korinek, Anton; Mistiaen, Johan & Ravaillon, Martin (2005) An Econometric Method of Correctingfor Unit Non Response Bias in Surveys. World Bank Policy Research Working Paper nº 3711.Washington, DC.

MacMillan, Ross (ed) (2005) The Structure of The Life Course: Stantarized? Individualized?Differentiated?. Elsevier. Amsterdam.

Mara, Susana (2000) Estudio de Evaluación de impacto de la Educación Inicial en el Uruguay . Editadopor el Proyecto MECAEP /ANEP / BIRF. Montevideo.

MESYFOD (2000) Estudio sobre la predisposición al abandono escolar en estudiantes de Tercer año deenseñanza Media a partir de los datos del Censo de Aprendizajes 1999.ANEP-MESyFOD-UTU-BID; Montevideo.

Neukirch, Thomas (2003) Panel attrition: determinants, biases and weighting. Institute of Statistics andMathematics, University of Franckfurt.

-49-

OECD-PISA (Programme for International Student Assessment)(2004) Learning for Tomorrow's world.First Results from Pisa 2003. Organisation For Economic Co-operation And Development(OECD)/ UNESCO. París.

OECD- PISA (Programme for International Student Assessment ) (2005) School factors related to qualityand equity. Results from Pisa 2000. Organisation For Economic Co-operation AndDevelopment (OECD)/ UNESCO. París.

Olsen, Kristen (2006) “Survey participation, nonresponse bias, measurement error bias and totalbias”. In Public Opinion Quartely, vol. 70 no. 5. Special Issue 2006. Pp. 737-758.

Patrón, Rossana & Tansini, Ruben (2007) Resultados escolares de la cohorte de alumnos que cursaban1º en las escuelas públicas de Montevideo: 1999-2005 . Ponencia presentada a la Jornada deInvestigación de la Facultad de Ciencias Sociales. Depto. De Economía. Montevideo.

Rama, Germán & FILGUEIRA, Carlos (1991) Los jóvenes en Uruguay: esos desconocidos. OficinaMontevideo CEPAL, Montevideo.

Torben Pilegaard Jensen and Dines Andersen (2006) “Participants in PISA 2000 – Four YearsLater”. In Northern Lights on PISA 2003 – a reflection from the Nordic countries, Edited by JanMejding and Astrid Roe . Nordic Council of Ministers, Copenhagen.

Vaillant, M; Fernández, Adrían; Katzman, Rubén; Casacuberta, Carlos; Barrenechea, P. (2001) Eldesarrollo humano en Uruguay: Inserción internacional, empleo y desarrollo humano. Oficina deMontevideo, CEPAL / PNUD. Montevideo.