Tabla de Contenidos · urbana. También se iniciaron esfuerzos por evaluar el rendimiento en...

Tabla de Contenidos

1. Introducción ............................................................................................................... 2 2. La evaluación del rendimiento escolar en Guatemala...................................... 2 3. La muestra .................................................................................................................. 4 4. Información general acerca de las pruebas........................................................ 7 5. Aplicación de las pruebas ..................................................................................... 15 6. La tabulación de las pruebas................................................................................ 16 7. Cuestionarios adicionales ...................................................................................... 17 8. Efecto del diseño de la muestra ........................................................................... 19 9. Resultados nacionales de lectura en español ................................................... 20 10. Relación de los resultados en lectura en español de acuerdo al área, etnia

y género ................................................................................................................... 24 11. Resultados nacionales de matemática en español......................................... 25 12. Relación de los resultados en matemática en español de acuerdo al área,

etnia y género......................................................................................................... 28 13. Relación de los resultados de las diferentes pruebas respondidas por los

mismos estudiantes................................................................................................. 29 14. Comparaciones temporales................................................................................. 30 15. Factores relacionados con el desempeño escolar .......................................... 31 16. Desempeño de los estudiantes inscritos en escuelas apoyadas por

programas o proyectos específicos .................................................................... 39 17. Conclusiones ........................................................................................................... 42 18. Recomendaciones................................................................................................. 46 Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

1

1. Introducción El Ministerio de Educación de Guatemala (MINEDUC), como parte de sus esfuerzos por asegurar la calidad educativa con base a información apropiada, ha ejecutado en el año 2004 la evaluación del rendimiento escolar de primer y tercer grado de la primaria de escuelas oficiales de Guatemala. Este esfuerzo fue implementado por El Programa Nacional de Evaluación del Rendimiento Escolar (PRONERE), el cual reside en el Centro de Investigaciones Educativas (CIE) de la Universidad del Valle de Guatemala (UVG) desde el año 1997, con la asesoría del Proyecto Medición de Indicadores y Resultados (USAID / MEDIR), el cual es ejecutado por Juárez & Asociados Inc. (J&A). El apoyo financiero para la evaluación fue proporcionado por la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Este esfuerzo forma parte de una estrategia más amplia diseñada por Proyecto MEDIR, cuyo objetivo general es conocer las necesidades de desarrollo profesional de los docentes guatemaltecos de educación primaria. La evaluación se ejecutó en una muestra estadísticamente significativa de estudiantes de primer y tercer grados de primaria en escuelas urbanas y rurales distribuidas en todo el país. Este documento se concentra en los resultados para el tercer grado de la primaria y responde a los siguientes objetivos:

1) Conocer el nivel de desempeño en lectura y matemáticas de estudiantes del tercer grado de la primaria;

2) Proveer recomendaciones generales basadas en los resultados; 3) Producir información que pueda ser divulgada a diversos públicos para promover un

diálogo nacional acerca del mejoramiento de la calidad educativa.

2. La evaluación del rendimiento escolar en Guatemala La evaluación del rendimiento es una acción orientada a corroborar el grado de aprendizaje que los y las estudiantes han obtenido, como consecuencia de los procesos de enseñanza-aprendizaje a los cuales se han sometido. Es importante ya que informa al docente acerca de los conocimientos que requieren ser reforzados en los y las estudiantes, y al sistema educativo acerca de las necesidades que deben ser afrontadas mediante la definición de políticas y estrategias específicas. En ocasiones, el juicio del docente puede ser útil como acción evaluadora, sin embargo, para garantizar la objetividad, validez y confiabilidad de los resultados, se debe recurrir a procedimientos estandarizados. Previo a la evaluación de rendimiento realizada en el año 2004, cuyos resultados se reportan en el presente informe, se han realizado otras experiencias de evaluación de los aprendizajes con pruebas estandarizadas. Algunos de los principales esfuerzos en esta área fueron realizados por el Centro Nacional de Pruebas (CENPRE), el cual, con fondos nacionales y de la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID), realizó de 1992 a 1996 evaluaciones en lectura y matemática a estudiantes de tercero primaria. En su momento, contó con la Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

2

orientación técnica del Sistema Nacional para el Mejoramiento de los Recursos Humanos y Adecuación Curricular (SIMAC) actualmente DICADE, y del Proyecto Fortalecimiento de la Educación Básica (BEST) impulsado por la USAID. La muestra evaluada incluyó escuelas que eran atendidas por varios programas que impulsaban el mejoramiento de la calidad educativa, tales como el Programa de la Niña, Radio Interactiva, Nueva Escuela Unitaria, escuelas de la Dirección General de Educación Bilingüe e Intercultural (DIGEBI) y escuelas del SIMAC denominadas “CEDE” (Centro Escolar de Desarrollo Educativo). Se incluyó también el mismo número de escuelas regulares que carecían de intervenciones específicas. En 1997 el MINEDUC trasladó el CENPRE a la Universidad del Valle de Guatemala, entidad que mediante un convenio con el MINEDUC creó el Programa Nacional de Evaluación del Rendimiento Escolar (PRONERE) de la Universidad del Valle de Guatemala, el cual fue ejecutado con fondos del MINEDUC y del Banco Mundial. Las evaluaciones nacionales del PRONERE iniciaron en 1997 con una medición de pilotaje y en los años posteriores se evaluaron muestras representativas de niños y niñas del tercer y sexto grado de primaria del área rural y urbana. También se iniciaron esfuerzos por evaluar el rendimiento en lectura y matemática en los idiomas K’iche’, Kaqchikel, Q’eqchi’ y Mam. El PRONERE también introdujo algunas variaciones en el diseño utilizado para evaluar a los estudiantes y creó formas alternas para las pruebas en idioma español. El proceso de evaluación se realizó hasta el año 2001, cuando los resultados en el tercer grado (área rural) indicaron que en lectura sólo el 58% de niños y niñas alcanzó en promedio las respuestas correctas, mientras que sólo el 46% obtuvo en promedio las respuestas correctas en matemática. En las escuelas urbanas los datos fueron ligeramente mejores, ya que en promedio 65% de los alumnos(as) obtuvo las respuestas correctas en lectura y un 50% en matemática. Ese mismo año, en sexto grado rural, el rendimiento en lectura y matemática también fue bajo, ya que solamente el 50% de niños y niñas obtuvieron respuestas correctas en lectura y en matemática el porcentaje fue de 57%. En las escuelas urbanas los datos fueron similares, ya que 47% de los alumnos(as) obtuvo las respuestas correctas en lectura y el 63% en matemática. Tanto el CENPRE como el PRONERE utilizaron pruebas normativas, las cuales buscan determinar el logro de los y las estudiantes con respecto a su grupo u otros grupos del mismo grado que han tomado la prueba. Por su parte, la DIGEBI, con recursos nacionales y del Banco Interamericano de Desarrollo (BID), elaboró pruebas con base en criterios, las cuales comparan el rendimiento de los estudiantes con un nivel de desempeño preestablecido. Su construcción se basó en los libros de texto de Comunicación y Lenguaje y Matemática que la DIGEBI introdujo en sus escuelas y en las competencias del nuevo currículo básico para la educación primaria. En el año 2002 se hizo una nueva aplicación piloto de las pruebas y ambas mediciones sirvieron para ajustar la prueba y depurar sus ítems. En el año 2003 las pruebas fueron aplicadas en los cuatro idiomas Mayas mayoritarios (Kaqchikel, Kíche´, Mam y Qéqchi´); esta actividad estuvo a cargo de las Jefaturas Departamentales de Educación Bilingüe Intercultural (JEDEBI). Se evaluó un total de 611 alumnos(as) en lectura y 619 en matemática; al igual que las pruebas aplicadas por PRONERE, los resultados obtenidos en cada idioma no son comparables, ya que tanto las pruebas como los idiomas difieren entre sí. Los resultados de lectura indican que los alumnos(as) cuyo lenguaje materno es el Qéqchi´ alcanzaron un poco más de la mitad de respuestas correctas, por lo que podría afirmarse que dicho idioma era trabajado en las aulas por los maestros(as). En el caso de los otros tres idiomas evaluados, se estableció que en K’iche’ los alumnos(as) alcanzaron un poco más de la tercera

Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

3

parte de respuestas correctas; el grupo de alumnos(as) de los idiomas Mam y Kaqchikel no llegaron a la tercera parte de respuestas correctas. Los resultados de matemática indicaron que los alumnos(as) evaluados(as) cuyo lenguaje materno es el Q´eqchi´ alcanzaron más de la mitad de respuestas correctas superando lo logrado en lectura, por lo que podría afirmarse que la matemática en L1 era trabajada en las aulas por los maestros(as). No sucede lo mismo con los otros tres idiomas evaluados, ya que en K’iche’ y Mam los alumnos(as) alcanzaron un poco más del cuarenta por ciento de respuestas correctas; el grupo de alumnos(as) Kaqchikel superó la tercera parte de respuestas correctas. Finalmente, las cuatro pruebas obtuvieron niveles aceptables de confiabilidad, por lo que puede afirmarse que dichos resultados son consistentes; aún así, se necesita mejorar algunos de los ítems incluidos en la prueba de matemática. Finalmente, la evaluación del rendimiento realizada en el año 2004, cuyos resultados se reportan en el presente informe, retoma los esfuerzos iniciados por el PRONERE y responde al interés de la actual administración del Ministerio de Educación de fortalecer el monitoreo, así como la evaluación de resultados y el rendimiento escolar. Por otro lado, los datos obtenidos constituyen la línea basal para evaluar las intervenciones que realice la actual administración.

3. La muestra Para la elaboración de la muestra, el PRONERE buscó la colaboración de tres especialistas que forman parte del equipo del Centro de Investigaciones en Estadística de la Universidad del Valle de Guatemala. Ellos coordinaron sus acciones con PRONERE para diseñar la muestra del 2004 y elaborar el listado de instituciones que serían visitadas. Esta selección se realizó con base a una base de datos provista por la Unidad de Informática del Ministerio de Educación de Guatemala que contenía las estadísticas preliminares para el año 2003. Al solicitar el diseño de la muestra se dieron varias especificaciones. En primer lugar se solicitó que la muestra fuese representativa del país y debía contener un número suficiente de casos para realizar comparaciones entre departamentos, áreas lingüísticas, géneros y área (urbana y rural). También, tomando en cuenta los costos implicados en la visita de escuelas de pequeño tamaño localizadas en áreas de difícil acceso, se especificó que no debían ser tomadas en cuenta las instituciones cuya matrícula para primer grado fuese menor de 10 y para tercer grado menor de 5. El número máximo de establecimientos con los cuales debía de contar la muestra era de 820 escuelas, de los cuales 20 serían seleccionados de manera independiente por el Proyecto MEDIR y el Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI) entre las escuelas atendidas por este último programa (PAEBI). Asimismo, debía incluirse un número adecuado de instituciones pertenecientes al Programa Nacional de Autogestión para el Desarrollo Educativo (PRONADE), la Dirección General de Educación Bilingüe Intercultural (DIGEBI) y el Center for Excellence in Teacher Training (CETT) para derivar algunas conclusiones acerca de estos programas. Como resultado, se desarrolló un procedimiento básico de selección de 800 establecimientos, 770 de los cuales fue aleatorio y el resto con posibilidad de selección no aleatoria para asegurar un número adecuado de establecimientos pertenecientes a los programas antes mencionados.


4

Se diseñó la muestra considerando a los establecimientos como las unidades primarias de muestreo y las secciones de cada grado como unidades secundarias. Algunas escuelas cuentan solamente con una sección para cada grado mientras que en otras instituciones se cuenta con dos o más secciones para cada grado. Por lo tanto, el diseño es de dos etapas con los establecimientos y las secciones como conglomerados (clusters). Las secciones fueron escogidas antes de realizar las visitas. Para asegurar que se respetara la selección, los investigadores de campo solicitaron al director del establecimiento el listado de alumnos de la sección evaluada para comprobar que los presentes fueran los inscritos en ella. Se examinó a todos los alumnos de la sección escogida. La estratificación de los establecimientos consideró el departamento (división política del país y dominio del estudio), área (urbana o rural) y tamaña del establecimiento (de acuerdo a la matrícula). Este último estrato fue considerado con el objetivo de desarrollar un muestreo que permitiera realizar encuestas anuales1, en las cuales se garantice que la probabilidad de encontrar escuelas grandes y pequeñas en un año sea equivalente a la del siguiente. La variable de tamaño de los establecimientos se realizó en tres pasos:

1) Se eliminó a las instituciones consideradas como extremadamente pequeñas (matrícula menor de 10 alumnos en primer grado y menor de 5 en tercero);

2) Codificación de entre 1 y 6 departamentos cuya matrícula total (todos los grados) fuera atípica por su tamaño para el grupo de escuelas del mismo departamento y área (urbano rural) al cual pertenecían;

3) Clasificación por grupo de escuelas (el grupo consta de las escuelas en el mismo departamento y área) en 5 categorías de acuerdo a su tamaña en la distribución del grupo2.

A continuación se presenta un mapa, el cual muestra la localización geográfica de las instituciones muestreadas que fueron evaluadas. Este mapa muestra con claridad la cobertura global de la evaluación del PRONERE durante el 2004.

1 De no haberse desarrollado un muestreo que permitiera realizar encuestas anuales se hubiera seleccionado establecimientos en cada estrato con probabilidades proporcionales a sus tamaños.


5

2 Esta forma de asignar a las escuelas su categoría de tamaño incrementa la precisión a nivel departamental pero no a nivel nacional.


6

4. Información general acerca de las pruebas El PRONERE ha sido ejecutado desde sus inicios en la Universidad del Valle de Guatemala. En el 2004 el PRONERE nuevamente fue ejecutado desde esta institución. PRONERE no había realizado anteriormente evaluación en el primer grado de la primaria. Sin embargo, había evaluado desde el año 1997 a estudiantes del tercer grado de primaria. Este bagaje de información fue aprovechada en la evaluación realizada en el año 2004, al utilizar ítems que ya habían sido probados en años anteriores y aprovechar los datos obtenidos en el pasado. Como en el pasado PRONERE había realizado sus evaluaciones con base a instrumentos normativos, en el 2004 la evaluación del tercer grado se realizó nuevamente con base en instrumentos normativos3. Los nuevos instrumentos, ensamblados a partir de ítems que ya habían sido probados con anterioridad, fueron construidos a partir de la misma tabla de especificaciones que PRONERE utilizó desde sus inicios.

Para la evaluación del desempeño en español se crearon cuatro instrumentos diferentes, todos ellos aplicados en áreas urbano y rural, y todos absorbieron ítems de las diferentes formas creadas durante el año 2000. Se seleccionó este año debido a la calidad psicométrica de los instrumentos, el número de casos con los cuales se podría hacer comparaciones y la distancia temporal. En el año 2000 se crearon cuatro formas diferentes. Dos de estas fueron diseñadas para ser aplicadas en el área rural (formas R1 y R2) y dos fueron diseñadas para ser aplicadas en el área urbana (formas U1 y U2). Todas las pruebas contaban con 40 ítems. De estos, 20 ítems eran comunes entre formas. Las formas numeradas uno (R1 y U1) compartían veinte ítems en común y las formas numeradas dos (R2 y U2) compartían veinte ítems en común.

Para la evaluación del desempeño en los idiomas K’iche’, Kaqchikel, Q’eqchi’ y Mam se utilizaron de forma íntegra las pruebas que PRONERE diseñó y aplicó en el año 1999. La selección en este caso también se baso en la calidad psicométrica de los instrumentos, el número de casos y la distancia temporal.

Las áreas que estos instrumentos evalúan incluyen lo siguiente:

Tabla 1: Aspectos Evaluados en las Series de la Prueba de Lectura Tercero

Secciones Descripción de los aspectos evaluados

Vocabulario.

Sección 1 Asociación de sustantivos con ilustraciones.

Sección 2 Asociación de verbos con ilustraciones.

Sección 3 Asociación de adjetivos con ilustraciones.

3 En el caso de primer grado, debido a que fue necesario elaborar nuevos instrumentos, se optó por el desarrollo de pruebas de criterio. Las pruebas de primer grado fueron un aporte que realizó el Proyecto MEDIR a la evaluación de PRONERE durante el 2004.


7


Comprensión Lectora.

Sección 4 Identificación de ilustraciones que corresponden a enunciados

Sección 5 Identificación de palabra exacta para completar el enunciado

Sección 6 Comprensión de información dada, recordar detalles.

Sección 7 Comprensión de información dada, hacer inferencias.

Sección 8 Comprensión de información dada, interpretación de sentimientos.

Sección 9 Comprensión de información dada, interpretación de significados.

Tabla 2: Aspectos Evaluados en las Series de la Prueba de Matemáticas Tercero


Realización de Operaciones

Sección 1 Sumas.

Sección 2 Restas.

Sección 3 Multiplicación.

Sección 4 División.

Conceptos Aritméticos.

Sección 5 Numeración.

Sección 6 Geometría.

Sección 7 Medidas de tiempo, capacidad y longitud.

Sección 8 Fracciones.

Sección 9 Interpretación de Gráficas.

Sección 10 Comprensión de operaciones aritméticas.

Resolución de Problemas.

Sección 11 Resolución de problemas utilizando sumas.

Sección 12 Resolución de problemas utilizando restas.

Sección 13 Resolución de problemas utilizando multiplicaciones.

Sección 14 Resolución de problemas utilizando divisiones.

Sección 15 Resolución de problemas utilizando varias operaciones.

Sección 16 Resolución de problemas utilizando procesos lógicos.


8

Todas las formas creadas para la evaluación del año 2004 se basaron en la misma tabla de especificaciones y en las mismas especificaciones de ítems4. Cada forma contiene el mismo número de ítems para cada una de las especificaciones elaboradas. Las formas difieren solo en el orden de presentación de los diferentes bloques evaluados. Cada una de las áreas que fueron evaluadas y que se especificaron en las Tablas 1 y 2, fueron consideradas como bloques separados. Las formas de las evaluaciones fueron elaboradas de tal manera que el orden de los bloques se espiraleaba para asegurar que el orden de exposición a los diferentes tipos de tareas no sesgara los resultados. Tal como se mencionó antes, la prueba de lectura consiste de dos bloques o áreas: vocabulario y comprensión. Se contaba con suficientes ítems para crear cuatro formas. Por ello fue posible ensamblar cuatro formas con dos variantes en el orden de los bloques. La siguiente tabla ilustra lo anterior:

Tabla 3: Orden de los bloques o áreas que constituyen las pruebas de tercer grado de lectura

Forma A

Forma B

Forma C

Forma D

Vocabulario (1)

Comprensión (2)

Vocabulario (1)

Comprensión (2)

Comprensión (2)

Vocabulario (1)

Comprensión (2)

Vocabulario (1) En el caso de matemática el ordenamiento de los bloques requirió tomar algunas decisiones, ya que aunque hubo suficientes ítems para crear cuatro formas, hubo solamente tres bloques o áreas: operaciones, conceptos aritméticos y resolución de problemas. Una de las formas (la forma A) presenta los bloques en el mismo orden en el que se presentaron en la evaluación del año 2000. La forma B cambió el orden dejando el bloque que en la forma A se situaba en medio (conceptos aritméticos) nuevamente en la misma posición. En la forma C el bloque de conceptos aritméticos se situó al inicio de la evaluación. La forma D presenta nuevamente los bloques en un orden inverso al utilizado en la forma A. Esto es importante pues la forma B se conformó principalmente de ítems obtenidos de la forma 1 de las pruebas urbanas y rurales del año 2000, mientras que la forma D está constituida principalmente de ítems de la forma 2 de pruebas urbanas y rurales del año 2000.

Tabla 4: Orden de los bloques o áreas que constituyen las pruebas de tercer grado de matemática

Forma A

Forma B

Forma C

Forma D

Operaciones (1) Resolución de problemas (3)

Conceptos aritméticos (2)

Resolución de problemas (3)

Conceptos aritméticos(2)





Operaciones (1) Operaciones (1) Operaciones (1)

Los ítems de todas estas formas fueron extraídos de las pruebas del año 2000. Estas eran cuatro, dos desarrolladas para escuelas urbanas y dos desarrolladas para escuelas rurales. Las formas urbanas y rurales fueron emparejadas para que compartieran 20 ítems de los 40 que los constituían. Gracias a estos 20 ítems comunes fue posible realizar comparaciones entre las áreas urbano y rural en el año 2000. En el caso de la evaluación del año 2004, todas las formas contienen un número similar de ítems que en el año 2000 fueron considerados como


94 Ver documento “Especificación de ítems de las pruebas de tercer grado primaria”.

exclusivamente rurales o urbanos. Por ello se utilizaron todas las formas tanto en el área urbana como en el área rural. Las siguientes tablas muestran cómo se construyeron las formas. La selección de los ítems que compondrían cada forma fue realizada con base en los niveles de dificultad de los ítems estimados tras la aplicación del año 2000. De esta forma se intentó que las cuatro formas compartieran un nivel de dificultad similar.

Tabla 5: Composición de la evaluación de lectura, versión española, todas las formas, año 2004

Los códigos dentro de las celdas identifican lo siguiente: • # que el ítem tenía en el instrumento del año 2000; • R = rural, U = urbano, UR = ítem que era común a las formas urbano y rural; • # of the forma. Así, 2UR1 identificado como item dos de la forma A y como item 22 de la forma B fue en el año 2000 el item número 2 de la forma 1 de las pruebas para el área rural.

Lectura # en 2004

A B C D

1 1R1 21UR1 1R2 21UR2 2 2UR1 22U1 2UR2 22R2 3 3UR1 23R1 3UR2 23R2 4 4R1 24U1 4U2 24U2 5 5UR1 25UR1 5UR2 25UR2 6 6U1 26R1 6R2 26R2 7 7R1 27U1 7R2 27U2 8 8UR1 28UR1 8UR2 28UR2 9 9R1 29R1 9R2 29R2

10 10UR2 30U1 10UR1 30U2 11 11UR2 31UR1 11UR1 31UR2 12 12UR1 32UR1 12UR2 32UR2 13 13UR1 33UR1 13UR2 33UR2 14 14UR1 34UR1 14UR2 34UR2 15 15UR1 35UR1 15UR2 35UR2 16 16U1 36UR1 16U2 36UR2 17 17R1 37UR1 17R2 37UR2 18 18U1 38U1 18U2 38R2 19 19R1 39U1 19R2 39R2 20 20U1 40U1 20U2 40R2 21 21UR1 1U1 21UR2 1U2 22 22R1 2UR1 22U2 2UR2 23 23U1 3UR1 23U2 3UR2 24 24R1 4U1 24R2 4R2 25 25UR1 5UR1 25UR2 5UR2 26 26U1 6R1 26U2 6U2 27 27R1 7U1 27R2 7U2 28 28UR1 8UR1 28UR2 8UR2 29 29U1 9U1 29U2 9U2 30 30R1 10UR2 30R2 10UR1 31 31UR1 11UR2 31UR2 11UR1 32 32UR1 12UR1 32UR2 12UR2 33 33UR1 13UR1 33UR2 13UR2 34 34UR1 14UR1 34UR2 14UR2 35 35UR1 15UR1 35UR2 15UR2


10

Lectura # en 2004

A B C D

36 36UR1 16R1 36UR2 16R2 37 37UR1 17U1 37UR2 17U2 38 38R1 18R1 38U2 18R2 39 39R1 19U1 39U2 19U2 40 40R1 20R1 40U2 20R2

Tabla 6: Composición de la evaluación de lectura, versión española, todas las formas, año 2004

Los códigos dentro de las celdas identifican lo siguiente: • # que el ítem tenía en el instrumento del año 2000; • R = rural, U = urbano, UR = ítem que era común a las formas urbano y rural; • # of the forma. Así, 1UR1 identificado como ítem uno de la forma A y como ítem 29 de la forma B, fue en el año 2000 el ítem número 1 de la forma 1 de las pruebas para el área urbano y rural.

Matemática # en 2004 A B C D

1 1UR1 29UR1 13UR1 29UR2

2 2UR1 30U1 14UR2 30U2

3 3R1 31R1 15R2 31R2

4 4UR1 32R1 16U2 32U2

5 5UR2 33R1 17R2 33R2

6 6U1 34U1 18UR1 34R2

7 7UR2 35UR1 19UR2 35UR2

8 8R1 36UR1 20U2 36UR2

9 9U1 37UR1 21R2 37UR2

10 10R1 38UR1 22UR2 38UR2

11 11UR1 39UR1 23UR2 39UR2

12 12U1 40R1 24U2 40R2

13 13UR2 13UR1 25UR2 13UR2

14 14UR1 14UR1 26R2 14UR2

15 15R1 15U1 27U2 15U2

16 16U1 16R1 28UR2 16R2

17 17R1 17U1 29UR2 17U2

18 18UR2 18UR1 30R2 18UR2

19 19UR1 19UR1 31U2 19UR2

20 20U1 20R1 32R2 20R2

21 21R1 21U1 33U2 21U2

22 22UR1 22UR1 34U2 22UR2

23 23UR1 23UR1 35UR2 23UR2

24 24U1 24R1 36UR2 24R2

25 25UR1 25UR1 37UR2 25UR2

26 26R1 26U1 38UR2 26U2

27 27U1 27R1 39UR2 27R2

28 28UR1 28UR1 40U2 28UR2


11

Matemática # en 2004 A B C D

29 29UR1 1UR1 1UR2 1UR2

30 30R1 2UR1 2UR2 2UR2

31 31U1 3U1 3R2 3U2

32 32U1 4UR1 4UR2 4UR2

33 33U1 5UR1 5UR1 5UR2

34 34R1 6R1 6U2 6R2

35 35UR1 7UR1 7UR1 7UR2

36 36UR1 8U1 8R2 8U2

37 37UR1 9R1 9U2 9R2

38 38UR1 10U1 10R2 10U2

39 39UR1 11UR1 11UR2 11UR2

40 40U1 12R1 12U2 12R2 Después de la aplicación de los instrumentos en el año 2004 se realizó un análisis de ítems de los mismos. La tabla que se presenta abajo muestra la confiabilidad de las diferentes pruebas de tercero grado de primaria. Se utilizó el Alfa de Cronbach, el cual es un número entre 0 y 1. Para juzgarlo es apropiado considerarlo como adecuado de acuerdo a lo siguiente:

• Para decisiones personales: 0.90 o más; • Para decisiones acerca de programas: 0.80 o más; • Para evaluaciones amplias: 0.70 o más; • Una puntuación menor al 0.70 es usualmente considerada inferior a lo deseable, aunque

ocasionalmente puede ser utilizada en evaluaciones básicas.

Tabla 7 Alfa de Cronbach para los instrumentos de tercero grado primaria Instrumento Alfa de

Cronbach Número de ítems Número de

casos Lectura Español (todas las formas en conjunto) 0.86 40 18269 Matemática Español (todas las formas en conjunto) 0.85 40 18268 Lectura Español (forma A) 0.87 40 4317 Matemática Español (forma A) 0.85 40 73340 Lectura Español (forma B) 0.88 40 4242 Matemática Español (forma B) 0.86 40 71264 Lectura Español (forma C) 0.85 40 4156 Matemática Español (forma C) 0.86 40 69736 Lectura Español (forma D) 0.88 40 4055 Matemática Español (forma D) 0.85 40 67719 Lectura K’iche’ 0.77 40 651 Matemática K’iche’ 0.76 40 653 Lectura Kaqchikel 0.78 40 249 Matemática Kaqchikel 0.76 40 202 Lectura Q’eqchi’ 0.82 40 190 Matemática Q’eqchi’ 0.80 40 189 Lectura Mam 0.55 40 205 Matemática Mam 0.76 40 202 Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

12

Se comparó el funcionamiento de las diferentes formas en relación de una con las otras. Como primer instancia se utilizó la t de medias relacionadas, ya que cada niño tomó ambas formas comparadas. Esto se realizó con el objetivo de determinar la equivalencia de medias y desviaciones estándar. También se realizó una prueba de homogeneidad entre formas para definir si ambas formas producían distribuciones equivalentes. Todos estos análisis se realizaron para decidir si sería necesario realizar una conversión de los datos o los puntajes brutos podrían ser directamente comparados. Los resultados se reportan en las siguientes dos tablas.

Tabla 8: Número de casos para realizar comparaciones entre formas de las pruebas de lectura del tercer grado

Forma Forma

Lectura 2004 forma A

Lectura 2004 forma B

Lectura 2004 forma C

Lectura 2004 forma D

Lectura 2004 forma A

Medias y varianzas: n = 85

t = 1.98 p < 0.52

Homogeneidad: F = 0.919 p < 0.339

Medias y varianzas: n = 100 t = 0.77

p < 0.442 Homogeneidad:

F = 0.140 P < 0.709


t = 2.48 p < 0.015


Lectura 2004 forma C

Medias y varianzas: n = 101 t = -3.95


F = 1.894 p < 0.170

Lectura 2000 Forma Rural 1


t = 1.32 p < 0.191



t = 1.01 p < 0.314

Homogeneidad: F = 0.211 P < 0.646

Lectura 2000 Forma Rural 2


t = 4.66 p < 0.000



t = 2.71 p < 0.008



13

Tabla 9: Número de casos para realizar comparaciones entre formas de las pruebas de matemática del tercer grado

Forma Forma

Matemática 2004 forma A

Matemática 2004 forma B

Matemática 2004 forma C

Matemática 2004 forma D

Matemática 2004

forma A



F = 6.479 p < 0.012


t = 0.76 p < 0.447

Homogeneidad: F = 0.270 P < 0.604



F = 0.013 p < 0.910

Matemática 2004

forma C


t = 0.31 p < 0.757


Matemática 2000

Forma Rural 1

Medias y varianzas: n = 102 t = -1.83


F = 1.692 p < 0.195


t = 0.490 p < 0.625


Matemática 2000

Forma Rural 2

Medias y varianzas: n = 105 t = 2.37 p < 0.20



t = -1.16 p < 0.250


Como puede observarse en las tablas anteriores, se encontraron diferencias entre las medias de varias de las parejas. Sin embargo, sólo en dos casos se detectó heterogeneidad (Lectura 2000 forma Rural 2 con Lectura 2004 forma B y Matemática 2000 forma Rural 2 con Matemática 2004 forma B). Con base a ello se decidió equiparar las puntuaciones. Dado que en general las formas mostraron distribuciones similares, se optó por estimar para cada forma el puntaje estándar z y convertir las puntuaciones de acuerdo a la siguiente fórmula:

Y= m+ k*z Donde:

M = media arbitraria; K = Desviación típica arbitrario; Z = Valor z.

Par la media arbitraria se seleccionó 100 y para la desviación típica arbitraria 20. De esta forma las formas serían comparables. Al ajustar la distribución de los casos a la distribución normal se hacía posible utilizar las pruebas estadísticas que exigen esto como requisito (por ejemplo, las comparaciones t de medias). Los instrumentos fueron impresos en folletos únicos. Estos se compaginaron de tal manera que cada una de las tapas exteriores del folleto fuera la primera página de la evaluación de una de las dos materias (lectura o matemática). Al rotar el folleto en sentido vertical se cambiaba de lectura a matemática y la última página de cada uno de los instrumentos coincidía con el


14

centro del folleto. Los instrumentos se agruparon de tal manera que la forma A de la prueba de lectura se encontrara en el mismo folleto que la prueba A de matemática, y así sucesivamente para las formas B, C y D. Este fue el mismo caso de las pruebas en los idiomas Maya, en las cuales la prueba de lectura en K’iche’ se encontraba en el mismo folleto que la prueba de matemática en K’iche’ y así sucesivamente para Kaqchikel, Q’eqchi’ y Mam. Hubo dos tipos de folletos adicionales, los cuales para usos de la aplicación se denominaron E y F. El folleto E contenía dos instrumentos de la misma materia, el primero era uno de los instrumentos utilizados en el año 2000 y el otro era una de las formas utilizadas en el año 2004. Hubo 8 variantes de este folleto. El folleto F contenía dos instrumentos de la misma materia pero pertenecientes a diferentes formas. También de ese folleto hubo 8 variantes. Las variantes de estos folletos pueden analizarse en las siguientes tablas.

Tabla 10: Variantes del folleto E Variante Costado 1 del folleto Costado 2 del folleto

E 1 Lectura 2000 R1 Lectura 2004 forma A E 2 Lectura 2000 R1 Lectura 2004 forma C E 3 Matemática 2000 R1 Matemática 2004 forma A E 4 Matemática 2000 R1 Matemática 2004 forma C E 5 Lectura 2000 R2 Lectura 2004 forma B E 6 Lectura 2000 R2 Lectura 2004 forma D E 7 Matemática 2000 R2 Matemática 2004 forma B E 8 Matemática 2000 R2 Matemática 2004 forma D

Tabla 11: Variantes del folleto F Variante Costado 1 del folleto Costado 2 del folleto

F 1 Lectura 2004 forma A Lectura 2004 forma B F 2 Lectura 2004 forma A Lectura 2004 forma C F 3 Lectura 2004 forma A Lectura 2004 forma D F 4 Lectura 2004 forma C Lectura 2004 forma D F 5 Matemática 2004 forma A Matemática 2004 forma B F 6 Matemática 2004 forma A Matemática 2004 forma C F 7 Matemática 2004 forma A Matemática 2004 forma D F 8 Matemática 2004 forma D Matemática 2004 forma D

5. Aplicación de las pruebas La aplicación de las pruebas durante la ejecución del PRONERE en el 2004 incluyó tanto al primer grado de la primaria como al tercer grado de la primaria. Los equipos de aplicadores estaban conformados por tres personas, una de las cuales trabajaba en el tercer grado. Después de que los aplicadores se presentaban con el director del establecimiento y le proporcionaban la información y documentación pertinente, visitaban las aulas que serían evaluadas. El diseño de la muestra contempló la pre-selección de la sección en la cual se trabajaría. Cuando la escuela contaba con más de una sección, los aplicadores trabajaban


15

en la que había sido seleccionada de antemano, después de corroborar que el listado oficial de estudiantes inscritos se ajustara a los niños presentes en el aula. Durante la aplicación se solicitó al director del establecimiento que llenara un cuestionario. Se solicitaba a los docentes que permanecieran en el aula colaborando en la supervisión de la aplicación. Un aplicador trabajaba en el aula de tercer grado y dos aplicadores permanecían en primer grado. Previo a iniciar la aplicación se seleccionaba con ayuda de un listado de números aleatorios a un niño y a una niña. Uno de ellos completaba un instrumento de la forma E y el otro un instrumento de la forma F. Se repartía un número equivalente de cada una de las formas A, B, C y D entre los estudiantes restantes. Al concluir la aplicación se solicitó a los docentes del tercer grado que llenaran un cuestionario. También se pedía a los estudiantes que llenaran un cuestionario que se les entregaba y al cual le apuntaban el número de identificación de su folleto con el objeto de asegurar que la información pudiese ser compaginada con facilidad más tarde. El listado de la muestra también especificaba las escuela bilingües en las cuales se aplicaría las pruebas en idiomas K’iche’, Kaqchikel, Q’eqchi’ y Mam. Previo a iniciar la aplicación se preguntaba al director si la escuela efectivamente ofrecía instrucción bilingüe. En los casos en los cuales la respuesta fuera negativa, la aplicación se limitaba a los instrumentos en idioma español y posteriormente se buscaba una escuela bilingüe en donde se pudiera realizar la aplicación de los instrumentos en K’iche y Kaqchikel. En el caso de que la respuesta del director indicara que en la escuela efectivamente se impartía educación bilingüe, se solicitaba autorización para regresar un segundo día para aplicar los instrumentos en idioma K’iche’, Kaqchikel, Q’eqchi’ y Mam. Durante el segundo día de aplicación se repetía el procedimiento mencionado en los párrafos anteriores. Existían dos diferencias principales. La primera era que ya no se solicitaba a los estudiantes, al director y a los docentes que completaran los cuestionarios. La segunda era que el aplicador encargado de leer las instrucciones lo hacía en el idioma en el cual la prueba era aplicada, fuera este K’iche’, Kaqchikel, Q’eqchi’ o Mam.

6. La tabulación de las pruebas Las pruebas del tercer grado de la primaria fueron impresas y compaginadas en folletos únicos. Los folletos se compaginaron de tal manera que cada una de las tapas del folleto fuera la primera página del instrumento. Por ello, al abrir por un lado el folleto se encontraba la prueba de lectura. Al rotar en sentido vertical el folleto cerrado se encontraba la primera página del instrumento de matemática. Al centro del folleto se encontraban ambas pruebas, una en posición rotada 90% con respecto a la otra. Esto permitió evitar confusiones al ingresar los datos de cada niño o niña para ambas pruebas. Las pruebas fueron completadas por los y las estudiantes directamente en el folleto. La sección de informática del Centro de Investigaciones Educativas de la Universidad del Valle de Guatemala (CIE) tuvo a su cargo el ingreso de la información contenida en los folletos a medios magnéticos para su procesamiento y análisis. Para ello se creó una hoja de ingreso electrónica en ACCESS, la cual transportaba los datos a una tabla del mismo programa. Digitadores capacitados en el CIE ingresaron manualmente esta información. Un supervisor de digitadores confirmaba que el ingreso de los datos se hubiese realizado de forma correcta. El mismos grupo Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

16

de digitadores fue responsable por el segundo ingreso de un folleto (cada folleto incluye una prueba de lectura y una de matemática) por cada paquete de folletos. Todos los folletos de una misma escuela eran conservados en un único paquete y cada digitador era responsable por el paquete completo. Sin embargo, se asignaba el segundo ingreso de un folleto por paquete a un digitador distinto del que ingresó originalmente la totalidad de los folletos para la escuela. Esto se realizó para asegurar la calidad y establecer el grado de exactitud de los digitadores. Cuando se encontraba un error en el ingreso del folleto, el paquete completo era revisado. Una vez realizado el ingreso de los datos se prepararon las bases de datos agregando una variable que adjudicaba el estrato al cual cada caso pertenecía, el expansor calculado con base al diseño de la muestra y los resultados obtenidos tras la aplicación. Estos expansores fueron utilizados para ponderar las estimaciones.

7. Cuestionarios adicionales De forma adicional a las pruebas, se utilizaron cuestionarios y entrevistas dedicados a recolectar información acerca de factores que podrían estar relacionados con el rendimiento de los estudiantes. En las matrices que a continuación se presentan se especifica los datos que se extraen en cada uno de ellos. Los instrumentos utilizados fueron:

1) Cuestionario al estudiante del 3er grado; 2) Cuestionario al docente; 3) Cuestionario al director.

Tabla 12: Especificaciones del cuestionario al estudiante y cuestionario al docente acerca de los estudiantes del tercer grado

Variable

1 Género del estudiante 2 El estudiantes se alimentó antes de llegar a la

escuela 3 Hay libros en el hogar 4 Le leen al estudiante en el hogar 5 El estudiante se ha lastimado en la escuela 6 El estudiante observa abuso verbal entre

estudiantes 7 El estudiantes nota que otros estudiatnes se

lastiman con frecuencia en la escuela 8 El estudiante percibe una alta frecuencia de

robos en la escuela 9 Etnicidad (ser Maya o indígena) 10 Habla un idioma Maya 11 Idioma hablado con la madre 12 Idioma hablado entre padres


17

Variable

13 Estudiante asistió a la escuela pre-primaria 14 El estudiante ha repetido algún grado 15 La madre asistió a la escuela 16 Madre sabe leer 17 Madre sabe escribir 18 Trabajo de la madre 19 El padre asistió a la escuela 20 Padre sabe leer 21 Padre sabe escribir 22 Trabajo del padre 23 Asignación de tareas 24 Se corrigen las tareas de los estudiantes

Tabla 13: Especificaciones del cuestionario al docente del tercer grado Variable

1 Género del docente 2 Habla idioma Maya 3 Idioma Maya que habla (específico) 4 El docente está certificado como docente bilingüe 5 Número de años enseñando 6 Número de años enseñando en este grado 7 Número de años enseñando en esta escuela 8 Nivel educativo alcanzado 9 Frecuencia con la cual planifica sus lecciones 10 Participación de los padres en las actividades

escolares 11 Capacitación docente 12 Origen de la capacitación docente 13 Frecuencia con la cual el docente asigna tareas 14 El docente califica las tareas 15 El docente percibe abuso verbal entre los

estudiantes 16 El docente percibe un número alto de accidentes

en la escuela 17 El docente percibe que los estudiantes se lastiman

unos a otros 18 El castigo físico es permitido en la escuela


18

Tabla 14: Especificaciones del cuestionario al director de la escuela Variable

1 Ubicación de la escuela 2 Afiliación de la escuela a algún programa (específico) 3 Instrucción en idioma Maya en la escuela 4 Idioma Maya de instrucción en la escuela (específico) 5 Número de grado en la escuela 6 Número de docents en la escuela 7 Número de docents que asistieron el día de la evaluación 8 Primer grado cuenta con un docente específico 9 Tercer grado cuenta con un docente específico 10 Número de docents que asisten a clases 11 Número de estudiantes inscritos en la escuela por grado 12 La escuela cuenta con agua 13 La escuela cuenta con electricidad 14 El aula de primer grado cuenta con electricidad 15 El aula de tercer grado cuenta con electricidad 16 Hay servicios sanitarios en la escuela 17 Número de servicios sanitarios en la escuela 18 Existen servicios sanitarios separados para cada género 19 Hay libros de texto en la escuela 20 Hubo alimentación escolar el día de la evaluación 21 Hay recursos para proveer alimentación escolar 22 Cantidad de dinero disponsible para la alimentación escolar 23 Los recursos para la alimentación escolar son suficiente 24 Recursos para alimentación escolar durante el año previo 25 Cantidad de dinero disponibles para alimentación escolar

durante el año previo 26 Fueron los recursos disponibles para la alimentación escolar

durante el año previo suficientes

8. Efecto del diseño de la muestra Se estimó el efecto del diseño de la muestra sobre los resultados. Esto se presenta abajo en una tabla, en la cual se identifica el número real de niños y niñas que tomó la prueba, el número de niños y niñas ponderado de acuerdo al diseño de la muestra, la estimación del efecto del diseño de la muestra y el factor del diseño (raíz cuadrada del efecto del diseño)5.


19

5 El factor de diseño indica la diferencia en la exactitud de las estimaciones basadas en los datos asumiéndolos como pertenecientes a una muestra simple en contraste con las estimaciones asumiendo la muestra como compleja.

Tabla 15: Efecto del diseño de la muestra con respecto a la variable dependiente (media de las puntuaciones obtenidas por los estudiantes en las evaluaciones)

Asignatura Número de niños y niñas evaluados

Número de niños y niñas de

acuerdo a la ponderación

Efecto del Diseño de la Muestra

Factor del Diseño

Lectura

16803

282935

9.65

3.11

Matemática

16840

6654818

9.85

3.14

9. Resultados nacionales de lectura en español Las puntuaciones de las evaluaciones del tercer grado de la escuela primaria fueron convertidas utilizando como media arbitraria de 100 y como desviación típica arbitraria 20. Esto se hizo para cada forma por separado. Se analizaron las medias ajustándolas al diseño de la muestra. La media nacional después de realizar este análisis se muestra en la tabla siguiente. El mismo procedimiento se realizó para las áreas o bloques de los cuales se compone la prueba de lectura. Para cada una de las secciones se realizó la conversión de puntajes, utilizando 100 como media arbitraria y 20 como desviación típica arbitraria. Debido a lo anterior, la sumatoria de los bloques no es equivalente a la puntuación para la prueba completa.

Tabla 16: Media global de la prueba de lectura en español de tercer grado primaria

Media n Desviación

típica Error típico

Puntuación de la prueba completa 99.98 16770 19.98 0.466

Vocabulario 100 16770 20.00 0.442

Comprensión 100 16770 20.00 0.434 Se estimaron también las medias por departamento. El muestreo fue diseñado de tal manera que se seleccionaron escuelas al azar, pero también se incluyó posteriormente un grupo de instituciones que pertenecen a algún tipo de programa de apoyo al sistema educativo (PAEBI, DIGEBI, CETT, PRONADE). Para la estimación de las medias departamental que se presenta en esta sección se removieron los casos que fueron seleccionados específicamente por pertenecer a alguno de estos programas. Otras escuelas que pertenecen a estos programas pero que fueron seleccionadas al azar se incluyeron en el análisis6. El número de casos reportados en la tabla que a continuación se presenta es la frecuencia real. Las medias estimadas se encuentran ajustadas al diseño de la muestra. La tabla se encuentra dividida por dos franjas negras. La primera separa la media nacional (después de quitar las puntuaciones de los estudiantes de las escuelas muestreadas para los proyectos PAEBI, DIGEBI, CETT y PRONADE) de


20

6 Los reportes que fueron producidos para cada departamento reportan medias que incluyen la totalidad de las instituciones que fueron evaluadas en el departamento.

las medias departamentales. La segunda separa los departamentos que obtuvieron puntuaciones por arriba de la media nacional de los departamentos cuya media se encuentra por debajo de la nacional. La ciudad capital es presentada como un departamento aparte a pesar de no serlo políticamente, debido a que su densidad poblacional y características de infraestructura le hacen cualitativamente diferentes al resto del país.

Tabla 17 Medias departamentales de la prueba de lectura en español de tercer grado primaria (medias ajustadas al diseño de la muestra, n real)

Media n Error

Típico Desviación

Típica NACIONAL 103.71 12775 0.49 19.14

Sacatepéquez 115.50 344 3.01 19.27 Ciudad Capital 115.30 753 1.16 15.06

Guatemala 113.43 1658 0.93 16.23 Izabal 110.49 413 2.50 16.87

Chimaltenango 109.29 575 1.67 16.62 Retalhuleu 107.41 622 1.64 15.57 Escuintla 107.25 791 0.84 16.30 Jalapa 107.02 380 1.97 15.98

Suchitepéquez 106.92 708 1.12 15.55 El Progreso 106.19 320 2.10 15.65

Jutiapa 105.40 566 2.02 17.45 Santa Rosa 105.28 488 2.16 17.72 Chiquimula 105.23 449 2.34 16.34

Zacapa 104.62 350 3.11 19.17 Quetzaltenango 104.38 704 2.01 16.85

Petén 103.75 375 1.45 16.16

San Marcos 101.34 797 3.32 19.48 Baja Verapaz 98.86 389 2.50 17.97

Sololá 92.90 190 4.82 20.23 Alta Verapaz 92.85 444 1.62 18.38 Totonicapán 92.40 369 1.98 16.49

El Quiché 90.64 468 2.60 18.10 Huehuetenango 88.07 622 3.05 20.89

Se realizó un Análisis de Varianza de un Factor (ANOVA) para identificar el grado de diferencia entre departamento. Debido a que se encontraron diferencias significativas (F = 1941.26, p < 0.000) se aplicó una prueba post-hoc de Bonferroni para elucidar cuáles eran las parejas de medias que se diferencian entre sí. Estos resultados son presentados en una matriz que presenta a los departamentos del país en cada una de sus entradas, por lo cual las celdas presentan todas las posibles parejas que pueden obtenerse. Una X en la celda en donde dos departamentos convergen representa una pareja en la cual NO hubo diferencia estadísticamente significativa. Todas aquellas celdas que se encuentran en blanco representan las parejas en las cuales SÍ hubo diferencias estadísticamente significativas.


21

Es importante, sin embargo, tomar en cuenta que la ANOVA consideró la ponderación de las puntuaciones pero no ajusta las varianzas al diseño de la muestra. Para verificar las diferencias se estimó una regresión ajustada por completo al diseño de la muestra, la cual provee un estadístico t para verificar las diferencias. En este caso el resultado también develó que existen diferencias estadísticamente significativas (t = -10.081; p < 0.000). Sin embargo, las comparaciones entre parejas deben de juzgarse a la luz del factor del diseño (3.11 a nivel nacional, ver sección 8: “Efecto del diseño de la muestra”). La tabla que abajo se presenta muestra el factor de diseño para todos los departamentos del país con respecto a las estimaciones de lectura en español.

Tabla 18: Factor del diseño de la muestra por departamento para la puntuación en las pruebas de lectura en español

Departamento Efecto del

Diseño Factor del Diseño

de la Muestra Alta Verapaz 7.69 2.77 Baja Verapaz 6.82 2.61

Chimaltenango 8.29 2.88 Chiquimula 7.00 2.65

Ciudad Capital 3.62 1.90 El Progreso 3.03 1.74 El Quiché 13.55 3.68 Escuintla 2.24 1.50

Guatemala 4.90 2.21 Huehuetenango 20.39 4.52

Izabal 8.82 2.97 Jalapa 5.61 2.37 Jutiapa 10.59 3.25 Petén 6.38 2.53

Quetzaltenango 17.05 4.13 Retalhuleu 3.50 1.87

Sacatepéquez 5.37 2.32 San Marcos 19.15 4.38 Santa Rosa 7.46 2.73

Sololá 14.75 3.84 Suchitepéquez 4.27 2.07 Totonicapán 4.02 2.00

Zacapa 6.83 2.61


22

Tabla 19 Agrupación de departamentos de acuerdo a prueba post-hoc de Bonferroni, Lectura (prueba español, tercer grado)

Resultados NO incluyen programos de apoyo a las escuelas

Ciu

dad

Cap

ital

Gua

tem

ala

Alta

Ver

apaz

Baja

Ver

apaz

Chi

mal

tena

ngo

Chi

quim

ula

El P

rogr

eso

El Q

uich

é

Escu

intla

Hueh

uete

nang

o

Izab

al

Jala

pa

Jutia

pa

Peté

n

Que

tzal

tena

ngo

Reta

lhul

eu

Saca

tepé

quez

San

Mar

cos

Sant

a Ro

sa

Solo

lá

Such

itepé

quez

Toto

nica

pán

Zaca

pa

Ciudad Capital X

Guatemala

Alta Verapaz X X

Baja Verapaz

Chimaltenango

Chiquimula X X X X X

El Progreso X X X X X X X X

El Quiché

Escuintla X X X X

Huehuetenango

Izabal

Jalapa X X X X

Jutiapa X X X X

Petén X X

Quetzaltenango X X X X

Retalhuleu X X X X

Sacatepéquez X

San Marcos

Santa Rosa X X X X X

Sololá X X

Suchitepéquez X X X X

Totonicapán X X

Zacapa X X X X X X


23

10. Relación de los resultados en lectura en español de acuerdo al área, etnia y género

Se investigó la influencia del área en la cual se localiza la escuela (urbana o rural), la etnia de los estudiantes (indígena o no indígena) y su género (masculino o femenino). Para ello se dividieron los casos del estudio de acuerdo a las siguientes variables:

a) área: Se utilizó la clasificación oficial provista por la Unidad de Informática del Ministerio de Educación de Guatemala;

b) etnia: Se utilizó la clasificación que el o la estudiante se asignó a sí mismo(a); c) género: Se utilizó la clasificación asignada por cada niño y niña a sí mismo(a).

Estos resultados pueden observarse en la tabla que a continuación se presenta.

Tabla 20: Medias de los resultados para la prueba de lectura por área, etnia y género

Área

Área Urbana n = 5596

Área Rural n = 11174 t7 gl8 Significancia

Media DS Media DS 111.25 17.12 96.80 19.58 16.49 636 0.000

Etnia

Indígena n = 5353

No indígena n = 6827 t gl

Significancia Media DS Media DS

89.89 18.69 105.86 17.60 -19.74 532 0.000

Género Femenino n = 8217

Masculino n = 8851 t gl

Significancia Media DS Media DS 99.84 20.15 100.11 19.83 0.53 607 0.60

Los resultados indican lo siguiente:

• Existe diferencia estadísticamente significativa entre el desempeño de estudiantes del área urbana y rural, la cual indica que el rendimiento es menor en el área rural.

• En lo que respecta a etnia, existe una diferencia significativa entre grupos, siendo los estudiantes que no se definen como indígenas quienes obtuvieron mejores resultados.

• Al comparar por género no se encuentra una diferencia estadísticamente significativa entre hombres y mujeres.

También se estimaron las medias para las áreas que componen la prueba de lectura, los cuales se presentan en la tabla de abajo.

7 t= Prueba t de student para casos no apareados.


248 gl= Grados de libertad: Cualquiera de las variables aleatorias no restringidas que constituyen un estadístico.

Tabla 21: Medias de los resultados para las áreas que constituyen la prueba de lectura por área, etnia y género

Sección Comparación Categoría n Media Error típico

Desviación Típica

Área Urbana 5596 110.15 0.63 17.16 Rural 11174 97.13 0.53 19.81

Etnia Indígena 5353 90.81 0.66 19.15 No indígena 6827 105.56 0.45 17.83

Género Femenino 8551 99.77 0.52 20.00

Vocabulario

Masculino 8217 100.22 0.50 20.00

Área Urbano 5596 110.64 0.66 18.04 Rural 11174 96.97 0.51 19.49

Etnia Indígena 5353 90.55 0.63 18.56 No indígena 6827 105.26 0.44 18.08

Comprensión

Género Femenino 8551 99.97 0.52 20.34 Masculino 8217 100.03 0.48 19.68

11. Resultados nacionales de matemática en español Tal como en el caso de lectura, las puntuaciones de las evaluaciones del tercer grado de la escuela primaria fueron estandarizados utilizando como media arbitraria 100 y como desviación típica arbitraria 20. Esto se hizo para cada forma por separado. Se analizaron las medias ajustándolas al diseño de la muestra. La media nacional después de realizar este análisis se muestra en la tabla siguiente. El mismo procedimiento se realizó para las áreas o bloques de las cuales se compone la prueba de matemática. Para cada una de las secciones se realizó la conversión de puntajes, utilizando 100 como media arbitraria y 20 como desviación típica arbitraria. Debido a lo anterior, la sumatoria de los bloques no es equivalente a la puntuación para la prueba completa.

Tabla 22: Media global de la prueba de matemática en español de tercer grado primaria

Media N Desviación

típica Error típico

Puntuación de la prueba completa 99.98 16745 20.00 0.472

Operaciones 100.07 16745 19.99 0.471

Conceptos aritméticos 100.14 16745 20.00 0.426

Resolución de problemas 100.06 16745 20.00 0.37 Se estimaron también las medias por departamento. El muestreo fue diseñado de tal manera que se seleccionaron escuelas al azar, pero también se incluyó de forma posterior un grupo de instituciones que pertenecen a algún tipo de programa de apoyo al sistema educativo (PAEBI, DIGEBI, CETT, PRONADE). Para este análisis se removió los casos que fueron seleccionados Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

25

específicamente por pertenecer a alguno de estos programas. Otras escuelas que pertenecen a estos programas pero que fueron seleccionadas al azar fueron incluidos en el análisis9. El número de casos reportados en la tabla que a continuación se presenta es la frecuencia real. Las medias estimadas se encuentran ajustadas al diseño de la muestra. La tabla se encuentra dividida por dos franjas negras. La primera separa la media nacional (después de quitar las puntuaciones de los estudiantes de las escuelas muestreadas para los proyectos PAEBI, DIGEBI, CETT y PRONADE) de las medias departamentales. La segunda separa los departamentos que obtuvieron puntuaciones por arriba de la media nacional de los departamentos cuya media se encuentra por debajo de la nacional. La ciudad capital es presentada como un departamento aparte a pesar de no serlo políticamente, debido a que su densidad poblacional y características de infraestructura le hacen diferentes al resto del país.

Tabla 23 Medias departamentales de la prueba de matemática en español de tercer grado primaria (medias ajustadas al diseño de la muestra, n real)

Media n Error

Típico Desviación

Típica NACIONAL 102.34 12746 0.52 19.81

Ciudad Capital 109.49 755 1.75 18.27 Sacatepéquez 108.92 341 2.00 18.03

Izabal 107.76 410 2.58 18.31 Retalhuleu 107.66 621 1.73 17.71 Guatemala 107.63 1659 1.28 19.23

Suchitepéquez 107.52 712 1.80 18.87 Quetzaltenango 106.20 703 1.83 18.90

Escuintla 105.87 786 1.22 18.94 Petén 105.67 375 3.57 20.66

El Progreso 105.38 319 3.21 19.77 Santa Rosa 104.88 484 2.24 19.69

Jalapa 101.42 378 2.04 19.25

Chimaltenango 100.32 574 1.77 18.45 Jutiapa 99.11 566 2.39 19.37

San Marcos 98.80 792 2.39 20.77 Alta Verapaz 98.57 444 1.65 17.23 Totonicapán 98.19 366 1.81 17.39

Sololá 98.08 188 3.79 19.36 El Quiché 97.59 468 2.15 18.08

Baja Verapaz 97.17 388 1.75 16.19 Chiquimula 96.74 449 2.08 19.27

Zacapa 96.13 348 2.71 19.06 Huehuetenango 91.27 620 3.54 21.38


26

9 Los reportes que fueron producidos para cada departamento reportan medias que incluyen la totalidad de las instituciones que fueron evaluadas en el departamento.

Tabla 24 Agrupación de departamentos de acuerdo a prueba post-hoc de Bonferroni, matemática español

Resultados NO incluyen programos de apoyo a las escuelas

C

iuda

d C

apita

l

Gua

tem

ala

Alta

Ver

apaz

Baja

Ver

apaz

Chi

mal

tena

ngo

Chi

quim

ula

El P

rogr

eso

El Q

uich

é

Escu

intla

Hueh

uete

nang

o

Izab

al

Jala

pa

Jutia

pa

Peté

n

Que

tzal

tena

ngo

Reta

lhul

eu

Saca

tepé

quez

San

Mar

cos

Sant

a Ro

sa

Solo

lá

Such

itepé

quez

Toto

nica

pán

Zaca

pa

Ciudad Capital X

Guatemala X X X X

Alta Verapaz X X X X

Baja Verapaz X X X X X

Chimaltenango X

Chiquimula X X X X

El Progreso X X X X

El Quiché X X X X

Escuintla X X X X

Huehuetenango

Izabal X X X X

Jalapa X

Jutiapa X X X X

Petén X X X X

Quetzaltenango X X X

Retalhuleu X X X X

Sacatepéquez X X X X X

San Marcos X X X X

Santa Rosa X X X

Sololá X X X X X X X

Suchitepéquez X X X X

Totonicapán X X X X X X

Zacapa X X


27

12. Relación de los resultados en matemática en español de acuerdo al área, etnia y género

Se investigó la influencia del área en la cual se localiza la escuela (urbana o rural), la etnia de los estudiantes (indígena o no indígena) y su género (masculino o femenino). Para ello se dividieron los casos del estudio de acuerdo a las siguientes variables:

a) área: Se utilizó la clasificación oficial provista por la Unidad de Informática del Ministerio de Educación de Guatemala;

b) etnia: Se utilizó la clasificación que el o la estudiante se asignó a sí mismo(a);

c) género: Se utilizó la clasificación asignada por cada niño y niña para sí mismo(a).

Estos resultados pueden observarse en la tabla que a continuación se presenta.

Tabla 25: Medias de los resultados para la prueba de lectura por área, etnia y género

Área

Área Urbana n = 5586

Área Rural n = 11159

t gl Significancia

Media DT Media DT 108.28 18.61 97.64 19.75 11.59 636 0.000

Etnia

Indígena n = 5367

No indígena n = 6825

t gl

Significancia

Media DT Media DT 93.33 19.03 103.79 19.20 -13.37 532 0.000

Género

Femenino n = 8187

Masculino n = 8519

t gl Significancia

Media DT Media DT 97.89 19.71 101.96 20.04 7.88 607 0.000

Los resultados indican lo siguiente:

• Existe diferencia estadísticamente significativa entre el desempeño de estudiantes del área urbana y rural la cual indica que el rendimiento es menor en el área rural.

• Existe diferencia significativa en la comparación por etnia, en donde los estudiantes que no se definen como indígenas obtuvieron mejores resultados.

• Al comparar por género, se encuentra una diferencia significativa en donde los estudiantes varones obtuvieron resultados superiores a los obtenidos por las estudiantes de género femenino.

También se estimaron las medias para las áreas que componen la prueba de lectura, los cuales se presentan en la tabla de abajo. Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

28

Tabla 26: Medias de los resultados para las áreas que constituyen la prueba de matemática por área, etnia y género

Sección Comparación Categoría n Media Error típico

Desviación Típica

Área Urbana 5585 105.99 0.69 18.50 Rural 11159 98.40 0.57 20.07 Etnia Indígena 5367 96.01 0.70 19.90 No indígena 6825 102.50 0.57 19.62 Género Femenino 8187 98.67 0.54 20.21

Operaciones

Masculino 8519 101.39 0.52 16.69

Área Urbano 5585 108.72 0.66 18.71 Rural 11159 97.72 0.51 19.68 Etnia Indígena 5367 92.77 0.63 18.92 No indígena 6825 104.15 0.47 19.10

Conceptos Aritméticos


Área Urbano 5585 104.87 0.57 20.11 Rural 11159 98.70 0.44 19.77 Etnia Indígena 5367 95.99 0.56 19.23 No indígena 6825 102.43 0.44 19.98

Resolución de Problemas


13. Relación de los resultados de las diferentes pruebas respondidas por los mismos estudiantes

Se analizaron los datos obtenidos por los estudiantes en las pruebas de lectura y matemática para establecer el grado de relación existente entre ambos resultados. Se correlacionó la puntuación obtenida en matemática con la puntuación obtenida en lectura para todos los estudiantes que tomaron ambas evaluaciones. La correlación pudo estimarse con base en 16770 casos y dio como resultado una correlación positiva estadísticamente significativa (r de Pearson = 0.593; p < 0.000). También se analizó la relación de los resultados de las pruebas en idioma español con respecto a los resultados en los idiomas Maya. En lectura la correlación entre los resultados de la prueba en el idioma Maya y los resultados en español con base a datos brutos (no convertidos) y no ponderados puede observarse en la tabla que a continuación se presenta. Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

29

Tabla 27: Correlación entre resultados de lectura en español y resultados de lectura en idioma Maya para los mismos(as) estudiantes

Pareja R de Pearson n de parejas Significancia K’iche – español 0.255 639 0.000

Kaqchikel – español -0.045 246 0.484 Q’eqchi’ – español 0.437 188 0.000

Mam – español 0.213 189 0.003 En lectura, con la excepción de los estudiantes que tomaron la evaluación en español y Kaqchikel, se mostraron correlaciones estadísticamente significativas. En el caso de Kaqchikel no se encontró una relación estadísticamente significativa.

Tabla 28: Correlación entre resultados de matemática en español y resultados de lectura en idioma Maya para los mismos(as) estudiantes

Pareja R de Pearson n de parejas Significancia K’iche – español 0.486 641 0.000

Kaqchikel – español 0.716 245 0.000 Q’eqchi’ – español 0.672 187 0.000

Mam – español 0.492 186 0.000

14. Comparaciones temporales Como ya se mencionó en la sección que describe el diseño de este estudio, un grupo de estudiantes de la muestra tomó formas que en este documento se denominan E y F. Estos instrumentos se aplicaron para asegurar que las diferentes formas que se construyeron fueran compatibles. La forma F utilizaba los instrumentos del 2000 sin que se le hayan hecho cambios a estos. Estos resultados sirven como un punto de comparación del rendimiento en el año 2004 con respecto al rendimiento del año 2000. Para incrementar la compatibilidad de los instrumentos, el análisis se realizó sólo con base en los ítems comunes10, asegurando así que todos los ítems que proporcionan la fuente de datos para realizar la comparación sean los mismos. Los datos del año 2000 y los del año 2004 fueron estandarizados con una media arbitraria de 100 y una desviación estándar arbitraria de 20. Este análisis se hizo para los datos de la forma Rural 1 y 2 por separado y luego fueron integrados para realizar la comparación. Debido a que el número de casos para el año 2000 es bastante superior al número de casos para el año 2004, se realizaron tres comparaciones para lectura y tres para matemática. La primera tomó en cuenta todos los casos del año 2000 con todos los casos del año 2004. Para las siguientes dos comparaciones se seleccionaron de los datos del año 2000 dos muestras compuestas del mismo número de casos que existen para el año 2004. Cada muestra fue seleccionada de manera independiente y al azar. Los resultados de estas comparaciones pueden observarse abajo.


30

10 Como ya se mencionó, en el 2000 se diseñaron cuatro formas diferentes. Estas formas era Urbano 1, Urbano 2, Rural 1 y Rural 2. Todas las formas contienen un total de 40 ítems. La Urbano 1 y Rural 1 comparten 20 que son idénticos. La Urbano 2 y Rural 2 comparten 20 ítems que son idénticos.

Tabla 29: Comparaciones de los resultados de lectura en el año 2000 con respecto al año 2004

2000 2004 t Significancia

Asume varianzas iguales

n Media DT N Media DT Todos los casos 17765 100.08 19.97 371 95.97 20.81 3.92 0.000 Sí

Muestra 1 2000 – Todos los casos 2004 371 102.51 18.94 371 97.49 20.70 3.45 0.001 Sí

Muestra 2 2000 – Todos los casos 2004 371 102.23 19.83 371 97.77 19.92 3.05 0.002 Sí

Tabla 30: Comparaciones de los resultados de matemática en el año 2000 con respecto al año 2004

2000 2004 t Significancia

Asume varianzas iguales

n Media DT N Media DT Todos los casos 17765 100.19 19.89 366 90.83 22.89 7.76 0.000 No

Muestra 1 2000 – Todos los casos 2004 366 104.23 18.10 366 95.77 20.89 5.86 0.000 No

Muestra 2 2000 – Todos los casos 2004 366 104.57 17.73 366 95.43 21.10 6.36 0.000 No Estos resultados, tanto en el caso de lectura como en el caso de matemática, muestran que hubo un decremento en el rendimiento de los estudiantes en el año 2004 con respecto al año 2000. Este decremento produce una diferencia que es estadísticamente significativa tanto en lectura como en matemática.

15. Factores relacionados con el desempeño escolar Se realizó un esfuerzo por interpretar el desempeño de los estudiantes en función de varios factores. Es con este motivo que se utilizaron cuestionarios adicionales, los cuales son presentados en la sección 7 (Cuestionarios Adicionales) de este mismo documento. Se utilizaron tres instrumentos:

1) Cuestionario al estudiante del 3er grado; 2) Cuestionario al docente; 3) Cuestionario al director.

A continuación se presenta una tabla que expresa las áreas que fueron exploradas y el instrumento del cual fue extraída la información. También se incluye un comentario sinóptico con los hallazgos más relevantes.


31

Tabla 31: Tabla sinóptica de resultados analizados en relación a la información recabada en los cuestionarios y entrevistas complementarios a la aplicación de las

evaluaciones de tercer grado primaria

Área

Instrumento

Comentario sinóptico

a. Nutrición y alimentación Cuestionario del estudiante

Se encontró una diferencia a favor de los niños que no se alimentaron.

Cuestionario al director

No se encontró diferencia.

b. Pre-primaria Cuestionario del estudiante

Los estudiantes que reportaron no haber asistido a la pre-primaria obtuvieron resultados estadísticamente superiores a los estudiantes que reportaron haber asistido.

c. Repitencia Cuestionario del estudiante

Los estudiantes que reportaron no haber repetido algún grado obtuvieron resultados significativamente superiores a los de los estudiantes que reportan haber repetido algún grado.

d. Participación de los padres/madres de familia en la escuela

Cuestionario al docente

No se encontró una relación clara entre la participación de los padres de familia en la escuela y el rendimiento de los estudiantes.

e. Ambiente letrado y materiales

Cuestionario del estudiante

La presencia de material de lectura en el hogar mostró una relacionó significativa con el rendimiento. Esta relación no se encontró con el reporte de los estudiantes de que alguien les lee en casa.


La presencia de libros de texto en la escuela se relacionó con un rendimiento superior.

f. Alfabetismo de los padres Cuestionario del estudiante

Los y las estudiantes que reportan que su madre y/o su padre saben leer obtienen resultados superiores a la de los y las estudiantes que reportan que su madre y/o su padre no saben leer.

g. Riesgos y/o violencia en la escuela

Cuestionario del estudiante

Los estudiantes que perciben menos riesgos y violencia en sus escuelas obtienen resultados superiores.


Los estudiantes de docentes que perciben más riesgos y violencia en sus escuelas obtienen resultados superiores.

h. Bilingüismo docente Cuestionario al docente

No se encontraron diferencias significativas.


No se encontraron diferencias significativas.

i. Experiencia y capacitación docente


Los y las estudiantes de docentes con mayor experiencia obtienen resultados superiores. Sin embargo, es importante tomar en cuenta que la media de años de experiencia es significativamente superior en el área urbana.


32

Área

Instrumento

Comentario sinóptico

j. Infraestructura Cuestionario al director

La presencia de agua entubada, electricidad y sanitarios se relaciona con un mejor rendimiento.

k. Tareas y planificación


Los docentes que asignan tareas y planifican tienen estudiantes cuyos resultados son superiores a las de los docentes que no asignan tareas.

A continuación se presentan de manera más profunda los resultados encontrados. Para analizar esta información se tomaron primero los aspectos enumerados en la tabla anterior y se exploró la posible relevancia que podrían tener para explicar el desempeño de los estudiantes, tanto en lectura como en matemática. La serie de datos de la entrevista a los estudiantes fue adherida a la serie de datos de los resultados por estudiante. A las series de datos de los cuestionarios a docentes y directores se les adhirió la información correspondiente a la puntuación media que los estudiantes de sus grados y escuelas obtuvieron. Con base a estas nuevas series de datos se realizaron los análisis que a continuación se presentan. El 67.5% de los directores en la serie de datos (541 de 801) reportaron que el día de la vista hubo refacción escolar. En contraste, el 81.3% (651) reportó haber recibido recursos para la refacción escolar. Sin embargo, 468 directores (56.9%) reportan que estos recursos son insuficientes para alimentar de manera adecuada a todos los estudiantes. Esto contrasta con lo que los docentes reportaron para el año 2003, para el cual 623 (75.7%) reportó haber recibido fondos para refacción escolar. Sin embargo, en ese caso el número de directores que reportó que los fondos eran suficientes era menor (301, 37.3%). El rendimiento de los estudiantes fue analizado en relación a las respuestas de los directores. Se compararon las puntuaciones medias de las escuelas en las cuales los directores reportaron que hubo refacción el día de la visita con las medias de las escuelas en las cuales los directores reportaron que no la hubo. En el caso de lectura la diferencia de medias entre escuelas en las cuales hubo refacción el día de la visita (media = 99.62; n = 534; DT = 14.81) y escuelas en las que no hubo (media = 101.80; n = 241; DT = 15.07) no fue estadísticamente significativa (t = -1.88; gl = 773; p < 0.06; se asumen varianzas iguales). Lo mismo sucedió en el caso de matemática en donde la diferencia entre las escuelas en las que hubo refacción (media = 99.42; n = 534; DT = 12.74) y las escuelas en las que no hubo (media = 100.74; n = 241; DT = 14.49) no fue significativa (t = -1.29; gl = 773; p < 0.20; se asumen varianzas iguales). Los resultados difieren en el caso de presencia de recursos para la refacción escolar. En lectura, las escuelas que cuentan con recursos (media = 99.75; n = 641; DT = 15.14) y las escuelas que no cuentan con recursos (media = 103.18; n = 117; DT = 13.32) muestran una diferencia estadísticamente significativa (t = -2.50; gl = 175.34; p < 0.01; se asumen varianzas desiguales). Este no es el caso de matemática, donde las escuelas que tienen recurso para la refacción (media = 99.48; n = 641; DT = 13.08) y las que no tienen recursos (media = 101.59; n = 117; DT = 14.27) mostraron medias cuya diferencia no es estadísticamente significativa (t = -1.58; gl = 756; p < 0.12; se asumen varianzas iguales). Se analizaron estos mismos aspectos con base a datos ajustados al diseño de la muestra y en relación con las respuestas que los estudiantes proveyeron en sus cuestionarios. La diferencia de la media de lectura de los estudiantes que reportaron haber comido Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

33

antes de llegar a la escuela (media = 99.86; n no ponderada = 14543; DT = 20.20) y los que reportaron no haber comido (media = 104.46; n no ponderada = 1412; DT = 19.71) es estadísticamente significativa (t = -4.77; gl = 634; p < 0.000). En el caso de matemática la diferencia entre los niños que reportaron haberse alimentado (media = 100.05; n no ponderada = 14548; DT = 19.85) y los que reportaron no haberse alimentado (media = 102.97; n no ponderada = 1414; DT = 20.73) también demostró ser estadísticamente significativa (t = -3.23; gl = 634; p < 0.001). Los resultados en lectura de los estudiantes que reportaron haber asistido a la pre-primaria o la pre-primaria bilingüe (media = 97.93; n no ponderado = 9707; DT = 19.64) y los que reportan no haberlo hecho (media = 102.42; n no ponderado = 4869; DT = 20.01) muestran una diferencia estadísticamente significativa (t = -5.86; gl = 593; p < 0.000). En el caso de matemática los estudiantes que reportan haber asistido a la escuela pre-primaria o pre-primaria bilingüe (media = 98.69; n no ponderado = 9711; DT = 19.58) y los que reportaron no haberlo hecho (media = 101.78; n no ponderado = 4868; DT = 20.35) también mostraron una diferenta estadísticamente significativa (t = -4.11; gl = 593; p < 0.000). En contraste, las medias de lectura de los estudiantes que reportan haber repetido grados (media = 97.18; DT = 19.54) y los que reportan no haber repetido un grado (media = 102.87; DT = 19.83) son diferentes a un nivel estadísticamente significativo (t = -10.09; gl = 615; p < 0.000), y muestran ventajas para los que no han repetido grados. Esto es consistente en matemática, donde los estudiantes que reportan haber repetido grados (media = 97.47; DT = 19.13) y los que reportan no haber repetido un grado (media = 102.68; DT = 20.29) son diferentes a un nivel estadísticamente significativo (t = -10.38; gl = 616; p < 0.000), también mostrando ventaja en los que no han repetido un grado. También se analizó si la experiencia de riesgo se relaciona con el rendimiento de los estudiantes. En la entrevista a los estudiantes se hicieron cuatro preguntas relacionadas con eventos de riesgo y/o violencia. Para analizar esta información se sumaron las respuestas afirmativas para cada ítem con el objetivo de producir una única puntuación. Esta puntuación fue correlacionada con el logro del criterio ponderando los datos, y se descubrió una relación negativa estadísticamente significativa en lectura (r = -0.106; p < 0.000) y matemática (r = -0.094; p < 0.000) la cual indica que a mayor puntuación de eventos de riesgo o violencia, menor el rendimiento de los estudiantes. También se analizaron los resultados promedio de las escuelas en relación con las respuestas de los docentes. En este caso las correlaciones de la puntuación en violencia con lectura (r = 0.133; p < 0.000) y con matemática (r = 0.097; p < 0.097) fueron estadísticamente significativas y positivas. Es decir, a mayor violencia reportada, mayor las puntuaciones obtenidas por los estudiantes. De forma adicional, se analizó la relación que muestra la participación de los padres de familia en actividades de los alumnos, lo cual fue reportado por los docentes, con el logro. No hubo una diferencia estadísticamente significativa en lectura (t = -0.984; gl = 733; p < 0.326; se asumen varianzas iguales) entre la media de las puntuaciones promedio de las aulas en las que los docentes reportaron participación de los padres de familia (media = 100.37; DT = 14.95) y donde no se reportó la participación de los padres de familia (media = 102.27; DT = 12.68). En matemática tampoco se encontró una diferencia estadísticamente significativa (t = -1.474; gl = 733; p < 0.141; se asumen varianzas iguales) entre la media de las puntuaciones promedio de las aulas en las que los docentes reportaron participación de los padres de familia (media = 99.65; DT =


34

13.37) y donde no se reportó la participación de los padres de familia (media = 102.22; DT = 12.81). Se analizaron los aspectos relacionados con contar con un ambiente letrado. Un total de 670 directores (83.8% porcentaje no ponderado) reportó haber recibido libros de texto en el 2004. Para cada escuela se estimó el promedio de las puntuaciones obtenidas por sus estudiantes. Se encontró una diferencia estadísticamente significativa en lectura (t = 2.040; gl = 121.85; p < 0.043; se asumen varianzas desiguales) entre las escuelas en las cuales los directores reportaron haber recibido textos del Ministerio (media = 100.76; DT = 14.47) y las escuelas en donde los directores no reportaron haber recibido textos (media = 97.04; DT = 17.45). No se encontró una diferencia estadísticamente significativa en matemática (t = 0.948; gl = 121.99; p < 0.345; se asumen varianzas desiguales) entre las escuelas en las cuales los directores reportaron haber recibido textos del Ministerio (media = 100.10; DT = 12.93) y las escuelas en donde los directores no reportaron haber recibido textos (media = 98.56; DT = 15.54). Las medias de lectura de los estudiantes que reportan que hay libros en su casa (media = 100.74; DT = 19.76) y los que reportan que no hay libros en sus casas (media = 96.57; DT = 20.23) son diferentes a un nivel estadísticamente significativo (t = 5.06; gl = 619; p < 0.000). Las medias de lectura de los estudiantes que reportan que alguien les lee en su casa (media = 99.29; DT = 19.30) y los que reportan que no les leen en su casa (media = 102.38; DT = 20.79) son diferentes a un nivel estadísticamente significativo (t = -5.18; gl = 611; p < 0.000). Las medias de matemática de los estudiantes que reportan que hay libros en su casa (media = 100.61; DT = 19.87) y los que reportan que no hay libros en sus casas (media = 97.68; DT = 20.23) son diferentes a un nivel estadísticamente significativo (t = 3.97; gl = 619; p < 0.000). Las medias de matemática de los estudiantes que reportan que alguien les lee en su casa (media = 99.47; DT = 19.41) y los que reportan que no les leen en su casa (media = 101.89; DT = 20.93) son diferentes a un nivel estadísticamente significativo (t = -4.16; gl = 610; p < 0.000). Por otra parte, las medias de lectura de los estudiantes que reportan que su mamá sabe leer (media = 103.54; DT = 19.29) y los que reportan que sus mamás no saben leer (media = 92.95; DT = 19.24) son diferentes a un nivel estadísticamente significativo (t = -16.17; gl = 601; p < 0.000). Esta diferencia también se sostiene al indagar si el padre del estudiante sabe leer. Las medias de lectura de los estudiantes que reportan que su papá sabe leer (media = 101.20; DT = 19.71) y los que reportan que sus papás no saben leer (media = 92.53; DT = 19.49) son diferentes a un nivel estadísticamente significativo (t = 11.29; gl = 627; p < 0.000). El mismo patrón se observa en matemática. Las medias de matemática de los estudiantes que reportan que su mamá sabe leer (media = 102.20; DT = 19.84) y los que reportan que sus mamás no saben leer (media = 95.70; DT = 19.40) son diferentes a un nivel estadísticamente significativo (t = 9.58; gl = 602; p < 0.000). Las medias de matemática de los estudiantes que reportan que su papá sabe leer (media = 100.89; DT = 19.82) y los que reportan que sus papás no saben leer (media = 95.12; DT = 19.59) son diferentes a un nivel estadísticamente significativo (t = 7.79; gl = 626; p < 0.000). También se analizaron los resultados con respecto a la asignación de tareas. En este caso, las medias de lectura de los estudiantes que reportan que sus docentes les dejan tareas para hacer en casa (media = 100.56; DT = 19.71) y los que reportan que no les dejan tareas para hacer en casa (media = 89.30; DT = 20.57) son diferentes a un nivel estadísticamente significativo (t = 6.88; gl = 633; p < 0.000). Las medias de lectura de los estudiantes que reportan que sus docentes califican sus tareas (media = 100.33; DT = 19.76) y los que reportan que sus docentes no califican sus tareas (media = 92.82; DT = 21.92) son diferentes a un nivel estadísticamente significativo (t = 4.62; gl = 634; p <


35

0.000). Las medias de matemática de los estudiantes que reportan que sus docentes les dejan tareas para hacer en casa (media = 100.52; DT = 19.88) y los que reportan que no les dejan tareas para hacer en casa (media = 90.74; DT = 18.61) son diferentes a un nivel estadísticamente significativo (t = 6.74; gl = 633; p < 0.000). Las medias de matemática de los estudiantes que reportan que sus docentes califican sus tareas (media = 100.28; DT = 19.92) y los que reportan que sus docentes no califican sus tareas (media = 94.43; DT = 19.81) son diferentes a un nivel estadísticamente significativo (t = 4.02; gl = 634; p < 0.000). Con respecto a la infraestructura de las escuelas, se indagó en el cuestionario al director acerca de la presencia de agua entubada, electricidad y servicios sanitarios. Se creó una puntuación global la cual asignaba un punto por cada uno de esos elementos. El total fue correlacionado con la puntuación promedio de la escuela. Se encontró una relación positiva y estadísticamente significativa para lectura (r = 0.208; p < 0.000) y matemática (r = 0.198; p < 0.000). También se analizaron cada uno de estos elementos por separado para conocer mejor su relación con el rendimiento de los estudiantes. Estos resultados se presentan en las siguientes tablas.

Tabla 32: Relación de la presencia de agua entubada con la puntuación promedio obtenida por las escuelas en las pruebas de lectura y matemática en español

R biserial puntual Coeficiente de correlación Agua entubada / Puntuaciones promedio para las escuelas en lectura en español.

0.174

Significancia (bilateral) 0.000 n 757 R biserial puntual Coeficiente de correlación

Agua entubada / Puntuaciones promedio para las escuelas en matemática en español.

0.128

Significancia (bilateral) 0.000 n 757

Tabla 33: Relación de la presencia de electricidad en el establecimiento con la puntuación promedio obtenida por las escuelas en las pruebas de lectura y matemática

en español

R biserial puntual Coeficiente de correlación Electricidad / Puntuaciones promedio para las escuelas en lectura en español.

0.290


Electricidad / Puntuaciones promedio para las escuelas en matemática en español.

0.260



36

Tabla 34: Relación de la presencia de servicios sanitarios con la puntuación promedio obtenida por las escuelas en las pruebas de lectura y matemática en español

R biserial puntual Coeficiente de correlación Sanitarios / Puntuaciones promedio para las escuelas en lectura en español.

0.080


Sanitarios / Puntuaciones promedio para las escuelas en matemática en español.

0.092


Estos resultados mostraron que los tres aspectos investigados con respecto a la infraestructura (presencia de agua entubada, electricidad y servicios sanitarios) se relacionan con las puntuaciones promedio de las escuelas. También se exploraron factores relacionados con el docente. Se encontró una correlación positiva y estadísticamente significativa entre el rendimiento promedio en las escuelas y el número de años de experiencia que el docente reporta. Esto es cierto tanto en lectura (r = 0.341; p < 0.000) como en matemática (r = 0.296; p < 0.000). También se encontró una relación significativa, aunque menor que en el caso anterior, entre el número de años que el docente ha trabajado en el tercer grado y el desempeño en lectura (0.087; p < 0.015). No se encontró una relación estadísticamente significativa entre el número de años de experiencia en tercer grado reportados por el docente y el desempeño en matemática (r = 0.030; p < 0.407). Por otra parte, se encontró que existe una diferencia estadísticamente significativa (t = 10.563; gl = 264.89; p < 0.000) entre el número de años de experiencia de los docentes del área urbana (media = 15; DT = 8.91) y de los del área rural (media = 7.61; DT = 6.68). Utilizando una ANOVA de un factor, con el nivel académico reportado por los docentes, se compararon los resultados promedio de las escuelas. Se encontró que existe una diferencia estadísticamente significativa al tomar en cuenta el nivel de educación básica, bachillerato, magisterio y universitario (graduado o no), tanto para lectura (F = 9.607; gl = 3 entre gurpos; p < 0.00) como para matemática (F = 5.936; gl = 3 entre gurpos; p < 0.001). Al correr la prueba post-hoc de Bonferroni para identificar las parejas en donde se encontraban las diferencias se encontró que los resultados de los docentes que han cursado magisterio y de los que han tenido estudios universitarios son los que muestran diferencias estadísticamente significativas a favor de los universitarios, tanto para lectura (media magisterio = 98.83, DT magisterio = 15.21; media universitarios = 105.09, DT universitarios = 12.50; SE = 1.20; p < 0.000) como para matemática (media magisterio = 98.83, DT magisterio = 13.74; media universitarios = 102.94, DT universitarios = 10.85; SE = 1.09; p < 0.001). También se analizaron los resultados a la luz del bilingüismo docente. Esto consideró tres aspectos: 1) si el docente habla algún idioma Maya; 2) si el docente tiene nombramiento bilingüe; 3) si el director reporta que se imparte educación bilingüe en la escuela. Para realizar este análisis se tomaron en cuenta sólo aquellas instituciones en las cuales más del 50% de los estudiantes reportaron hablar un idioma Maya. Sólo se encontraron diferencias estadísticamente significativas entre la media de los resultados Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

37

de lectura cuando el docente cuenta con nombramiento bilingüe y cuando no cuenta con él a favor de los segundos; y entre la media de resultados de estudiantes que asisten a escuelas donde el director reporta que se imparten clases e idioma Maya y donde no, a favor de los segundos.

Tabla 35: Comparación del desempeño en lectura de escuelas en las cuales el docente reportó que habla un idioma Maya y escuelas en donde el docente reportó que no

habla un idioma Maya Docente habla un idioma Maya Docente no habla un idioma Maya Media n DT Media n DT t gl Significancia 84.48 145 12.05 85.41 87 11.87 -0.570 230 0.569

Tabla 36: Comparación del desempeño en matemática de escuelas en las cuales el docente reportó que habla un idioma Maya y escuelas en donde el docente reportó

que no habla un idioma Maya Docente habla un idioma Maya Docente no habla un idioma Maya Media n DT Media n DT t gl Significancia 91.42 145 12.16 89.66 87 12.40 1.065 230 0.288

Hubo diferencias al contrastar los resultados promedio de las escuelas en donde los docentes reportaron tener un nombramiento bilingüe y donde no lo reportaron, aunque no en todos los casos. Los resultados se presentan en las tablas que siguen.

Tabla 37: Comparación del desempeño en lectura de escuelas en las cuales el docente reportó que tiene nombramiento bilingüe y escuelas en donde el docente reportó que

no tiene nombramiento bilingüe Docente tiene nombramiento

bilingüe Docente no tiene nombramiento

bilingüe

Media n DT Media n DT t gl Significancia 80.29 62 12.27 85.73 153 11.52 -3.079 213 0.002

Tabla 38: Comparación del desempeño en matemática de escuelas en las cuales el docente reportó que tiene nombramiento bilingüe y escuelas en donde el docente

reportó que no tiene nombramiento bilingüe Docente tiene nombramiento

bilingüe Docente no tiene nombramiento

bilingüe


Tabla 39: Comparación del desempeño en lectura de escuelas en las cuales el director reportó que se imparte educación en un idioma Maya y escuelas en donde el director

no reportó que se imparte educación en un idioma Maya Instrucción en idioma Maya No hay instrucción en idioma Maya



38

Tabla 40: Comparación del desempeño en matemática de escuelas en las cuales el director reportó que se imparte educación en un idioma Maya y escuelas en donde el

director no reportó que se imparte educación en un idioma Maya Instrucción en idioma Maya No hay instrucción en idioma Maya


Un aspecto más que se consideró en relación a los docentes fue el reporte de su planificación.

Tabla 41: Frecuencia con la cual los docentes reportan planificar las clases que imparten

Frecuencia con la cual planifica

n %

No planifica 19 2.3 A diario 116 14.3

Semanalmente 255 31.04 Quincenalmente 39 4.8 Mensualmente 257 31.7

Anualmente 56 6.9 Al correr una ANOVA de un factor se encontró que hubo diferencia en el rendimiento en lectura (F = 6.109; gl entre grupos = 5; p < 0.000) y matemática (F = 2.766; gl entre grupos = 5; p < 0.017). Al correr la prueba post-hoc de Bonferroni las diferencias entre parejas para lectura fueron de la planificación diaria (media = 103.48; DT = 14.10) a la semanal (media = 97.28; DT = 15.63) (ES = 1.64; p < 0.003); semanal (media = 97.28; DT = 15.63) y mensual (media = 101.90; DT = 13.70) (ET = 1.30; p < 0.006); semanal (media = 97.28; DT = 15.63) y anual (media = 105.29; DT = 11.94) (ET = 2.16; p < 0.003). Para matemática las parejas en las que se encontró diferencia fueron entre los promedios de las escuelas en las cuales los docentes planifican a diario (media = 102.33; DT = 14.46) y en las que planifican semanalmente (media = 97.97; DT = 13.44) (ES = 1.50; p < 0.05).

16. Desempeño de los estudiantes inscritos en escuelas apoyadas por programas o proyectos específicos

En Guatemala existen diversas instituciones que a través de programas o proyectos específicos ofrecen apoyo a las escuelas oficiales. El Ministerio de Educación también cuenta con programas que trabajan con algunas de sus escuelas, con el objetivo de llenar necesidades particulares y fomentar la eficiencia y equidad. Hubo cuatro programas que fueron de particular interés para el presente estudio:

i) El Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI); ii) Las Dirección de Educación Bilingüe Intercultural (DIGEBI); iii) El Programa Nacional de Autogestión para el Desarrollo Educativo

(PRONADE); iv) El Centre for Excellence in Teacher Training (CETT).


39

Al desarrollar la muestra para la presente evaluación se seleccionó un número de escuelas de cada uno de estos programas que permitiera extraer conclusiones al respecto. Estos resultados fueron luego comparados con escuelas pertenecientes a los mismos estratos de la muestra y que fueran similares en tamaño y ubicación, pero las cuales no fueran atendidas por ninguno de los programas. Sin embargo, es importante hacer varias consideraciones que son trascendentales al emitir juicios acerca de los resultados:

1) Al comparar las escuelas con un grupo de instituciones similares se está utilizado una estrategia similar a la de los estudios experimentales y cuasi-experimentales. Sin embargo, el diseño del estudio no corresponde a ninguno de estos pues la selección de instituciones que conformarán parte de los programas no es realizada de manera aleatoria. De hecho, la selección de instituciones que formarán parte de los programas es realizada con base a circunstancias particulares. Por ejemplo, las escuelas PRONADE se ubican en comunidades que fueron desatendidas por algún tiempo. Las escuelas PAEBI y DIGEBI se localizan en comunidades bilingües, lo cual se asocia con otras características de exclusión como área y pobreza.

2) No se conoce el nivel de desempeño de las escuelas previo a la intervención del programa o para años anteriores al 2004. Por lo tanto, no es posible determinar si se han dado cambios con respecto al pasado o si el nivel actual refleja un impacto positivo del programa.

3) Debido a que la selección de escuelas que conforman parte de los programas no es aleatoria, la selección de las escuelas con las cuales son comparadas tampoco es aleatoria. Refleja la búsqueda de escuelas similares. Sin embargo, esta similitud se limita a las variables utilizada para el muestreo (departamento, área, tamaño de la escuela). Por ello, se desconoce si a pesar de ser similares con respecto a estas características, son cualitativamente diferentes en otros aspectos.

Como resultado de lo anterior es importante limitar las conclusiones derivadas de estos análisis de la siguiente manera:

a) Los datos reflejan el estado de las escuelas y deben ser interpretados solamente como el nivel de desempeño en un momento específico que debe ser utilizado para profundizar el conocimiento acerca de las escuelas involucradas en el programa;

b) Las diferencias entre las escuelas pertenecientes a los programas y las escuelas control no debe ser interpretada como una diferencia estadística o no, sino como una brecha que debe orientar decisiones para aproximar más a ambos tipos de instituciones sin asumir que las desventajas reflejan el mal funcionamiento de los programas o de las instituciones de comparación;

c) Los datos actuales deben ser utilizados para dar sentido a futuras evaluaciones. Los resultados por programa se presentan a continuación:


40

Tabla 42: Comparación de las medias de los resultados de escuelas de la Dirección General de Educación Bilingüe Intercultural y escuelas similares que no cuentan con el

apoyo de la Dirección General de Educación Bilingüe Intercultural Lectura Matemática

n Media

Error

Típico DT

Intervalo de Confianza (p = 0.95) n Media

Error

Típico DS

Intervalo de Confianza (p = 0.95)

Escuelas DIGEBI 1567 90.09 0.42 18.80 89.16 - 91.02 1584 95.18 0.47 18.81 94.26 - 96.11

Escuelas similares 2106 99.41 0.47 19.32 98.58 - 100.23 2102 99.44 0.43 19.77 98.59 - 100.28

Tabla 43: Comparación de las medias de los resultados de escuelas del Programa de Acceso a la Educación Bilingüe Intercultural y escuelas similares que no cuentan con el

apoyo de la Dirección General del Programa de Acceso a la Educación Bilingüe Intercultural

Lectura Matemática

n Media

Error

Típico DT


Error

Típico DS


Escuelas PAEBI 489 84.25 0.76 16.84 82.76 - 85.75 488 91.08 0.76 16.76 89.59 - 92.57


Tabla 44: Comparación de las medias de los resultados de escuelas del Programa Nacional de Autogestión para el Desarrollo Educativo y escuelas similares que no cuentan con el apoyo del Programa Nacional de Autogestión para el Desarrollo

Educativo Lectura Matemática

n Media

Error

Típico DT


Error

Típico DS


Escuelas PRONADE 1309 92.33 0.52 18.69 91.32 - 93.35 1302 93.44 0.55 19.92 92.36 - 94.52


Tabla 45: Comparación de las medias de los resultados de escuelas del Center for Excellence in Teacher Training y escuelas similares que no cuentan con el apoyo de la

Dirección General del Center for Excellence in Teacher Training Lectura Matemática

n Media

Error

Típico DT


Error

Típico DS


Escuelas CETT 543 103.14 0.86 20.12 101.44 - 104.84 539 103.16 0.81 18.79 101.57 - 104.75

Escuelas similares 749 103.58 0.74 20.31 102.12 – 105.03 748 102.26 0.68 18.68 100.92 - 103.61


41

17. Conclusiones

• Los departamentos muestras diferencias estadísticamente significativas en su rendimiento con respecto a lectura cuando esta es evaluada en español. Sin embargo, estas diferencias no exceden a una desviación típica positiva y a una negativa de la media. Un mayor número de departamentos (16 considerando a la ciudad capital por separado) se encuentra por encima de la media nacional que el número de departamentos que se encuentra por debajo de ella (7).

• Los departamentos muestras diferencias estadísticamente significativas en su

rendimiento con respecto a matemática cuando esta es evaluada en español. Sin embargo, estas diferencias no exceden a una desviación típica positiva y a una negativa de la media. Comparativamente, los resultados muestran una distribución más homogénea que los resultados en lectura. Un número similar de departamentos (11 considerando a la ciudad capital por separado) se encuentra por encima de la media nacional que el número de departamentos que se encuentra por debajo de ella (12).

• Segmentos de la población guatemalteca muestran desventajas en su rendimiento con respecto al resto. En matemática se encontró que el rendimiento de los estudiantes del área rural y los estudiantes indígenas es menor al rendimiento de los estudiantes del área urbana y de los estudiantes no indígenas. En matemáticas, a esto se debe agregar el género, en donde las mujeres presentan un rendimiento por debajo del de los varones. En lectura evaluada en español el rendimiento del área urbana (media = 111.25; DT = 17.12) es superior al rendimiento en el área rural (media = 96.80; DT = 19.58). Esta diferencia es estadísticamente significativa. El rendimiento de los estudiantes que se describen como indígenas (media = 89.89; DT = 18.69) se encuentra por debajo del de los estudiantes que no se describen como indígenas (media = 105.86; DT = 17.60). Esta diferencia también es estadísticamente significativa. En el caso de género, aunque las niñas (media = 99.84; DT = 20.15) obtuvieron una media ligeramente por debajo de la de los niños (media = 100.11; DT = 19.83), esta no fue estadísticamente significativa. Estos resultados son consistentes al analizar las sub-secciones de la prueba (vocabulario y comprensión). En matemática evaluada en español el rendimiento del área urbana (media = 108.28; DT = 18.61) es superior al rendimiento en el área rural (media = 97.64; DT = 19.75). El rendimiento de los estudiantes que se describen como indígenas (media = 93.33; DT = 19.03) se encuentra por debajo del de los estudiantes que no se describen como indígenas (media = 103.79; DT = 19.20). En el caso de género, las niñas (media = 97.89; DT = 19.71) obtuvieron una media por debajo de la media masculina (media = 101.96; DT = 20.04). Todas estas diferencias fueron estadísticamente significativas. Estos resultados son compatibles con los resultados observados en las sub-secciones de la prueba (operaciones, conceptos aritméticos, resolución de problemas).

• Los resultados de los estudiantes en lectura y matemática evaluados en español muestran una correlación estadísticamente significativa. Al comparar el rendimiento en el idioma español con respecto al rendimiento en las evaluaciones en idioma Maya, se encontró una correlación estadísticamente significativa en los casos K’iche, Q’eqchi’ y Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

42

Mam a una p < 0.00 En el caso de Kaqchikel, en lectura, no se observó una correlación significativa (p < 0.484). En el caso de matemática se encontraron correlaciones estadísticamente significativas en todos los casos al nivel de p < 0.000 Esto apoya la hipótesis de que los estudiantes cuyo rendimiento en español es superior con respecto a su propio grupo, también tendrá una posición similar en lectura al ser evaluado en su idioma materno. Esta hipótesis no es apoyada en el caso de lectura en Kaqchikel.

• Un grupo de estudiantes que tomó la evaluación en el año 2004 respondió instrumentos

idénticos a los utilizados en el año 2000. Con base a estos instrumentos fue posible realizar comparaciones temporales. Estas comparaciones mostraron que hubo un decremento del rendimiento del año 2000 al año 2004, tanto en lectura (media = 100.08; DT = 19.97 vs. media = 95.97; DT = 20.81) como en matemática (media = 100.19; DT = 19.89 vs. media = 90.83; DT = 22.89). Ambas diferencias fueron estadísticamente significativas.

• Se encontró una relación entre la alimentación de los estudiantes y el rendimiento. Aunque la información proporcionada por el director acerca de si hubo refacción el día de la visita no produjo diferencias estadísticamente significativas, se encontró un rendimiento inferior en lectura cuando el director reportaba que había suficientes recursos para proveer de refacción a todos los niños (media = 99.75; n = 641; DT = 15.14) con respecto a las escuelas que no cuentan con recursos (media = 103.18; n = 117; DT = 13.32). Esta diferencia es estadísticamente significativa y favorece a las escuelas en las cuales no hubo recursos. La información proporcionada por los estudiantes muestra una diferencia estadísticamente significativa en lectura entre los estudiantes que reportaron haber comido antes de llegar a la escuela (media = 99.86; n no ponderada = 14543; DT = 20.20) y los que reportaron no haber comido (media = 104.46; n no ponderada = 1412; DT = 19.71). Esto también se observó en matemática en donde se observó una diferencia entre los niños que reportaron haberse alimentado (media = 100.05; n no ponderada = 14548; DT = 19.85) y los que reportaron no haberse alimentado (media = 102.97; n no ponderada = 1414; DT = 20.73). Esto contrasta con los resultados observados en el primer grado de la primaria11, en donde se encontró que los estudiantes que se alimentaban antes de llegar a la escuela obtenían rendimientos por arriba de los observados en los estudiantes que no se alimentaban. Es posible suponer que la proporción de desnutrición crónica es mayor en el primer que en el tercer, debido que un gran número de estudiantes deserta en el intervalo.

• Los estudiantes que asistieron a la escuela pre-primaria o la pre-primaria bilingüe

obtuvieron resultados inferiores a los estudiantes que no lo hicieron. Esta diferencia fue estadísticamente significativa y se observó tanto en lectura (media = 97.93 vs. 102.42) como en matemática (media = 98.69 vs. 101.78).

• El haber repetido algún grado también diferencia las medias de los resultados de los estudiantes. Tanto en lectura como en matemática los estudiantes que no han repetido grados (media de 103 en ambos casos) en superior a la media de los estudiantes que han repetido grados (97 en lectura y 98 en matemática). Estas diferencias son estadísticamente significativas.

• Se encontró una correlación negativa y estadísticamente significativa a una p < 0000 entre el grado de violencia y el rendimiento en lectura y matemática. Esta indica que a mayor experiencia de eventos de riesgo o violencia, menor el rendimiento de los


43

11 Ver “Informe Nacional de la Evaluación del Rendimiento en Lectura y Matemática de Estudiantes del Primer Grado de la Primaria de Instituciones Oficiales de Guatemala”.

estudiantes. Esta relación se encontró tanto al tomar en cuenta la información acerca de eventos de riesgo y violencia proporcionada por los docentes, como al tomar en cuenta la proporcionada por los estudiantes.

• En este estudio no se encontró una diferencia en el rendimiento de los estudiantes de escuelas en donde los docentes reportan que hubo participación de padres de familia en el aula y en donde reportaron que no la hubo.

• Aunque no se encontró una diferencia significativa entre el logro en matemática de los estudiantes cuyos docentes reportan haber recibido libros de texto del Ministerio de Educación, sí se encontraron diferencias en los resultados de lectura a favor de las escuelas en donde se recibieron textos (media = 100.76 vs. 97.04). El rendimiento en lectura de los estudiantes que reportan contar con libros en el hogar es mayor en comparación con el rendimiento de los estudiantes que reportan no contar con ellos (media = 100.74; vs. 96.57). También se notó una diferencia entre los estudiantes que reportan que les leen en casa y los que reportan que no les leen, aunque en este caso fue a favor de los estudiantes a quienes no les leen (media = 99.29 para los que les leen vs. 102.38 para los que no les leen).

• Por otra parte, los resultados en lectura de los estudiantes que reportan que sus madres y sus padres saben leer (103 y 101 respectivamente) son superiores a las medias de los estudiantes que reportan que sus madres y sus padres no saben leer (93 en ambos casos). El mismo patrón se observa en matemática, en donde los estudiantes que reportan que sus madres y sus padres saben leer (102 y 101 respectivamente) son superiores a las medias de los estudiantes que reportan que sus madres y sus padres no saben leer (96 cuando se reporta que la madre lee y 95 cuando se reporta que el padre lee).

• El rendimiento de los estudiantes que reportan que los docentes les dejan tareas y que las califican es superior, tanto en lectura como en matemática, al rendimiento de los estudiantes que reportan lo contrario. Todas estas diferencias son estadísticamente significativas a p < 0.000

• El rendimiento en lectura y matemática se correlacionó positivamente con la presencia de agua entubada y electricidad en las escuelas con un nivel de significancia del 0.000 También se correlacionó con la presencia de servicios sanitarios a un nivel de 0.026 con lectura y a un nivel de 0.011 con matemática.

• El número de años que el docente tiene de experiencia mostró una relación estadísticamente significativa, tanto en lectura (r = 0.341; p < 0.000), como en matemática (r = 0.296; p < 0.000). Sin embargo, se encontró que los docentes del área urbano cuentan con cerca del doble de años de experiencia (15) que los docentes del área rural (7.6) Esto pone de relieve otro factor que diferencia a ambas áreas con respecto a los servicios proporcionados a nivel educativo.

• Para analizar los resultados con respecto al bilingüismo, se tomar en cuenta solamente los casos en los cuales el 50% o más de los estudiantes reportan hablar un idioma Maya. No se encontraron diferencias en el rendimiento de los estudiantes en lectura o matemática en función del bilingüismo del docente. Sí se encontró en función de su nombramiento como docente bilingüe. En este caso, en lectura, los estudiantes cuyos docentes no cuentan con el nombramiento bilingüe (85.73) mostraron ventajas sobre los docentes que cuentan con el nombramiento (80.29). Esto es consistente con el reporte


44

del director de que se ofrece instrucción en idioma Maya, en donde la media en lectura de los estudiantes que están inscritos en escuelas donde se ofrece instrucción en idioma Maya (83) es inferior a la media en donde no se ofrece instrucción en idioma Maya (89).

• En contraste con el primer grado en el cual no se encontró una relación entre la planificación y el rendimiento de los estudiantes, en tercer grado sí hubo diferencias en rendimiento en lectura y matemática de acuerdo a la frecuencia de la planificación de los docentes. La planificación diaria mostró ventajas sobre la semanal en lectura y matemáticas.

• Se efectuaron comparaciones de la proporción de estudiantes que alcanzaron el criterio de logro para el Programa de Acceso a la Educación Bilingüe Intercultural (PAEBI), la Dirección General de Educación Bilingüe Intercultural (DIGEBI), el Programa Nacional de Autogestión para el Desarrollo Educativo (PRONADE) y el “Center for Excellence in Teacher Training” (CETT). Los resultados de estos programas fueron comparados con los resultados de escuelas en el mismo estrato. Sin embargo, es importante tomar en cuenta que las escuelas que forman parte de los programas son seleccionadas precisamente por tener necesidades particulares. Por lo tanto, las comparaciones no deben ser consideradas como determinantes sino deben ser consideradas como un parámetro que ayude a establecer metas a mediano y largo plazo para los programas. En el caso concreto de CETT es importante considerar que el programa aún no ha alcanzado al tercer grado, por lo que los resultados mostrados para este grado no muestran la influencia del programa concretamente en tercer grado. Estas comparaciones mostraron que con respecto a lectura, aún existe mucho trabajo que realizar. El único caso en el cual las escuelas participantes del programa y las de comparación contaron con desempeño similar fue el del CETT. Esto parece indicar que las escuelas que participan en el CETT son de alguna manera cualitativamente diferentes a las escuelas que participan en otros programas, en donde sí se observan desventajas en los resultados de las escuelas que participan de los programas, tanto en lectura como en matemática.


45

18. Recomendaciones

Para tomar en cuenta al formular políticas educativas:

• El MINEDUC debe utilizar los resultados departamentales para reorientar su inversión y estrategias. Aunque los resultados mostraron que las medias departamentales no exceden una desviación típica positiva y una negativa, sí se encontraron diferencias entre departamentos. Esta información puede ser utilizada para reorientar acciones, pero es necesario que en el futuro se desarrollen instrumentos que indiquen cómo se encuentran los estudiantes con respecto a criterios específicos para así determinar cuan alejados se encuentran los estudiantes del rendimiento deseado.

• Aún es necesario prestar atención a dos variables que se relacionan con el

decremento en el rendimiento de los estudiantes: área (urbano o rural) y etnia. Las niñas también obtienen resultados inferiores a los de los niños, aunque el impacto de esta variable resultó menor que el de área y etnia en la evaluación de lectura, aunque continúa siéndolo en el caso de matemática.

• El decremento en rendimiento del año 2000 al año 2004 enfatiza la necesidad

de analizar desde una perspectiva longitudinal las intervenciones que se han realizado al nivel de políticas educativas. Es necesario identificar la relación entre este decremento de rendimiento y tales factores como las políticas de expansión, capacitación y modelos de intervención al nivel de la escuela.

• Se encontró que el rendimiento de los estudiantes que asistieron a la pre-primaria

o a la pre-primaria bilingüe es inferior al del resto de estudiantes. Esto sugiere que es necesario pilotear e implementar programas de educación de pre-primaria de forma más sistemática y que sean acompañados de investigación y monitoreo apropiado para determinar el grado de los beneficios que puede proveer y los contextos en los cuales lo provee.

• Se observó que los estudiantes que han repetido algún grado obtienen

rendimientos menores a los de los estudiantes que no han repetidos. Es necesario definir políticas de intervención con estas poblaciones para asegurar que la repitencia se minimice al tiempo que se provee de instrucción adecuada para el nivel del estudiante específico.

• Se encontró que existe una relación entre la percepción de riesgo y violencia y

el rendimiento de los estudiantes. Es necesario que se creen las condiciones para que el ambiente escolar provea de una sensación de seguridad para los estudiantes.

• El equipamiento, el ambiente letrado y la infraestructura (agua entubada y

electricidad) mostraron una relación con el rendimiento. Esto también apunta a la necesidad de asegurar que el ambiente escolar y las condiciones mínimas en las escuelas se aseguren como una herramienta que favorezca el aprendizaje.

• El rendimiento de los estudiantes es mayor en las aulas de los docentes con

mayor experiencia. Sin embargo, el número de años de experiencia docente en Informe Nacional Evaluación del Rendimiento en Lectura y Matemática de Estudiantes de Tercer Grado Primaria de Escuelas Oficiales de Guatemala

46

el área urbana es cerca del doble de los años de experiencia de los docentes que trabajan en el área rural. Es necesario identificar medios para asegurar que docentes experimentados también laboren en el área rural.

Para tomar en cuenta en el aula y las escuelas:

• Se encontró una relación entre la percepción de riesgo y violencia, así como

con el equipamiento y el desempeño. Esto refuerza la idea de que fomentar un ambiente escolar agradable y que provea una sensación de seguridad reforzará el rendimiento.

• Se observó que los estudiantes que han repetido algún grado obtienen

rendimientos menores a los de los estudiantes que no han repetidos. Es necesario que al nivel del aula se identifique las razones que favorecen la repitencia y se desarrollen medios por los cuales se pueda ofrecer apoyo a las necesidades particulares de los estudiantes que lo requieran.

• En tercer grado se encontró que la planificación docente y la asignación de

tareas se relaciona con el rendimiento de los estudiantes. Los docentes pueden prestar atención a estos aspectos en particular.

Para tomar en cuenta en futuras investigaciones y evaluaciones:

• Los resultados de las evaluaciones en las que los mismos estudiantes solucionaron evaluaciones en K’iche’, Q’eqchi’ o Mam y español apoyan la idea de que los estudiantes que obtienen mejores resultados en español también los tendrán en lectura en el idioma Maya. Esto no fue tan evidente en Kaqchikel. Aunque la confiabilidad interna de esta prueba fue aceptable para la toma de decisiones de gran escala, mostró el grado más bajo de entre las pruebas en idioma Maya. Es necesario explorar el rendimiento en español y Kaqchikel de estudiantes que habitan en áreas en donde el idioma de la comunidad es este último e identificar los factores que han provocado que sus resultados difieran del obtenido en el caso de los otros tres idiomas Maya evaluados.

• En este caso no se encontró la relación encontrada en el primer grado con respecto a la alimentación de los estudiantes y su rendimiento. De hecho, se encontró que los estudiantes que no se habían alimentado el día de la visita obtuvieron resultados superiores. Esto no disminuye la necesidad de asegurar programas de alimentación para el primer grado de la primaria, pero sí enfatiza la necesidad de explorar a fondo cuál es la interacción de factores que produjo los resultados inversos en tercer grado.

• Este estudio no reflejó una conclusión generalmente hecha con respecto a la participación de los padres de familia en la escuela. Es importante que se investigue en el futuro este factor más a fondo pues es probable que sea un


47

fenómeno complejo y que diferentes aspectos de este afecten la relación entre variables.

• Se encontró una relación entre la presencia de agua entubada y electricidad con el desempeño de los estudiantes en lectura y matemática. Es importante explorar en el futuro si el impacto de esto se limita al reflejo del bienestar económico de la comunidad, o si la presencia de estos elementos favorece directamente el proceso de enseñanza y aprendizaje.

• Los resultados de la evaluación aplicada a estudiantes en los programas PAEBI, DIGEBI y PRONADE reveló que no en todos los casos se ha logrado homogeneizar a los estudiantes que atiende con la población en escuelas no atendidas por el programa pero similares. Sin embargo, es importante tomar en cuenta que se selecciona a las escuelas que formarán parte de los programas porque cuentan con necesidades particulares. Así pues, es necesario que se establezcan lineamiento para que se de un seguimiento más cuidados de cómo impactan los programas a esas brechas. Esto también se aplica en el caso del CETT, en donde sus acciones no han intervenido en el tercer grado pero los rendimientos de los estudiantes de las escuelas del programa y las de las escuelas de comparación son similares.

• El decremento en rendimiento del año 2000 al año 2004 enfatiza la necesidad

de analizar desde una perspectiva longitudinal las intervenciones que se han realizado al nivel de políticas educativas. Es necesario identificar la relación entre este decremento de rendimiento y tales factores como las políticas de expansión, capacitación y modelos de intervención al nivel de la escuela.


48

Tabla de Contenidos · urbana. También se iniciaron esfuerzos por evaluar el rendimiento en...

Documents

Transcript of Tabla de Contenidos · urbana. También se iniciaron esfuerzos por evaluar el rendimiento en...