MÉXICO D. F., JULIO DE 2008

35
CENTRO DE ESTUDIOS EDUCATIVOS INFORME FINAL TERCER LEVANTAMIENTO EVALUACIÓN DE LOS PROCESOS DE CAMBIO EN LA GESTIÓN DE AULA Y EN LA GESTIÓN DE ESCUELA DE LOS PLANTELES CON AULAS ENCICLOMEDIA MÉXICO D. F., JULIO DE 2008

Transcript of MÉXICO D. F., JULIO DE 2008

Page 1: MÉXICO D. F., JULIO DE 2008

CENTRO DE ESTUDIOS EDUCATIVOS

INFORME FINAL

TERCER LEVANTAMIENTO

EVALUACIÓN DE LOS PROCESOS DE CAMBIO EN LA GESTIÓN DE AULA Y EN LA GESTIÓN DE ESCUELA DE LOS PLANTELES

CON AULAS ENCICLOMEDIA

MÉXICO D. F., JULIO DE 2008

Page 2: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

1

CONTENIDO

Página INTRODUCCIÓN 3

Características de la Evaluación 3 1. PRINCIPALES RESULTADOS 7 a. Logro educativo 11 b. Factores contextuales 15

i. A partir de respuestas de los Alumnos 15

ii. A partir de respuestas de los Docentes 19

iii. A partir de respuestas de los Directores 21 iv. Habilidades computacionales y uso de la computadora por parte de los Docentes

23

v. Algunas características de las escuelas de la muestra 29

vi. Cómo mejorar el desempeño de Docentes y Directores 31 2. CONCLUSIONES 33 3. SUGERENCIAS 34

Page 3: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

2

INTRODUCCIÓN El Centro de Estudios Educativos, por encargo de la SEP, inició en el ciclo escolar 2005-2006 la Evaluación de Enciclomedia. A fin de obtener información de sustento para la valoración del programa, se desarrollaron tres levantamientos de datos. El presente es el reporte del tercer levantamiento.

Características de la Evaluación

Propósitos fundamentales:

Identificar el nivel de logro académico de los alumnos de 5º y 6º grados en las asignaturas: Español, Matemáticas, Ciencias Naturales, Historia, Geografía y Educación Cívica.

Identificar la práctica pedagógica, la gestión escolar y la participación social en las escuelas Enciclomedia y caracterizar las de mejores resultados para retroalimentar al Programa en el logro de sus objetivos.

Comparar el desempeño de los alumnos de escuelas Enciclomedia de este tercer levantamiento con el mostrado al final del ciclo escolar 2005-2006 y en noviembre de 2005 (Línea de Base).

Contar con una medida para construir indicadores e índices para la evaluación de Enciclomedia.

Proporcionar información para apoyar los procesos de autoevaluación en las escuelas con aulas Enciclomedia.

Proporcionar a los padres de familia información sobre el logro académico de sus hijos.

Hacer uso de la información obtenida en el estudio, para enriquecer la capacidad técnica de los estados en el monitoreo y evaluación de los programas educativos y en la instrumentación de acciones de mejora dentro de las escuelas, particularmente en las aulas.

Población de interés:

Alumnos de los grupos de 5° y 6° grados de educación primaria con aulas Enciclomedia.

Directores de escuelas primarias públicas.

Docentes que atienden a los alumnos de 5º y 6º grados que resolverán las Pruebas.

Muestra de escuelas en las que se aplicaron los instrumentos:

La evaluación se desarrolló con carácter muestral. La muestra determinada para efectuar la medición de línea de base y el segundo levantamiento de datos, se reorganizó para el tercer levantamiento de datos en tres subgrupos.

Page 4: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

3

1. Muestra de escuelas Enciclomedia, formada por escuelas que se encuentran utilizando este recurso didáctico desde el inicio de la evaluación (noviembre de 2005).

2. Muestra de escuelas Enciclomedia 2, formada por escuelas que se encuentran utilizando este recurso didáctico a partir del ciclo escolar 2005-2006.

3. Muestra de escuelas Enciclomedia 3, formada por escuelas que se encuentran utilizando este recurso didáctico a partir del ciclo escolar 2006-2007.

Instrumentos que se aplicaron:

Pruebas, que abarcan las asignaturas de Español, Matemáticas, Ciencias Naturales, Historia, Geografía y Educación Cívica, dirigidas a los alumnos de 5° y 6° grados. Para la resolución de las Pruebas se utilizó un Material Complementario preparado ex profeso.

Características técnicas de la aplicación de las Pruebas de 5° y 6° Días de aplicación: 2.

Sesiones: 4.

Programa de aplicación: 2 sesiones por día.

Tiempo de cada sesión: 80 minutos.

Tipo de reactivos: Opción múltiple.

Forma de aplicación: Autoadministrable.

Cuestionarios de características socioeconómicas, dirigidos a directores, docentes y a alumnos de 5º y 6º grados de cada escuela de la muestra.

Los destinatarios de los resultados de la Evaluación, producto de tres levantamientos de datos, han sido las propias escuelas de la muestra, los técnicos responsables de los aspectos pedagógicos del programa y autoridades de la Secretaría.

¿De qué depende que el continente (Enciclomedia) funcione?

Es necesario indagar sobre las características de operación del Programa, el contexto en el que se ubica, sus antecedentes, normatividad y características precisas, entre otras cosas. Cada uno de tales aspectos o componentes le da cierto sentido, le suma o le resta posibilidades para su operación.

El contexto y los insumos necesarios para operar Enciclomedia en cada escuela deben ser analizados puntualmente; es necesario reconocer las variantes, diferencias, similitudes y particularidades, además de conocer los procesos de la escuela y el aula. Este conocimiento permite contextualizar los resultados que se obtengan acerca de los niveles de logro educativo de los alumnos. Es necesario recordar que Enciclomedia se diseñó principalmente para mejorar los niveles de logro de los educandos.

Page 5: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

4

Modelo de análisis

Identificar si Enciclomedia promueve un mejor logro educativo en los alumnos no es tarea fácil, pues como todos sabemos en la escuela converge un sinfín de aspectos, los cuales se deben identificar y buscar tendencias o patrones que ayuden a explicar variaciones o cambios en las mediciones del logro.

¿Qué depende realmente del programa Enciclomedia?

Normas de funcionamiento de la escuela

Condiciones del aula y la escuela

Formación y actualización de los docentes

Situación socioeducativa de los alumnos

Antecedentes del programa

Características y condiciones del

sistema educativo

Características de la comunidad la escuela y

el maestro

Características generales del alumno

Contexto de Ejecución del programa

Entorno Institucional

Condiciones y procesos de la escuela

y el aula

Comportamiento del alumno

Niveles de logro educativo de los

alumnos

Entorno Institucional

Condiciones y procesos de la escuela

y el aula

Comportamiento del alumno

Niveles de logro educativo de los

alumnos

Page 6: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

5

Justo en este esfuerzo por identificar patrones o esquemas de funcionamiento, en la Evaluación de Enciclomedia se ha buscado depurar la muestra. Originalmente se partió del supuesto de que no todas las escuelas entrarían al programa, por lo que se seleccionó una muestra de escuelas con equipo Enciclomedia, una muestra sin equipo, a la que se denominó Control, y una muestra de escuelas que se encontraba o había sido parte del Programa Escuelas de Calidad (PEC). Con esta clasificación se llevó a cabo el primer levantamiento de datos.

Para desarrollar el segundo levantamiento de datos se nos informó que la muestra control había disminuido porque se continuaba equipando escuelas; en principio esta situación afectó el diseño de la evaluación, pues era seguro que el grupo de comparación desaparecería. Asimismo la comparación con escuelas PEC tuvo que ser descartada, por lo que estas escuelas se reclasificaron y se incorporaron a la muestra de Enciclomedia o a la de Control.

Para el tercer levantamiento de datos realizado, la muestra se reorganizó de la siguiente manera:

• Escuelas Enciclomedia (escuelas que se identificaron como tal desde el levantamiento de datos de inicio de ciclo escolar 2005-2006).

• Escuelas Enciclomedia 2 (escuelas que recibieron el equipo en 2006). • Escuelas Enciclomedia 3 (escuelas que recibieron el equipo en 2007).

La Coordinación del Programa proporcionó las fechas definitivas en que instalaron los equipos en cada escuela.

El porcentaje de escuelas que se han aplicado en cada levantamiento es alto lo que, en principio, da solidez a la información que se reporta.

Número de escuelas programadas y aplicadas, según muestras por grupos

Muestra 3° levantamiento

Escuelas 1° levant. Prog.

1° levant. Aplicado

2° levant. Prog.

2° levant. Aplicado

3° levant. Prog.

3° levant. Aplicado

Enciclomedia 561 542 562 544 557 542

Enciclomedia2 573 572 589 574 589 579

Enciclomedia3 165 131 114 91 96 91

Total 1299 1245 1265 1209 1242 1212

% 95,8 95,5 97,5

Page 7: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

6

1. PRINCIPALES RESULTADOS

El programa Enciclomedia ha sido objeto de gran polémica en los medios de comunicación, prin-cipalmente en la prensa escrita. La discusión se ha centrado en cuestiones administrativas, desde una visión amarillista de los comunicadores de algunos diarios.

En medio de la polémica que se maneja desde los medios, resulta de mucha mayor importancia conocer lo que los alumnos recomiendan para mejorar Enciclomedia. Esta información se recogió en este tercer levantamiento.

Se hizo una selección tomando en cuenta las respuestas con mayor frecuencia. Las opiniones se agrupan en los siguientes aspectos:

• Incluir en Enciclomedia todas las materias, principalmente Geografía. • Utilizar el equipo con más frecuencia. • Capacitar a los profesores para usar el equipo. • Tener conexión a Internet. • Permitir a los alumnos usar los equipos. • Reparar los equipos inmediatamente. • Incluir más temas y videos interesantes. • Contar con “cañón, lápiz y plumones” en condiciones óptimas. • Que los pizarrones sean más grandes. • Dar mantenimiento continuo a los equipos. • Reparar las instalaciones de energía eléctrica de la escuela. Ampliar su uso para todos

los grados.

La problemática que se aprecia desde las respuestas de los alumnos se confirmó, con reportes recibidos al concluir la aplicación de instrumentos del tercer levantamiento.

Aún existen escuelas que no cuentan con equipo o en las que éste nunca ha funcionado regularmente, por encontrarse descompuesto o en reparación. Otra situación que ha afectado el trabajo de las escuelas tiene que ver con el robo de los equipos o los problemas de infraestructura y servicio que enfrentan las escuelas. Estas problemáticas no se presentan en un alto número de escuelas; sin embargo, es importante no perderlas de vista a fin de optimizar la operación del programa.

A partir de los diferentes instrumentos que se utilizaron para recabar información, se tiene otras fuentes para analizar aquella otra de interés. De esta manera, interesó identificar si había alguna diferencia en las problemáticas, dependiendo del tipo de escuela de la que se tratara. Para la evaluación las escuelas se clasificaron en:

1. Enciclomedia (escuelas que recibieron los equipos en 2004 y 2005).

2. Enciclomedia 2 (escuelas que recibieron los equipos en 2006).

3. Enciclomedia 3 (escuelas que recibieron los equipos en 2007).

Page 8: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

7

En términos generales, en los tres tipos de escuela la problemática es similar, con una pequeña diferencia en las fallas de la conexión de Internet entre las escuelas Enciclomedia, Enciclomedia 2 y Enciclomedia 3.

Se localiza el material del tema que interesa trabajar

Nunca Casi

nunca Algunas

veces Casi

siempre Siempre Total

ENCILOMEDIA 25.8% 16.8% 25.3% 10.1% 22.0% 100.0% ENCILOMEDIA_2 24.9% 16.0% 25.1% 10.6% 23.4% 100.0% ENCILOMEDIA_3 24.6% 11.0% 24.0% 10.8% 29.6% 100.0% Total 25.3% 16.1% 25.2% 10.4% 23.0% 100.0%

Falla la conexión de Internet

Nunca Casi

nunca Algunas

veces Casi

siempre Siempre Total

ENCILOMEDIA 42.8% 12.9% 16.5% 7.5% 20.2% 100.0% ENCILOMEDIA_2 44.8% 14.1% 19.0% 8.3% 13.8% 100.0% ENCILOMEDIA_3 47.0% 12.0% 19.2% 7.6% 14.3% 100.0% Total 43.9% 13.4% 17.8% 7.9% 17.0% 100.0%

El equipo se bloquea Nunca Casi

nunca Algunas

veces Casi

siempre Siempre Total

ENCILOMEDIA 58.2% 16.3% 15.1% 4.5% 5.9% 100.0% ENCILOMEDIA_2 61.4% 15.0% 14.4% 4.1% 5.1% 100.0% ENCILOMEDIA_3 60.0% 14.6% 14.4% 5.1% 5.9% 100.0% Total 59.7% 15.7% 14.8% 4.3% 5.5% 100.0%

Otro dato que destaca, se refiere a los equipos descompuestos, se observa que en las escuelas Enciclomedia se reporta un mayor porcentaje de aquéllas en las cuales casi siempre o siempre está descompuesto.

En términos generales la problemática que reportan los diferentes informantes se presenta con la misma tendencia en todas las escuelas que conforman la muestra de la Evaluación de Enciclomedia.

El equipo está descompuesto

Nunca Casi

nunca Algunas

veces Casi

siempre Siempre Total

ENCILOMEDIA 64.9% 11.0% 9.8% 5.0% 9.3% 100.0% ENCILOMEDIA_2 74.0% 8.8% 7.5% 3.7% 6.0% 100.0% ENCILOMEDIA_3 77.8% 7.5% 6.1% 2.2% 6.4% 100.0% Total 69.6% 9.9% 8.6% 4.3% 7.7% 100.0%

Page 9: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

8

El equipo tarda en encender

Nunca Casi

nunca Algunas

veces Casi

siempre Siempre Total

ENCILOMEDIA 50.0% 16.6% 17.5% 5.0% 10.9% 100.0% ENCILOMEDIA_2 52.4% 16.2% 16.8% 5.4% 9.2% 100.0% ENCILOMEDIA_3 55.4% 13.8% 16.0% 5.0% 9.9% 100.0% Total 51.3% 16.3% 17.1% 5.2% 10.1% 100.0%

La Evaluación de Enciclomedia no pretende centrarse únicamente en los problemas que se viven en las escuelas o en los resultados de los alumnos. La Evaluación abarca muchos otros aspectos. Uno que se considera vital es el referente al contenido que se maneja en Enciclomedia.

En paralelo a la aplicación de los instrumentos de medición, se analizaron los contenidos que dan cuerpo al programa Enciclomedia. Se analizó el Programa de estudios y los Libros de texto. Como ejemplo, en el caso de Ciencias Naturales se encontró que el Programa y el Libro de texto coinciden en un 50 por ciento, en tanto hay un 36 por ciento de contenidos que sólo se presentan en el Libro de texto y un 14 por ciento de contenidos que sólo aparecen en el Programa. Es necesario revisar la correspondencia de contenidos a fin de fortalecer Enciclomedia.

Comparación Entre el programa y el Libro de Texto de Ciencias Naturales

6° grado de primaria

Page 10: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

9

Se presenta un ejemplo del contenido de los Libros de texto de cuarto, quinto y sexto grados. Se observa falta de congruencia entre los niveles de profundización de los contenidos plasmados, no se mantiene una postura teórica sólida.

Definiciones de ecosistema

1. Llamamos ecosistema al conjunto de seres vivos, el ambiente o medio donde viven y las relaciones que establecen entre sí a través de las cadenas alimentarias. Un ecosistema se compone de los seres vivos que lo habitan, como los animales, las plantas, los microorganismos y los seres humanos, así como del suelo, el aire, la luz y la humedad (4.44).

2. El conjunto de interrelaciones entre la comunidad de seres vivos y el medio físico que la sustenta forma un ecosistema (5.10).

3. Los ecólogos, es decir, los científicos que se dedican a la ecología, llaman comunidades al conjunto de poblaciones de seres vivos que en un determinado lugar, y al lugar donde viven estas comunidades le llaman habitat. Las relaciones entre comunidad y hábitat forman un ecosistema (6.21).

En seguida se resumen los principales hallazgos del análisis de contenido:

• Hay inconcordancias entre programa y Libro de texto. • En el libro hay partes que no se apegan al enfoque. • El desarrollo de habilidades no está presente en todo el libro. • No hay continuidad entre los cursos de 4º, 5º y 6º grados. • Hace falta material complementario que apoye el desarrollo de habilidades.

Como ejemplo de una de las vertientes de la evaluación, se presentan las sugerencias que se sustentan con el análisis de contenido y que pretenden apoyar en la mejora de los contenidos y estructura del Programa Enciclomedia.

• Se debe asegurar un avance en la formalización de los conocimientos conforme se profundiza el estudio de las Ciencias Naturales.

• Los Libros de texto deben cambiarse para asegurar el apego al programa en cuanto contenidos y enfoque.

• Debe producirse material complementario que apoye al docente en el desarrollo de habilidades. • Enciclomedia puede ser una buena herramienta para simular situaciones donde los alumnos

apliquen sus conocimientos.

Page 11: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

10

o Logro educativo

Uno de los aspectos que más interesa de toda evaluación, es el correspondiente a los resultados de logro educativo y factores contextuales.

En principio se presentan los resultados producto de un análisis de medias, al observar los datos directamente se observa que en los tres tipos de muestra hay un incremento en las medias de Español sexto grado, con errores pequeños, a excepción de Enciclomedia 3, en donde son mayores en relación con los otros dos grupos, sin que en sí mismo sean errores importantes dentro de la escala que se maneja.

Resultados de logro educativo. Español 6°

Muestra 1° levantamiento Error de la media 3° levantamiento Error de la media

Enciclomedia 396.3 3.7 467.8 1.6

Enciclomedia2 392.7 3.5 464.7 1.7

Enciclomedia3 333.1 15.1 447.3 5.6

La misma tendencia se presenta en Matemáticas de sexto grado.

Resultados de logro educativo. Matemáticas 6°

Muestra 1° levantamiento Error de la media 3° levantamiento Error de la media

Enciclomedia 331.8 3.1 405.7 0.9

Enciclomedia2 327.9 13.0 403.8 1.1

Enciclomedia3 282.1 13.0 396.6 3.6

El análisis de medias nos ofrece información descriptiva, que es interesante pero no proporciona elementos para reconocer si los cambios o incrementos en las medias son significativos. Por tal razón se procedió a correr un análisis multivariado, exclusivamente con los resultados del tercer levantamiento, para comparar el logro en Español y Matemáticas de los alumnos de 5° y 6° grado, por tipo de muestra.

Se toma como grupo control las escuelas Enciclomedia 3, estableciendo la Hipótesis de que las escuelas Enciclomedia y Enciclomedia 2 tendrán mejores resultados que las escuelas Enciclomedia 3, por ser las que tienen menos tiempo de trabajar con equipo Enciclomedia.

Se pidió la Prueba PostHoc, que se recomienda en diseños ex post facto, técnicamente es una prueba robusta. A partir de los datos de la prueba, se identifica que en todos los casos las escuelas Enciclomedia 3, presentan un menor logro. La diferencia de medias tanto de Español como en Matemáticas es significativa. Con lo que se puede concluir que ha mayor tiempo de exposición al programa los alumnos presentan mejores resultados.

Page 12: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

11

Comparación múltiple. Logro tercer levantamiento por muestra

Intervalo de

confianza al 95%

Variable dependiente

(I)muestra07 (J)muestra07

Diferencia entre

medias (L-J)

Error tip. Signif.

Límite superior

ESPAÑOL 5º ENCICLOMEDIA ENCICLOMEDIA_2

ENCICLOMEDIA_3 ENCICLOMEDIA_3

20.9890(*) 15.7156(*)

2.96048 2.97582

.000

.000 15.6545 10.3535

ESPAÑOL 6º ENCICLOMEDIA ENCICLOMEDIA_2

ENCICLOMEDIA_3 ENCICLOMEDIA_3

15.7075(*) 13.9015(*)

2.72549 2.73961

.000

.000 10.7964 8.9650

MATEMÁTICAS 5º

ENCICLOMEDIA ENCICLOMEDIA_2

ENCICLOMEDIA_3 ENCICLOMEDIA_3

8.4677(*) 5.7982(*)

1.81446 1.82386

.000 .001

5.1982 2.5118

MATEMÁTICAS 6º

ENCICLOMEDIA ENCICLOMEDIA_2

ENCICLOMEDIA_3 ENCICLOMEDIA_3

4.9719(*) 4.2182(*)

1.66615 1.67478

.002

.009 1.9697 1.2004

Se corrió asimismo, la prueba de hipótesis personalizada, que aunque es una prueba que implica un diseño más riguroso, puede ser utilizada en evaluaciones como la que nos ocupa.

Los resultados de esta prueba confirman los hallazgos ya comentados. La diferencia de medias en los dos grados en Español y Matemáticas es significativa, confirmando que las Escuelas Enciclomedia 3, presentan el menor logro.

Contraste de hipótesis personalizado. Logro tercer levantamiento por muestra

Variable dependiente Contraste simple. Hipótesis: Se espera que los alumnos de Enciclomedia3 tengan menor logro que los

alumnos de Enciclomedia y Enciclomedia2 Español 5º Español 6º Matemáticas 5º Matemáticas 6º

Estimación del contraste 20.989 15.707 8.468 4.972 Valor hipotetizado 0 0 0 0 Diferencia (Estimado – Hipotetizado) 20.989 15.707 8.468 4.972

Error tip. 2.960 2.725 1.814 1.666 Significación .000 .000 .000 .003

Límite Inferior 15.185 10.364 4.910 1.705

ENCICLOMEDIA ENCICLOMEDIA3

Intervalo de Confianza al 95% para la diferencia Límite

superior 26.793 21.051 12.025 8.239

Estimación del contraste 15.716 13.901 5.798 4.218 Valor hipotetizado 0 0 0 0 Diferencia (Estimado – Hipotetizado)

15.716 13.901 5.798 4.218

Error tip. 2.976 2.740 1.824 1.675 Significación .000 .000 .001 .012

Límite inferior 9.881 8.530 2.222 .935

ENCICLOMEDIA2 ENCICLOMEDIA3

Intervalo de confianza al 95% para la diferencia Límite

superior 21.550 19.273 9.374 7.502

Categoría de referencia= 3

Page 13: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

12

A partir de contar con información del logro de los educandos recabada en momentos diferentes, se procedió a realizar un análisis multivariado de medidas repetidas. Para ello se tomó la primera medición de los alumnos de 5° grado al inicio del ciclo escolar 2005-2006 para compararla con la medición del 6° grado del tercer levantamiento. Se comparan las mediciones de una misma generación.

El análisis multivariado reporta una serie de índices de los cuales se tomó el de Lambda de Wilks. Este indicador nos muestra que el efecto del tipo de muestra es significativo, quiere decir que existen diferencias en el logro entre las escuelas de los tres tipos de muestra. Al analizar el logro por tipo de muestra a través del tiempo se sigue presentando diferencia significativa, con un efecto muy pequeño (lo cual puede ser entendible considerando el poco tiempo que el programa ha estado en operación) pero con una potencia muy aceptable. Lo que significa que este efecto puede repetirse en muestras similares y en momentos diferentes.

Contrastes multivariados (d)

Efecto Valor F Gl de la hipótesis

Gl del error Significación

Eta al cuadrado

parcial

Parámetro de no centra

lidad

Pontencia Observada

(a) Entre Sujetos

Muestra Lambda de Wilks

0.986 4.100 (b)

4.000 2.248.00

0.003 0.007 16.398 0.918

Intra-sujetos

tiempo muestra

Lambda de Wilks

0.988 3.357 (b)

4.000 2.248.00

0.010 0.006 13.248 0.849

a. Calculado con alfa = .05 b. Estadístico exacto

Entre el logro que se alcanzó al inicio del ciclo escolar 2005-2006 y el alcanzado en el tercer levantamiento, se aplicó un procedimiento para contrastación de hipótesis, tomando como elemento de contraste el tipo de muestra.

Se espera que las Escuelas Enciclomedia 3 tengan menor logro (a través del tiempo) que las escuelas Enciclomedia y Enciclomedia 2. La hipótesis se confirma, existe diferencia significativa en el logro de Español y Matemáticas a favor de las escuelas Enciclomedia y Enciclomedia 2.

Aún queda pendiente identificar qué variables están determinado de manera más precisa la tendencia de: a mayor tiempo de trabajo con equipo Enciclomedia, mayor logro.

Page 14: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

13

Contraste de hipótesis personalizado Hipótesis:

1. Se espera que los alumnos de la muestra de Enciclomedia tengan mayor logro que los de Enciclomedia3 2. Se espera que los alumnos de la muestra de Enciclomedia2 tengan mayor logro que los de Enciclomedia3

Variable promediada Contraste simple muestra 3° levantamiento (a)

Mat Esp Enciclomedia- Enciclomedia3

Estimación del contraste Valor hipotetizado Diferencia (Estimado-Hipotetizado) Error tip. Significación Intervalo de confianza al 95% para la diferencia Límite inferior

Límite superior

22.108 0

22.108 5.643 0.000 11.036 33.179

27.582 0

27.582 7.130

0.000 13.592 41.572

Enciclomedia2 Enciclomedia3

Estimación del contraste Valor hipotetizado Diferencia (estimado hipotetizado) Error tip. Significación Intervalo de confianza al 95% para la diferencia Límite inferior

Límite superior

19.043 0

19.043 5.652 0.001 7.953

30.132

24.828 0

24.828 7.142 0.001

10.815 38.840

Se utiliza una prueba más, que confirma lo expuesto. En todas las comparaciones se observa diferencia significativa entre las medias.

Comparaciones múltiples Pruebas posthoc T de Dunnett (>control)

Intervalo de confianza al

95% Medida (I)muestra07 (J)muestra07

Diferencia entre

medias (I-J)

Error tip. Signif.

Límite superior

mat ENCICLOMEDIA

ENCICLOMEDIA_2

ENCICLOMEDIA_3

ENCICLOMEDIA_3

22.1079(*)

19.0427(*)

5.64275

5.65197

0.000

0.001

11.9031

8.8212

esp ENCICLOMEDIA

ENCICLOMEDIA_2

ENCICLOMEDIA_3

ENCICLOMEDIA_3

27.5820(*)

24.8277(*)

7.13014

7.14180

0.000

0.000

14.6874

11.9120

Basado en las medias observadas. *. La diferencia de medias es significativa al nivel de 0.05 a. Las pruebas de Dunnett tratan un grupo como control y lo comparan con todos los demás grupos

Page 15: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

14

a. Factores contextuales

i. A partir de las respuestas de los Alumnos

Una vertiente más de los análisis realizados tiene que ver con el ex post facto. Se busca encontrar variables asociadas con altos desempeños en alumnos que han recibido clases con equipo Enciclomedia. Los análisis se desarrollan organizando a la población por nivel de desempeño. Se compara a los alumnos de alto desempeño que han recibido clases con equipo Enciclomedia, con los que no han recibido clases con Enciclomedia.

Se parte de la medición realizada en mayo de 2006 y la información de los alumnos, incluyendo los índices generados.

1. Se acepta la declaración del alumno a la pregunta “¿Has tenido clases con el equipo de Enciclomedia?”, como declaración de que se ha estado expuesto al estímulo.

2. El diseño de prueba consiste en comparar los grupos de alto desempeño académico (quintil cinco) que si han estado expuestos a Enciclomedia con los que no lo han estado.

3. También se estudian las diferencias entre los alumnos que estando expuestos a Enciclomedia pertenecen a los grupos de bajo desempeño (primer quintil) a fin de estudiar su perfil diferencial con los de alto desempeño.

4. Finalmente en el grupo expuesto a Enciclomedia se estudian cuáles son los atributos que están asociados con un mejor desempeño académico.

A partir del análisis ex post facto, se logró delinear, en 2006, algunas características asociadas a los alumnos de quinto grado con altos desempeños. Se encontraron diferencias entre los alumnos que aprenden con Enciclomedia en este bloque de aspectos.

Para desarrollar estos análisis se construyeron los siguientes índices

• Escolar temprano • Escolar tardío • Escolaridad padres • Condiciones básicas aprendizaje • Actitud hacia maestro • Pasividad-Actividad en el salón • Claridad de la comunicación • Calidad de la interacción con el maestro • Uso de apoyos para hacer tarea • Disponibilidad de computadoras • Índice de efectividad Enciclomedia • Problemas de operación de Enciclomedia

Page 16: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

15

I.-Comparación grupos de alto desempeño académico que han estado y no expuestos a Enciclomedia.

• El alumno que está expuesto a Enciclomedia – tiene padres con mayor escolaridad, – cuenta con mejores condiciones básicas de aprendizaje, – muestra mejor actitud hacia el maestro, – percibe mayor claridad en la comunicación, – mejor calidad de interacción con el maestro, – usa más apoyos para hacer la tarea – y tiene mayor disponibilidad para el uso de una computadora.

• No se observan diferencias entre los grupos que tienen Enciclomedia y los que no la tienen en el aspecto de actividad-pasividad en el salón de clases, este índice se construyó con el conteo de respuestas positivas a las siguientes respuestas:

– Escuchamos cuentos o historias – Hacemos dictado – Leemos los Libros de texto – Resolvemos ejercicios en el pizarrón – Hacemos ejercicios en el cuaderno – Hacemos trabajos en equipo

• Asimismo, con los resultados de 2006 se concluye que en Ciencias Naturales los alumnos que no aprenden con Enciclomedia presentan mejores logros que los que aprenden con Enciclomedia, situación contraria se presenta en el caso de Español.

Analizando exclusivamente a los alumnos que aprenden con Enciclomedia con alto y bajo desempeño, se observa que los alumnos de alto desempeño presentan diferencias significativas en todos los aspectos.

II.-Comparación grupos de alto y bajo desempeño académico que han estado expuestos a Enciclomedia

• Se observan diferencias significativas en todos los aspectos en favor del alumno con alto desempeño.

• Las variables de la actitud del maestro y la interacción maestro-alumno son las que ejercen mayor impacto.

• En los resultados académicos las diferencias son notables y significativas estadísti-camente. Las mayores diferencias se presentan en Español y Educación Cívica en favor del grupo que aprende con Enciclomedia.

Con la información del levantamiento de datos del tercer levantamiento, se continúo analizando los datos desde la perspectiva descriptiva. Enseguida se listan las Variables Predictoras asociadas al logro.

Español • Problemas efectividad ENCICLOMEDIA • Problemas operación ENCICLOMEDIA • Calidad interacción maestro-alumno • Disponibilidad de computadora por parte del alumno

Page 17: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

16

• Efectividad de ENCICLOMEDIA • Actitud del alumno hacia el maestro • Claridad de la comunicación maestro-alumno • Uso de apoyos para hacer la tarea

Matemáticas • Problemas efectividad ENCICLOMEDIA • Calidad interacción maestro-alumno • Disponibilidad de computadora por parte del alumno • Efectividad de ENCICLOMEDIA • Problemas operación ENCICLOMEDIA • Claridad de la comunicación maestro-alumno • Uso de apoyos para hacer la tarea • Actitud del alumno hacia el maestro

En seguida se presentan algunos de los hallazgos relacionados con factores contextuales asociados al alto y bajo logro. En este caso se organizó a la población en dos grupos, los que se encuentran arriba de la mediana y los que se ubican por abajo.

Uno de los aspectos que más interesa identificar, es el correspondiente a la distribución de los alumnos de alto y bajo logro dentro de los tres grupos de análisis. Como se observa en el grupo de escuelas Enciclomedia3 se ubica el mayor porcentaje de alumnos con logro bajo.

Logro bajo y alto en tercer levantamiento por tipo de muestra Muestra Logro bajo Logro Alto

Enciclomedia 48.9 51.1 Enciclomedia2 50.6 49.4 Enciclomedia3 57.2 42.8

Se espera que el gusto por la escuela por parte de los alumnos sea un factor asociado con un alto logro educativo. Al revisar la información se observa que el mayor porcentaje de los alumnos de las escuelas Enciclomedia3, que tienen gusto por la escuela se ubica en el segmento de bajo logro. Este dato no concuerda con lo esperado, por lo que se requiere ampliar los análisis para identificar qué factores de estas escuelas atraen el gusto de los alumnos.

Logro bajo y alto en tercer levantamiento por tipo de muestra. Gusto del alumno por su escuela

Muestra Logro bajo Logro Alto Enciclomedia 48.6 51.4 Enciclomedia2 50.4 49.6 Enciclomedia3 57.0 43.0

Page 18: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

17

La distribución de la población de alumnos de bajo y alto logro asociada con el uso y percepción en torno a Enciclomedia, también se analizó. Se espera que los alumnos que tienen un mayor uso de las herramientas de Enciclomedia y una percepción positiva del programa se ubiquen con un mayor porcentaje en el segmento de alto logro.

El mayor porcentaje de alumnos de alto logro dicen que todos los días de la semana tienen clases con el equipo de Enciclomedia, que su maestro les ha enseñado a usar el equipo y que las clases con Enciclomedia no les parecen igual que antes.

En contraste los alumnos de bajo logro se ubican con el mayor porcentaje en un día de clases con el equipo, que el maestro no les ha enseñado a usar el equipo y que las clases con Enciclomedia les parecen igual que antes.

Cantidad de días a la semana que tienen clases con el

equipo ENCICLOMEDIA Logro bajo Logro Alto Total

1 Un día 45.8% 31.4% 44.1% 2 Dos días 14.0% 8.1% 13.3% 3 Tres días 11.4% 14.0% 11.7%

4 Cuatro días 7.0% 11.0% 7.5% 5 Todos los días de la semana 21.7% 35.5% 23.4%

Total 100.0% 100.0% 100.0%

El maestro(a) ha enseñado al alumno a usar el equipo

ENCICLOMEDIA Logro bajo Logro Alto Total

No 51.9% 46.2% 51.2% Sí 48.1% 53.8% 48.8%

Total 100.0% 100.0% 100.0%

Al alumno las clases con ENCICLOMEDIA le parecen

IGUAL QUE ANTES Logro bajo Logro Alto Total

No 48.1% 68.3% 50.7% Sí 51.9% 31.7% 49.3%

Total 100.0% 100.0% 100.0%

En este bloque se observa la misma tendencia, el mayor porcentaje de los alumnos de alto logro se ubica en percepciones positivas hacia Enciclomedia.

Page 19: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

18

El alumno considera que con

ENCICLOMEDIA ha aprendido a usar la

computadora

Logro bajo Logro Alto Total

No 37.9% 29.1% 36.7% Sí 62.1% 70.9% 63.3%

Total 100.0% 100.0% 100.0%

El alumno considera que con ENCICLOMEDIA tiene que

esforzarse más Logro bajo Logro Alto Total

No 48.4% 67.4% 50.9% Sí 51.6% 32.6% 49.1%

Total 100.0% 100.0% 100.0%

El alumno considera que con ENCICLOMEDIA el

maestro(a) le enseña mejor Logro bajo Logro Alto Total

No 21.5% 13.1% 20.4% Sí 78.5% 86.9% 79.6%

Total 100.0% 100.0% 100.0%

El alumno considera que con ENCICLOMEDIA han

mejorado sus calificaciones Logro bajo Logro Alto Total

No 30.6% 24.4% 29.8% Sí 69.4% 75.6% 70.2%

Total 100.0% 100.0% 100.0%

ii. A partir de las respuestas de los Docentes

Otra fuente de información corresponde a las opiniones de los docentes. Se desarrollaron análisis ex post facto, con la construcción de índices para identificar variables predictoras de logros educativos en los alumnos, con las mediciones del tercer levantamiento. Se analizaron las respuestas de todos los docentes, tanto de 5° como de 6° grados.

Page 20: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

19

Para el caso de Español, el logro educativo alto se asocia con los docentes que consideran que Enciclomedia ha tenido efectos favorables en los alumnos. Por otro lado, si el director tiene un bajo desempeño y los padres tienen una nula participación en la escuela, se afecta negativamente el logro educativo de los alumnos. Lo relevante de este análisis con los resultados del tercer levantamiento, se centra en que ya se observa como una de las principales variables predictoras la percepción favorable sobre el programa Enciclomedia.

Para el caso de Matemáticas la situación es muy similar. El factor acerca de la percepción sobre Enciclomedia va cobrando importancia como variable predictora del logro educativo.

Se presentan algunos descriptivos de factores asociados al logro desde las opiniones de los docentes. Como parte de la Evaluación de Enciclomedia, tal como ya se ha comentado, es necesario analizar los datos desde diversas perspectivas. Una de ellas tiene que ver con la caracterización de los docentes a partir de los resultados del logro de los alumnos.

Los docentes de los alumnos con mejores logros tanto en Español como en Matemáticas, se caracterizan por haber sido capacitados para utilizar el equipo Enciclomedia, consideran que requieren actualizarse para eficientar el uso de Enciclomedia. Estos docentes no requieren actualización para manejar equipos de cómputo.

De acuerdo con los datos que se presentan, los docentes que requieren actualización en manejo de equipo de cómputo se asocian con los alumnos que presentan logros menores.

Requiere de actualización en uso eficiente de Enciclomedia Español Matemáticas

No 452.9 391.2 Sí 466.2 388.6

Requiere actualización en manejo de equipo cómputo Español Matemáticas

No 446.9 388.6 Sí 443.9 387.2

Le han Capacitado para utilizar el equipo Enciclomedia Español Matemáticas

No 436.3 382.9 Sí 447.9 389.2

En este segundo bloque, que presentan algunas de las opiniones que los docentes tienen acerca de Enciclomedia, se observa que la percepción positiva de los docentes es un factor que se asocia positivamente con el mejor logro educativo de los alumnos.

Page 21: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

20

La pregunta que se debe buscar resolver es: Enciclomedia promueve la actitud positiva de los docentes o los docentes con mejor actitud hacia programas innovadores logran aprovechar de mejor manera las herramientas que ofrece Enciclomedia.

Le gusta utilizar el equipo Enciclomedia Español Matemáticas

No 443.0 381.5 Sí 446.1 388.4

Requiere actualización en manejo de equipo cómputo Español Matemáticas

No 446.4 388.5 Sí 442.8 383.2

Le han capacitado para utilizar el equipo Enciclomedia Español Matemáticas

No 447.7 389.4 Sí 440.5 382.2

iii. A partir de las respuestas de los Directores

Finalmente se analizan las opiniones de los directores. Se desarrollaron análisis ex post facto, con la construcción de índices para identificar variables predictoras de logros educativos en los alumnos, con las mediciones del tercer levantamiento.

Para el caso de Español, el logro educativo alto se asocia con los directores que evalúan favorablemente a Enciclomedia y consideran que apoya el trabajo docente y el desempeño de los alumnos. Se ubica como variable predictora en el logro el que los padres de familia participen en las actividades de la escuela.

Tal como ocurre con las opiniones de los docentes, se observa como una de las principales variables predictoras la percepción favorable sobre el programa Enciclomedia.

Español 5° grado

• Más de la mitad de los padres de familia participan en las actividades de la escuela. • Evaluación favorable del Programa. • Enciclomedia apoya el trabajo de docentes y el desempeño de alumnos.

6° grado • Efectos percibidos de Enciclomedia en docentes. • Más de la mitad de los padres de familia participan en las actividades de la escuela. • Evaluación favorable del Programa.

Page 22: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

21

Al analizar las variables con el logro en Matemáticas, se continúa presentando como variable relevante en ambos grados que los directores evalúen favorablemente al Programa Enciclomedia, además en sexto grado se identifican las mismas variables que en quinto grado, la percepción de que Enciclomedia tiene efecto en los docentes y que los padres de familia participen en las actividades de la escuela.

Matemáticas 5° grado

• Evaluación favorable del Programa 6° grado

• Efectos percibidos de Enciclomedia en docentes. • Evaluación favorable del Programa. • Más de la mitad de los padres de familia participan en las actividades de la escuela.

Se presentan algunos descriptivos de factores asociados al logro desde las opiniones de los directores, a fin de identificar algunas características de los directores asociadas a resultados del logro de los alumnos.

Los directores de escuelas con los alumnos de mejor logro reportan que requieren actualización en el uso eficiente de Enciclomedia, no así para el manejo de equipo de cómputo. Se puede suponer que manejan eficientemente un equipo pues reportan tener computadora en casa. También se puede suponer que es personal interesado por desempeñar de mejor manera su función al estar interesado en actualizarse para usar eficientemente Enciclomedia.

Requiere de actualización en uso eficiente de Enciclomedia Español Matemáticas

No 452.7 394.9 Sí 462.9 402.2

Requiere actualización en manejo de equipo cómputo Español Matemáticas

No 468.0 406.8 Sí 458.7 399.4

Le han capacitado para utilizar el equipo Enciclomedia Español Matemáticas

No 442.9 389.0 Sí 464.9 400.2

Se presentan algunos indicadores para caracterizar el perfil directivo.

Los directores de escuelas con mejores logros dicen apoyar a los profesores en su trabajo frente a grupo, sin embargo consideran que el desempeño docente no contribuye a que los alumnos alcancen un mejor

Page 23: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

22

logro. Al revisar algunas otras características que no se presentan en esta selección de resultados, se observa que estos directores son exigentes hacia el trabajo de los docentes, exigencia que muy probablemente impulsa la calidad del trabajo realizado en los centros escolares.

El director apoya al profesor en su trabajo frente a grupo Español Matemáticas

Nunca 403.6 371.9 Siempre 463.5 401.9

En la escuela se promueve la regularización de alumnos Español Matemáticas

No 456.7 402.4 Sí 460.4 400.3

El desempeño de los docentes contribuye a que los alumnos

alcancen un mejor logro Español Matemáticas

No 465.3 404.9 Sí 460.5 400.6

iv. Habilidades computacionales y uso de la computadora por parte de los docentes

Otra vertiente de análisis corresponde al desarrollo de índices de habilidades computacionales y uso de la computadora por parte de los docentes. Este índice es considerado relevante ya que Enciclomedia tiene como medio de uso la computadora. Si los docentes no se entienden con las computadoras no podrán aprovechar los recursos que dan sentido al programa. En tanto en la medida que sean capacitados o se autocapaciten y utilicen los equipos, la habilidad computacional será mayor.

El índice se conformó con cinco categorías, como resultado de un análisis de varianza se identificaron los grupos de docentes que sustentan la definición de las cinco categorías.

Mediante un análisis de conglomerados y comparación de medias se definieron los grupos. En el primero se agrupan los docentes que tienen una excelente utilización y habilidad (son docentes que frecuentemente utilizan procesadores de texto, hojas de cálculo, programas para generar presen-taciones gráficas; que frecuentemente utilizan Internet, para buscar información, bajar música, enviar correos electrónicos). El quinto grupo se formó con los docentes que no se entienden con las computadoras, se identificó este grupo como de muy baja utilización y habilidad.

De acuerdo con los datos recogidos en 2006, 19 de cada cien docentes tenían una buena y excelente utilización y habilidad computacional y 17 de cada cien docentes se reporta con muy baja utilización y

Page 24: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

23

habilidad. En el tercer levantamiento, 31 de cada cien docentes integran los grupos de excelente y buena utilización y habilidad. En tanto en el grupo de muy baja utilización y habilidad se ubica el 2.5 por ciento de los docentes encuestados.

Los grupos de utilización y habilidad media y baja mantienen en ambos años porcentajes similares.

Considerando que, para el tercer levantamiento, en todas las escuelas que conforman la muestra existen equipos de Enciclomedia, es de esperar que los docentes tengan mayor acercamiento al manejo de equipos de cómputo y mayor habilidad, incluso para encender y apagar equipos, imprimir documentos o abrir y cerrar archivos.

Segundo levantamiento % de docente

por nivel Tercer levantamiento % de docente

por nivel I. Excelente utilización

y habilidad 3.9 I. Excelente utilización

y habilidad 6.5

II. Buena utilización y habilidad 15.2

II. Buena utilización y habilidad 27.2

III. Utilización y habilidad media 30.1

III. Utilización y habilidad media 38.9

IV. Baja utilización y habilidad 33.1

IV. Baja utilización y habilidad 24.8

V. Muy baja utilización y habilidad

17.7 V. Muy baja utilización y

habilidad 2.5

Tanto en el segundo como en el tercer levantamiento el mayor porcentaje de docentes se concentra entre los grupos de media a muy baja utilización y habilidad. Cabe destacar que estos grupos concentraban en 2006 alrededor del 83 por ciento de los docentes y en el tercer levantamiento, el porcentaje disminuyó a 66 por ciento.

El porcentaje más alto de docentes con muy baja utilización y habilidad se concentra en las escuelas Enciclomedia 3 en 2006, situación que se reporta con una importante disminución en el tercer levantamiento. En 2006 las escuelas Enciclomedia 3 no habían recibido equipos de Enciclomedia.

A tres años de haber iniciado el Programa Enciclomedia el porcentaje de docentes que no se entienden con las computaras ha decrecido de manera importante.

Page 25: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

24

Niveles de uso y habilidad computacionales en docentes.

Por muestra y levantamiento 2° levantamiento I II III IV V

Enciclomedia 4.2 14.9 30.2 35.0 15.7 Enciclomedia_2 3.6 16.3 30.8 31.4 18.0 Enciclomedia_3 3.7 8.1 25.2 33.3 29.6

3° levantamiento I II III IV V Enciclomedia 7.3 25.8 38.9 25.3 2.7 Enciclomedia_2 5.5 29.4 36.6 23.2 2.3 Enciclomedia_3 8.0 22.3 33.9 33.0 2.7

El logro de los alumnos de docentes con excelente utilización y habilidad computacional, es mayor en Español, Matemáticas, Ciencias y Geografía.

Es importante referir que las diferencias no son significativas estadísticamente. Muestran cierta tendencia que es recomendable dar seguimiento para orientar acciones de capacitación a docentes.

Niveles I y V de uso y habilidad computacionales en docentes, según asignatura 3° levantamiento I V

Español 444.5 438.8 Matemáticas 387.8 384.8 Ciencias y Geografía 387.0 383.3 Historia y Civismo 406.9 409.5

Dentro de la caracterización de los docentes que integran cada uno de los grupos definidos, se puede comentar que más del 50 por ciento de los docentes de 20 a 30 años se ubican en el grupo de excelente y buena utilización y habilidad; en tanto sólo el 19 por ciento de los docentes de más de 50 años se ubica en estos grupos. Podríamos comentar que los docentes de menos de 30 años crecieron con las computadoras como herramienta de juego y trabajo.

Los docentes jóvenes tienen la ventaja de “llevarse muy bien con las computadoras”. Los docentes de más de 40 años tienen la experiencia en el trabajo frente a grupo.

Porcentaje de docentes por niveles de uso y habilidad computacionales, según rango de edad (horizontal)

Edad I II III IV V De 20 a 30 años. 17.1 47.3 29.5 6.2 0 De 31 a 40 años. 6.4 33.5 38.6 20.3 1.3 De 41 a 50 años 3.8 21.0 43.0 29.3 2.8 Más de 50 años 4.7 14.5 34.9 39.3 6.6

Page 26: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

25

El mayor porcentaje de docentes de menos de 30 años se ubica en el grupo de excelente utilización y habilidad computacional, en tanto el mayor porcentaje de los docentes que se ubican en el grupo de muy baja utilización y habilidad tienen más de 40 años.

Porcentaje de docentes por edad según niveles de uso y habilidad computacionales (vertical)

Edad I II III IV V De 20 a 30 años. 40.1 26.6 11.6 3.8 0 De 31 a 40 años. 22.6 28.7 23.0 19.1 12.5 De 41 a 50 años 29.6 38.9 55.6 59.8 58.3 Más de 50 años 7.8 5.8 9.8 17.3 29.2

El nivel de estudios de los docentes se encuentra directamente relacionado con el grupo en el que se ubican en cuanto la utilización y habilidad computacional. La mayor parte de los docentes con licenciatura y maestría se distribuyen entre los grupos de excelente y mediana utilización y habilidad; mientras que la mayor parte de los docentes con normal básica se ubican entre los grupos de mediana y muy baja utilización y habilidad computacional.

Porcentaje de docentes por niveles de uso y habilidad computacionales, según nivel educativo (horizontal)

Nivel máximo de estudios I II III IV V Normal Básica. 3.6 17.3 40.8 34.2 4.1 Normal Superior o especialidad. 3.0 23.9 40.5 28.8 3.8 Licenciatura. 8.2 33.3 37.6 19.5 1.5 Maestría. 17.0 38.6 38.1 6.3 0.0

De acuerdo con la presentación de porcentajes por grupo de pertenencia, se observa que en el grupo de excelente utilización y habilidad el mayor porcentaje corresponde a los docentes con licenciatura.

Y en el grupo de muy baja utilización y habilidad el mayor porcentaje corresponde a los docentes con normal básica.

Porcentaje de docentes por nivel educativo, según niveles de uso y habilidad computacionales (vertical)

Nivel máximo de estudios I II III IV V Normal Básica. 17.8 20.4 33.4 44.1 51.5 Normal Superior o especialidad. 6.7 12.7 15.0 16.7 21.1 Licenciatura. 60.5 58.7 46.0 37.7 27.3 Maestría. 15.0 8.2 5.6 1.5 0

Page 27: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

26

Enseguida se sintetizan algunas características de los docentes de acuerdo con su nivel de uso y habilidad computacional.

Del total de docentes que se ubican en el grupo de muy baja utilización siete de cada diez refiere que tiene limitaciones para operar Enciclomedia; sólo tres de cada diez tiene computadora en casa y uno de cada diez tiene internet en casa.

En contraste, en el grupo de excelente utilización y habilidad nueve de cada diez docentes tiene computadora en casa; el 65 por ciento cuenta con internet y sólo dos de cada diez docentes consideran que tienen limitaciones para operar Enciclomedia.

Porcentaje de docentes por niveles de uso y habilidad computacionales y características relacionadas con las tecnologías

I II III IV V Tengo limitaciones para operar esta nueva tecnología

20.1 26.3 46.2 64.6 70.5

Tiene computadora en su casa 89.1 84.2 69.0 52.9 33.0 Tiene internet en su casa 65.3 49.3 26.0 18.1 9.8

Otro de los aspectos que se consideró importante analizar con base en el índice de utilización y habilidad computacional de los docentes, se relaciona con la percepción positiva hacia el Programa Enciclomedia.

En el cuadro se registra el porcentaje de docentes que señaló estar totalmente de acuerdo con la declaración que se les presentó.

Con esta selección de declaraciones se puede tener un panorama general de la aceptación de Enciclomedia por su utilidad para el docente y con la congruencia con el enfoque y contenidos del programa de estudios.

En el grupo de excelente utilización y habilidad se ubica el mayor porcentaje de docentes que reconoce a Enciclomedia como un apoyo para desempeñar su labor, además de observar congruencia con el enfoque y contenidos del programa.

Probablemente estos docentes no enfrentan complicaciones extras para el manejo de los equipos, como sería el entender cómo funciona una PC, o aprender a navegar por internet, o incluso “abrir” y “cerrar” archivos; y por lo tanto están en posibilidades de aprovechar los recursos que se ofrecen. Lo que probablemente no ocurre con los docentes que se ubican en el grupo de muy baja utilización y habilidad computacional y por tanto muestran poco reconocimiento al apoyo que les puede brindar el Programa.

Page 28: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

27

Porcentaje de docentes por niveles de uso y habilidad computacionales, según percepción hacia el programa Enciclomedia

Percepción hacia Enciclomedia I II III IV V Enciclomedia me ha servido para mejorar la planeación de mis clases. 73.2 69.1 63.9 54.5 38.0

Enciclomedia me ha servido para evaluar mejor a mis alumnos.

50.0 47.5 39.7 34.1 30.8

El uso de equipo Enciclomedia facilita mi labor

78.2 77.4 74.8 63.1 45.6

Enciclomedia es compatible con el uso de otros materiales didácticos.

85.9 84.2 83.0 75.7 56.8

Enciclomedia está acorde con el enfoque del programa. 88.7 87.8 88.1 84.0 77.5

Enciclomedia está acorde con los contenidos del programa. 88.3 87.4 86.6 82.9 73.4

Otro de los aspectos que se relaciona con la aceptación del Programa por parte de los docentes, tiene que ver con el impacto del programa en el desempeño de los alumnos. Con variaciones pequeñas en la proporción de docentes en cada grupo, se puede señalar que un alto porcentaje considera que Enciclomedia favorece el mejor desempeño y actitud de los alumnos; sin duda son los docentes del grupo de excelente y buena utilización y habilidad, los que en mayor proporción están totalmente de acuerdo en ello.

Porcentaje de docentes por niveles de uso y habilidad computacionales,

según percepción sobre el impacto del programa en el desempeño de los alumnos Percepción sobre impacto de

Enciclomedia I II III IV V

Transforma las formas de enseñar 76.5 73.8 69.8 67.5 62.3 Aumenta el nivel de participación de los alumnos 73.8 73.2 69.9 69.2 66.3

Favorece el interés de los alumnos por las nuevas tecnologías 89.7 85.3 82.9 80.4 74.1

Favorece la creatividad de los alumnos

88.8 91.7 87.0 88.5 87.7

Favorece el entendimiento de la mayoría de los alumnos.

81.6 81.5 79.3 75.2 80.6

En otro bloque de declaraciones, el centro de interés corresponde al manejo del equipo de Enciclomedia, tanto al gusto y satisfacción con el equipo como al tema de haber recibido capacitación para operarlo.

Page 29: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

28

Se observan cosas interesantes, en general a los docentes les gusta utilizar el equipo, los porcentajes son muy parejos, salvo el caso de los docentes que se ubican en el grupo de baja utilización y habilidad, que aunque menor que los otros, se puede decir que nueve de cada diez docentes está satisfecho con el equipo, proporción muy buena.

La proporción de docentes que se encuentra satisfecho con el equipo no varía más de 10 puntos, entre los grupos. Queda pendiente confirmar si las constantes fallas que se han reportado en los equipos es el principal factor de insatisfacción por parte de los docentes.

Por otro lado, en cuanto a la capacitación para usar los equipos, en el grupo de muy baja utilización y habilidad siete de cada diez docentes han recibido capacitación para utilizar el equipo, lo que corresponde a la menor proporción de docentes que dicen haber recibido capacitación; en tanto la mayor proporción se ubica en el grupo de buena utilización y habilidad, donde casi ocho de cada diez docentes recibieron capacitación.

El porcentaje de docentes que dicen haberse capacitado por su cuenta, presenta gran variación entre el grupo de excelente con el de muy baja utilización y habilidad computacional, va de 82.5 a 33.3 por ciento, casi 50 puntos porcentuales de diferencia.

Porcentaje de docentes por niveles de uso y habilidad computacionales, según percepción sobre capacitación en el programa Enciclomedia

I II III IV V Me gusta utilizar equipo Enciclomedia.

99.2 99.3 99.3 88.0 96.2

Estoy satisfecho con el equipo Enciclomedia.

75.5 77.7 78.5 73.2 65.8

Me han capacitado para utilizar el equipo Enciclomedia.

80.6 84.0 82.8 76.4 70.1

Me he capacitado por mi cuenta en el uso del equipo Enciclomedia. 82.5 76.6 63.8 45.6 33.3

v. Algunas características de las escuelas de la muestra

En el primer levantamiento de datos, desarrollado al inicio del ciclo escolar 2005-2006, se levantó información sobre algunas características de las escuelas y de su entorno. Enseguida se presentan algunos descriptivos que permiten caracterizar a las escuelas Enciclomedia, Enciclomedia2 y Enciclomedia3.

De acuerdo con las condiciones que se observan las escuelas Enciclomedia3 (las que recibieron los equipos Enciclomedia en el ciclo escolar 2006-2007) se pueden caracterizar por ser escuelas de comunidades pequeñas con problemas de infraestructura y población en su mayoría dedicada a actividades económicas primarias.

Page 30: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

29

Este aspecto es fundamental de considerar al analizar los resultados de logro en torno al impacto del programa Enciclomedia.

Las escuelas Enciclomedia3 son las que en mayor proporción se ubican en zonas seguras y libres de peligro, probablemente son escuelas que no se ubican en zonas urbanas.

Las calles aledañas son seguras y libres de peligro Muestra Sí No

Enciclomedia 48.7 51.3 Enciclomedia2 55.8 44.2 Enciclomedia3 64.4 35.6

En seis de cada diez escuelas la vigilancia no es adecuada. No hay diferencia de consideración en algunos de los grupos de escuelas que conforman la muestra.

En la comunidad donde se ubica la escuela hay vigilancia adecuada Muestra Sí No

Enciclomedia 38.1 61.9 Enciclomedia2 36.7 63.3 Enciclomedia3 32.5 67.5

Siete de cada diez escuelas Enciclomedia reportan problemas de drogadicción, pandillerismo, etc., en contraste con el reporte de las escuelas Enciclomedia3 en donde son cerca de 4 por cada diez en las que se reportan estos problemas.

En la comunidad donde se ubica la escuela hay problemas de drogadicción, pandillerismo, robo, entre otros

Muestra Sí No Enciclomedia 70.0 30.0 Enciclomedia2 59.7 40.3 Enciclomedia3 37.8 62.2

La actividad económica primaria prevalece en las comunidades en las que se ubican las escuelas Enciclomedia3.

Actividad económica de la comunidad Muestra Primaria Secundaria Terciaria

Enciclomedia 44.5 34.0 21.5 Enciclomedia2 48.2 36.7 15.1 Enciclomedia3 81.8 10.4 7.8

Page 31: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

30

En el grupo de escuelas Enciclomedia3 se presenta el mayor porcentaje sin electricidad. Lo anterior refuerza que esta muestra es más rural.

En la comunidad cuentan con electricidad Muestra Sí No

Enciclomedia 99.8 0.2 Enciclomedia2 99.8 0.2 Enciclomedia3 92.7 7.3

En cuatro de cada diez comunidades en las que se ubican las escuelas Enciclomedia3 no cuentan con líneas telefónicas.

En la comunidad cuentan con líneas telefónicas Muestra Sí No

Enciclomedia 90.3 9.7 Enciclomedia2 86.4 13.6 Enciclomedia3 56.4 43.6

Las muestras, dado la fecha de dotación del programa, dan indicios de diferencias contextuales entre ellas: desde la más urbana (Enciclomedia) hasta la más rural (Enciclomedia3). Así por ejemplo, la incidencia de problemas de inseguridad y de drogadicción son más frecuentes en la primera que en la tercera (la segunda muestra tiene frecuencias intermedias). Esto también se observa en torno a otras variables como actividad económica y dotación de algunos servicios públicos. Así, se aprecia cómo el porcentaje de sector primario aumenta entre las muestras, lo cual parece indicar que las escuelas de la muestra Enciclomedia3 son más rurales que las anteriores muestras. Lo anterior tiene relevancia porque muestra que la dotación fue de las áreas urbanas a las rurales.

Esto es un claro ejemplo de cómo el tema de equidad no es ámbito de decisión. Si en verdad se desea disminuir o abatir la brecha digital, lo más obvio es que se iniciara en aquellas escuelas donde de antemano no tenían acceso a la tecnología. Pero la equidad no parece ser tema de interés en la agenda pública educativa.

Page 32: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

31

vi. Cómo mejorar el desempeño de Docentes y Directores

Se inició este informe con lo que los alumnos sugieren para mejorar Enciclomedia. Se indagó con los profesores acerca de los aspectos que ellos proponen para mejorar su labor con los alumnos. Los docentes consideran necesario recibir cursos o talleres de actualización en los siguientes aspectos:

Aspectos que los docentes manifiestan necesario recibir capacitación Area de capacitación %

Uso eficiente del programa Enciclomedia 21.2 Uso de paquetería básica (Word, Excel, Power point) 16.9 Apoyo en el uso de Enciclomedia en los contenidos curriculares de Español, Matemáticas, Ciencias Naturales, Geografía y Educación para la salud. 16.4

Capacitación en el uso de los equipos de cómputo 12.1 Uso de internet y correo electrónico 9.8 Actualización en Enciclomedia 8.1 Capacitación para un mejor uso de pizarrón, lápiz electrónico y ligas. 5.1 Asesoría sobre solución a problemas técnicos en equipos 4.8 Capacitación en multimedia 2.7

Los directores consideran necesario actualizarse en:

• Uso de Enciclomedia en grupo multigrado.

• Computación. Uso de programas básicos.

• Manejo de herramientas de Enciclomedia.

• Aula de medios.

• Mantenimiento de equipos.

• Uso de Encarta.

• Aprovechamiento de los recursos técnicos.

• Administración educativa.

• Evaluación.

Page 33: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

32

Los directores expresaron su opinión en torno a Enciclomedia, de la diversidad de comentarios que se recibieron en los cuestionarios aplicados se reportan con mayor frecuencia las siguientes opiniones:

• Promueve la actualización y la investigación en los docentes.

• Rompe con lo tradicional. Transforma las formas de enseñar.

• La optimización del recurso depende del dominio, capacitación y actualización docente.

• Es una herramienta útil, pero no resuelve todos los problemas que existen en el quehacer educativo.

• No se da mantenimiento oportuno a los equipos, ni se reparan de manera pronta.

De acuerdo con la opinión de los directores, para mejorar la operación de Enciclomedia es necesario atender de manera prioritaria las siguientes recomendaciones:

• Adaptación del Programa a escuelas multigrado.

• Capacitar a todos los maestros de la escuela.

• Definir acciones para que los maestros tengan acceso al Programa para la adecuada planeación de sus clases.

• Establecer un programa de acompañamiento más eficiente.

• Promover la actualización oportuna, permanente y diversificada.

Page 34: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

33

2. CONCLUSIONES

Con base en los análisis que se han realizado con la información recabada en cada uno de los tres levantamientos de datos, se presentan aquí algunas conclusiones en torno al impacto de Enciclomedia en las escuelas primarias.

• Existe una amplia aceptación del programa por parte de directores, profesores, alumnos y padres de familia.

• Hay evidencia empírica de impacto del programa en los niveles de logro de lo alumnos.

• Se cuenta con evidencia de que la intensidad de uso de Enciclomedia incide positivamente en el logro de los alumnos.

• Se cuenta con evidencia de que la “habilidad computacional” de los maestros incide positivamente en los niveles de logro.

• Los alumnos de maestros que usan con mayor frecuencia la computadora y la Internet en su vida cotidiana, presentan mejores niveles de logro educativo.

• En cuanto a los niveles de aprendizaje, el diseño actual de Enciclomedia, no promueve habilidades intelectuales complejas y en algunos casos promueve el saber enciclopédico.

Page 35: MÉXICO D. F., JULIO DE 2008

Centro de Estudios Educativos

34

3. SUGERENCIAS

Finalmente se presentan algunas de las sugerencias más importantes derivadas de los resultados encontrados.

• Mejorar e intensificar la actualización.

• Producir software para propiciar el aprendizaje de acuerdo con los enfoques programáticos.

• Mejorar la asistencia técnica a las escuelas.

• Continuar la evaluación, fortaleciendo la investigación cualitativa.

• Promover en las escuelas procesos de autoevaluación, con base en los resultados de la evaluación externa.