Perspectivas de la inclusión de las TICs en educación y su evaluación en el logro de aprendizajes

Permitida su reproducción total o parcial. Los autores son responsables por la selección y presentación de los hechos contenidos en esta publicación, así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organización.

Las denominaciones empleadas en esta publicación y la presentación de los datos que en ella figuran no implican, de parte de la UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, ciudades, territorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o límites

Perspectivas de la inclusión de

las TICs en educación y su

evaluación en el logro de

aprendizajes

Miguel Nussbaum y Patricio Rodríguez * Departamento de Ciencia de la Computación, Escuela de Ingeniería,

Pontificia Universidad Católica de Chile, Edificio San Agustín P4, Av. Vicuña Mackenna 4860, Santiago, Chile

{mn, patricio}@ing.puc.cl // Tel: +56-2-354 4440

Nussbaum, M. & Rodríguez, P. (2010) Perspectivas de la inclusión de las TICs en educación y su evaluación en el logro de aprendizaje

Permitida su reproducción total o parcial. Los autores son responsables por la selección y presentación de los hechos contenidos en esta publicación, así como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de la UNESCO y no comprometen a la Organización.

Las denominaciones empleadas en esta publicación y la presentación de los datos que en ella figuran no implican, de parte de la UNESCO, ninguna toma de posición respecto al estatuto jurídico de los países, ciudades, territorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o límites

Resumen Ejecutivo

Las principales razones usadas para justificar las TICs en educación son apoyar el crecimiento económico, promover el desarrollo social, avanzar en la reforma educativa y apoyar la administración educativa. Sin embargo, transformar la educación con las TICs está lejos de concretarse, pues las políticas para ello sólo se encuentran en un nivel declarativo. Incluso, aquellos países más avanzados en el tema pasan por una etapa de estancamiento, porque deben tratar explícitamente con la transformación de prácticas pedagógicas que es más difícil de implementar y evaluar. Además, la pregunta sobre cuáles son los efectos de corto y largo plazo en el aprendizaje de los alumnos todavía no tiene respuestas concluyentes.

Con la revisión de la literatura, identificamos dos dimensiones desde dónde analizar qué ha impedido que las TICs tengan el impacto esperado. Estas dimensiones son 1) el diseño y la implementación de las TICs en el contexto educativo, es decir, de cómo se generan e implementan iniciativas TIC en educación; y 2) la evaluación del impacto, es decir, cuál es el valor de las TICs en el sistema educativo.

Con respecto al diseño de los programas educativos apoyados en TICs, en general se antepone la tecnología al uso educativo, aunque debieran estar basados en teorías de aprendizaje y principios pedagógicos. Respecto de la implementación de las TICs, el equipamiento y conectividad solamente habilitan la integración de las TIC en las prácticas pedagógicas, proceso que no ocurre automáticamente como muchos esperaban, identificándose barreras que deben ser manejadas apropiadamente.

En relación a la evaluación del impacto de las TICs en educación, aunque se han llevado a cabo numerosos estudios sobre el particular no es posible obtener respuestas concluyentes. Por un lado, `por problemas metodológicos, clasificables en tres ámbitos: qué medir, con qué medir y cómo medir. Por otro, por problemas en la falta de metodologías estandarizadas ampliamente aceptadas para la medición del impacto, y la carencia de suficiente investigación en la cual basarse para tomar decisiones en un entorno tecnológico cambiante.

A partir de los tres ámbitos a medir, proponemos un modelo conceptual que descompone el proceso de diseño y desarrollo de un programa de informática educativa (PIE) basado en evidencia rigurosa en tres etapas: eficacia, efectividad y eficiencia. En cada una de ellas se identifica qué procesos y software diseñar e implementar, qué medir dentro del proceso educativo considerando la escala y el tiempo requeridos, utilizando técnicas de investigación cuantitativa y cualitativa que expliquen los resultados obtenidos. Este modelo conceptual se ilustra con un ejemplo de un programa educativo basado en aprendizaje colaborativo asistido por computador llamado Eduinnova.

El modelo conceptual propuesto en este trabajo, entrega herramientas al tomador de decisiones para construir una política pública para el desarrollo de PIEs. Por ejemplo, pueden crearse fondos concursables que incentiven el diseño, desarrollo y evaluación de: modelos pedagógicos basados en TICs (eficacia), los procesos de intervención en aquellos proyectos que hayan demostrado su eficacia previamente (efectividad) y el empaquetamiento y mejoras para la masificación en el sistema escolar de aquellas iniciativas efectivas (eficiencia).

Con un proceso de las características descritas se puede construir una política de informática educativa desde las necesidades específicas de las escuelas en vez de buscar usos al equipamiento instalado. Distintas necesidades de aprendizaje, requerirán distintas soluciones de software y hardware posiblemente diversificando el equipamiento existente en las escuelas.

Nussbaum, M. & Rodríguez, P. (2010) Perspectivas de la inclusión de las TICs en educación y su evaluación en el logro de aprendizajes

3

1 Introducción

Hace más de veinticinco años, las tecnologías de infocomunicaciones (TICs) fueron introducidas al sistema escolar (Robertson, 2002; Reynolds et al., 2003). La percepción general era que la tecnología ayudaría a mejorar los niveles de aprendizaje al introducir cambios en los procesos y estrategias de enseñanza-aprendizaje (Culp et al., 2003; Kozma, 2003), adaptándolos a las necesidades individuales de cada estudiante (Sunkel, 2006). En la década de los noventa, la inversión en TICs creció en respuesta a la masificación de la Internet y de la World Wide Web (Pelgrum, 2001) como un esfuerzo de acortar la brecha de inequidad entre la gente con y sin acceso a las TICs, también conocida como brecha digital (Warschauer, 2003). En la actualidad, las razones principales usadas para justificar la inversión de TICs en educación son: apoyar el crecimiento económico, promover el desarrollo social, avanzar en la reforma educativa y apoyar la administración educativa (Kozma, 2008).

Es posible clasificar el desarrollo de los países respecto de las TICs en educación en cuatro etapas (Villanueva, 2003): la etapa emergente, que es cuando se ha tomado conciencia de los beneficios de las TIC en la educación; la etapa de aplicación, que es cuando las autoridades educacionales comienzan a realizar proyectos pilotos en escuelas seleccionadas; la etapa de integración, que es cuando las escuelas cuentan con recursos tecnológicos, se han instalado procesos de capacitación de los docentes y se ha integrado el uso de las TIC en el currículum; y la etapa de transformación, que es cuando las escuelas han incorporado las TIC de manera sistemática e integral en el proceso de enseñanza/aprendizaje y en la organización de la tarea del docente. Por ejemplo, en Iberoamérica, Brasil, Chile, Costa Rica y México ―países donde existen programas públicos de informática educativa― se encuentran principalmente en una etapa de integración (Sunkel, 2006). Sin embargo, las políticas de transformar la educación sólo se encuentran en un nivel declarativo, pero no se han llevado a la práctica (Moonen, 2008). Incluso, aquellos países más avanzados en uso de las TICs en educación, cuando llegan a la etapa de integración sufren de un estancamiento del proceso de implementación porque deben tratar explícitamente con el tema pedagógico que es mucho más complejo en términos de medición de impacto (Moonen, 2008).

Con respecto al impacto de la tecnología, aún quedan respuestas abiertas sobre sus efectos de corto y largo plazo en el aprendizaje de los alumnos y cómo ella afecta tareas de aprendizaje simples y complejas (Cox & Marshall, 2007). Responder estas preguntas es de suma importancia porque permitirá 1) desarrollar políticas de gobierno, 2) focalizar la formación de profesores, 3) mejorar el currículum nacional, 4) adecuar la implementación en sala de clases y 5) analizar los costos y beneficios (Cox & Marshall, 2007).

La pregunta que hay que responder entonces es porqué, a pesar de todos los proyectos llevados a cabo, las inversiones y el tiempo transcurrido, aún las TICs no satisfacen las expectativas de resultados que las llevó a ser introducidas en la sala de clases. El análisis de la literatura, nos permite identificar al menos dos dimensiones desde donde analizar qué ha impedido que se cumplan estas promesas. Estas dimensiones son: 1) El diseño y la implementación de las TICs en el contexto educativo, es decir, de cómo se generan e implementan iniciativas TIC en educación; y 2) La evaluación del impacto de las TICs en el sistema educativo, es decir, qué se mide, con qué y cómo se evalúan los efectos de la introducción de las TICs en el sistema escolar.

Este artículo está estructurado como sigue: en la sección 2, analizamos la dimensión de diseño y la implementación de las TICs en el contexto educativo; en la sección 3, analizamos la dimensión de la evaluación del impacto de las TICs; en la sección 4, planteamos un modelo conceptual que permite combinar el diseño, desarrollo y la evaluación de programas educativos basados en TICs con el fin de manejar los problemas identificados. En la sección 5 analizamos la diseminación de los resultados de esas evaluaciones y su presentación en publicaciones especializadas y en eventos destinados a producir agendas de política El artículo finaliza con las principales conclusiones y perspectivas de trabajo futuro.


4

2 El diseño y la implementación de las TICs en el contexto

educativo

Respecto a esta primera dimensión de análisis, como consideración previa es necesario mencionar que desde siempre ha existido una excesiva fe en las tecnologías para mejorar la enseñanza. Hoy son los computadores en los colegios, pero en el pasado ya se introdujeron otras tecnologías con resultados dispares (Earle, 2002; Castro, 2004). Desde los proyectores de diapositivas, pasando por los laboratorios de lenguaje, la televisión de circuito cerrado y los microcomputadores, la tecnología ha generado promesas en la sala de clases con discretos resultados (Earle, 2002). Lamentablemente, el proceso masivo de introducción de las TICs también repite errores del pasado (Earle, 2002) al basarse en una retórica optimista que no ofrece evidencia que la respalde, respecto a los beneficios de la tecnología (Reynolds et al., 2003; Njenga & Fourie, 2010). Así, una de las dificultades permanentes del uso de la tecnología en educación, es que los tomadores de decisiones piensan primero en la tecnología y solo después investigan sus aplicaciones educativas (Trucano, 2005). Esta lógica tiene como consecuencia que los objetivos educativos de las TICs estén a menudo definidos en forma vaga (Trucano, 2005). Por lo tanto, las TICs ya tienen una carga de expectativas respecto a su impacto que pueden ser desmedidas. Sin embargo, este problema no es particular de la tecnología, ya que a través de la historia de la educación, la adopción de programas instruccionales y sus prácticas, ha estado dirigido más por ideología, tendencias, política y mercadeo, que por la evidencia (Slavin, 2008).

Otra consideración relacionada con la anterior que también debe mencionarse, es que las TICs no fueron

concebidas para la educación; no aparecieron naturalmente en los sistemas de enseñanza; ni fueron demandadas por la comunidad docente (Sunkel, 2006). Esta exterioridad hace que la incorporación de las TIC a la educación resulte ser un proceso altamente dificultoso porque responde a un modelo (con sus conceptos, sus discursos y sus prácticas) originado al exterior de los sistemas de educativos (Sunkel, 2006) e impuesto a los sistemas de enseñanza (Hennessy et al., 2005). Lo anterior se manifiesta en dos ámbitos: el diseño y la implementación de las TICs en educación.

2.1 El diseño de programas educativos con TICs

Respecto al diseño de los programas educativos que usan la informática para apoyar los procesos de enseñanza-aprendizaje, se presta poca atención en general al diseño pedagógico de dichos programas (Trucano, 2005). Sin embargo, dado que en una visión integral, las TICs son una posibilidad más para elegir dentro de otras para el proceso de enseñanza-aprendizaje, deben responder a un diseño pedagógico para que agreguen valor (Earle, 2002) y no sean meramente un caro complemento que apoyen las prácticas tradicionales (Trucano, 2005). Esto significa que las TICs deben estar apoyadas en teorías de aprendizaje y principios pedagógicos (Lai, 2008; Marshall & Cox, 2008; Reeves, 2008) que permitan establecer relaciones entre el uso específico de las TICs, y los posibles resultados (McFarlane, 2001; Earle, 2002). De lo contrario, las nuevas aplicaciones basadas en TICs que se desarrollen, no impactarán de la forma esperada porque están basadas en supuestos equivocados o simplemente no son usables tal como se diseñaron (Penuel, 2005). Un ejemplo de diseño basado en supuestos equivocados es el uso del lenguaje de programación Logo para mejorar la habilidades de planificación de los niños menores de 9 años en la década de los noventa. Investigaciones de décadas anteriores ya demostraban que el procesamiento de la información en los niños es distinto de los adultos, especialmente en habilidades como el pensamiento lógico y la capacidad para llevar a cabo más de una tarea a la vez. Como era de esperar, investigaciones posteriores confirmaron que el desempeño de actividades basadas en Logo dependía del nivel de desarrollo cognitivo de los estudiantes (Cox & Marshall, 2007).

También las TICs introducen distintas representaciones de la información y conocimiento, que los alumnos requieren conocer para resolver los problemas planteados y que influyen en su desempeño, así como también su grado de desarrollo cognitivo. Incluso pueden existir múltiples representaciones para el mismo problema (Cox & Marshall, 2007). Este tema es relevante porque tiene consecuencia en la usabilidad de los ambientes de enseñanza-aprendizaje por parte de los distintos usuarios.

Por otro lado, la extensa investigación sobre la enseñanza-aprendizaje sin TICs tampoco ha sido aprovechada en el diseño de los procesos de enseñanza-aprendizaje con TICs, pasándose por alto aspectos teóricos centrales en cualquier proceso de enseñanza-aprendizaje, con o sin tecnología (Sutherland et al., 2004). Por


5

ejemplo, llama la atención que muchos de los problemas actuales de la introducción de las TICs en el aula están en la literatura señalados desde hace mucho tiempo: hace más de 18 años ya se señalaba que el cambio progresivo ocurrirá, si se hace énfasis en la tecnología de la educación más que la introducción de tecnología en la educación (Spencer, 1991). Más de 10 años después, el estudio Silicon Valley vs Silicon Glen, donde se compara el impacto en el aprendizaje en California y Escocia, muestra que si bien hubo una “transformación” desde el punto de vista de la infraestructura, el quehacer docente no cambió significativamente (Colon & Simpson, 2003).

Tan importante es el modelo pedagógico que la evidencia muestra que aquellas tecnologías que fueron desarrolladas por un equipo de investigación, tienen un mayor impacto que aquellas que fueron simplemente adaptadas del mercado comercial o que solamente usan la tecnología como un medio de entrega (Liao & Hao, 2008).

La carencia de modelos pedagógicos en las propuestas de uso de TICs en los establecimientos, podría ser la causa de la lentitud en la adopción de las TICs, ya que los profesores deben resolver el problema de cómo incorporar de la mejor forma las nuevas tecnologías en las viejas prácticas de enseñanza (Hayes, 2007). Por ello, los profesores necesitan apoyo para desarrollar estos nuevos enfoques antes de integrarlos a su quehacer (Hayes, 2007). La capacitación de los profesores debe considerar además de los aspectos tecnológicos, nuevos enfoques pedagógicos que incluyan las TICs (Hepp, 2003; Cox & Webb, 2004; Trucano, 2005; Sunkel, 2006; Hayes, 2007), pero lamentablemente este proceso toma tiempo y requiere estrategias de formación docente de largo plazo (Hepp, 2003; Trucano, 2005).

2.2 La implementación de las TICs en el contexto educativo

Respecto de la implementación de las TICs, los países siguieron un proceso donde lo primero que se abordó fue la provisión de infraestructura en términos de equipamiento y conectividad (Moonen, 2008). Sin embargo, la infraestructura constituye un habilitador para la integración de las TIC en las prácticas pedagógicas, pero no implica que dicho proceso ocurra automáticamente como muchos esperaban (Earle, 2002; Sunkel, 2006; Hayes, 2007). Así, dentro del proceso de integración y transformación de las prácticas pedagógicas a través del uso TICs (en distintas realidades socioculturales) se identificaron una serie de obstáculos que requieren ser manejados apropiadamente. Entre los más importantes destacan la falta de: confianza, actitudes y

competencias TICs de los profesores (Pelgrum, 2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Cox & Webb, 2004; Trucano, 2005; Tondeur, et al., 2007), infraestructura tecnológica de las escuelas (Pelgrum, 2001; Conlon & Simpson, 2003; Reynolds et al., 2003; Tearle, 2003; Trucano, 2005); supervisión y apoyo técnico (Pelgrum, 2001; Conlon & Simpson, 2003; Tearle, 2003; Trucano, 2005; Hayes, 2007); compromiso

directivo, liderazgo y apoyo (Pelgrum, 2001; Trucano, 2005; Hayes, 2007); tiempo de los profesores para

reuniones, capacitación, ejercicios y planificación de las clases (Conlon & Simpson, 2003; Osborne & Hennessy, 2003) y ejemplos motivadores de usos en clases y materiales curriculares (Conlon & Simpson, 2003; Dool & Kirschner, 2003; Trucano, 2005).

Si a este contexto orientado principalmente a la habilitación tecnológica (Earle, 2002; Tearle, 2003; Hennessy et al., 2005) le añadimos la tendencia de los profesores a adaptar sus prácticas pedagógicas a la tecnologías en vez de transformarlas (Cuban, 2001), el resultado fue que en los colegios se empezó a enseñar TIC en vez de enseñar con TICs, lo que entró en conflicto con el uso de la tecnología para apoyar las restantes asignaturas (Cox, 2008). Para resolver el problema, distintos países integraron las TICs como herramienta de aprendizaje dentro del currículo nacional. Sin embargo, a pesar de ello, estudios recientes indican que existe una brecha entre el curriculum propuesto y el efectivamente implementado (Tondeur et al., 2007). Dicha falta de alineación proviene de la inexistencia de planes de TICs en los colegios que operacionalicen los estándares nacionales en acciones concretas en los establecimientos (Tondeur et al., 2007).

Adicionalmente, el proceso de integración de las TICs se dificulta porque existe una desconexión entre las razones que se presentan para introducir las TICs en educación desarrollar nuevas prácticas de enseñanza y aprendizaje y el desarrollo de las habilidades de pensamiento y aprendizaje del siglo 21 y su implementación, predominantemente la alfabetización digital y la distribución de materiales de aprendizaje (Trucano, 2005). Esto también revela que existe una importante tensión entre la transformación de las prácticas pedagógicas que promueve el discurso de la introducción de las TICs con los resultados que se exigen al sistema a través de pruebas estandarizadas que están asociadas a metodologías de enseñanza más tradicionales (Trucano, 2005; Cox & Marshall, 2007; Law, 2009).


6

Otro problema que ha dificultado la obtención de resultados, es que no se ha puesto suficiente atención a los temas de seguimiento y evaluación que provean retroalimentación tanto para el diseño de la mayoría de las iniciativas de TIC en educación como para la política educativa respecto de las lecciones aprendidas de los proyectos pilotos (Trucano, 2005; Anderson & Plomp, 2009).

El seguimiento de un programa educativo basado en TICs debe examinar qué y cómo se está implementando (fidelidad de la implementación) (Wagner et al., 2005) mientas que la evaluación analiza los efectos directos o inmediatos de la intervención e implementación (Rovai, 2003) para medir desempeño. El objetivo principal de medir la fidelidad de la implementación es determinar si el programa está operando como debe en términos generales (Rovai, 2003; Wagner et al., 2005) y de acuerdo a las intenciones específicas de los diseñadores (Agodini et al., 2003). Para que esto sea posible, los diseñadores deben primero especificar cuáles son los aspectos importantes o críticos que los profesores deben llevar acabo dentro de la sala de clases y desarrollar medidas para determinar cuándo y cómo estos aspectos son puestos en práctica en las salas de clases (Penuel, 2005). El seguimiento y evaluación puede entregar un entendimiento más profundo de la relación entre la variación de la implementación de un programa y los efectos medidos (Agodini et al., 2003; Penuel, 2005). También permite identificar cuáles son los límites de la aplicabilidad o flexibilidad del programa, así como también posibles errores de diseño (Penuel, 2005; Light, 2008).

La falta de implementación de mecanismos de seguimiento y evaluación hace que no estén disponibles datos o herramientas concretas respecto a los temas y desafíos que significan la integración de las TICs a las escuelas, limitando su difusión fuera del círculo de expertos y usuarios experimentados, hacia la mayoría de los tomadores de decisiones, donantes y educadores legos en el uso de las TICs en educación (Trucano, 2005).

3 La evaluación del impacto de las TICs en el sistema educativo

La segunda dimensión de análisis corresponde a la evaluación del impacto de las TICs en educación, que busca responder la pregunta de cuál es el valor de las TICs en el sistema educativo. Naturalmente, la pregunta de la evaluación de impacto de las TICs está fuertemente ligada con el desarrollo de la tecnología misma. Un resumen de las principales tendencias de investigación de acuerdo a la evolución de la tecnología la podemos encontrar en la Tabla 1.

Tabla 1: Desarrollos tecnológicos conducen a aplicaciones de las TICs en educación y principales estudios de impacto. Adaptado de Cox (2008).

Periodo Desarrollos tecnológicos Aplicaciones de las TICs en

educación y tópicos de

investigación para la

Evaluación y estudios referenciales

1950 — 1967

• Miniaturización de componentes electrónicos.

• Aplicaciones de ejercitación y práctica en tópicos específicos para grupos reducidos de alumnos.

1968 — 1970

• Aparición de la Internet-ARPANET-JANET y redes internacionales de computadores

• Acceso remoto de Universidades y otros centros educativos al uso de las TICs.

1970 — 1977 • Computadores interactivos

• Acceso remoto a software educativo de Universidades y escuelas.

1978 — 1980 • Primeros

computadores con microprocesadores.

• CPM/DOS

• TICs comienzan a aparecer en los colegios como asignatura

1980 — 1990 • Aparición de Apple

Macintosh y IBM-PC • Primeras aplicaciones de

oficina declarativas (Planillas de cálculo y procesadores de texto).


7

Periodo Desarrollos tecnológicos

Aplicaciones de las TICs en

educación y tópicos de investigación para la

Evaluación y estudios referenciales

• Lanzamiento de Microsoft Windows.

• Invención de la World Wide Web (www)

• LOGO como software educativo

• Masificación de las TICs en los colegios.

• Estudios de impacto en el aprendizaje de los alumnos, adopción de los profesores y las escuelas y colaboración entre alumnos

1991 —1999

• Computadores portátiles.

• Masificación de las TICs en los colegios.

• Proyectores dentro de la sala de clases

• Pizarras interactivas.

• Presión para desarrollar recursos digitales que permitan enseñar con y acerca de TICs.

• Desarrollo de teorías para explicar el cambio educativo.

• Estudio ImpaCT en Reino Unido (Watson, 1993).

• Asistentes personales digitales (PDAs).

• Estudio internacional SITES M1 (Pelgrum, 2001).

• Estudio ImpaCT2 en Reino Unido (Harrison et al., 2002).

2000 — 2004

• Masificación de Internet.

• Acceso a ambientes de aprendizaje virtuales (VLE).

• Masificación de las redes inalámbricas.

• Conciencia de la diferencia entre aplicaciones de oficina y necesidades escolares.

• Estudio internacional SITES M2 (Kozma, 2003).

• Estudio Silicon Valley vs Silicon Glen (Conlon & Simpson, 2003).

• Implementación de cursos y evaluación en línea.

2005 — 2007 • Web 2.0. • Alfabetización digital.

• Impacto efectivo en el aprendizaje medido en pruebas estandarizadas.

• Estudio de impacto de la European Schoolnet (Balanskat et al., 2006)

2008 — 2010

• Aplicaciones de web 2.0: YouTube, Facebook, twitter.

• OLPC , Netbook

• 1:1

• Aprendizaje colaborativo asistido por computador (CSCL).

• Competencias del siglo 21 (“Aprendices del nuevo milenio).

• Estudio Internacional SITES 2006 (Plomp et al., 2007).

• Estudios de impacto de software educativo en lectura y matemáticas en EE.UU. (Dynarski et al., 2007; Campuzano et al., 2009).

• Evaluación del programa “Enlaces” (Chile) (Sánchez & Salinas, 2008)

• Evaluación del programa “Computadores para Educar” (Colombia) (Barrera-Osorio & Linden, 2009)

• Resumen del impacto de las TICs en educación (Lemke et al. 2009)

Lamentablemente, el impacto de las TICs en el aprendizaje no está del todo claro y todavía está abierto al debate (Trucano, 2005). Si bien se han llevado a cabo numerosos estudios respecto de los efectos de las TICs en educación, problemas mayores respecto a las políticas y metodologías con las cuales han sido llevados a


8

cabo algunos, no permiten establecer respuestas concluyentes (Cox & Marshall, 2007; Reeves, 2008). Además, mucha de la evidencia ha sido obtenida de estudios de pequeña escala haciendo falta estudios rigurosos de mayor escala que permitan hacer generalizaciones (Condie & Munro, 2007).

Tampoco existen metodologías estándares y ampliamente aceptadas para la medición del impacto (Trucano, 2005), ni suficiente investigación en la cual basarse para tomar decisiones en un entorno tecnológico cambiante (Anderson & Plomp, 2009).

Un reciente análisis acerca de los efectos de las TICs en educación (Cox & Marshall, 2007), identifica una serie problemas relacionados principalmente con el qué medir o con qué medir y que requieren atención para llevar acabo investigaciones más profundas que provean resultados robustos y confiables en distintas condiciones respecto del impacto de las TICs en educación.

Un primer tipo de problemas lo constituyen los distintos efectos que producen tipos de uso específicos de

TICs. El impacto en el aprendizaje de los alumnos depende fuertemente del tipo de recurso TIC, cómo se usa y la asignatura en la cuál es usado (McFarlane, 2001; Cox & Marshall, 2007). Esta noción, que no es nueva, tiene como consecuencia que el estudiar agregadamente los efectos del uso de TICs muy diferentes no revelará efectos generales en el sistema educativo, medidos solamente en términos de pruebas estandarizadas (McFarlane, 2001).

Por lo tanto, cualquier impacto debe ser medido investigando la naturaleza específica de las tareas basadas en TIC y los tipos de conceptos, habilidades y procesos que éstas afectan (Cox & Marshall, 2007). Esto genera una disyuntiva de cómo evaluar el impacto: si estudiando usos específicos en profundidad a través de casos, o realizando estudios de gran tamaño, con resultados más generalizables, pero limitados respecto al conocimiento de los usos específicos de las TIC (Cox & Marshall, 2007). Muchos de los estudios que muestran efectos positivos de las TIC en educación (Watson, 1993; Harrison et al., 2002) fueron realizados de esta última forma, no pudiendo conocer qué usos específicos produjeron impacto.

Un segundo tipo de problemas corresponde a cómo el diseño e implementación curricular afecta a los

alumnos. La evidencia de la literatura (Cox & Abbot, 2004; Cox & Marshall, 2007) muestra que cualquiera sea el tipo de TIC utilizado, cómo se adapta y se implementa para el uso curricular afectará el impacto en los alumnos (Cox & Marshall, 2007). Hasta ahora no existen estudios longitudinales a gran escala del impacto de las TICs como los disponibles en los proyectos de desarrollo curricular. Esto no hace posible establecer lineamientos específicos de cómo, cuándo, y bajo que circunstancias los docentes pueden diseñar métodos apropiados para que una competencia sea aprendida de la mejor forma posible (Cox & Marshall, 2007).

El tercer tipo de problemas corresponde a los enfoques pedagógicos de los profesores. Los estudios muestran que el enfoque pedagógico del profesor tiene un gran impacto en el uso de las TICs de sus alumnos y por lo tanto en sus logros de aprendizaje (Cox & Webb, 2004). Incluso, la evidencia muestra que estos efectos son mayores cuando los docentes usan sus conocimientos tanto de la asignatura, como de la forma en que sus alumnos aprenden dichos contenidos en la asignatura que imparten (Cox & Marshall, 2007). Por lo tanto, el impacto de las TICs en la enseñanza y aprendizaje se ve limitado cuando los docentes no aprecian que la interactividad requiere nuevos enfoques pedagógicos y repensar como planifican sus clases y el currículum completo. Estudiar el impacto de las TICs, también significa medir tanto la experticia de profesores como la relevancia del software y su uso en todo el currículum (Cox & Marshall, 2007).

Finalmente, el cuarto tipo de problemas tiene que ver con la selección de los instrumentos de evaluación y

cómo interpretar sus resultados. Muchos de los estudios previos respecto al impacto de las TIC en educación, muestran que los instrumentos y los métodos utilizados no miden realmente los objetivos y resultados de aprendizajes promovidos por usos específicos de las TICs (Trucano, 2005; Cox & Marshall, 2007). Se buscan mejoras en procesos y conocimientos tradicionales en vez de nuevas formas de conocimiento y razonamiento que podrían resultar del uso de las TICs (Penuel, 2005; Cox & Marshall, 2007) como, por ejemplo, las denominadas competencias del siglo 21 (www.atc21s.org). La evidencia de investigación es más robusta y confiable cuando las pruebas están relacionadas directamente con los efectos probables de las TICs en el aprendizaje de los resultados (Cox & Abbot, 2004).

Sin embargo, estos no son todos los inconvenientes que podemos encontrar. Hay otra serie de dificultades que se relacionan con el cómo medir, específicamente debilidades en la aplicación de comparaciones experimentales en la evaluación de las TIC en educación, muchas de las cuales lamentablemente no son reconocidas o son ignoradas (Reeves, 2008) y que discutiremos a continuación.


9

En primer lugar, el estricto control al tratamiento de las variables control y experimental que requieren las metodologías de experimentación, es impráctico en la mayoría de los contextos educativos sujetos a evaluación (Marshall & Cox, 2008). Las salas de clases no son laboratorios experimentales donde los investigadores pueden comparar la efectividad de la tecnología con los métodos tradicionales controlando todas las otras variables (Pilkington, 2008). Por lo tanto, aunque los experimentos con asignación aleatoria puedan ser considerados por muchos como el estándar de oro (Slavin, 2008), la dificultad de aislar el rol de la tecnología en el contexto educativo puede debilitar el valor de las conclusiones obtenidas (Pilkington, 2008). Se debe complementar con otros métodos, especialmente cualitativos para entender las causas de los efectos encontrados (Chatterji, 2005; Light, 2008).

En segundo lugar, décadas de estudios de evaluación claramente indican que hay sustantivas diferencias

entre el diseño de los ambientes de enseñanza-aprendizaje apoyadas por TICs y su implementación real (Penuel, 2005; Reeves, 2008) y por tanto la evaluación recoge solo esta última, que además como proceso está pobremente entendida (Trucano, 2005; Reeves, 2008). Es decir, se evalúa lo que ocurrió en lugar de lo que se quiso implementar, que es un problema relacionado con la ausencia de mecanismos de seguimiento como ya se mencionó en la sección anterior.

En tercer lugar, en los estudios experimentales, los instrumentos utilizados para medir resultados educativos son rara vez investigados lo suficiente respecto a su confiabilidad y validez (Marshall & Cox, 2008), lo cual puede invalidar los hallazgos de dichas experiencias (Chatterji, 2005). Estas pruebas se focalizan en resultados que son más bien fáciles de medir, más que en aquellos que son más importantes, pero difíciles de medir (Reeves, 2008).

En cuarto lugar, un enfoque experimental puede determinar solamente que método (clase tradicional vs. con apoyo de tecnología) fue más efectivo, pero no indica las razones de ello (Chatterji, 2005; Reeves, 2008), como ocurrió en los recientes estudios para evaluar el uso de software de lectura y matemáticas en Estados Unidos (Dynarski et al., 2007; Campuzano et al., 2009) que no encontraron efectos significativos del uso de software en dichas asignaturas, pero no entregan una explicación del porqué.

Un quinto problema relacionado con lo anterior es que si bien la evaluación puede arrojar diferencias estadísticamente significativas, especialmente cuando grandes tamaños muestrales están involucrados, la significancia social o educativa de dichos resultados es a menudo, débil (Reeves, 2008), por ejemplo diferencias estadísticamente significativas con un tamaño del efecto muy bajo (Fan, 2001).

4 Un modelo conceptual para el diseño, implementación y

evaluación de programas de informática educativa

De la revisión bibliográfica y los problemas planteados en las secciones anteriores, surge el desafío de cómo integrar armoniosamente el diseño, la implementación y la evaluación de programas educativos basados en TIC que produzcan innovaciones que tengan una mayor probabilidad de éxito, evitando cometer los errores del pasado. En esta sección introducimos un modelo conceptual que permite abordar el problema.

4.1 Conceptos y antecedentes

A continuación pasamos revisar los conceptos necesarios para entender el modelo y consideraciones básicas respecto al diseño de los estudios que se utilizan durante la implementación del mismo.

4.1.1 Programa de Informática Educativa

Un Programa de Informática Educativa (PIE), responde a la definición más amplia de programa educativo, entendido como un conjunto de procedimientos replicables, materiales, mecanismos de desarrollo profesional o configuraciones de servicio que los educadores pueden escoger implementar para mejorar los resultados de los estudiantes (Slavin, 2008), que integra el uso de las TICs. Siguiendo esta definición y respondiendo a la problemática del diseño e implementación ya discutida, un PIE puede ser conceptualizado a través de las siguientes componentes: modelo pedagógico, proceso de intervención y proceso de transferencia (Rodríguez, 2008).


10

El modelo pedagógico apoyado por TICs (en adelante simplemente modelo pedagógico) define qué debe llevarse a cabo apropiadamente dentro de las escuelas (Penuel, 2005). El proceso de intervención corresponde a cómo el modelo pedagógico es instalado y adaptado al contexto de la escuela, desarrollando en los profesores y estudiantes las competencias para la implementación autónoma del programa a través de actividades como cursos de capacitación de profesores, experiencias prácticas y observaciones de clases, todas ellas de acuerdo a un plan (Rodríguez et al., 2010). Además, durante la intervención se requiere poner en marcha un esquema de seguimiento y evaluación (S+E) que permita establecer la fidelidad de la implementación y si realmente la adopción se produce, a través de indicadores de proceso y resultados (Wagner et al., 2005). Así, el proceso de integración de tecnología en el contexto escolar se hace sustentable maximizando las posibilidades de impacto (Rodríguez et al., 2010). La componente final del PIE es el proceso de transferencia que corresponde a un programa de formación de profesionales, que lleven a cabo fielmente el proceso de intervención a una escala masiva (Rodríguez, 2008). Estos componentes explicitan la lógica subyacente del PIE, conocida también como “teoría del programa” (Chatterji, 2005).

El componente central de un PIE es el modelo pedagógico, que especifica los supuestos de cómo aprenden los alumnos (Penuel, 2005; Cox & Marshall, 2007), las habilidades requeridas por éstos (Cox & Marshall, 2007), los cambios propuestos de prácticas con el uso de TICs en los profesores (Penuel, 2005), las competencias requeridas por ellos (Cox & Webb, 2004), los atributos del modelo que permitirán introducir dichos cambios (Cox & Marshall, 2007), y especialmente cómo y en qué debieran manifestarse los resultados (Agodini et al., 2003; Penuel, 2005; Cox & Marshall, 2007; Light, 2008). Todo lo anterior de acuerdo a una teoría que lo sustente (McFarlane, 2001; Lai, 2008; Marshall & Cox, 2008; Reeves, 2008).

Un modelo pedagógico apoyado por TICs puede especificarse en función de los componentes curriculares del aprendizaje de los alumnos (Van den Akker, 2003), que son el fundamento (¿por qué aprenden?), las metas y objetivos (¿hacia qué objetivos aprenden?), los contenidos (¿qué aprenden?), las actividades de aprendizaje (¿cómo aprenden?), el rol del profesor (¿cómo se facilita el aprendizaje?), materiales y recursos (¿con qué aprenden?), agrupamiento (¿con quiénes aprenden?), lugar (¿dónde aprenden?), tiempo (¿cuándo aprenden?) y la evaluación (¿cuál es el progreso?). Otros autores, expresan el modelo pedagógico en términos de los cambios que ocurren dentro de la escuela denominándolos dominios de innovación (Mioduser et al., 2003). Dichos dominios corresponden a la configuración espacial, temporal y digital (¿dónde aprenden?, ¿cuándo aprenden?, ¿cuál es alcance y apertura de las entidades virtuales con las cuales el alumno interactúa?), el rol del estudiante (¿cómo varía el comportamiento de los alumnos?), del profesor (¿cómo se relaciona con sus alumnos y colegas?) y el currículum (¿cuáles son los cambios en contenidos, soluciones didácticas y mecanismos de evaluación?). Tanto los componentes curriculares como los dominios de innovación sirven para caracterizar la integración de las TICs dentro del proceso de enseñanza-aprendizaje, haciendo explícitos cuáles son los cambios de prácticas que requieren ser estudiados.

Por su parte, el proceso de intervención (Rodríguez, 2008) debe detallar: las actividades a llevar a cabo dentro del establecimiento (qué hacer), los actores dentro del establecimiento que se verán afectados (para quiénes); los diagnósticos, plan de trabajo, la capacitación a los profesionales de la escuela y el plan de seguimiento y evaluación (cómo hacerlo); los recursos TIC, materiales y documentos (con qué) y una definición de perfiles del equipo que realizará la intervención (con quiénes).

Finalmente el proceso de transferencia (Rodríguez, 2008), que forma a los profesionales que realizan la intervención, estará compuesto por los planes de formación del equipo en: el modelo pedagógico de la innovación, la intervención propiamente tal y la implementación del mecanismo de seguimiento y evaluación.

La definición de un programa de informática educativa permite una mayor articulación entre los distintos componentes operativos de las políticas de TIC en educación: desarrollo de infraestructura, capacitación de profesores, soporte técnico, cambios pedagógicos y curriculares y desarrollo de contenidos (Kozma, 2008) en un proyecto integral. Esto es no menor, ya que algunos autores creen que la falta de alineamiento de las componentes operativos en la política explica en parte la situación actual de las TICs en educación (Moonen, 2008)

4.1.2 Qué medir y tipos de estudios de evaluación

Un segundo grupo de conceptos que es necesario distinguir en el contexto de la evaluación de programas de informática educativa son la eficacia, efectividad y eficiencia. Se estudia la eficacia cuando se evalúa en


11

ambientes controlados si es que la tecnología podría mejorar los resultados de los alumnos. (Agodini et al., 2003). Se estudia la efectividad cuando se evalúa si realmente usando la tecnología se obtienen mejores resultados en los contextos educativos para que fueron diseñados (Agodini et al., 2003). Por su parte, la eficiencia añade a la efectividad los costos del programa, para medir su aplicabilidad y replicabilidad práctica.

Por otro lado, los estudios de evaluación para medir los conceptos anteriores las dividiremos en dos grandes grupos: formativos y sumativos. Los estudios de evaluación formativos, se llevan a cabo para mejorar los ambientes de enseñanza-aprendizaje durante su desarrollo, mientras que los estudios sumativos buscan demostrar su impacto una vez finalizado (Reeves, 2008).

4.1.3 Metodologías de investigación: “Design research”

Existe una área emergente de investigación de TICs en educación denominada “design research” también conocida como “design studies/experiments”, “development(al) research”, “engineering research”, investigación formativa o evaluación (Van den Akker et al., 2006). Esta área de investigación es de especial interés para definir nuestro marco conceptual porque busca: 1) estudiar problemas complejos en contextos educativos reales en colaboración con los usuarios; 2) integrar la teoría y principios existentes con tecnología para producir soluciones para dichos problemas; 3) conducir una rigurosa investigación para probar y refinar la solución y 4) producir nuevos principios de diseño (Reeves, 2006). Por lo tanto, se trata de un procedimiento iterativo de diseño, uso y rediseño (Cox, 2008; Reeves, 2008) para construir una intervención “ideal” (Van den Akker et al., 2006) entendiendo cabalmente cómo funciona (Reeves, 2006). El ciclo de desarrollo de la investigación de diseño se muestra a continuación en la Figura 1 donde se compara con la investigación tradicional o predictiva.

Análisis de problemas reales

por investigadores y

profesionales del área

en colaboración

Desarrollo de soluciones informadas por

principios de diseño

existentes e innovaciones

tecnológicas

Ciclos iterativos de pruebas

y refinamiento de la

solución en la práctica

Reflexión para producir

“principios de diseño”

y mejorar la implementación

de la solución

Refinamiento del problema, la soluciones, métodos y principios de diseño

Análisis de problemas reales

por investigadores y

profesionales del área

en colaboración

Desarrollo de soluciones informadas por

principios de diseño

existentes e innovaciones

tecnológicas

Ciclos iterativos de pruebas

y refinamiento de la

solución en la práctica

Reflexión para producir

“principios de diseño”

y mejorar la implementación

de la solución

Refinamiento del problema, la soluciones, métodos y principios de diseño

Figura 1: En la parte superior el enfoque de la investigación tradicional y en la inferior el estudio de diseño educativo (Reeves, 2006) .

4.1.4 Diseño de estudios

Para conducir la investigación que proponen los estudios de “design research”, se deben considerar una serie de métodos tanto cuantitativos como cualitativos. Los estudios con métodos cuantitativos permiten determinar la efectividad del programa examinado, pero no arrojan indicios sobre cómo, porqué y cuándo funciona por lo cual deben complementarse con métodos cualitativos que entreguen información de contexto que expliquen los resultados (métodos mixtos) (Frechtling, 2002; Chatterji, 2005; Reeves, 2008).

Los métodos a usar deberán estar asociados con los objetivos de investigación planteados (ver Tabla 4 en la sección 4.2.3) para ser utilizados por los investigadores tanto en los estudios formativos como en los sumativos. Dentro de los estudios sumativos, existen los denominados estudios de evaluación de impacto, que buscan identificar sistemáticamente los efectos tanto positivos o negativos causados por el desarrollo de proyecto o programa (World Bank, 2004). Los dos modelos de evaluación de impacto más importantes son:

• Diseños experimentales con asignación aleatoria: los sujetos son asignados aleatoriamente a la condición experimental (participa en el programa) o a la control (no participa). Cuestionarios u otros

Hipótesis basadas en

observaciones y/o

teorías existentes

Experimentos diseñados

para probar las hipótesis

Mejora de la teoría basado

en los resultados de las

pruebas

Aplicación de la teoría

por parte de

los profesionales del

área

Especificación de nuevas hipótesis

Hipótesis basadas en

observaciones y/o

teorías existentes

Experimentos diseñados

para probar las hipótesis

Mejora de la teoría basado

en los resultados de las

pruebas

Aplicación de la teoría

por parte de

los profesionales del

área

Especificación de nuevas hipótesis


12

instrumentos de evaluación especialmente pruebas de aprendizaje son aplicadas antes (pre-test) y después (post-test) de la implementación. Cuando existen niveles mayores de aleatorización (curso, profesor, escuela) la manera adecuada de analizar estos diseños es a través de modelos lineales jerárquicos (Slavin, 2008).

• Diseños cuasi-experimentales: cuando la aleatorización no es posible, el grupo control se selecciona de forma que homologue las características del grupo experimental lo mejor posible (control pareado). Cuando una escuela o cursos son asignados aleatoriamente para recibir el programa, pero hay demasiado pocos de ellos para efectuar un análisis usando modelos lineales jerárquicos, se habla de cuasi-experimentos aleatorios (Slavin, 2008). Estos diseños pueden ser además de dos tipos: prospectivos y retrospectivos (Slavin, 2008). En los cuasi-experimentos prospectivos, los grupos control y experimental se definen a priori, mientras que en los retrospectivos se definen posterior a la implementación.

La evidencia sugiere que cuando los grupos control y experimental están bien pareados, se usan covariables relacionadas con el pre-test para ajustar los resultados, y no hay sesgos de selección a nivel de estudiantes, ambos tipos de experimentos producen resultados similares (Slavin, 2008). Por lo tanto, si un diseño experimental no es posible especialmente por motivos de orden práctico discutidos en la sección 3, un cuasi-experimento prospectivo bien diseñado es un buen sustituto (Chatterji, 2005; Slavin, 2008). No son recomendables los cuasi-experimentos retrospectivos ya que producen resultados sesgados a favor del grupo que participa en el programa (Slavin, 2008).

Para comparar el desempeño de los grupos se utilizan distintos instrumentos de evaluación, y se debe asegurar que éstos, especialmente los que miden el aprendizaje, tengan la suficiente confiabilidad. Ésta se mide en términos de la consistencia interna de los ítemes que componen la prueba. Por lo tanto, cuando se construyan instrumentos específicos que evalúen aprendizajes u otras aspectos que pruebas estandarizadas no recojan, deben aplicarse previamente a una población similar a la objetivo para medir la consistencia interna del instrumento. Uno de estos indicadores es el denominado alfa de Cronbach (Cronbach, 1951), que para propósitos de comparar dos grupos, este indicador debe tener valores superiores a 0,7 u 0,8 (Bland & Altman, 1997).

En las evaluaciones de impacto, los resultados de los grupos se comparan a través del denominado “tamaño del efecto” o δ de Cohen (Cohen, 1998) que corresponde a la diferencia estandarizada de medias del indicador de impacto entre los grupos experimental y control (Fan, 2001). El tamaño del efecto debe calcularse en relación al post-test ajustado por el pre-test, y si este resultado corregido no está disponible deben restarse los tamaño del efecto del post y pre-test (Slavin, 2008). En términos generales, el tamaño del efecto se clasifica en “pequeño” (0,2 ≤ δ < 0,5), “mediano” (0,5 ≤ δ < 0,8) y “grande” (δ ≥ 0,8). En el caso de las TICs, el tamaño del efecto esperado para una innovación fluctúa entre 0,25 y 0,35 (Agodini et al., 2003; Dynarski et al., 2007). Esto es consistente con la evidencia que proveen los meta-análisis, que son metodologías que a través de análisis estadísticos combinan resultados de distintos estudios empíricos (Liao & Hao, 2008). La combinación de distintos estudios de meta-análisis indica que el tamaño del efecto total en aspectos cognitivos es de 0,41 en el caso de las tecnologías instruccionales y de 0,17 para el e-learning, siendo el tamaño del efecto combinado entre ambas de 0,29 (Liao & Hao, 2008).

Además de calcular el tamaño del efecto, se deben realizar pruebas de significancia estadística que indiquen que si hay o no diferencias entre los grupos experimental y control en alguna dirección. Existen dos tipos de errores que deben controlarse apropiadamente cuando se realizan estas pruebas. El primero es el error de tipo I (con una probabilidad α de ocurrencia), que es cuando se afirma que existe diferencia cuando en realidad no la hay (falso positivo). El segundo es el error de tipo II (con una probabilidad β de ocurrencia) que consiste en declarar que no se han encontrado diferencias estadísticamente significativas cuando sí las hay (falso negativo). El nivel aceptable del error de tipo I normalmente se fija en una probabilidad α=0,05; mientras que la potencia estadística (con probabilidad 1- β) de la prueba, tiene un valor convencionalmente aceptado mínimo de 0,8 (Fox & Mathers, 1997).

También los tamaños muestrales están directamente relacionados con el tamaño del efecto buscado, la significancia estadística y la potencia de la muestra tal como se muestra en la Figura 2, donde se grafican distintos tamaños del efecto en relación al tamaño total de la muestra (asumiendo grupos control y experimental combinados y de igual tamaño) y la potencia de la prueba.


13

Prueba t para diferencias de medias de dos muestras Prueba t para diferencias de medias de dos muestras Prueba t para diferencias de medias de dos muestras Prueba t para diferencias de medias de dos muestras

independientes (2 grupos)independientes (2 grupos)independientes (2 grupos)independientes (2 grupos)(2 colas), muestras iguales α=0,05

0

100

200

300

400

500

600

700

800

900

0,80 0,82 0,84 0,86 0,88 0,90 0,92 0,94

Potencia (1-β)

Tamaño de la m

uestra total

Tamaño de la m

uestra total

Tamaño de la m

uestra total

Tamaño de la m

uestra total

δ = 0,25

δ = 0,35

δ = 0,45

δ = 0,55

δ = 0,65

δ = 0,75

Figura 2: Detectar tamaños del efecto pequeños minimizando el error de tipo II, requiere cada vez de tamaños muestrales más grandes.

Como puede observarse en la Figura 2, para α= 0,05 en la medida que el tamaño del efecto a detectar es pequeño y se maximiza la potencia (partiendo de 1 - β = 0,8) los estudios requieren una muestra de tamaño importante. Por ende, una tecnología con un tamaño del efecto pequeño tiene una reducida significancia práctica y además ésta es costosa de demostrar. También se debe considerar que los tamaños del efecto de una innovación van disminuyendo en la medida que crece la población afectada (Slavin, 2008; Slavin & Smith, 2009). Esto significa que hay que asegurar la máxima eficacia posible desde etapas tempranas del desarrollo de la innovación, para que cuando esta sea aplicada en gran escala produzca resultados que sean importantes, y por tanto sean costo-efectivos. Si la eficacia en instancias tempranas no es la suficiente, es posible que no valga la pena seguir desarrollando el programa de informática educativa.

Adicionalmente, cuando en una misma experiencia se prueban múltiples hipótesis, es decir, se mide el impacto comparando los grupos experimental y control en más de un resultado, los errores de tipo I y II de las distintas pruebas estadísticas se combinan, produciendo resultados erróneos (Schochet, 2008). Para ello se deben seguir lineamientos y procedimientos de corrección que se describen en mayor detalle en un reporte técnico del Institute of Education Sciences de Estados Unidos (Schochet, 2008).

La significancia y el tamaño del efecto deben ser interpretados en conjunto para obtener conclusiones fidedignas (Fan, 2001). A continuación en la Tabla 2, se sintetiza una guía para interpretar los resultados combinados de significancia estadística y tamaño del efecto para intervenciones educativas.


14

Tabla 2: Guías para interpretar de los resultados de una experiencia combinando los resultados encontrados de la significancia estadística con el tamaño del efecto (Fan, 2001)

Tamaño del efecto (significancia práctica)

Pequeño Mediano Grande

Sig

nif

ica

nci

a e

sta

dís

tica

No

1. Aparentemente no hay ni efectos estadísticos ni prácticos

2. A menos que la investigación futura indique lo contrario, la hipótesis nula es favorecida tanto en términos estadísticos como prácticos.

1. Los efectos de la muestra son prometedores, pero se debe tener cautela en interpretar el tamaño del efecto por sí mismo, porque un efecto medio puede ser resultado del azar, aun cuando parece ser prácticamente significativo.

2. Si hay preocupación respecto al error de tipo II, revisar la potencia de la prueba t porque si el tamaño de la muestra es muy pequeña, puede que no se tenga el poder estadístico suficiente para detectar un efecto significativo.

1. Existe evidencia de que algún efecto significativo existe, pero debe tenerse un poco de precaución respecto al tamaño de este efecto, porque puede ocurrir por azar si la muestra es muy pequeña.

2. Si el error tipo II es una preocupación, revisar críticamente la falta de potencia del test estadístico.

3. Tentativamente, favorecer la significancia práctica del efecto, pero mantenerse abiertos para resultados de otras investigaciones de mayor profundidad.

Si

1. La significancia estadística no está acompañada de la significancia práctica, pudiendo deberse ésta última a la potencia estadística del test (N grande).

2. Hay que tener considerable precaución en interpretar los resultados de significancia estadística y no debieran interpretarse que tengan un sentido de significancia práctica.

1. Es muy poco probable que el efecto observado se deba al azar.

2. La magnitud del efecto es importante en muchas áreas de las ciencias sociales y del comportamiento.

3. Concluya que el efecto es significativo tanto en un sentido práctico como estadístico

1. Hay un alto grado de certeza de que el efecto observado no se debe al azar y que la magnitud del efecto tiene significancia práctica.

2. Concluya con confianza que el efecto es significativo tanto en un sentido práctico como estadístico.

Los resultados más confiables respecto al impacto de la tecnología se producen cuando se combinan la existencia de la significancia estadística con tamaños del efecto mediano y grande. Las otras combinaciones requieren más investigación, corrigiendo ciertos aspectos ya mencionados como la potencia de la prueba.

4.2 Etapas del modelo conceptual

El objetivo del modelo conceptual es ofrecer una metodología que descomponga el proceso de diseño y desarrollo de un programa de informática educativa en etapas donde se construyen incrementalmente cada una de sus componentes.

El modelo considera tres etapas: la etapa 1 donde se construye el modelo pedagógico dando cuenta de la eficacia de la innovación; la etapa 2 donde se construye el proceso de intervención con su correspondiente esquema de seguimiento y evaluación para su aplicación en contexto educativos reales (efectividad); y la etapa 3 donde se construye el proceso de transferencia, además de estudiar cambios a las etapas anteriores que permitan reducir los costos del proceso manteniendo un mismo nivel de efectividad (eficiencia).

En cada etapa se aplica una serie de evaluaciones formativas que permiten mejorar el diseño (Reeves, 2008), además de construir y probar los instrumentos de evaluación de las variables relevantes para la evaluación sumativa (Chatterji, 2005; Penuel, 2005; Marshall & Cox, 2008). Las evaluaciones formativas deberán contestar la pregunta si es que la innovación está lista para evaluar sus efectos (Chatterji, 2005). Al menos una


15

de ellas debe llevarse a cabo antes de aplicar una evaluación sumativa, para responder las preguntas respecto a las causas de los efectos encontrados (Chatterji, 2005).

El paso de una etapa a otra se determina a través de una evaluación sumativa que mide el impacto del diseño consolidado de la componente respectiva. De obtenerse los resultados esperados, se pasa a la siguiente etapa donde además se diseñan los procesos a ser probados. Por ejemplo, al término de la etapa de la eficacia se contará con un modelo pedagógico completamente desarrollado con una noción del impacto que es posible lograr; al que se debe agregar el proceso de intervención para ser probado en la etapa de efectividad. El proceso completo se ilustra a continuación en la Figura 3.

Ciclo iterativo de diseño, uso y rediseño con

evaluación formativa y sumativa

EficaciaEficaciaEficaciaEficacia

EfectividadEfectividadEfectividadEfectividad

EficienciaEficienciaEficienciaEficiencia

Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci

implementaci óó óónn nn

Tiempo del cicloTiempo del cicloTiempo del cicloTiempo del ciclo

Desarrollo de un esquema de S+E




Especificaci

Especificaci

Especificaci

Especificaci óó óón y documentaci

n y documentaci

n y documentaci

n y documentaci óó óón de procesos

n de procesos

n de procesos

n de procesos

Etapas del proceso de diseño y

desarrollo con su respectivo énfasis

Diseño inicial

Producto final:Producto final:Producto final:Producto final: Programa de Informática Educativa

++++ nuevo diseño

Evaluaciónsumativa

Resultado final etapa

++++ nuevo diseño

Modelo pedagógico

Intervención

Transferencia

(tamaño muestral evaluaciónsumativa de cada etapa)






Ciclo iterativo de diseño, uso y rediseño con evaluación formativa y sumativa




Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci







Especificaci

Especificaci

Especificaci


n y documentaci

n y documentaci


n de procesos

n de procesos

n de procesos



Diseño inicial


++++ nuevo diseño

Evaluaciónsumativa


++++ nuevo diseño

Modelo pedagógico

Intervención

Transferencia







Ciclo iterativo de diseño, uso y rediseño con evaluación formativa y sumativa




Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci







Especificaci

Especificaci

Especificaci


n y documentaci

n y documentaci


n de procesos

n de procesos

n de procesos



Diseño inicial


++++ nuevo diseño

EvaluaciónsumativaEvaluaciónsumativa


++++ nuevo diseño

Modelo pedagógico

Intervención

Transferencia







Figura 3: Ciclo de diseño y desarrollo de programas de informática educativa que consiste en tres ciclos de desarrollo de soluciones

prototipo que finaliza con una evaluación sumativa de resultados dependientes de la etapa.

En la medida que se avanza en las etapas, se requieren estudios en contextos educativos reales, que requieren un mayor tiempo y escala de implementación alargando la duración del ciclo (representado por el diámetro de cada círculo en la Figura 3). También se van especificando y documentando los procesos en mayor detalle como parte del desarrollo del proceso de transferencia que produzca la escalabilidad deseada del programa final.

A continuación, para cada etapa, se identifica qué evaluar, la escala y tiempo requerido de la implementación necesarios para efectuar la evaluación.

4.2.1 Eficacia

En la etapa de eficacia, entendida esta como el grado en el que una determinada intervención, procedimiento, régimen, o servicio originan un resultado beneficioso en condiciones ideales, el objetivo central es el desarrollo del modelo pedagógico (expresado ya sea en términos de las componentes curriculares o dominios de innovación) para responder si éste podría tener resultados en el aprendizaje de los alumnos. Normalmente el componente central del modelo pedagógico es un ambiente de enseñanza-aprendizaje apoyado por TICs. Por lo tanto, el ciclo de evaluación formativa busca obtener información que guíe las decisiones para mejorar el software educativo a través de ensayos con alumnos en escuelas (Reeves, 2008). Los elementos centrales a evaluar durante esta etapa son:

• La pertinencia, es decir, la utilidad que los profesores perciben (Penuel, 2005) y su relevancia respecto al curriculum completo (Cox & Marshall, 2007) y si puede ser usados en distintos contextos curriculares (Reeves, 2008).


16

• Los supuestos en los cuales está basado respecto a las teorías de aprendizaje que lo sustentan; las actitudes de profesores y alumnos; el nivel de entendimiento conceptual y desarrollo cognitivo de los alumnos (Penuel, 2005; Cox & Marshall, 2007; Marshall & Cox, 2008).

• El ambiente de enseñanza-aprendizaje, especialmente en términos de facilidad de uso (Penuel, 2005), su transparencia de uso para la educación (Cox, 2008); a cómo el material de la asignatura es representado (Cox, 2008); cómo la interacción humano-computador es dividida entre manipular el software e involucrarse con una actividad de aprendizaje más profunda (Cox, 2008; Marshall & Cox, 2008) y cómo los estudiantes interpretan el conocimiento cuando se involucran con nuevas presentaciones e interacciones humano-computador (Cox, 2008). Existen guías y metodologías para evaluar estos aspectos (Squires & Preece, 1999; Reeves, 1994, 2006).

• La alfabetización en el medio TIC requerida para su uso (Marshall & Cox, 2008), ya que cómo los alumnos piensan respecto al problema o tarea es influenciada por su familiaridad con las TICs y el ambiente de enseñanza-aprendizaje con el cual trabajan (Cox & Marshall, 2007).

• El impacto en el aprendizaje de los alumnos, medidos en términos de las habilidades y conocimientos que la innovación espera afectar (Penuel, 2005; Cox & Marshall, 2007).

Esta información puede ser recogida de muchas formas y de distintas fuentes, desde expertos en la asignatura hasta alumnos que son representativos de la audiencia objetivo para las herramientas TICs (Reeves, 2008). Algunas de las principales actividades a llevar a cabo durante la evaluación formativa incluyen: entrevistas en profundidad con profesores, observación directa de sala de clases y revisión de documentos, especialmente los estándares del gobierno local, la planificación de las clases y datos demográficos que caractericen la diversidad de las salas de clases objetivo (Penuel, 2005). Otras actividades son la revisión de expertos, observaciones de usuarios y pruebas de usabilidad (Reeves, 2008).

Los métodos de investigación asociados a los objetivos de evaluación de esta etapa se muestran en la síntesis que se indica en la Tabla 4, en la sección 4.2.4.

La duración de la implementación de la evaluación sumativa de la etapa debe durar lo suficiente para que se suministre evidencia de que el programa puede ser usados por períodos extensos (Slavin, 2008). Dado que estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duración mínima de 12 semanas (Slavin, 2008).

Respecto del tamaño muestral para la evaluación de impacto en el aprendizaje, éste dependerá del tamaño del efecto esperado (ver Figura 2), el cual debiera ser entre mediano y grande, pensando en que luego es posible que parte de la eficacia se pierda cuando los profesores implementen el programa.

4.2.2 Efectividad

En esta etapa, entendida como el grado en que una determinada intervención, procedimiento, régimen o servicio puestos en practica logran lo que se pretende conseguir para una población determinada, el objetivo principal es desarrollar el proceso de intervención con su respectivo esquema de seguimiento y evaluación que permita establecer si la adopción del modelo pedagógico se produjo o no. Los elementos centrales a evaluar durante esta etapa son:

• El contexto donde se implementará el programa, expresado en términos de los tipos particulares de clases donde se lleva a cabo (tipo y cantidad de alumnos) (Penuel, 2005) y otros como por ejemplo, la organización de la escuela, roles del personal, experiencia de los profesores e infraestructura que permitan evaluar los cambios a través del tiempo (Marshall & Cox, 2008). Las variables que midan el contexto deben tener relación con los obstáculos o habilitadores del uso de TIC en la escuela. Además, permitirá entender la relación entre el ambiente de aprendizaje y el contexto más amplio (Marshall & Cox, 2008).

• El proceso de intervención expresado en términos de sus componentes: actividades a llevar a cabo dentro del establecimiento, los diagnósticos, plan de trabajo, la capacitación a los profesionales de la escuela y el plan de seguimiento y evaluación; además de los recursos TIC, materiales y documentos a ser utilizados (Rodríguez, 2008).


17

• La fidelidad de la implementación por parte de los profesores, expresada en términos de las prácticas críticas que ellos deben implementar, para desarrollar medidas de cuándo y cómo estos aspectos son llevados a cabo en las salas de clases (Penuel, 2005). Esto refleja la efectividad del proceso de intervención y la adopción de la innovación que es la que determina finalmente los resultados que logran los alumnos (Rodríguez et al., 2010)


• La relación entre la variabilidad de la implementación y los resultados, que permite entender los límites de aplicabilidad del programa y explica las variaciones de efectividad dentro de la implementación de la innovación (Penuel, 2005).

Respecto del contexto existen una serie de modelos que conceptualizan el entorno en el cual se busca integrar un modelo pedagógico apoyado por TICs identificando actores y sus relaciones; habilitadores u obstáculos que enfrenta el programa y apoyo al proceso (Kirkman, 2000; Mooij & Smeets, 2001; Lim, 2002; Tearle, 2003, 2004; Nachmias et al. 2004; Plomp et al., 2007). Estos modelos pueden ser usados como guía para elaborar las estrategias de la intervención.

En el caso del proceso de intervención, el esquema de seguimiento y evaluación es el que precisamente permite medir la fidelidad de la implementación. Este esquema requiere definir una serie de indicadores (entrada, procesos y resultados), con sus respectivos instrumentos de evaluación y un plan de seguimiento (Rodríguez et al., 2010). Los indicadores de entrada miden las condiciones de contexto y el objetivo es identificar cuáles de ellas se deben mantener en el tiempo para que la innovación sea sustentable. Los indicadores de procesos miden dos aspectos: el cumplimiento del plan de la intervención y la adopción de las prácticas que el modelo requiere para ser exitoso. Los indicadores de resultados reflejan el impacto directo de la implementación del programa como el desarrollo de competencias en los profesores o mejoras de aprendizajes de los alumnos. Los instrumentos de evaluación son las herramientas con que se miden los indicadores anteriormente descritos, y pueden ser de tipo cuantitativo o cualitativo dependiendo de lo qué está siendo medido. Ejemplos de instrumentos son pruebas de aprendizaje, pautas de observación de sala de clases y encuestas. El plan de seguimiento determina cuándo se aplican los diferentes instrumentos de evaluación, implementando la evaluación de procesos.

Por lo tanto, en esta etapa, el ciclo formativo involucrará un conjunto de estudios pilotos para refinar los instrumentos de evaluación y asegurar validez y confiabilidad de los mismos (Penuel, 2005; Marshall & Cox, 2008). Además, las evaluaciones formativas recogerán información valiosa de la implementación como por ejemplo, si los alumnos entendieron todo o solo parte del material usado, participaron de las actividades instruccionales, si entendieron las instrucciones o tenían la madurez mental necesaria para involucrarse completamente en la tarea, si es que las prácticas pedagógicas de los profesores fueron orientadas a todos los alumnos o no, y si el tiempo ocupado para la instrucción fue suficiente para entender las tareas (Marshall & Cox, 2008). También pueden arrojar luces respecto a qué procesos cognitivos fueron usados por los alumnos para resolver los problemas (Marshall & Cox, 2008) y si los profesores adaptaron la innovación en una forma que socava los principios con el cual fue diseñada (Penuel, 2005). De esta forma los estudios formativos (¿cuáles son las condiciones iniciales?, ¿qué factores críticos demoraron, impidieron o deformaron el plan original?) entregarán factores clave para que los datos recopilados en el estudio sumativo expliquen el éxito o fracaso del programa y permitan mejorarlo (Chatterji, 2005; Marshall & Cox, 2008).


La duración de la implementación de la evaluación sumativa de la etapa debe durar lo suficiente para que se suministre evidencia de que el programas pueden ser usados por períodos extensos (Slavin, 2008). Dado que estudios muy cortos tienen una validez externa baja, algunos autores fijan un criterio de duración mínima de 12 semanas (Slavin, 2008).También, la investigación previa demuestra que a los profesores y a las escuelas le toma tiempo adoptar innovaciones (Cox, 2008). Por lo tanto, el tiempo de implementación debe ser el suficiente para que se produzca una adopción mínima de acuerdo a criterios fijados por los diseñadores y medidos a través del esquema de seguimiento y evaluación. Dado que la implementación de acuerdo a los criterios fijados anteriormente debe durar al menos 12 semanas, dependiendo de la duración de los procesos de intervención el tiempo requerido debiera ser al menos un semestre.


18

Adicionalmente, el tamaño del efecto medible debiera disminuir por la introducción de ineficacias, propias del proceso de adopción (Rodríguez et al., 2010). Por lo tanto, el tamaño de la muestra debiera ajustarse para medir tamaños del efecto mediano a bajo (ver Figura 2). Adicionalmente hay que considerar que en caso que existan múltiples contextos educativos en que pueda aplicarse la innovación, se requiere una adecuada representación muestral de cada uno, lo que influirá en el tamaño final de la muestra a considerar. También es importante incluir la mayor cantidad de docentes posibles para medir la relación entre los resultados de aprendizaje de los alumnos y la adopción del modelo pedagógico por parte de los profesores (Rodríguez et al., 2010).

4.2.3 Eficiencia

En esta etapa, los objetivos son desarrollar el proceso de transferencia, estimar cuáles son los costos totales del programa y estudiar mecanismos que permitan disminuirlos de forma de mejorar su costo-efectividad. De acuerdo a lo anterior, y asumiendo que los contextos educativos de uso de la innovación fueron delimitados en la etapa de efectividad, los elementos centrales a evaluar son:

• La fidelidad de la intervención por parte de los profesionales a cargo de ella. Esto permite evaluar la efectividad del proceso de transferencia.

• La fidelidad de la implementación por parte de los profesores, expresada en términos de las prácticas críticas que ellos deben implementar en las salas de clases (Penuel, 2005).

• El Costo Total de Apropiación (TCO, del inglés Total Cost of Ownership) que se refiere a todos los costos asociados al uso de los computadores: hardware, software, costos administrativos, licencias, instalación, actualización de software y hardware, capacitación y desarrollo, mantención, soporte técnico y otros costos asociados con la adquisición, implementación, operación, mantenimiento y actualización de los sistemas computacionales en una organización (Moyle, 2008).


• La relación entre las variabilidades de la intervención, la implementación y los resultados, que explican las variaciones de efectividad dentro de la implementación de la innovación además de la efectividad de los procesos de transferencia.

Así como en la etapa de la efectividad se mide la fidelidad de la implementación para asegurar que el modelo pedagógico está siendo aplicado adecuadamente, en esta etapa se mide la fidelidad de la intervención para establecer que dichos procesos se llevan a cabo lo más cercano posible al diseño ya validado. Esto porque cambios en la intervención pueden repercutir en la adopción de la innovación por parte de los profesores y por ende en la implementación final afectando los resultados. Al evaluar la fidelidad de la implementación, la de la intervención y los resultados es posible establecer relaciones de causalidad entre estos distintos elementos.

Por su parte, la estimación del TCO requiere identificar y definir al menos en términos operacionales los activos tangibles e intangibles como las competencias de las personas que quedan instalados para establecer mecanismos para su cuantificación (Moyle, 2008). Por ejemplo, dado que la etapa de efectividad se identificó las competencias y prácticas que deben quedar instaladas, los costos asociados a estos activos intangibles serán la capacitación de los profesores además de los mecanismos de seguimiento y evaluación que permitan identificar su adopción.

La duración de la evaluación sumativa requiere al igual que en la etapa de efectividad un tiempo suficiente para que se produzca la adopción de la innovación. Por ello, la implementación debiera tener una duración similar. El diseño de los estudios debe ser lo más cercano al experimental aleatorio (ya sea a nivel de los alumnos, cursos, profesores o colegios participantes) de forma que la evidencia de la efectividad encontrada sea lo más rigurosa y contundente posible, dando cuenta del real tamaño del efecto que se produzca en la aplicación en régimen permanente del programa. Dado lo anterior, lo más probable que el análisis requiera de modelos jerárquicos lineales, por lo cual se requiere un adecuado tamaño muestral a nivel de cursos y colegios para que las pruebas estadísticas tengan la potencia adecuada para detectar los tamaños del efecto buscados (Agodini et al., 2003). Agodini et al. (2003) discuten en más detalle los temas conceptuales y estadísticos respecto a este tipo de estudios.


19


Una medida de la costo-efectividad de un programa educativo es la relación entre el tamaño del efecto y el costo total de apropiación del programa (Feinstein & Picciotto, 2001; Tan et al., 2001; Margolis et. al., 2006; Harris, 2009), ambos medidos en una unidad común, como es el establecimiento tipo en que son aplicados y la población afectada para determinar un costo por alumno. Buscar la eficiencia del programa significa cambiar algunos de sus componentes como la intervención, los materiales o la propia tecnología, reduciendo el costo. Sin embargo, se requiere evaluar si realmente estos cambios introducidos aún permiten el logro de los objetivos del programa y si éstos no se ven comprometidos manteniendo o reduciendo levemente la efectividad, lo cual implica moverse dentro del plano de la costo-efectividad. Así por ejemplo en Figura 4, la costo-efectividad se mueve del punto (a) al punto (b), teniendo el punto (b) un menor costo que el punto (a), también con un tamaño del efecto menor.

δδδδ

0000

0,80,80,80,8

0,50,50,50,5

0,250,250,250,25

MMMMáááás caros caros caros caro

MM MMáá áás efectivo

s efectivo

s efectivo

s efectivo

Mínima efectividad

Costo por alumnoCosto por alumnoCosto por alumnoCosto por alumno

Tama

Tama

Tama

Tamaññ ñño del efecto

o del efecto

o del efecto

o del efecto

aaaa

bbbb

δδδδ

0000

0,80,80,80,8

0,50,50,50,5

0,250,250,250,25



s efectivo

s efectivo

s efectivo

Mínima efectividad


Tama

Tama

Tama


o del efecto

o del efecto

o del efecto

δδδδ

0000

0,80,80,80,8

0,50,50,50,5

0,250,250,250,25



s efectivo

s efectivo

s efectivo

Mínima efectividad


Tama

Tama

Tama


o del efecto

o del efecto

o del efecto

aaaa

bbbb

Figura 4: Modificaciones en los componentes del PIE significan un cambio en la costo-efectividad del programa educativo

Dado que el tamaño del efecto disminuye en la medida que la población afectada aumenta (Slavin, 2008; Slavin & Lake, 2008; Slavin et al., 2008; Slavin et al., 2009), y la estimación del TCO final debiera disminuir hacia la etapa de eficiencia, la evolución de la costo-efectividad debiera tomar la forma que se muestra a continuación en la Figura 5.

Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci



Diseño inicial

Resultado finaletapa





Costo por alumnoCosto por alumnoCosto por alumnoCosto por alumno(estimado)(estimado)(estimado)(estimado)

Mínima efectividad

δ

Plano de costoPlano de costoPlano de costoPlano de costo----efectividadefectividadefectividadefectividad

Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci



Diseño inicial









Costo por alumnoCosto por alumnoCosto por alumnoCosto por alumno(estimado)(estimado)(estimado)(estimado)

Mínima efectividad

δ

Plano de costoPlano de costoPlano de costoPlano de costo----efectividadefectividadefectividadefectividad

Figura 5: Evolución de la costo-efectividad en la medida que se desarrolla y evalúa un PIE.

4.2.4 Síntesis del modelo

En esta sección, a modo de resumen, se esquematiza el modelo conceptual en tablas donde se indican las características principales de cada de sus etapas estableciendo los tipos de diseño de estudios posibles, las metodologías de investigación e instrumentos asociados.


20

En primer lugar, la Tabla 3, muestra un esquema general donde se indican cuales son los objetivos de investigación de las evaluaciones formativas y sumativas de cada etapa, qué evaluar y los posibles diseños detallados anteriormente en la sección 4.1.4.

Tabla 3: Objetivos de la investigación (Marshall & Cox, 2008) , elementos a evaluar y diseños posibles de los estudios para cada una de las etapas del modelo propuesto.

Etapa Objetivos de investigación Elementos centrales a evaluar Diseño de estudio

(evaluación sumativa)

1. Eficacia ��

(modelo pedagógico)

• Medir el impacto en el aprendizaje de los alumnos.

• Conocer los efectos en las estrategias y procesos de aprendizaje.

• Determinar los efectos en la colaboración, en el entorno aplicado u otros.

• Determinar los efectos en las pedagogías y prácticas de los profesores:

• Determinar el uso de los computadores por género y contribución para mejorar el acceso y aprendizaje de niños con necesidades especiales.

• Pertinencia.

• Los supuestos en los cuales está basado.

• El ambiente de enseñanza-aprendizaje.

• La alfabetización en el medio TIC.

• El impacto en el aprendizaje de los alumnos.

• Cuasi-experimental pareado prospectivo de pequeña escala.

2. Efectividad ��

(Intervención)


• Determinar la adopción por parte de escuelas y profesores.



• Conocer las actitudes hacia los computadores en el proceso educativo.

• Determinar los efectos en las pedagogías y prácticas de los profesores.

• Determinar el uso de los computadores por género y la contribución para mejorar el acceso y aprendizaje de niños con necesidades especiales.

• Contexto.

• Proceso de intervención.

• Fidelidad de la implementación.

• Impacto en el aprendizaje de los alumnos.

• Relación entre la variabilidad de la implementación y los resultados.

• Cuasi-experimental pareado prospectivo de mediana escala

• Experimental aleatorio de mediana escala.


21

Etapa Objetivos de investigación Elementos centrales a evaluar Diseño de estudio

(evaluación sumativa)

3. Eficiencia ∃∃∃∃

(Transferencia y estimación de

costos)


• Determinar la adopción por parte de escuelas y profesores.



• Conocer las actitudes hacia los en el proceso educativo.

• Determinar los efectos en las pedagogías y prácticas de los profesores

• Determinar el uso de los computadores por género y contribución para mejorar el acceso y aprendizaje de niños con necesidades especiales.

• Determinar los costos totales de operación y costo-efectividad.

• Fidelidad de la implementación

• Fidelidad de la intervención.

• Costo total de apropiación.

• Impacto en el aprendizaje de los alumnos.

• Relación entre la variabilidad de la intervención, la implementación y los resultados.

• Experimental aleatorio de gran escala.

Por su parte, a continuación la Tabla 4 muestra cuáles son los objetivos más comunes de la investigación de TIC en educación y los métodos cuantitativo y cualitativos asociados (Marshall & Cox, 2008), además de su aplicabilidad en cada una de las etapas del modelo conceptual.


22

Tabla 4: Objetivos de investigación de TICs en educación más comunes, sus métodos asociados [Adaptado de (Marshall & Cox, 2008)] y su aplicabilidad en cada etapa del modelo conceptual propuesto.

Objetivos de investigación Métodos cuantitativos Métodos cualitativos

Descripción Etapa

Descripción Etapa

1 2 3 1 2 3

Medir el impacto en el aprendizaje de los alumnos

• Grupos experimentales y controles.

�� • Pequeños grupos de alumnos usando ambientes de aprendizajes específicos, ya sea como parte de una intervención o como actividad regular de las clases.

� ��

• Evaluación pre y post de mejora en el aprendizaje

� �� • Observaciones, evaluación específica de tareas, grupos focales.

� ��

• Encuestas en línea de gran escala

�� • Entrevista a los alumnos � ��

�� • Pruebas pre y post. � ��

Determinar la adopción por parte de escuelas y profesores

• Encuestas de gran escala.

�� • Cuestionario de opinión de profesores en la escuela.

��

• Cuestionarios de muchos profesores y escuelas.

�� • Observaciones de clases. ��

Conocer los efectos en las estrategias y procesos de aprendizaje.

• Evaluación pre y post de procesos específicos intrasujeto.

� �� • Evaluación de tareas prescritas.

� ��

• Observaciones de interacciones alumno-computador.

� ��

Determinar los efectos en la colaboración, en el entorno aplicado u otros.

• Observaciones de clases, entrevistas con profesores, cuestionarios, documentación.

� ��

Conocer las actitudes hacia los computadores en educación

• Evaluación de actitudes de alumnos y profesores.

�� • Entrevistas y discusiones de grupos focales.

� ��

Determínala los efectos en las pedagogías y prácticas de los profesores

• Encuestas de gran tamaño respecto a la frecuencia de uso, tipos de TICs usadas, entre otros.

�� • Observaciones de clases, entrevistas con profesores, cuestionarios, documentación

� ��

Determinar el uso de los computadores por género y contribución para mejorar el acceso y aprendizaje de niños con necesidades especiales

• Cuestionarios de gran escala de uso del computador

�� • Observaciones de clases, entrevistas con alumnos, cuestionarios.

� ��

• Cuestionarios de opinión de gran escala de muchos profesores y escuelas.

�� • Pequeños grupos de alumnos usando ambientes de aprendizajes específicos, ya sea como parte de una intervención o como actividad regular de las clases.

� ��

Determinar lo costos totales de operación y costo-efectividad

• Encuestas en línea de todo el personal de la escuela, encuestas de gran escala.

�� • Entrevistas a profesores, registros de la escuela, cuestionarios al personal.

��

Finalmente la Tabla 5 muestra los instrumentos asociados a los métodos indicados en la Tabla 4.


23

Tabla 5: Métodos de investigación e instrumentos asociados (Harvey, 1998; Frechtling, 2002).

Objetivos de investigación Instrumentos de evaluación Métodos cuantitativos Métodos cualitativos

Medir el impacto en el aprendizaje de los alumnos

• Pruebas de aprendizaje estandarizadas alineadas con los resultados de aprendizaje que promueve la innovación.

• Pruebas de aprendizaje en competencias no-tradicionales, pero validadas en su consistencia interna.

• Encuestas.

• Diseño y pauta(s) de observación en sala de clases.

• Pruebas de evaluación de tareas específicas validadas.

• Diseño y pauta de entrevista.

Determinar la adopción por parte de escuelas y profesores

• Encuestas. • Cuestionarios.

• Cuestionarios de opinión. • Pautas de observación de sala de clases

(con uso de rúbricas respecto a los comportamientos que deben observarse).

Conocer los efectos en las estrategias y procesos de aprendizaje.

• Pruebas de procesos específicos, validadas en su consistencia interna.

• Registro de uso basado en grabación de interacción con el computador (log).

• Diseño y pauta de evaluación de tareas preescritas.

• Diseño y pauta(s) de observación de interacciones.

• Registro en video de interacciones de alumnos con pantalla dividida (mitad alumno, mitad pantalla computador).

Determinar los efectos en la colaboración, en el entorno aplicado u otros.

• Encuestas • Diseño y pauta(s) de observación en sala de clases

• Diseño y pauta de entrevistas. • Cuestionarios.

Conocer las actitudes hacia los computadores en educación

• Prueba de actitudes para profesores. • Prueba de actitudes para alumnos.

• Diseño y pauta de entrevista. • Diseño y pauta de grupo focal.

Determinar los efectos en las pedagogías y prácticas de los profesores

• Encuestas. • Diseño y pauta(s) de observación en sala de clases.

• Diseño y pauta(s) de entrevistas. • Cuestionarios.

Determinar el uso de los computadores por género y contribución para mejorar el acceso y aprendizaje de niños con necesidades especiales

• Registro de uso basado en grabación de interacción con el computador (log).

• Diseño y pauta(s) de observación en sala de clases.

• Diseño y pauta(s) de entrevistas. • Cuestionarios.

Determinar los costos totales de operación y costo-efectividad

• Cuestionario • Encuestas

• Diseño y pauta(s) de entrevista a profesores y directivos.

• Cuestionarios.

Una discusión respecto de las ventajas y desventajas de los métodos mixtos y especialmente en las ventajas y desventajas de algunos métodos de recolección de datos como entrevistas, grupos focales, observaciones, pruebas, estudios de documentos, informantes clave y casos de estudio se encuentra en (Harvey, 1998; Frechtling, 2002).

El modelo conceptual se ilustra con un ejemplo incluido como anexo al presente documento.

5 Orientaciones respecto a políticas públicas y creación agenda

El modelo conceptual planteado permite desagregar el problema del diseño y desarrollo de programas de informática educativa en etapas, definiéndose para cada una de ellas qué componente construir (modelo pedagógico, proceso de intervención, proceso de transferencia) por un lado y por otro cómo, dónde y en qué escala realizar la evaluación de dicha componente. Esto entrega a los diseñadores una herramienta metodológica que asegure iterativamente la consistencia interna de diseño, solidez teórica y alineación con los resultados esperados de los distintos componentes de un programa de informática educativa. Con ello se establece una hoja de ruta para que los diseñadores creen y validen sus innovaciones, incorporando también la componente de costo-efectividad, ya que estas iniciativas deben ser viables en la práctica tanto técnica como financieramente.


24

A continuación discutiremos como estas orientaciones permiten crear agenda en la política pública y cómo estos procesos requieren capacidades técnicas y asociaciones con instituciones especializadas.

5.1 Orientaciones para políticas públicas

Desde el punto de vista de las políticas públicas, el modelo conceptual entrega mecanismos al tomador de decisiones para construir una política de incentivo al desarrollo de programas de informática educativa. Por ejemplo, pueden crearse fondos concursables que incentiven el diseño, desarrollo y evaluación de: modelos pedagógicos basados en TICs (eficacia), los procesos de intervención en aquellos proyectos que hayan demostrado su eficacia previamente (efectividad) y el empaquetamiento y mejoras para la masificación en el sistema escolar de aquellas iniciativas efectivas (eficiencia). El marco conceptual también entrega lineamientos para evaluar cada una de las propuestas tanto en el proceso de adjudicación de los fondos, como en la evaluación propiamente tal de las mismas. Esto último permitirá compararlas con aquellas de su mismo nivel, para determinar si seguirán siendo apoyadas financieramente en su siguiente etapa de desarrollo. Como los recursos son escasos y no se podrá financiar todas las iniciativas, debiera privilegiarse aquellas que entreguen una mayor evidencia de su utilidad o su costo-efectividad, como se muestra en Figura 6.

Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci



Diseño inicial


δδδδ


δδδδ

Costo por alumnoCosto por alumnoCosto por alumnoCosto por alumnoδδδδ






Masificación del programa en el sistema escolar

Escala de la

Escala de la

Escala de la

Escala de la

implementaci

implementaci

implementaci



Diseño inicial


δδδδ


δδδδ


δδδδ

Costo por alumnoCosto por alumnoCosto por alumnoCosto por alumnoδδδδ









Masificación del programa en el sistema escolar

Figura 6: Modelo conceptual incorporando la costo-efectividad como parte del proceso de evaluación.

Como se puede apreciar en la Figura 6, las iniciativas van pasando de nivel en la medida que adicionalmente a las consideraciones de alcanzar un tamaño del efecto mínimo como plantea el modelo, sean competitivas con otras propuestas en costo-efectividad. La comparación de costo-efectividad debiera efectuarse entre aquellas innovaciones que tienen características similares de acuerdo a ciertos criterios definidos a-priori como poblaciones a las que están dirigidas, niveles y asignaturas en que se trabaja y/o tecnologías que emplean. Otra alternativa para lo anterior es que los fondos concursables sean temáticos o con ejes prioritarios de aplicación.

Al final de este proceso, los PIE eficientes podrían masificarse centralizadamente por el gobierno, a través de subsidios a los establecimientos o ser certificados como iniciativas de calidad para el financiamiento de los establecimientos con fondos propios o de terceros. Además, abre la oportunidad de la articulación público-privada a través de iniciativas de responsabilidad social empresarial (RSE), integrando los PIEs a la cartera de proyectos que las empresas que trabajan en esa línea están buscando para financiar de ese modo.

Finalmente, un proceso de las características descritas es una herramienta para construir una política de informática educativa desde las necesidades específicas de las escuelas en lugar del paradigma actual que es buscar usos a la infraestructura instalada o en instalación. Distintas necesidades de aprendizaje, eventualmente requerirán distintas soluciones de software y hardware diversificando la infraestructura existente en las escuelas, que responde actualmente en su mayoría a estándares uniformes y centralizados no decididos por ellas. Sobre la base de la información de impacto final provista por los programas de informática educativa en fase de masificación, es posible llevar a cabo estudios de meta-análisis (Liao & Hao, 2008) que permitan


25

determinar la efectividad conjunta de las TICs en el sistema educativo, complementando estudios de evaluación a gran escala internacionales como SITES 2006 (Plomp et al., 2007).

No obstante lo anterior, hay que tener en consideración que las evaluaciones tanto formativas como sumativas empleadas en esta metodología toman un tiempo que pueden durar días, semanas o meses. Esto requiere de alianzas de largo plazo entre los investigadores en tecnología educativa y las escuelas, para construir soluciones prototipos en conjunto para estudiarlas rigurosamente (Reeves, 2000). Las agencias públicas y/o privadas deben estar preparadas para apoyar este proceso que puede tomar cinco años o más para lograr resultados útiles (Reeves, 2000).

5.2 Desafíos para el desarrollo de políticas públicas

Sin embargo, aplicar la metodología aquí descrita al desarrollo de políticas públicas también presenta desafíos ya que la evaluación requiere de competencias técnicas específicas en diseño de investigación en ciencias sociales, gestión, análisis y entrega de reportes (World Bank, 2004) y de estándares de evaluación que puedan ser aplicados de forma objetiva y transparente. Por lo tanto, los gobiernos necesitan colaborar con instituciones especializadas como Universidades y Centros de Investigación para llevar a cabo estos estudios. Un ejemplo de esta colaboración en estos dos ámbitos son los recientes estudios de efectividad de productos de software educativos en lectura y matemáticas en Estados Unidos (Dynarski et al., 2007; Campuzano et al., 2009) que fueron realizados por mandato gubernamental del acta No Child Left Behind (NCLB) y encargados por el Instituto de Ciencias de la Educación (Institute of Education Sciences, IES) del Departamento de Educación de Estados Unidos a SRI International y Mathematica Policy Research Inc

1. Esta última institución ya había elaborado un documento con recomendaciones para la realización de estudios a nivel nacional, también por encargo del IES (Agodini et al., 2003). Otro ejemplo es la agencia BECTA en el Reino Unido que constantemente encarga estudios de investigación sobre las TICs y su impacto a reconocidos investigadores (Watson, 1993; Harrison et al., 2002; Cox & Abbot, 2004; Cox & Webb, 2004; Underwood, 2009).

Respecto a los estándares de evaluación, existen en la actualidad distintas iniciativas que buscan definir cuando un estudio se basa en evidencia rigurosa y cuales cumplen estos criterios para difundir dichas iniciativas en el sistema escolar. Algunas de ellas son What Works Clearing House (http://ies.ed.gov/ncee/wwc/), Best Evidence Encyclopedia (www.bestevidence.org), Comprenhensive School

Reform Quality Center (www.csrq.org), Campbell Collaboration (www.campbellcollaboration.org) y Evidence for Policy and Practice Information and Co-ordinating Centre (http://eppi.ioe.ac.uk/cms/) (Slavin, 2008). En torno a estas iniciativas existe un debate en progreso al interior de la comunidad científica respecto de la importancia de la investigación cuantitativa y cualitativa para acordar qué criterios definen una evidencia rigorosa (Chatterji, 2005; Slavin, 2008).

El uso de estos estándares significa asimismo considerar aspectos éticos en la investigación educativa, como ya se aplican en algunos países. Estos aspecto se refieren a los sujetos que investigan, el proceso de investigación propiamente tal y de los sujetos investigados, especialmente en el respeto por la privacidad y confidencialidad, el reclutamiento de los participantes y el respeto de sus derechos esenciales a través de un consentimiento informado (Sañudo, 2006).

El segundo desafío es que se requiere estimar cuál será el costo total final del programa (Margolis et al., 2006), introduciéndolo como una consideración desde fases tempranas de diseño, lo que requiere la incorporación de profesionales del ámbito de la economía y la administración al equipo diseñador del PIE. Finalmente, el tercer desafío, relacionado con el anterior es que también se requiere de un estándar para el cálculo del TCO, que permita calcular, comparar y transparentar las diferencias entre las distintas propuestas (Moyle, 2008).

5.3 Oportunidades para colaborar y profundizar sobre el tema

Como se mencionó anteriormente, la evaluación del impacto de las TICs requiere de la colaboración conjunta de distintas agencias y organizaciones tanto gubernamentales como no gubernamentales. El objetivo de la

1 Bajo contrato ED-01CO0039/0007


26

presente sección es orientar respecto a algunos de los organismos existentes que trabajan en estos ámbitos que permita orientar sobre la búsqueda de información respecto al tema.

Respecto a las agencias gubernamentales encargadas de desarrollar e implementar políticas públicas para lograr un uso efectivo y eficiente de las TICs en la educación podemos encontrar: BECTA, (www.becta.org.uk) del Reino Unido, Education.au (www.educationau.edu.au) de Australia, Enlaces - Centro de Educación y Tecnología (www.enlaces.cl) del Ministerio de Educación de Chile, Korea Education

& Research Information Service, KERIS (http://english.keris.or.kr) de Corea del Sur, Learning Sciences Lab de Singapur (http://www.lsl.nie.edu.sg/) y Office of Educational Technology (www.ed.gov/Technology) del Departamento de Educación de Estados Unidos. Relacionado con lo anterior, pero en término de la evaluación de impacto encontramos en Estados Unidos Institute of Education Sciences (IES, ies.ed.gov/) cuyo centro National Center for Education Evaluation and Regional Assistance, dependiente del IES (http://ies.ed.gov/ncee/) es el encargado de llevar a cabo las evaluaciones a nivel nacional y mantener el repositorio de programas efectivos de acuerdo a evidencia rigurosa (WWC).

Dentro de los centros y agencias no gubernamentales que investigan y evalúan el uso de las TICs en educación podemos encontrar: Center for Children and Technology, (http://cct.edc.org); Future Lab (www.futurelab.org.uk); Mathematica Policy Research, Inc (www.mathematica-mpr.com) y Center for

Technology in Learning (http://ctl.sri.com/) perteneciente a SRI International.

En cuanto a organismos internacionales vinculados al tema de TICs y educación podemos encontrar al Banco

Interamericano de Desarrollo a través de su iniciativa de educación (http://www.iadb.org/edu/), el Banco

Mundial a través de InfoDev (Information for Development Program, www.infodev.org) que además provee guías para el uso y evaluación de las TICs en educación (ICT-in-Education Toolkit (http://www.ictinedtoolkit.org) y un blog (http://blogs.worldbank.org/edutech/) y la OCDE con su Centre for

Educational Research and Innovation (CERI2)

Por su parte las Naciones Unidas a través de la CEPAL y la UNESCO tiene distintas iniciativas en el tema. La CEPAL publica regularmente estudios a través de su División de Desarrollo Social (www.eclac.org/dds) respecto a las TIC y educación en América Latina. Por su parte la UNESCO dedica en su portal una sección al tema3 y además ha desarrollado indicadores para evaluar el impacto de las TIC en educación4 .

Por otro lado, entre las revistas usadas para la elaboración de este artículo donde se publican artículos relevantes respecto a la aplicación de TICs en educación y su evaluación de impacto podemos encontrar las siguientes (entre paréntesis se indica su índice-H5): British Journal of Educational Technology (20), Computers & Education (30), Educational Evaluation and Policy Analysis (28), Education and Information

Technologies (10), Educational Technology and Society (17), Journal of Educational Research (23) y Review

of Educational Research (44).

Finalmente entre las instituciones que actualmente trabajan en el desarrollo de estándares de competencias del Siglo 21 podemos encontrar a la Universidad de Melbourne, Australia a través de su proyecto ATCS-21 (www.atc21s.org) y P21 (Partnership for 21st Century Skills, www.21stcenturyskills.org) en Estados Unidos y la OECD con su iniciativa “Aprendices del Nuevo Milenio” (www.oecd.org/edu/nml).

6 Conclusiones y trabajo futuro

Como se discutió en este artículo, medir el impacto de las TICs es un problema y un área de investigación por si misma que todavía no entrega respuestas concluyentes a las preguntas que se han realizado (Cox & Marshall, 2007; Reeves, 2008). Si a ello añadimos que lamentablemente no se tiene mucha certeza del respaldo teórico de muchas de las estrategias que se han implementado (McFarlane, 2001; Earle, 2002; Marshall & Cox, 2008) o qué sucedió específicamente durante dicha implementación (Penuel, 2005; Marshall & Cox, 2008; Reeves, 2008), sin duda no es posible tener muchas expectativas respecto a los

2 http://www.oecd.org/department/0,3355,en_2649_35845581_1_1_1_1_1,00.html 3 http://portal.unesco.org/ci/en/ev.php-URL_ID=2929&URL_DO=DO_TOPIC&URL_SECTION=201.html 4 http://www.unescobkk.org/education/ict/themes/measuring-and-monitoring-change/ 5 El índice H de la revista expresa el número de artículos (h) que han recibido al menos h citas en los últimos 3 años. Cuantifica tanto la productividad como impacto científico de la revista (SCImago, 2007).


27

resultados a encontrar. A esto se suma que a pesar de los pocos casos de evidencia robusta, la relación entre ésta y las decisiones gubernamentales que debieran basarse en ellas es débil o inexistente (Cox, 2008) y a que en general la evidencia de efectividad de los programas educativos es a menudo citada para justificar decisiones tomadas u opiniones ya formadas (Slavin, 2008).

Sin embargo, en la actualidad el movimiento que busca incentivar el uso de programas y prácticas basadas en investigación rigurosa, ha empezado a ganar terreno dentro de las políticas gubernamentales (Slavin, 2008). Por lo tanto se necesita proveer a los tomadores de decisiones de metodologías que permitan ir paulatinamente respondiendo a las preguntas abiertas y/o construyendo programas y prácticas que sean metodológicamente correctas para que vayan siendo validadas en distintos niveles y escalas de implementación. Ya hay esfuerzos en esta dirección algunos de los cuales se mencionaron en la sección 5.

Es de suma importancia difundir la experiencia ganada en la implementación y evaluación del impacto de las TICs en educación de forma de que ésta salga del círculo de la comunidad científica experta para que sea empleada por tomadores de decisiones y educadores en general (Trucano, 2005).

Este artículo es un esfuerzo en esta dirección que permita hacer conciencia de que el desafío de la integración de las TICs en el sistema escolar todavía no está resuelto y hay una serie de temas que abordar y mejorar, para no seguir cometiendo los errores del pasado.

Agradecimientos

Este trabajo contó con el apoyo de UNESCO.

Referencias

1. Agodini, R., Dynarski, M., Honey, M., & Levin, D. (2003). The Effectiveness of Educational Technology: Issues and Recommendations for the National Study. Mathematica Policy Research, Inc. Descargado October 29, 2009, desde http://www.mathematica-mpr.com/PDFs/edtechrec.pdf.

2. Anderson, R. E., & Plomp, T. (2009). Introduction. In T. Plomp et al. (Eds.), Cross-National Information

and Communication Technology Policies and Practices in Education (Second Edition., p. 3—17). IAP-Information Age Publishing.

3. Balanskat, A., Blamire, R., & Kefala, S. (2006). The ICT Impact Report: A review of studies of ICT impact on schools in Europe. Descargado en Diciembre 29, 2009, desde http://ec.europa.eu/education/pdf/doc254_en.pdf.

4. Barrera-Osorio, F., & Linden, L. (2009). The Use and Misuse of Computers in Education: Evidence from a Randomized Controlled Trial of a Language Arts Program. Descargado en marzo 08, 2010, desde http://www.columbia.edu/~ll2240/Barrera-Linden%20Computadores_2009-03-25.pdf.

5. Bland, J. M., & Altman, D. G. (1997). Statistics notes: Cronbach's alpha. BMJ, 314(7080), 572.

6. Campuzano, L., Dynarski, M., Agodini, R., & Rall, K. (2009). Effectiveness of Reading and Mathematics Software Products: Findings from Two Student Cohorts. Descargado Enero 27, 2010, desde http://ies.ed.gov/ncee/pubs/20094041/.

7. Castro, C. (2004). Are new technologies better technologies? For whom? In Adapting technology for

school improvement: a global perspective (pp. 39-54). International Institute for Educational Planning - Unesco.

8. Chatterji, M. (2005). Evidence on "What Works": An Argument for Extended-Term Mixed-Method (ETMM) Evaluation Designs. Educational Researcher, 34(5), 14-24.

9. Cohen, J. (1998). Statistical power analysis for the behavioral sciences. Hillsdale, NJ: Lawrence Earlbaum Associates.


28

10. Condie, R., & Munro, B. (2007). The Impact of ICT in schools a landscape review. BECTA Research.

11. Conlon, T., & Simpson, M. (2003). Silicon Valley versus Silicon Glen: the impact of computers upon teaching and learning: a comparative study. British Journal of Educational Technology, 34(2), 137-150.

12. Cortez, C., Nussbaum, M., López, X., Rodríguez, P., Santelices, R., Rosas, R., et al. (2005). Teachers' support with ad-hoc collaborative networks. Journal of Computer Assisted Learning, 21(3), 171-180.

13. Cox, M. (2008). Research IT in education. In J. Voogt. G. Knezek (Eds.), International Handbook of

Information Technology in Primary and Secondary Education (pp. 965-981).

14. Cox, M., & Abbot, C. (2004). ICT and attainment: A review of the research literature. ICT in Schools Research and Evaluation Series – No.17, DfES-Becta. Descargado enero 25, 2010, desde http://publications.teachernet.gov.uk/eOrderingDownload/ICT and attainment.pdf.

15. Cox, M., & Marshall, G. (2007). Effects of ICT: Do we know what we should know? Education and

Information Technologies, 12(2), 59-70.

16. Cox, M., & Webb, M. (2004). ICT and pedagogy: A review of the research literature. ICT in Schools Research and Evaluation Series – No.18, DfES- Becta. Descargado Enero 25, 2010, desde http://publications.becta.org.uk/display.cfm?resID=25813.

17. Cronbach, L. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297-334.

18. Cuban, L. (2001). Oversold & Unde rused. Computers in the Classroom. Harvard University Press, London.

19. Culp, K. M., Honey, M., & Mandinach, E. (2003, October). A Retrospective on Twenty Years of Education Technology Policy. U.S. Department of Education, Office of Educational Technology. Descargado enero 25, 2010, desde http://www.ed.gov/rschstat/eval/tech/20years.pdf.

20. Dool, P. V. D., & Kirschner, P. (2003). Integrating the Educative Functions of Information and Communications Technology (ICT) in teachers' and learners' toolboxes: a reflection on pedagogical benchmarks for ICT - in teacher education. Technology, Pedagogy and Education, 12(1), 161.

21. Dynarski, M., Agodini, R., Heaviside, S., Novak, T., Carey, N., Campuzano, L., et al. (2007). Effectiveness of Reading and Mathematics Software Products: Findings from the First Student Cohort. U.S. Department of Education, Institute of Education Sciences. Descargado enero 25, 2010, desde http://ies.ed.gov/ncee/pubs/20074005/.

22. Earle, R. S. (2002). The Integration of Instructional Technology into Public Education: Promises and Challenges. Educational Technology, 42(1), 5-13.

23. Fan, X. (2001). Statistical Significance and Effect Size in Education Research: Two Sides of a Coin. The

Journal of Educational Research, 94(5), 275-282.

24. Feinstein, O. N., & Picciotto, R. (2001). Evaluation and Poverty Reduction. World Bank Series on Evaluation and Development (Vol. 3, p. 382). Washington, D.C: Transaction Publishers, New Brunswick, New Jersey.

25. Fox, N., & Mathers, N. (1997). Empowering research: statistical power in general practice research. Fam.

Pract., 14(4), 324-329.

26. Frechtling, J. (2002). The 2002 User Friendly Handbook for Project Evaluation (NSF 02-057). Arlington.


29

VA: National Science Foundation. Descargado enero 25, 2010 desde http://www.nsf.gov/pubs/2002/nsf02057/nsf02057.pdf.

27. Harris, D. N. (2009). Toward Policy-Relevant Benchmarks for Interpreting Effect Sizes: Combining Effects With Costs. Educational Evaluation and Policy Analysis, 31(1), 3-29.

28. Harrison, C., Comber, C., Fischer, T., Haw, K., Lewin, C., Lunzer, E., et al. (2002). ImpaCT2: The impact of information and communication technologies on pupil learning and attainment. BECTA. Descargado enero 25, 2010, desde http://partners.becta.org.uk/page_documents/research/ImpaCT2_strand1_report.pdf.

29. Harvey, J. (1998). Evaluation Cookbook. Learning Technology Dissemination Initiative, Institute for Computer Based Learning, Heriot-Watt University, Edinburgh. Descargado enero 25, 2010 desde http://www.icbl.hw.ac.uk/ltdi/cookbook/cookbook.pdf.

30. Hayes, D. N. A. (2007). ICT and learning: Lessons from Australian classrooms. Computers & Education, 49(2), 385-395.

31. Hennessy, S., Ruthven, K., & Brindley, S. (2005). Teacher Perspectives on Integrating ICT into Subject Teaching: Commitment, Constraints, Caution, and Change. Journal of Curriculum Studies, 37(2), 155-192.

32. Hepp, P. (2003). Critical factors for an ICT in education policy in developing countries. In Proceedings

of the Information Technology: Research and Education, ITRE2003 (pp. 501 - 505). Presented at the Information Technology: Research and Education.

33. Infante, C., Hidalgo, P., Nussbaum, M., Alarcón, R., & Gottlieb, A. (2009). Multiple Mice based collaborative one-to-one learning. Computers & Education, 53(2), 393-401.

34. Infante, C., Weitz, J., Reyes, T., Nussbaum, M., Gómez, F., & Radovic, D. (2009). Co-located collaborative learning video game with single display groupware. Interactive Learning

Environments.

35. Kirkman, C. (2000). A model for the effective management of information and communications technology development in schools derived from six contrasting case studies. Technology, Pedagogy and Education, 9(1), 37-52.

36. Kozma, R. B. (2003). Technology and Classroom Practices: An International Study. Journal of Research

on Technology in Education, 36(1), 1-14.

37. Kozma, R. B. (2008). Comparative Analysis of Policies for ICT in Education. In J. Voogt. G. Knezek

(Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 1083-1096).

38. Lai, K. (2008). ICT Supporting the Learning Process: The Premise, Reality, and Promise. In J. Voogt. G.

Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary

Education (pp. 215-230).

39. Law, N. (2009). Curriculum and Staff Development For ICT In Education. In Cross-National

Information and Communication Technology Policies and Practices in Education (Second Edition., p. 19—39). IAP-Information Age Publishing.

40. Lemke, C., Coughlin, E., & Reifsneider, D. (2009). Technology in Schools: What research says? A 2009 Update. Culver City, CA: Commissioned by Cisco. Descargado marzo 08, 2010 desde http://www.cisco.com/web/strategy/docs/education/tech_schools_09_research.pdf.


30

41. Liao, Y., & Hao, Y. (2008). Large -scale studies and quantitative methods. In J. Voogt. G. Knezek (Eds.),

International Handbook of Information Technology in Primary and Secondary Education (pp. 1019-1035).

42. Light, D. (2008). Evaluating Educational Technology Interventions: How do we know its working? Center for Children and Technology, Education Development Center, Inc. Descargado enero 25, 2010, desde http://cct.edc.org/report.asp?id=254.

43. Lim, C. P. (2002). A theoretical framework for the study of ICT in schools: a proposal. British Journal of

Educational Technology, 33(4), 411-421.

44. Margolis, J., Nussbaum, M., Rodríguez, P., & Rosas, R. (2006). Methodology for evaluating a novel education technology: a case study of handheld video games in Chile. Computers & Education, 46(2), 174-191.

45. Marshall, G., & Cox, M. (2008). Research Methods: Their design, applicability and reliability. In J.

Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and

Secondary Education (pp. 983-1002).

46. McFarlane, A. (2001). Perspectives on the relationships between ICT and assessment. Journal of

Computer Assisted Learning, 17(3), 227-234.

47. Mioduser, D., Nachmias, R., Tubin, D., & Forkosh-Baruch, A. (2003). Analysis Schema for the Study of Domains and Levels of Pedagogical Innovation in Schools Using ICT. Education and Information

Technologies, 8(1), 23-36.

48. Mooij, T., & Smeets, E. (2001). Modelling and supporting ICT implementation in secondary schools. Computers & Education, 36(3), 265-281.

49. Moonen, J. (2008). Policy from a global perspective. In J. Voogt. G. Knezek (Eds.), International

Handbook of Information Technology in Primary and Secondary Education (p. 1171—1178).

50. Moyle, K. (2008). Total Cost Of Ownership And Total Value Of Ownership. In J. Voogt. G. Knezek

(Eds.), International Handbook of Information Technology in Primary and Secondary Education (pp. 615-631).

51. Nachmias, R., Mioduser, D., Cohen, A., Tubin, D., & Forkosh-Baruch, A. (2004). Factors Involved in the Implementation of Pedagogical Innovations Using Technology. Education and Information

Technologies, 9(3), 291-308.

52. Njenga, J. K., & Fourie, L. C. H. (2010). The myths about e-learning in higher education. British Journal

of Educational Technology, 41(2), 199-212.

53. Nussbaum, M., & Rosas, R. (2004). Enlaces Móvil: Tecnología Portátil En La Sala De Clases - Informe final.

54. Osborne, J., & Hennessy, S. (2003). Literature Review in Science Education and the Role of ICT:

Promise, Problems and Future Directions. Future Lab. Descargado enero 31, 2010, desde http://www.futurelab.org.uk/resources/documents/lit_reviews/Secondary_Science_Review.pdf.

55. Pawar, U. S., Pal, J., & Toyama, K. (2006). Multiple Mice for Computers in Education in Developing Countries. In Information and Communication Technologies and Development, 2006. ICTD '06. (pp. 64-71). Presented at the Information and Communication Technologies and Development, 2006. ICTD '06.


31

56. Pelgrum, W. (2001). Obstacles to the integration of ICT in education: results from a worldwide educational assessment. Computers & Education, 37(2), 163-178.

57. Penuel, W. R. (2005). Recommendations for Evaluation Research within Educational Innovations. Center for Technology in learning, SRI International. Descargado enero 25, 2010, desde http://ctl.sri.com/publications/downloads/Rec_Eval_Research_within_Edu_Innovations.pdf.

58. Pilkington, R. M. (2008). Measuring the impact of Information Technology on Student's Learning. In J.

Voogt. G. Knezek (Eds.), International Handbook of Information Technology in Primary and

Secondary Education (pp. 1003-1018).

59. Plomp, T., Pelgrum, W., & Law, N. (2007). SITES2006–International comparative survey of pedagogical practices and ICT in education. Education and Information Technologies, 12(2), 83-92.

60. Reeves, T. (2008). Evaluation of the Design and Development of IT Tools in Education. In J. Voogt. G.

Knezek (Eds.), International Handbook of Information Technology in Primary and Secondary

Education (pp. 1037-1051).

61. Reeves, T. (2006). Design research from a technology perspective. In J. van den Akker, K. Gravemeijer,

S. McKenney & N. Nieveen (Eds.) Educational Design Research. London: Routledge.

62. Reeves, T. (1994). Evaluating What Really Matters in Computer-Based Education. In In M. Wild & D.

Kirkpatrick (Eds.) Computer Education: New perspectives. (pp. 219-246). Perth, Australia: MASTEC. Descargado enero 25, 2010 desde http://www.educationau.edu.au/evaluating-what-really-matters-computer-based-education.

63. Reeves, T. (2000). Enhancing the Worth of Instructional Technology Research through "Design Experiments" and Other Development Research Strategies. Descargado diciembre 8, 2009, desde http://it.coe.uga.edu/~treeves/AERA2000Reeves.pdf.

64. Reynolds, D., Treharne, D., & Tripp, H. (2003). ICT - the hopes and the reality. British Journal of

Educational Technology, 34(2), 151-167.

65. Robertson, J. (2002). The ambiguous embrace: twenty years of IT (ICT) in UK primary schools. British

Journal of Educational Technology, 33(4), 403-409.

66. Rodríguez, P., & Gómez, F. (2007). Tecnología Portátil en la Sala de Clases: desarrollo de un producto y estándar de clase mundial para la transformación de la práctica pedagógica - Informe Final Proyecto CORFO Innova Chile 05CT5IP-02.

67. Rodríguez, P., Nussbaum, M., López, X., & Sepúlveda, M. (2010). A Monitoring and Evaluation Scheme for an ICT-Supported Education Program in Schools. To appear on Educational Technology &

Society.

68. Rodríguez, P. (2008). Estándar de Modelo de Informática Educativa. Enlaces, Centro de Educación y Tecnología. Descargado diciembre 7, 2009, http://intranet.redenlaces.cl/index.php?id=11414&no_cache=1&uid=2549&param=publico.

69. Rovai, A. P. (2003). A practical framework for evaluating online distance education programs. The

Internet and Higher Education, 6(2), 109-124.

70. Sánchez, J., & Salinas, A. (2008). ICT & learning in Chilean schools: Lessons learned. Comput. Educ., 51(4), 1621-1633.

71. Sañudo, L. (2006). La ética en la investigación educativa. Presentado al I Congreso Iberoamericano de


32

Ciencia, Tecnología, Sociedad e Innovación (CTS+I). Palacio de Minería, 19-23 junio 2006, Ciudad de México, México. Descargado marzo 30, 2010, desde http://www.oei.es/memoriasctsi/mesa2/m02p33.pdf.

72. Schochet, P. Z. (2008, May). Technical Methods Report: Guidelines for Multiple Testing in Impact Evaluations (NCEE 2008-4018). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, U.S. Department of Education. Descargado enero 25, 2010 desde http://ies.ed.gov/ncee/pdf/20084018.pdf.

73. SCImago. (2007). SJR — SCImago Journal & Country Rank. Descargado enero 19, 2010, desde http://www.scimagojr.com.

74. Slavin, R., & Smith, D. (2009). The Relationship Between Sample Sizes and Effect Sizes in Systematic Reviews in Education. Educational Evaluation and Policy Analysis, 31(4), 500-506.

75. Slavin, R. E. (2008). Perspectives on Evidence-Based Research in Education--What Works? Issues in Synthesizing Educational Program Evaluations. Educational Researcher, 37(1), 5-14.

76. Slavin, R. E., Cheung, A., Groff, C., & Lake, C. (2008). Effective Reading Programs for Middle and High Schools: A Best-Evidence Synthesis. Reading Research Quarterly, 43(3), 290-322.

77. Slavin, R. E., & Lake, C. (2008). Effective Programs in Elementary Mathematics: A Best-Evidence Synthesis. Review of Educational Research, 78(3), 427-515.

78. Slavin, R. E., Lake, C., Chambers, B., Cheung, A., & Davis, S. (2009). Effective Reading Programs for the Elementary Grades: A Best-Evidence Synthesis. Review of Educational Research, 79(4), 1391-1466.

79. Spencer, K. (1991). Modes, media and methods: the search for educational effectiveness. British Journal

of Educational Technology, 22(1), 12-22.

80. Squires, D., & Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them. Interacting with Computers, 11(5), 467-483.

81. Sunkel, G. (2006). Las Tecnologías de La Información y la Comunicación (Tic) en la educación en

América Latina. Una exploración de indicadores. CEPAL - Politicas sociales (Division de Desarrollo Social, CEPAL, Naciones Unidas.).

82. Sutherland, R., Armstrong, V., Barnes, S., Brawn, R., Breeze, N., Gall, M., et al. (2004). Transforming teaching and learning: embedding ICT into everyday classroom practices. Journal of Computer

Assisted Learning, 20(6), 413 - 424.

83. Tan, Jee-Peng , Anderson, J. R. , Belli, P., Barnum, H.N., & Dixon, J. A. (2001). Economic analysis of

investment operations analytical tools and practical applications, Vol. 1 of 1. R Descargado enero 27, 2010, desde http://www-wds.worldbank.org/servlet/main?menuPK=64187510&pagePK=64193027&piPK=64187937&theSitePK=523679&entityID=000160016_20060127112546.

84. Tearle, P. (2003). ICT implementation: what makes the difference? British Journal of Educational

Technology, 34(5), 567-583.

85. Tearle, P. (2004). A theoretical and instrumental framework for implementing change in ICT in education. Cambridge Journal of Education,, 34(3), 331-351.

86. Tondeur, J., Braak, J. V., & Valcke, M. (2007). Curricula and the use of ICT in education: Two worlds


33

apart? British Journal of Educational Technology, 38(6), 962-976.

87. Trucano, M. (2005). Knowledge Maps: ICTs in Education. ICT and Education Series. Washington, DC: infoDev / World Bank. Descargado enero 25, 2010, desde http://www.infodev.org/en/Document.8.aspx.

88. Underwood, J. (2009). The impact of digital technology. BECTA. Descargado enero 20, 2010, desde http://publications.becta.org.uk/display.cfm?resID=41343&page=1835.

89. Van den Akker, J. (2003). Curriculum perspectives: An introduction. In In J. van den Akker, U. Hameyer,

& W. Kuiper (Eds.) Curriculum landscapes and trends (pp. 1-10). Dordrecht: Kluwer. Descargado marzo 1, 2010, desde http://www.neccs.nl/curriculum/Curriculum_landscapes.doc.

90. Van den Akker, J., Gravemeijer, K., McKenney, S., & Nieveen, N. (2006). Educational Design

Research. London: Routledge.

91. Villanueva, C. (2003). Measuring Ict Use In Education In Asia And The Pacific Through Performance Indicators. Presented at the Joint UNECE/UNCTAD/UNESCO/ITU/ OECD/Eurostat Statistical Workshop on Monitoring the Information Society: Data, Measurement and Methods (Geneva, 8-9 December 2003). Descargado enero 20, 2010, desde http://www.unece.org/stats/documents/ces/sem.52/6.e.pdf.

92. Wagner, D. A., Day, B., James, T., Kozma, R. B., Miller, J., & Unwin, T. (2005). Monitoring and

Evaluation of ICT in Education Projects: A Handbook for Developing Countries. ICT and Education Series. Washington, DC: infoDev / World Bank. Descargado enero 29, 2010, desde http://www.infodev.org/en/Publication.9.html.

93. Warschauer, M. (2003). Technology and Social Inclusion - Rethinking the Digital Divide. The MIT Press.

94. Watson, D. (1993). The ImpacT Report: an evaluation of the impact of information technology on

children's achievements in primary and secondary schools. London: Department for Education and King's College Centre for Educational Studies.

95. World Bank. (2004). Monitoring and Evaluation: some tools, methods & approaches. The International Bank for Reconstruction and Development/THE WORLD BANK. Descargado enero 29, 2010, desde http://lnweb90.worldbank.org/oed/oeddoclib.nsf/b57456d58aba40e585256ad400736404/a5efbb5d776b67d285256b1e0079c9a3/$FILE/MandE_tools_methods_approaches.pdf.

96. Zurita, G., & Nussbaum, M. (2004a). Computer supported collaborative learning using wirelessly interconnected handheld computers. Computers & Education, 42(3), 289-314.

97. Zurita, G., & Nussbaum, M. (2004b). A constructivist mobile learning environment supported by a wireless handheld network. Journal of Computer Assisted Learning, 20(4), 235-243.

98. Zurita, G., & Nussbaum, M. (2007). A conceptual framework based on Activity Theory for mobile CSCL. British Journal of Educational Technology, 38(2), 211-235.

99. Zurita, G., Nussbaum, M., & Salinas, R. (2005). Dynamic Grouping in Collaborative Learning Supported by Wireless Handhelds. Educational Technology & Society, 8(3), 149-161.


34

Anexo: Ejemplo de aplicación del modelo

Se ilustra la aplicación del modelo descrito en la sección 4 con el programa Eduinnova. Dicho programa busca transformar la practica educativa en la sala de clase a través de trabajo colaborativo en grupos pequeños asistidos por computadores interconectados inalámbricamente (Zurita & Nussbaum, 2004b; Cortez et al., 2005).

1 Eficacia

El objetivo de los estudios de eficacia fue evaluar tanto cuantitativa como cualitativamente actividades colaborativas (del inglés Collaborative Learning, CL) sin (Figura 7a) y con apoyo tecnológico (Figura 7b) para probar que actividades colaborativas asistidas por computación móvil (del inglés Mobile Computer

Supported Collaborative Learning MCSCL), producirían mejoras en el aprendizaje. Se desarrollaron actividades MCSCL para distintos niveles y asignaturas usando PDAs y se probaron en entornos educativos reales.

(a) Actividades colaborativas con papel

(a) Actividades colaborativas con PDAs

Figura 7: Alumnos utilizando actividades colaborativas sin y con apoyo tecnológico

En todos los estudios se observaron pequeños grupos de alumnos usando las actividades CL con y sin apoyo tecnológico, grupos experimental (GE) y control (GC), respectivamente, durante 4 semanas en el año 2002 en 1 escuela pública de nivel socio-económico bajo, en Santiago, Chile. Se aplicaron pruebas pre y post para evaluar el aprendizaje en Lenguaje y Matemáticas según los contenidos curriculares enseñados. Además, se usaron instrumentos específicos para otros aspectos a evaluar en los estudios. El resumen de los estudios se muestra a continuación en la Tabla 6.

Tabla 6: Resumen de las investigaciones de eficacia realizadas en el marco del programa Eduinnova

Objetivos de investigación Nivel y asignatura Resultados

Comprobar si crean ambientes de aprendizaje MCSCL constructivistas (Zurita & Nussbaum, 2004a)

Primero básico, Lenguaje

Se evidencian todos los principios evaluados en GE mientras que en GC solo aparecieron algunos. Impacto en el aprendizaje: GE = GC (pre-test). GE > GC : δ post-test =+0,98.

Establecer si actividades MCSCL mejoran la colaboración sin apoyo tecnológico (Zurita & Nussbaum, 2004b)

Primero básico, Lenguaje y Matemáticas

Todos los problemas evidenciados sin apoyo tecnológico se superaron usando MCSCL. Impacto en el aprendizaje: • Matemáticas: No hay diferencias • Lenguaje: No hay diferencias en el pre-test.. GE > GC; δ post-

test 0,78. Estudiar configuración grupos para actividad MCSCL (Zurita, Miguel Nussbaum, & Salinas, 2005)

Primero básico: Matemáticas

Las diferentes configuraciones tienen distinto impacto en los aspectos socio-motivacionales evaluados en el estudio. Impacto en el aprendizaje: No hay diferencias en el pre-test. GE > GC; δ post-test = 1,01.


35

Objetivos de investigación Nivel y asignatura Resultados

Dinámica de interacción social grupal en actividades MCSCL (Zurita & Nussbaum, 2007)

Segundo básico: Matemáticas

Existe aprendizaje, ya que hay diferencias estadísticamente significativas entre el pre y post test.

Impacto en aprendizaje (Cortez et al., 2005)

Física, I Medio Comparación individual vs colaborativa: δ test = 0,49

Con los estudios de eficacia se entendió cómo desarrollar actividades MCSCL efectivas, demostrando su valor al hacer práctica la colaboración dentro de la sala de clases para los profesores (pertinencia). Además, la investigación validó los supuestos en los cuales está basado (aprendizaje colaborativo y constructivismo) y el ambiente de aprendizaje, en términos de su facilidad de uso (público objetivo tenia poca alfabetización digital) y la representación del material. Adicionalmente, las actividades diseñadas bajos ciertos principios que fueron identificados (Zurita & Nussbaum, 2007) funcionaban en distintos niveles (educación básica y media) y asignaturas (Lenguaje, Matemáticas y Ciencias) del contexto educativo estudiado.

2 Efectividad

La siguiente etapa del desarrollo del programa fue diseñar una intervención para que los profesores participantes se apropiaran del modelo pedagógico definido en Cortez et. al (2005). Se llevaron a cabo dos estudios, en 5 colegios cada uno. El primero de ellos en 2004 (Figura 8a) y el segundo en el periodo 2005-2006 (Figura 8b). En este último, se modificó la intervención de 2004 para incluir lo aprendido en dicha implementación. Ambos estudios fueron del tipo cuasi-experimental prospectivo, de mediana escala con grupos experimental y control. Se realizaron evaluaciones pre y post de mejora en el aprendizaje. Como métodos cualitativos se realizaron observaciones, evaluación específica de tareas, grupos focales.

(a) Estudio 2004

(b) Estudio 2005-2006

Figura 8: Alumnos usando la tecnología colaborativa de Eduinnova

En el caso del estudio 2004, se hicieron sendas evaluaciones de contenidos de Física I y II medio al final de cada semestre, mientras que en el estudio 2005-2006 la evaluación fue anual siendo la prueba post aplicada 8 meses después del pre-test de principios del año escolar. Un resumen de los grupos y principales resultados cuantitativos se muestran a continuación en la Tabla 7.


36

Tabla 7: Resumen de los principales resultados de los estudios de efectividad del programa Eduinnova.

Estudio Colegios, niveles y asignaturas Grupos Principales resultados cuantitativos*

20

04

(N

ussb

aum

& R

osas

, 200

4)

• Escuelas con subsidio público, con ingresos medios o bajos y gran cantidad de cursos por nivel.

• Santiago (3), Antofagasta (2), Isla de Pascua (1) y Galvarino (1).

• Física I y II Medio

• Grupo experimental (GE): cursos de profesor participante que usaron PDAs.

• Grupo Control Interno A (GCI-A): cursos de profesor participante que no usaron PDAs

• Grupo Control Interno B (GCI-B): cursos que no usaron PDAs, de profesor que no participó en los mismos colegios.

Física I Medio:

• Primer semestre

o GE > GCI-A: δ post-test = 0,14 (1-β=0,71). o GE > GCI-B: δ post-test = 0,55. o GCI-A > GCI-B: δ post-test = 0,42.

• Segundo semestre:

o GE > GCI-A; δ post-test = 0,22. o GE > GCI-B: δ post-test = 0,45. o GCI-A > GCI-B: δ post-test = 0,25. (1-

β=0,72);

Física II Medio:

• Primer semestre:

o GE = GCI-A. o GE > GCI-B; δ post-test = 0,37. o GCI-A > GCI-B: δ post-test = 0,25.

• Segundo semestre: (post-test)

o GE = GCI-A. o GE > GCI-B: δ post-test = 0,88. o GCI-A > GCI-B: δ post-test = 0,87.

20

05-2

00

6 (

Rod

rígu

ez &

Góm

ez,

2007

; Rod

rígu

ez e

t al.,

201

0)

• Escuelas con subsidio público, con ingresos medios o bajos sin otras intervenciones educativas.

• Santiago (3) y Antofagasta (2).

• Física I y II Medio, Matemáticas II medio.

• Grupo experimental (GE): ídem anterior.

• Grupo Control Interno (GCI): ídem GCI-A.

• Grupo Control Externo (GCE): cursos de colegios equivalentes sin PDAs.

Física I Medio (2005): GE = GCI = GCE.

Física II Medio (2005): GE = GCI = GCE en pre-test

o GE > GCI; δ mejora= 0,41. o GE > GCE; δ mejora= 0,32. (1-β=0,74) o GCI = GCE.

Física II Medio (2006): GE = GCI = GCE en pre-test.

o GE > GCI; δ mejora= 0,58. Matemáticas II Medio (2006)

o GE > GCI; δ mejora= 0,66.

o GE > GCE: δ mejora= 1,1.

* Con α=0,05 y potencia de la prueba mayor a 0,8 excepto donde se indica.

En el estudio de 2004 (Tabla 7) se produjeron diferencias significativas entre GE y GCI-B, por lo cual se concluyó que el tratamiento (capacitación de profesores uso de la tecnología) produce mejores resultados. Pero dado que también hubo diferencias estadísticamente significativas entre GCI-A y GCI-B (profesores distintos, ambos sin PDAs), no se pudo concluir que la tecnología por si sola contribuyó en las mejoras encontradas Esto porque la capacitación también involucró nivelar los conocimientos de Física de los docentes participantes, que por si solo podría explicar las diferencias. Este argumento se refuerza porque existen tamaños del efecto pequeños o simplemente no hay diferencias significativas entre GE y GCI-A (cuya diferencia es el uso de la tecnología). Por lo tanto, se reformuló la propuesta de intervención, que se probó en un nuevo estudio realizado en el periodo 2005-2006.

En el estudio 2005-2006, el análisis muestra consistentemente para Física y Matemáticas en II medio que los resultados del GE son mejores que los de GCI y GCE (Tabla 7). Dado que no existen diferencias entre GCI y GCE, concluimos que este impacto es atribuible a la tecnología, encontrando evidencia robusta (con adecuado control de los errores de tipo I y II) de tamaños del efecto de magnitud importante (Tabla 7).

Con los estudios de efectividad se entendió con mayor profundidad el contexto (colegios subsidiados por el Estado) donde se implementaba el programa. Esto significó que la intervención se hizo cargo de debilidades estructurales del sistema educativo, como la falta de planificación y manejo deficiente del tiempo dentro de la sala de clases, de los profesores. Además, el estudio del contexto realizado durante el 2004 reveló que era


37

necesario modificar la intervención para mejorar la percepción de los profesores y alumnos respecto del programa.

Sobre al impacto sobre el aprendizaje, de acuerdo a lo discutido en la sección 4.1.4, tenemos evidencia robusta respecto a la efectividad del programa educativo evaluado durante 2005-2006 (Tabla 7). Por otro lado, el estudio de la fidelidad de la implementación a través del esquema de seguimiento y evaluación, estableció una relación entre la variabilidad de la implementación (medida en términos de la adopción de los profesores) y los resultados de aprendizaje de los alumnos. El análisis reveló que aquellos profesores del GE con un nivel alto de adopción de la metodología (medido con una pauta de observación) producen resultados en sus alumnos mejores que aquellos con una adopción menor, elevando el tamaño del efecto de 0,41 a 0,56 (comparado con GCI) y de 0,32 a 0,45 (comparado con GCE) (Rodríguez et al., 2010). Esto muestra lo importante que es probar los procesos de intervención para que la adopción sea lo más alta posible.

Al final de esta etapa se obtuvo una intervención que permite a profesores y alumnos adoptar el modelo pedagógico de aprendizaje colaborativo, con instrumentos de evaluación validados para medir dicha adopción en el tiempo (mecanismos de seguimiento y evaluación).

3 Eficiencia

Durante el año 2008-2009 comenzó la masificación del programa involucrando 30 colegios (Figura 9). Se calculó el costo a partir de la intervención mejorada posterior al estudio 2005-2006. Este cálculo se realizó especificando una escuela tipo donde sería aplicada la tecnología, definiendo el total de cursos, profesores y alumnos que implementan la tecnología. Así, se calculó la cantidad de recursos materiales y humanos para satisfacer una demanda fija de colegios, obteniéndose el costo total del programa por colegio y el costo unitario por alumno atendido. El análisis de factibilidad arrojó que el equipamiento necesario (que es poco más del 75% del costo unitario por alumno atendido) es demasiado caro para el tipo de colegios al que apunta el programa. Esto porque Eduinnova requiere un netbook por alumno dentro de la sala de clases, que cuesta aproximadamente US$400 cada uno.

Figura 9: Masificación del programa Eduinnova usando netbook educativos.

Por lo tanto, se buscó usar el equipamiento existente en los colegios para implementar el programa. La solución fue emplear punteros múltiples (MM) (Pawar et al., 2006) para compartir un PC con varios alumnos Así, colaboran tres alumnos para resolver un problema en el mismo computador, cada uno con su propio dispositivo de input. Los estudios de eficacia muestran efectos comparables a las aplicaciones en plataformas individuales (Infante et al., 2009a; Infante et al.,2009b). Las evaluaciones de usabilidad en ambos estudios mostraron que no había cambios significativos respecto a la alcanzada con PDAs. Respecto la efectividad, se encontró diferencias estadísticamente significativas a favor del grupo experimental, con tamaños del efecto de 0,52 y 0,66 dependiendo el tipo de aplicación utilizada.


38

Figura 10: niños utilizando actividades colaborativas con punteros múltiples.

Por ende, podemos usar MM para recalcular el costo de la intervención. Esta vez los equipos necesarios se suponen disponibles en el colegio (laboratorio de 15 computadores) y el costo marginal es comprar punteros adicionales. Con ello, el programa mejora considerablemente su costo-efectividad, disminuyendo el costo unitario del programa a un 25,37% del original.

Perspectivas de la inclusión de las TICs en educación y su evaluación en el logro de aprendizajes

Documents

Transcript of Perspectivas de la inclusión de las TICs en educación y su evaluación en el logro de aprendizajes