Redalyc.La investigación evaluativa de programas ...

23
Educación ISSN: 0379-7082 [email protected] Universidad de Costa Rica Costa Rica Rodríguez García, José Miguel La investigación evaluativa de programas educativos con tecnologías de la información y la comunicación: Propuesta del Estado de la cuestión Educación, vol. 28, núm. 1, 2004, pp. 169-190 Universidad de Costa Rica San Pedro, Montes de Oca, Costa Rica Disponible en: http://www.redalyc.org/articulo.oa?id=44028114 Cómo citar el artículo Número completo Más información del artículo Página de la revista en redalyc.org Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Transcript of Redalyc.La investigación evaluativa de programas ...

Page 1: Redalyc.La investigación evaluativa de programas ...

Educación

ISSN: 0379-7082

[email protected]

Universidad de Costa Rica

Costa Rica

Rodríguez García, José Miguel

La investigación evaluativa de programas educativos con tecnologías de la información y la

comunicación: Propuesta del Estado de la cuestión

Educación, vol. 28, núm. 1, 2004, pp. 169-190

Universidad de Costa Rica

San Pedro, Montes de Oca, Costa Rica

Disponible en: http://www.redalyc.org/articulo.oa?id=44028114

Cómo citar el artículo

Número completo

Más información del artículo

Página de la revista en redalyc.org

Sistema de Información Científica

Red de Revistas Científicas de América Latina, el Caribe, España y Portugal

Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Page 2: Redalyc.La investigación evaluativa de programas ...

Revista Educación 28(1): 169-190, 2004

Introducción

La discusión sobre la valoración delas repercusiones de la introducción de lainformática a programas educativos sepuede ubicar desde los comienzos mismosde estos programas en Europa, Norteamé-rica y Latinoamérica (Crook, 1998; Plaz,1999). Luego de diversos avances en estadirección el tema de la evaluación de talesprogramas sigue siendo uno de los más re-levantes, y sobre el cual se dirigen múlti-ples esfuerzos en la actualidad (por ejem-plo véase CAIBI, 2000 y 2001; Prat, 2001).

Es importante para toda investiga-ción que se dirija a valorar los resultados,efectos o impactos de programas educati-vos que introduzcan el uso de Tecnologíasde la Información y la Comunicación1 te-ner una visión general de cómo la investi-gación evaluativa ha sido planteada en es-te campo. Sin embargo, dado el extensovolumen y la diversidad de la informaciónexistente sobre la temática, se prefiere ha-blar de una propuesta del estado del arte;puesto que lo que se ofrece a continuaciónes una posibilidad entre otras, de sinteti-zar el estado de la cuestión en este campodel conocimiento.

El desarrollo del documento se es-tructura en seis partes. En la primera se

LA INVESTIGACIÓN EVALUATIVADE PROGRAMAS EDUCATIVOS CON TECNOLOGÍAS

DE LA INFORMACIÓN Y LA COMUNICACIÓN: PROPUESTA DEL ESTADO DE LA CUESTIÓN*

José Miguel Rodríguez García

Resumen: En este artículo se presenta una propues-ta de estado del arte sobre investigación y evaluaciónde programas educativos que tiene como característi-ca estar mediados por tecnologías de la información yla comunicación (TIC). En el artículo se revisan lasprincipales intenciones y modelos de los enfoques eva-luativos de tales programas, las tendencias generalesen lo que respecta a la evaluación de impacto, las ten-dencias en el uso de indicadores y marcos de evalua-ción, los principales métodos y técnicas de evaluación,y finalmente el abordaje del tema de la equidad socialen la evaluación educativa. Con estos elementos serealiza un balance que permite proponer una lecturadel estado actual en esta novel temática.

Palabras clave: Programas Educativos, MediaciónTecnológica, Evaluación de Programas, Estado de laCuestión, Investigación, Indicadores, Técnicas deEvaluación, Métodos de Evaluación.

Recibido 26-V-2003 • Aceptado 12-VIII-2003

Page 3: Redalyc.La investigación evaluativa de programas ...

170 Revista Educación 28(1), 2004

presentan las principales característicasde los documentos revisados. En la segun-da se explicitan las intenciones y los enfo-ques evaluativos que han seguido las in-vestigaciones y propuestas teóricas en estatemática. Las tendencias en la evaluaciónde impacto social se abordarán en la terce-ra parte y se complementa en la seccióncuarta, con una revisión de indicadores ylos marcos de evaluación empleados. En laquinta se plantean los principales métodosy técnicas de evaluación. En la sexta sec-ción, siguiendo nuestro interés por presen-tar las relaciones entre las TIC en educa-ción y la equidad, se expondrá la forma enque esta temática ha sido abordada por lasinvestigaciones. Finalmente se presentauna síntesis de aspectos generales que sedesprenden de esta propuesta del estadode la cuestión y sus repercusiones en la in-vestigación evaluativa.

I. Características de la revisióndocumental

La construcción de este documentosupone una revisión de modelos de evalua-ción de proyectos que integran TIC en edu-cación y en otros ámbitos. Esta revisión sebasa en el estudio de diversas publicacio-nes sobre el tema. Se incorporan antece-dentes de metodologías y discusiones con-ceptuales sobre evaluación e investigacióndel impacto social. Ello sin embargo, im-plica una exploración de carácter generaly flexible, abierta a la consideración demarcos o propuestas de evaluación de im-pacto de proyectos o programas que inte-gren componentes tecnológicos, aún ycuando su ámbito de aplicación trasciendael educativo y se instaure en lo organiza-cional, lo comunal o el desarrollo sosteni-ble en general.

Con respecto a las evaluaciones ge-nerales que no hacen explícito el compo-nente educativo pero que, sin embargo,realizan estudios que incorporan el uso deTIC (Athanasou 1999; Díaz-Albertini

2001; UNRISD 1998; Menou, 1999a; Me-nou & Potvin, 2000, Lanfranco & Balson,2000; Young, 1997; Miller & Slater, 2000;Rohozinski, 1998; Hamelink, 1999; Gómez& Hunt, 1999; Olivier 2000; Wood 1997;Camacho, 2000a, 2001a & 2001c; Blau,2001; ACP-PSRM, 2001; McConnell, 1998;Daly, 1999), se observa una tendencia aanalizar instituciones, programas y orga-nizaciones más que individuos particula-res. En su mayoría, estos documentosconciben la evaluación de TIC como eva-luación de la Internet, de los procesos einteracciones en ella, de las redes de tra-bajo y de los espacios virtuales.

En cuanto a los estudios que hacenreferencia explícita al ámbito educativo,destacan por su particularidad, aquellosque se refieren a telecentros dado que és-tos se enfocan en el área rural (Gómez yHunt, 1999; Ernberg, 1998; Colin & Wal-ker, 2001; Hudson, 2001; Menou, 2001b), yaquellos documentos que refieren específi-camente a la aplicación de tecnologías enel ámbito escolar. Estos últimos incluyenla evaluación de aspectos como el software(Britain & Liber, 1999 y Honey, McMillan& Carrig, 1999), las condiciones infraes-tructurales para la incorporación de lasTIC en programas educativos (OECD,2001; Lemke, Martín, Capella; 2001), lascaracterísticas de los ambientes de apren-dizaje (FOD, 1995b), el papel de los docen-tes en la puesta en práctica de programaseducativos apoyados en las TIC (Alvarez,Roman, Dobles, Umaña, Zúñiga, García,Potashnik y Rawlings, 1998) y de los pro-cesos de capacitación de los docentes(FOD, 2000a).

II. Intenciones y modelos de los enfoques evaluativos

La reflexión en torno a los modelossubyacentes a los documentos sobre evalua-ción revisados, permite distinguir variadosaportes conceptuales y metodológicos segúnlos supuestos y las características del enfo-que mismo de evaluación.

Page 4: Redalyc.La investigación evaluativa de programas ...

171

Si bien casi todos los documentos pa-recen conservar el sentido de la palabraevaluación como elemento de juicio para latoma de decisiones (Athanasou, 1999;Jackson, 2001; Menou, 1999; Menou & Pot-vin, 2000; Menou, 2001; Potvin, Lanfranco& Balson 2000; Young, 1997; Wood 1997;ACP-PSRM, 2001); el modelo y la intencio-nalidad de esta evaluación, son distintos.

El primer gran rasgo identificable encuanto a la intencionalidad específica de laevaluación, corresponde al interés por pro-veer a los diseñadores y administradores deproyectos, de un conjunto de elementos dejuicio que permitan determinar si la formaen que se está conceptualizando el programapodría obtener el impacto buscado. En estatendencia destaca la propuesta de Jackson(2001), cuya lógica apunta a evaluar la cohe-rencia en el establecimiento de los proble-mas, objetivos, estrategias y actividades es-pecíficas del programa sujeto a valoración.En este enfoque, la consistencia en los diver-sos niveles de especificidad, la jerarquizacióny la priorización, son entonces los elementosclaves para planear, diseñar, implementar yevaluar proyectos (Jackson, 2001).

Una posición similar presentan losdocumentos de consultores internacionalespara la valoración del impacto de la intro-ducción de las TIC en el ámbito organizacio-nal; en donde la evaluación es concebida co-mo el proceso de aplicación de un método,que determina el desempeño de un progra-ma para la consecución de los resultados es-perados, durante un período de tiempo de-terminado. Ello con la intencionalidad deapoyar la toma de decisiones y la resoluciónde problemas; siendo el matiz particular, elde valorar el éxito en función del aporte queel uso de las tecnologías hayan brindadopara el cumplimiento de la misión organi-zacional y sus objetivos (Carver, 1999;Drucker, 1999; McClure & Lopata, 1999;Advance Strategic Management Consul-tants, 1999; Camacho, 2000a, 2001a, 2001c).

Otro ejemplo de esta intencionalidadpresente de los marcos de evaluación, es elcaso expuesto Athanasou (1999) quien, en

su propuesta de evaluación de programaseducativos de capacitación para el comer-cio y la industria, apunta que el fin quebusca la evaluación del aprendizaje asisti-do por computadora en el ámbito del co-mercio, es que mediante la valoración delos programas se puedan tomar decisionescon respecto a los mismos, que contribu-yan a la vez con su mejoramiento.

Un caso particular es expuesto porACP-PSRM (2001) quienes proponen unametodología para evaluar proyectos queimplementan el uso de las TIC pero desdeuna perspectiva de género. En este modelolo que se busca es valorar como ha sido to-mado en cuenta el factor género en talesprogramas y cuáles han sido sus impactosen esta dirección. Resultados de esta pers-pectiva serían empleados tanto para el me-joramiento, la retroalimentación, la valora-ción y la planificación de otros programas.

Otra tendencia subyacente que esposible reconocer, remite a la intencionali-dad comparativa al interior de los proyec-tos mismos como mecanismo de orientaciónpara la toma de decisiones en el transcursode las diversas fases de implementación.Esta es la situación en las propuestas me-todológicas de Menou (1999a, 1999b) y Me-nou & Potvin (2000) quienes enfatizan lanecesidad de documentar la situación pre-via al inicio del proyecto como condiciónbase o control que se contrasta con la si-tuación en diversas fases y que permite, enun modelo longitudinal, el monitoreo y laevaluación de impacto. Cabe apuntar sinembargo, que tanto Menou (1999a, 2000,2001a), como Potvin (2000), y Potvin, Lan-franco y Balson (2000) formulan estos pre-rrequisitos y lineamientos a partir de suslecciones aprendidas en evaluaciones ex-post de impacto con proyectos que introdu-cían componentes tecnológicos en diversoscontextos. De estas experiencias rescatanademás, como elementos primordiales lassiguientes recomendaciones:

- Necesidad de una estandarizaciónconceptual y un marco de trabajo

Revista Educación 28(1), 2004

Page 5: Redalyc.La investigación evaluativa de programas ...

172 Revista Educación 28(1), 2004

rural que permita integrar las diver-sas poblaciones de interés.

- Importancia de establecer dominiosde impacto de tal forma que puedatrascender la unidireccionalidad quese ha impreso a la evaluación del flu-jo de cambio y se puede valorar elimpacto en la modificación recíprocaentre tecnología y sociedad.

Específicamente, de la evaluacióndel impacto social de proyectos que utili-zan tecnologías digitales, y particularmen-te en el marco de los preparativos para elpilotaje de la OPA Online Proposal Ap-praisal-, IDRC (2000); Menou y Potvinsugieren la conveniencia de realizar dis-tinciones en los hallazgos según éstos re-sultados inmediatos, efectos, consecuen-cias, grado de satisfacción o impacto. Sontambién ejemplos de monitoreos o evalua-ciones concurrentes las propuestas deWood (1997); UNRISD (1998) y Athanasou(1999), quienes respaldan la realización deevaluaciones en distintas etapas de losproyectos con el fin de darles seguimientoa los procesos, o bien valorar el cumpli-miento de tareas y la efectividad de las di-versas fases entre otros.

La identificación de diversos domi-nios de impacto en los cuales se observenlos hallazgos, parece ser otro rasgo comúnen las propuestas de los marcos de evalua-ción revisados y a ellos, se suman autorescomo Camacho (2000a & 2000b); Miller &Slater (2000) y Potvin, Lanfranco & Bal-son (2000). Éstos últimos proponen unmarco conceptual cuyo propósito es orien-tar estudios periódicos en proyectos longi-tudinales. Para ello, sistematizan catego-rías de uso de las TIC en donde podríanpresentarse impactos, cuyos dominios sonlos diversos contextos comunitarios y lasacciones posibles que son facilitadas porlas TIC.

Un caso de aplicación que ilustra es-ta evaluación de impacto en dominios es-pecíficos, lo constituye el caso de la Red

Científica Peruana que evalúa cómo eluso de la red de Internet ha logrado cam-bios o efectos en la vida personal e institu-cional de los usuarios de la red en Perú(Díaz-Albertini, 2001). En este sentido, elautor afirma que “impacto” ha de enten-derse en función de los cambios positivoso negativos que surgen a partir de la uti-lización de los servicios digitales al inte-rior de los centros de trabajo, en la coti-dianidad personal y en el entorno de estosindividuos e instituciones.

Se reconoce así, en la evaluación deImpacto Social de la Red Científica Perua-na, la intencionalidad de evaluar la efecti-vidad de los resultados que se obtienen dela puesta en práctica de un proyecto enparticular en, al menos, los siguientes domi-nios: usuarios, estructuras institucionales ycalidad, cantidad, variedad de servicios yproductos ofertados por los individuos y lasorganizaciones impactadas.

Subyace también en algunos de es-tos modelos la preocupación porque losresultados de la evaluación busquen eldesarrollo de políticas que regulen el usoe incorporación de las TIC en los países(Díaz-Albertini 2001; UNRISD 1998; Ha-melink, 1999; Sagna, 2000).

Otra tendencia identificable, refiereal concepto de progresión en los procesosevaluados que, conservando la categoriza-ción por dominios, supone una lógica en ni-veles ascendentes donde las condiciones deun nivel anterior, son pre-requisito para laevaluación en el nivel superior (Young,1997). En este modelo, la intencionalidades la de direccionar la toma de decisiones apartir de la evaluación gradual y continuaen cada dominio, suponiendo condicionesmínimas en cada nivel como soporte de unimpacto mayor en el siguiente.

Este marco de evaluación se susten-ta en el reconocimiento de que las TICapoyan el desarrollo sostenible de mane-ra indirecta, como efecto secundario delapoyo directo que las mismas brindan pa-ra la coordinación y la información de in-dividuos y grupos que trabajan a favor

Page 6: Redalyc.La investigación evaluativa de programas ...

173

del desarrollo humano (Young, 1997). Es-pecíficamente, este marco de evaluaciónmide en el primer nivel los resultados di-rectos de la introducción de las TIC a par-tir de las variables de información, cone-xiones sin límites, atemporalidad y mejorade costo-beneficios. Los resultados espera-dos son la formación de grupos y “clusters”en los que se genera conocimiento, coope-ración, participación y acceso equitativo(segundo nivel) que, a su vez, generan nue-vas formas de organización y cambios enlas políticas (tercer nivel) que promuevenel desarrollo sostenible con la creación denuevos valores, prosperidad, salud y segu-ridad. Cada nivel además, supone la inte-gración de dos componentes en la red deinformación: un componente físico (hard-ware) y otro humano e institucional.

Esta lógica progresiva posee ademásuna implicación fundamental en la formu-lación de los hallazgos de las evaluaciones,categorizándolos según sean sus resulta-dos (información sobre el progreso hacia ellogro de objetivos en cada nivel); factoresde desarrollo (cambios en diversos benefi-ciarios o poblaciones de interés) o factoresadministrativos. Cabe rescatar que la con-veniencia de realizar distinciones en loshallazgos es sugerida también por Menou& Potvin (2000).

En general, con respecto a los mode-los de evaluación ya descritos, cabe apun-tar que se observa la tendencia a la eva-luación diagnóstica en distintos niveles(usuarios individuales, instituciones, or-ganizaciones, comunidades, instanciasprivadas y gubernamentales) para ver elimpacto social. Sin embargo, estos mode-los tienden a buscar la descripción del es-tado de la cuestión de un fenómeno socialque se reconoce cambiante y dinámico.

Otra área relevante para la investi-gación y la evaluación de impacto socialgira en torno a los telecentros, que se ca-racterizan por ser un espacio físico queproporciona acceso público a las TIC parael desarrollo educacional, personal, socialy económico (Gómez & Hunt, 1999). Desde

esta perspectiva, los telecentros han sidouna estrategia privilegiada por parte deorganizaciones gubernamentales y no gu-bernamentales para la promoción del de-sarrollo en diferentes puntos del mundo(Colin & Walker, 2001).

Al respecto, se señalan varias limita-ciones en el alcance de las evaluaciones, entanto la mayoría de los recursos parecenhaber sido destinados a la implementaciónde proyectos piloto que no tuvieron el so-porte paralelo en el destino de recursos pa-ra la comprensión de sus usos e impactosen las comunidades.

Dos iniciativas relevantes en el in-tento de subsanar estas limitaciones sonlas propuestas de Ernberg (1998) y la deHudson (2001), de una metodología que in-tegre tanto un eje formativo como otro su-mativo para la evaluación de proyectos detelecentros2. En ambas propuestas, el pri-mero de estos ejes que se supone continuo,serviría de monitoreo para la identifica-ción de problemas y oportunidades que re-troalimenten la ejecución y promuevannuevas estrategias de acción. El segundo,supone una evaluación expost que evalúelos logros, la relación costo-beneficio y elimpacto del proyecto, de donde derivaríanlas lecciones aprendidas; estas últimas de-berían constituirse en los insumos princi-pales para la retroalimentación y futuraplanificación de programas.

Por otra parte, Hudson (2001) argu-menta que una manera de consolidar lasposibilidades de que un programa que ac-túa por medio de telecentros tenga un im-pacto real, es considerado desde la planifi-cación, las características de la comunidaden tanto que género, etnia, nivel educati-vo, nivel de ingresos y localización geográ-fica; las cuales, además de consolidar lacapacidad de impacto, introducen unaperspectiva de equidad en el programa.

Por su parte Chasquinet (2002) pro-pone enfocar la evaluación por medio delsistema MEAI3 que simultáneamente in-corpora el monitoreo, la evaluación y el aná-lisis de impactos en tres grandes escenarios

Revista Educación 28(1), 2004

Page 7: Redalyc.La investigación evaluativa de programas ...

174 Revista Educación 28(1), 2004

constituidos por las instituciones promoto-ras, los telecentros y las comunidades; conel fin de valorar las consecuencias de losprogramas que implantan telecentros.

Para Menou (2001a) los telecentrosconstituyen medios adecuados para favo-recer procesos de desarrollo social en lascomunidades. Sin embargo estos procesosdeben trascender al desarrollo de habilida-des en las personas para la interacción conlas TIC y no deben de permanecer en el ni-vel de la alfabetización digital. Además, laconectividad por si misma no es una ga-rantía del desarrollo cuando se carece depersonas capacitadas óptimamente paratener un desempeño adecuado en estascondiciones. Esta tesis también es soste-nida por Young (1997) quien señala quepara la generación de conocimiento se re-quiere no sólo de la disponibilidad de lainformación sino de la adecuada interac-ción de las personas.

Según la postura de Menou (2001b),los intentos de ligar el desarrollo social decomunidades, con el desarrollo de habili-dades individuales para la interacción conlas TIC, deben concretarse en el desarrollode mecanismos de evaluación que dencuenta de estos procesos. Estos mecanis-mos son denominados como IsTICometrosy se deben dirigir principalmente al desa-rrollo de indicadores económicos, indicado-res de desarrollo humano y social e indica-dores de información e infraestructura delas TIC.

Desde el punto de vista de las difi-cultades que se generan con la sinergia en-tre desarrollo de habilidades con la tecno-logía y desarrollo social, una de las fuerzasque puede impedir la interacción de laspersonas con la tecnología en el espacio dela comunidad, especialmente cuando estaes rural, es la “tecnofobia” que se puededesarrollar a propósito de las TIC. Ante es-te peligro una de la soluciones más intere-santes es constituir las comunidades deaprendices (Wilmore, 2001) que es un mé-todo de trabajo en el que todos los miem-bros de la comunidad son integrados al

proceso de aprendizaje por medio del tra-bajo en conjunto, la investigación y la bús-queda de soluciones colaborativas.

Gómez & Hunt (1999) afirman sinembargo, que mientras no se desarrollenmetodologías y herramientas apropiadaspara evaluar adecuadamente el impactosocial del uso de las TIC en actividades dedesarrollo, la credibilidad de los proyectosque implementen el uso de TIC seguirá es-tando basada en la euforia dominante quepretende ver en la tecnología la solución alos problemas sociales.

En síntesis, las evaluaciones e in-vestigaciones en programas que introdu-cen TIC han sido direccionados a valorarresultados, efectos e impactos con el finde obtener insumos para la toma de deci-siones, ya sean estos con el fin de elabo-rar diseños apropiados de programas queserán ejecutados en el futuro, monitoreary retroalimentar programas en ejecucióno valorar las consecuencias concretas delos mismos.

En cuanto a los modelos específicos,resaltan aquellos que se dirigen a cons-truir evaluaciones por niveles, donde cadauno de ellos constituyen elementos necesa-rios para alcanzar otros de mayor alcanceo complejidad en sus consecuencias. Estaperspectiva es válida tanto en el caso delos telecentros como en el caso de otrosprogramas mediados por TIC. Sin embar-go, se puede concluir que a pesar de la ex-periencia en investigación evaluativa enesta temática, existe una tendencia a re-flexionar sobre la escasez de modelos ade-cuados para valorar el impacto de talesprogramas lo cual se traduce en la caren-cia de un instrumental.

III. Tendencias generales en la evaluación de impacto

En la evaluación de impacto social ylas condiciones de equidad de los progra-mas que introducen nuevas tecnologías dela información y la comunicación en el

Page 8: Redalyc.La investigación evaluativa de programas ...

175

ámbito educativo, destacan los aportes deBritain & Liber (1999), SchoolNet (2000),proyecto Conexiones (2001), Honey, McMi-llan & Carrig (1999) y Herman (2001).

Los primeros, innovan al señalarque las estrategias de evaluación de pro-gramas educativos con TIC, (en su caso, laevaluación de ambientes de aprendizajevirtual), no han de buscar la discrimina-ción en nociones de calidad; en tanto lofundamental es la generación de un marcoque permita revelar las suposiciones peda-gógicas que subyacen al software mismo, oa la práctica con la que es introducido en elsistema educativo, ya que de ello dependesu impacto.

Los segundos plantean la necesidadde evaluar la práctica en el aula mismacon un enfoque formativo dirigido a los do-centes de los programas de desarrollo edu-cativo que introducen TIC. Sugieren, a di-ferencia de Britain & Liber (1999) que laevaluación de impacto ha de explorarse enla calidad de la enseñanza y el aprendiza-je, y que ello toma lugar en cuatro nivelesdistintos, a saber, el nivel de las habilida-des para el uso de las TIC: el nivel de laintegración a partir de la evaluación decompetencias; el nivel de crecimiento pro-fesional de los educadores y el nivel de loscambios en la escuela en general. Plantea-mientos semejantes se encuentran en Al-varez y otros, 1998. Este estudio se propu-so analizar comparativamente la puestaen práctica de los programas de informáti-ca educativa para primaria de Costa Rica,contemplando tres niveles de análisis: elprograma, la escuela y el aula, prestandoespecial atención al papel de los docentesen el funcionamiento de los programas enesos tres niveles.

Honey, McMillan & Carrig (1999)presentan una discusión en torno a loaprendido durante las tres décadas de in-vestigación sobre tecnologías educativas enel Centro EDC’S para la Infancia y la Tec-nología en Estados Unidos. En ella, se su-giere que la revisión ha develado tres gran-des factores que impulsan la investigación

en este campo hacia nuevas áreas de ex-ploración, a saber, los cambios en la natu-raleza de los elementos tecnológicos; loscambios en los tipos de preguntas de in-vestigación que se hacen y los cambios enlas formas y métodos de investigación quese utilizan.

Al respecto, señalan que los estudiosdurante los años 70 y los 80 lograron de-mostrar el impacto de las tecnologías o elsoftware sobre el aprendizaje de los estu-diantes, pero que éstos, sin embargo, eraníntimamente dependientes del tipo parti-cular de tecnologías que estaban siendoutilizadas por los sujetos del estudio.Apuntan adicionalmente que, como estosestudios se enfocaban específicamente enciertas tecnologías y en su impacto parti-cular, contribuyeron muy poco con el obje-tivo de investigar para discernir los rolesgeneralizables que las tecnologías puedenjugar en la consecución de retos claves enel proceso de enseñanza-aprendizaje (Ho-ney, McMillan & Carrig, 1999).

Estos autores anotan que por ello, ypor la combinación de la computación, laconectividad, las capacidades visuales ymultimediales, la miniaturización y la ve-locidad en los actuales elementos tecnoló-gicos, es que se introducen cambios en laesfera de los problemas de investigaciónque se han de plantear. Las preguntas ini-cialmente formuladas en los años 70’sbuscaban encontrar cómo cierto tipo de ac-tividades mediadas por la computadoramejoraban el aprendizaje del estudiante,siendo un problema fundamental de estetipo de planteamientos, la ausencia de pre-guntas por el proceso mayor de cambio aescala institucional y el contexto social enel cual eran utilizadas y adquirían sentido.Las prácticas de enseñanza, las experien-cias del estudiantado, los contextos peda-gógicos e inclusive lo que estaba siendorealizado con las computadoras, fueron ex-cluidos para que los investigadores pudieranhacer afirmaciones poderosas y definitivassobre los efectos de la introducción mis-ma de la tecnología. Este camino probó

Revista Educación 28(1), 2004

Page 9: Redalyc.La investigación evaluativa de programas ...

176 Revista Educación 28(1), 2004

su esterilidad para la investigación del im-pacto de las TIC en los procesos educativos.

El Proyecto Conexiones visualizó es-te problema en su documento “Modelo deEvaluación” (2001), al señalar que el campode la incorporación de nuevas tecnologías ala educación se observa una tendencia arealizar evaluaciones e investigaciones so-bre tópicos específicos, con un enfoque queintenta identificar y explicar la influenciade un factor determinado en un resultadoconcreto. Subrayan los autores que ellosupone una gran limitación, en tanto loshallazgos no permitían a los educadoresalcanzar el gran reto de utilizar esas tec-nologías para apoyar el desarrollo de ca-pacidades en los estudiantes.

Surgen entonces nuevas preguntasde investigación que rescatan interrogan-tes como las siguientes: ¿cómo se integranlas tecnologías en los contextos educacio-nales?, ¿cómo son interpretados y adapta-dos por los usuarios los nuevos recursoselectrónicos? y ¿cómo articular las nuevascapacidades tecnológicas con las necesida-des de aprendizaje de los estudiantes? y¿cómo puede interactuar y apoyar el cam-bio tecnológico con los cambios en otras es-feras del proceso educativo? A estas pre-guntas se les puede agregar aquellas queelabora Jurich (1999) en su cuestiona-miento de algunas de las evaluaciones rea-lizadas a estos programas: ¿cómo se inte-gra la informática al currículo escolar engeneral?, ¿cuáles son los factores culturalesque median en el proceso de aprendizajetanto en el docente como en el estudiante?No obstante, este enfoque más contextualde la investigación del impacto de Progra-mas Educativos apoyados en las TIC seencuentra planteado en la metodología delos primeros estudios conducidos por laFundación Omar Dengo (1992, 1995).

Estas nuevas preguntas, afirmanHoney, McMillan & Carrig (1999), requie-ren del desarrollo de métodos que puedanresponder a cómo los factores de diseño,cultura escolar y prácticas educativas ypedagógicas dan forma al impacto que las

tecnologías pueden tener en el sistema es-colar. Para ello recomiendan la realizaciónde estudios longitudinales de gran escalaque busquen entender cómo sucede el pro-ceso de innovación en las escuelas y no selimite a encontrar los resultados específi-cos. Igualmente subrayan la importanciade rescatar el rol fundamental de losmaestros como colaboradores en el diseño,la implementación y la interpretación dela evaluación.

Respondiendo a esta inquietud, VanHarmelen (2001) diferencia entre evalua-ciones de impacto y el “impact assess-ment”. La evaluación debe tomar en cuen-ta las influencias positivas y negativasque no son necesariamente atribuibles alproyecto específico; mientras que, “assess-ment” describe un proceso sobre el impac-to que la intervención tiene y está acordecon la naturaleza cualitativa del estudio.

Esta tesis es sostenida también porCrook (1998) quien en el análisis de resul-tados de investigaciones dirigidas a la eva-luación de efectos producidos por la intro-ducción de la informática en el sistemaeducativo en los 80’s y 90’s, llega a la con-clusión que la variable que demuestra te-ner un peso significativo en el aprovecha-miento de los alumnos se encuentra en lacapacitación de los docentes y la imple-mentación de estrategias pedagógicas ade-cuadas al medio. También Herman (2001)hace hincapié en esta idea demostrandoque la reforma educativa no se sostieneúnicamente con la introducción de la tec-nología sino que se debe de enfatizar en lapuesta en práctica de tales programas. Es-te es el aspecto crucial a tomar en cuentaen las evaluaciones.

Específicamente en el ámbito lati-noamericano, un aporte fundamental enmateria de evaluación proviene del Pro-yecto Conexiones en Colombia anterior-mente mencionado. Según afirman, elenfoque que se sigue en dicho proyectoreconoce que la evaluación permite com-prender la naturaleza del programa, con laintención de mejorar a través del análisis y

Page 10: Redalyc.La investigación evaluativa de programas ...

177

de los resultados la práctica misma. Alrespecto añaden que la evaluación que sepropone no tiene solamente la pretensiónde etiquetar el programa como bueno /malo, ni siquiera la de facilitar la tomaracional de las decisiones, sino que con-vierte en un instrumento que coloca el én-fasis en los procesos y el contexto de losambientes de aprendizaje más allá de lamedición de los productos, las condicionesde entrada y los recursos mismos (Proyec-to Conexiones, 2001).

En este sentido, es oportuno tam-bién el señalamiento que hace Aphek(2001) en torno al concepto de aproxima-ción dialógica en la metodología de evalua-ción en sistemas educativos. Al respectorescata que existe un proceso de diálogopermanente entre componentes tales comotópicos, flujos de información, habilidadesy valoración de la comunidad específica enla cual opera la escuela y programa.

A pesar de lo anterior, las investiga-ciones y evaluaciones focalizadas en as-pectos particulares no han sido dejadas delado y por el contrario son tan relevantescomo en los primeros años del desarrollode esta temática. Un ejemplo de ello sepuede observar en el estudio de Allegra,Chifiari & Ottaviano (2001) en la que seafirma la relevancia de las TIC en el desa-rrollo cognoscitivo a partir de resultadosfavorables en aspectos como la creatividady el uso del tiempo.

En general, estas evaluaciones e in-vestigaciones en el campo de la informáti-ca educativa, sugieren que el acceso soste-nido a la tecnología tiene el potencial deimpactar positivamente tanto en el proce-so de aprendizaje de los estudiantes comola visión de la comunidad sobre las capaci-dades de sus estudiantes. Sin embargo, loshallazgos indican que la tecnología por yen sí misma, con la ausencia de otros com-ponentes de reforma escolar, no produceneste tipo de cambios (Honey, McMillan &Carrig, 1999). Una idea similar es ejem-plificada por la propuesta de una concep-ción relacional de la tecnología (Burbules

& Callister, 2001) que reconoce que laselecciones en materia de uso de las TICsiempre están relacionadas con un cúmulode otras prácticas y procesos sociales quedeterminan su impacto.

Lo anterior también se evidencia enplanteamientos como los de Hamelink(UNRISD, 1999) e Iglesias (BID, 2000),quienes afirman que el progreso y el desa-rrollo social requieren de una plataformade espacios públicos, redes, canales y si-tios que faciliten el intercambio de cono-cimientos para la deliberación, participa-ción e información de las personas conmiras a la democratización de la toma dedecisiones en las estructuras públicas lo-cales, naciones y globales. Así, se recono-ce el potencial de las TIC para desarrollaresta plataforma, pero nunca por sí mis-mas, sino enmarcadas en políticas queorienten su uso. En este sentido Iglesias(2000) afirma que la voluntad política tie-ne el potencial de marcar la diferencia en-tre brecha digital y oportunidad digitalpara el desarrollo, y que las tecnologíasde la información y la comunicación, sindicha voluntad política para el logro deobjetivos de desarrollo, puede más bienincrementar la brecha ya existente en lasociedad del conocimiento.

En síntesis, las tendencias en laevaluación del impacto social plantean lanecesidad de no colocar a la tecnología enel centro del análisis. Por el contrario latecnología debe verse como una variablemás en un conjunto de otras variablesque tienen un enorme peso en las conse-cuencias finales de los programas que sesirven de las TIC. Por otra parte, lasevaluaciones pueden estar ubicadas enel orden de lo general cuando tienen laambición de valorar la generalidad de losimpactos de los programas; pero tambiénse pueden centrar en aspectos específicosde los efectos. Estos últimos a pesar deque no tienen la posibilidad de hacer unacompleta valoración de impacto social símuestran datos importantes para evalua-ciones más generales.

Revista Educación 28(1), 2004

Page 11: Redalyc.La investigación evaluativa de programas ...

178 Revista Educación 28(1), 2004

IV. Tendencias en el uso de indicadores y marcos de evaluación

Los diferentes documentos revisadospara esta propuesta de estado del arte, pe-ro, especialmente aquellos que constituyenevaluaciones o reflexiones metodológicaspara la evaluación de impactos de TIC,presentan como una de las labores esencia-les en la construcción de sus marcos meto-dológicos la elaboración de indicadores per-tinentes para la valoración del fenómenode interés. Esta preocupación se observaen dos aspectos; por un lado, la construc-ción y escogencia de los indicadores en símismos, y por el otro, la construcción de es-tructuras de evaluación desde las cualesdichos indicadores deben ser empleados.

En la construcción de indicadores, separte del supuesto de que los indicadorespara valorar el impacto de las TIC poseencondiciones particulares, y en consecuen-cia, deben ser adecuados para que dencuenta del proceso que se quiere evaluar(Rohozinski, 1998). Sin embargo, este no pa-rece ser un punto ampliamente compartido.Específicamente en el campo de la investi-gación y evaluación educativa, se encuen-tran documentos (Ritcher, 2001; Martinello,1999) que hacen caso omiso de este punto departida y buscan valorar el impacto de lasTIC en términos de indicadores amplia-mente usados en el pasado (por ejemplo:tasa de matriculación, rendimiento acadé-mico, deserción, etc.). Quienes presentanpropuestas que buscan rescatar la particu-laridad de las TIC incluyen indicadoresque se relacionan, por un lado, con las ca-racterísticas de la interacción entre do-centes y educandos con y a través de latecnología (por ejemplo: uso, apropiación,desarrollo de ambientes colaborativos, etc.);y por otro, indicadores que valoran las conse-cuencias de las TIC más allá de los ámbitosinmediatos de su aplicación (por ejemplo:repercusiones de las TIC sobre el desarro-llo social, generación de integración social,mejoría en condiciones de vida, etc.).

Con respecto a las estructuras deevaluación o marcos metodológicos quecoordinan el empleo de indicadores, seperfilan al menos cuatro posiciones que sediferencian entre si con claridad y unaquinta que constituye una posibilidad deintegración.

La primera propuesta (Ernberg,1998; National Research Council, 1998)que se puede encontrar es la de organizarlas estructuras de evaluación según el ám-bito de impacto. Estos niveles de impactoson de muy variadas posibilidades entrelas que cabe señalar la escuela, el aula, lacasa o la comunidad como un ámbito deimpacto de las TIC. En general se refierena ámbitos de impacto como espacios dondeeste impacto puede ser observado, la deci-sión de cuál es el ámbito escogido es unadecisión que responden a los interese de laevaluación.

El segundo marco de organizaciónempleado es entender los impactos segúntipo de impacto. Se realizan organizacio-nes de indicadores según ubiquen resul-tados positivos o negativos, previstos oimprevistos, directos o indirectos (ver:National Research Council, 1998).

El tercer marco de ordenamiento delos indicadores responde al criterio de lascondiciones específicas y las característi-cas de las poblaciones. En este sentido seordenan marcos en función del tipo de po-blación (Jackson, 2001; Young, 1997;Wood, 1997). Esto implica que el ordena-miento de los indicadores responde a crite-rios tales como genero, etnia, edad, niveleducativo, nivel económico, etc.

Un cuarto criterio de ordenamientopropone estructurar los indicadores enfunción del proceso del programa. Em-plear la dimensión procesal del impactoimplica considerar diferenciaciones talescomo indicadores de penetración como an-tecedente a los indicadores de uso (Daly,1999) o indicadores para resultados, efec-tos e impactos (Camacho, 2000b & 2001a).

Finalmente, una visión integradorade los anteriores ordenamientos se puede

Page 12: Redalyc.La investigación evaluativa de programas ...

179

observar en el trabajo de Proyecto Cone-xiones (2001) en el cual, el ordenamientode su Modelo de evaluación comprendeagrupar indicadores según el contexto (oámbitos), condiciones, el proceso de pro-grama y las poblaciones afectadas.

En síntesis se puede señalar que laconstrucción de indicadores para valorarlas repercusiones de las TIC se orienta enfunción de diseñar indicadores que puedandar cuenta de la especificidad del fenóme-no. Esto, sin embargo no es ampliamenteseguido homogéneamente y se mantiene eluso de los indicadores usados de forma tra-dicional en educación. Por su parte, losmodelos de evaluación que les proveen alos indicadores de una estructura para suutilización, muestran variadas posibilida-des. A pesar de ello, queda claro que estasdiferentes posiciones no son de ningunamanera irreconciliables y por el contrarioparece adecuado diseñar modelos de eva-luación que integren dos o más de estasposibilidades.

V. Principales métodos y técnicas de evaluación

En cuanto a estrategias metodoló-gicas, las propuestas de los documentosrevisados son diversos. Sin embargo, hayconsenso en cuanto a la necesidad de in-cluir a representantes de todas las pobla-ciones interesadas en el diseño, la imple-mentación y el análisis del proceso deevaluación (Stoll, Menou, Camacho, Khe-llady, 2002; Menou, 1999 & 2001; Menou& Potvin, 2000; Potvin, Lanfranco & Bal-son, 2000; Young, 1997; Jackson, 2001;ACP-PSRM, 2001). En este sentido, Atha-nasou (1999) plantea que cualquier pro-grama o servicio de aprendizaje asistidopor tecnología refleja una inversión tantopersonal, como social y organizacional quenecesita ser revisada.

Jackson (2001) postula la necesidad deque se lleven a cabo talleres de trabajo gru-pal con fases de análisis y planteamiento en

los que recomienda integrar técnicas comola lluvia de ideas; la construcción de un ár-bol en los que se ramifican problemas u ob-jetivos con una lógica subyacente de causa-efecto; la realización de FODA (Fortale-zas, oportunidades, debilidades y amena-zas); el análisis del campo de fuerzas posi-tivas y negativas que promueven o inhibenla consecución de los objetivos del proyec-to; y la creación de matrices que contenganobjetivos, actividades, resultados espera-dos, posibles indicadores y factores exter-nos que podrían afectar la consecución delos objetivos.

Esta necesidad de incorporar méto-dos grupales es también planteada porMenou (1999) quien introduce la recomen-dación de que en las diversas fases delproyecto, puedan verse reflejados aspectosde uso e impacto relacionados con las esfe-ras de lo individual y lo grupal. De su pro-puesta puede extraerse una concepción delo grupal, y el impacto en este nivel, comodistinto a la suma de experiencias indivi-duales por lo que, en la elección de los mé-todos específicos, esta condición merece eluso de grupos focales y grupos de discu-sión además de los cuestionarios y las en-trevistas individuales. En este aspecto enparticular, la propuesta de Menou (2001a& 2001b) se dirige a apoyar evaluacionescon mecanismos que amplíen la participa-ción de los interesados en virtud de que lavaloración no debe centrarse en la visiónde una elite dominante de actores en elproyecto.

Sumadas a estas recomendaciones,apunta como lecciones aprendidas de la se-gunda fase del programa “Impacto de laInformación” en el marco del proyecto“Building on IDRC’s Research Program onAssessing the Impact of Information onDecision Making”. (Menou, 1999) la nece-sidad de clarificar, definir y documentar elconcepto de impacto que se tomará comobase, pues ello guía y determina los objeti-vos y procedimientos en las diferentes fasesmetodológicas de una evaluación. Retomacomo métodos de investigación de impacto

Revista Educación 28(1), 2004

Page 13: Redalyc.La investigación evaluativa de programas ...

180 Revista Educación 28(1), 2004

principalmente utilizados, los cuestionariosy las entrevistas semi-estructuradas;apuntando además, como se señaló previa-mente, la necesidad de que existan gruposcontroles en estudios longitudinales. Fi-nalmente propone la pertinencia de pro-ducir un manual detallado que permitarescatar los marcos conceptuales y meto-dológicos en fases posteriores de un mis-mo estudio, para articular la pluralidaddel uso de múltiples canales, fuentes y mé-todos de recolección de la información.

Por su parte, ACP-PSRM (2001)plantea que la identificación e incorpora-ción de todos los interesados a diferentesniveles constituye una de las herramien-tas más poderosas en la evaluación TICcon perspectiva en género. Una de las ra-zones para ello es que permite asegurarque se tomen en cuenta la perspectiva degrupos con diferentes características peroque igualmente están siendo afectados porlas diferencias de género.

En este mismo sentido y en el ámbi-to educativo específicamente, Britain &Liber (1999) rescatan la necesidad de con-siderar las diversas poblaciones implica-das: maestros, tutores, estudiantes e insti-tución, y para ello consideran el modeloconversacional (Laurillard, 1993), que en-fatiza las interacciones entre el estudiantey el tutor; y el modelo de sistemas viables(VSM, 1981; Beer, 1981) que subraya cómoel software ayuda al tutor a manejar con-versaciones y construir actividades indivi-dualizadas para una gran número de estu-diantes.

Miller & Slater (2000) abogan por lapertinencia de los abordajes etnográficosdel fenómeno suscitado en la incorpora-ción de las TIC a las comunidades. Estosmétodos de investigación dan cuenta deaspectos como los cambios en los procesosde socialización y apropiación, donde lasTIC juegan un papel importante en la di-námica de los factores culturales. Aplica-ciones concretas de este tipo de métodos deinvestigación se encuentra en el trabajo deCabrera (2001) quien recurre a diferentes

técnicas cualitativas con una perspectivaetnográfica para entender la apropiaciónde Internet en jóvenes escolares desde elpunto de vista psicosocial y cultural. Porsu parte el trabajo de Arredondo (2001)compara, con métodos etnográficos, las di-ferencias que existen entre las intencionesdel proyecto Enlaces de Chile con los resul-tados. Por su parte, los estudios realizadosen la FOD sobre el Programa de Informáti-ca Educativa para la escuela primaria,también han privilegiado los métodos cua-litativos como los estudios de casos, basa-dos en técnicas como la observación y laentrevista semiestructurada (FOD, 1993,1995a, 1995b, 1997, 2000b). Finalmente,el trabajo de Van Harmelen (2001) asumeun método naturalista/interpretativo queno se distancia de los enfoques etnográfi-cos en la evaluación de un proyecto educa-tivo con TIC en Namibia.

En general, los documentos revisa-dos sugieren como métodos posibles ade-más del trabajo con grupos focales y en-trevistas, las observaciones, el estudio decasos, las aproximaciones etnográficas, eluso de cuestionarios por e-mail como me-canismos de recolección de información ylos diseños experimentales (Hudson, 2001;Athanasou, 1999; Menou , 1999; AdvanceStrategic Management Consultants, 1999;Díaz-Albertini, 2001), el uso de técnicasparticipativas (Gómez & Hunt, 1999;Sguazzin & du Toit, 2000) y el análisis deanécdotas (Stoll, Menou, Camacho & Khe-llady; 2002; PANTLEG, 2000).

Se rescata además la pertinencia decompletar el trabajo de entrevistas contrabajo de campo, y en ello aparece comoun rasgo fundamental la necesidad de in-tegrar criterios y medidas objetivas ocuantitativas, en tanto factibles, mediblesy verificables; y medidas subjetivas o cua-litativas en tanto opiniones, percepcionesy niveles de satisfacción. (Athanasou, 1999;Young, 1997; Jackson, 2001; Menou & Pot-vin 2000; Advance Strategic ManagementConsultants, 1999; Wood, 1997; Hudson,2001). A esta idea se suma Díaz-Albertini

Page 14: Redalyc.La investigación evaluativa de programas ...

181

(2001), Miller & Slater (2000) quienes res-catan que la medición no sólo hace referen-cia a los cambios tangibles o materiales si-no también a las expectativas, percepcio-nes y conocimientos de las personas.

VI. Abordajes de la equidad en el ámbito de las TIC

La perspectiva de la equidad es unade las más relevantes en la discusión sobrelas TIC. La incorporación de las TIC en losdiferentes ámbitos de la vida social se veprincipalmente como una necesidad másque un lujo, que permitirá el alcance debienestar en el campo de la salud, la edu-cación, y el empleo (Lawson & Comber,2000). Otros más optimistas aún, planteanque por medio de la incorporación de lasTIC, la pobreza mundial puede disminuirhasta en un 50% (Morrison, 2001); o en ge-neral las consideran herramientas alta-mente efectivas para promover el desarro-llo social (Hilbert, 2001). En general seasume que la única forma de lograr avan-ces sobre el tema de brecha digital es me-diante la introducción de las TIC en laeducación, pero ello depende de políticassociales en las que tanto los gobiernos co-mo las instituciones privadas participenactivamente (Thomas, 1998).

A pesar de ello, existen diferentesdiscusiones sobre el tema de la brecha di-gital a nivel mundial (The Public Voice,2001), especialmente en lo que se refiere acuáles son las mejores políticas a seguirpara eliminarla. Para ello la vía privilegia-da ha sido la constitución de programaseducativos de informática que presentanun acento en poblaciones tradicionalmentelimitadas en posibilidades como son: laspoblaciones rurales, el grupo femenino, laniñez y los grupos con bajos niveles econó-micos y educativos.

En este contexto el discurso prevale-ciente es aquel que apunta a señalar el ac-ceso físico a las TIC como un paso necesa-rio pero no suficiente. En este sentido,

Kleiman (2000) expone que la equidadno debe ser buscada por medio de la dis-posición equitativa de máquinas entrealumnos, o entre comunidades con am-plias posibilidades económicas y aque-llas que carecen de ellas. La posición deacceso físico per se a las TIC responde amitos generados por la inclusión de la tecno-logía en los sistemas educativos. Para que sedé la verdadera equidad debe de hacerse unuso de la máquina como herramienta. Estoimplica que debe de darse un acento en lacapacitación de los docentes y el desarrollode estructuras organizativas que permitanla introducción tecnológica en las escuelas.

En esta línea de discusión, Mansell& When (1998) presentan a las TIC comouna posibilidad para que se alcance el “em-powerment” de las personas. Un ejemplode esto se puede encontrar en el estudio deHafkin & Taggart (2001) donde se exponecomo la introducción de TIC en los gruposde mujeres ha permitido que se den cam-bios en el proceso de producción, se han in-troducido nuevos productos y servicios y seha dado un giro en la tecnología empleada,facilitando que las mujeres asiáticas ele-ven su nivel de vida. Un ejemplo específicodel trabajo sobre la pobreza se encuentraen Aminata (2000), quien presenta el re-porte de una experiencia en las que secomenta cómo se trabajó con jóvenes deSenegal para capacitarlos en el uso detecnologías, esto con el fin de reducir la po-breza y proveer posibilidades para su futuro.

Desde el punto de vista de las zonasgeográficas, la introducción de las TIC enlas zonas rurales se considera una de lasprincipales direcciones sobre las que sebusca actuar contra la inequidad. Estaszonas tienen la particularidad de ser ma-yormente desprovistas de desarrollo socialy aglutina la mayoría de la población mun-dial alcanzando un 71% (PANTLEG,2001). Esta perspectiva ha conducido aprogramas de informática educativa comoel de Costa Rica a contar entre sus crite-rios para la selección de escuelas partici-pantes, su ubicación en la zona rural y su

Revista Educación 28(1), 2004

Page 15: Redalyc.La investigación evaluativa de programas ...

182 Revista Educación 28(1), 2004

pertenencia a los estratos sociales más des-poseídos, de modo que aproximadamenteel 60% de las escuelas que lo integran seubican en la zona rural (FOD, 2002).

Para Ishaq (2001) a pesar de queexiste brecha de la equidad en tanto quebrecha económica y brecha en el acceso ala tecnología, lo más relevante es que pormedio de estas se potencie la disminuciónde una brecha en la creatividad. Desde superspectiva la Internet debe ser entendidacomo un espacio en el cual se puede desa-rrollar la creatividad de las personas.

La perspectiva de Morino Institute(2001) y al expuesta por Gómez & Martí-nez (2001) es que la tecnología debe de serempleada para el desarrollo de oportuni-dades, mediante las cuales se van a poderobservar mejoras tangibles en las condi-ciones de vida de las personas. Este seríaun objetivo que no se alcanzaría por la víasimplista de poner las TIC a disposición delas personas, sin que medie un enfoqueorientado al desarrollo de las capacidadesde las personas.

Estos últimos autores (Gómez, Mar-tínez & Reilly; 2001) plantean que la bre-cha digital es una manifestación de lasbrechas sociales, políticas y económicas,tanto en los ámbitos locales como interna-cionales. Por ello focalizarse en la brechadigital no va a ser determinante en la me-jora del desarrollo social. Más que el acce-so físico a la Internet y las TIC en generalse requiere de la capacitación de las perso-nas para que puedan emplearlas.

A manera de síntesis se puede seña-lar que existe en los documentos revisadosuna tendencia crítica a la sobrevaloracióndel efecto que las máquinas pueden teneren la sociedad y la educación. Esta so-brevaloración se traduce en políticas dedistribución igualitaria de recursos tec-nológicos; sin embargo, la idea de que lapresencia de la máquina en sí mismaproduce desarrollo social y mejora lascondiciones de equidad es un mito. Paraalcanzar esto debe de partir de la perspec-tiva de la máquina como herramienta que

es empleada para el desarrollo de capaci-dades humanas.

Por la vía del desarrollo de capacida-des se puede avanzar hacia mejoras posi-bles en las condiciones de vida de las per-sonas. Para que se dé esta mejora de lascapacidades se requiere de inversión en lacapacitación de docentes para que posibili-ten un uso efectivo y apropiado de las TICen las poblaciones interesadas.

Desde el punto de vista de la evalua-ción de programas que introducen las TICen la educación, no se debe de limitar elanálisis de la equidad al tema del accesoigualitario, sino que se debe avanzar haciael conocimiento de efectos sobre las capaci-dades humanas y las condiciones para queellas se desarrollen. Esto, claro esta, no ex-cluye la preocupación por las variables dela desigualdad (género, pobreza, distribu-ción geográfica, etc.); por el contrario bus-ca pasar del análisis simplista de la pre-sencia o no, a la valoración de cuál es lamagnitud de los efectos y las condicionesque los posibilitan.

Síntesis general

Con el panorama anteriormente des-crito se pueden extraer algunas conclusio-nes de orden general; las cuáles delinean–si bien es cierto, a grandes rasgos– in-tenciones, estrategias y énfasis en la in-vestigación y evaluación de programasque emplean TIC. Estas líneas generalesson la siguientes:

– La evaluación es entendida en el con-texto de estos programas como un ele-mento para la formulación de juicios.Es frecuente el recurso a diferentes ti-pos de evaluación (exante, monitoreo,expost, etc.), y su empleo se debe prin-cipalmente a la intención con la que laevaluación se lleve a cabo; es decir, loque realmente tiene peso es si la eva-luación se realiza con miras a la pla-nificación, la retroalimentación o a la

Page 16: Redalyc.La investigación evaluativa de programas ...

183

toma de decisiones sobre el futuro delos programas. A pesar de ello, existeuna tendencia a propiciar la confluen-cia de diferentes modalidades de eva-luación en los nuevos modelos que seconstruyen para estos fines. Así, sebusca complementar las evaluacionesdiagnósticas con monitoreos y análi-sis de impactos, y de integrar evalua-ciones sumativas y formativas.

– Se diseñan modelos de evaluaciónorientados a constatar los procesosde cambio producidos por la interac-ción de diversos contextos con lasTIC, más que la búsqueda de resulta-dos puntuales o lineales. Dado que laevaluación de los programas educati-vos que utilizan TIC suponen conse-cuencias progresivas y acumulativas,se plantea comprender estas conse-cuencias en función de modelos queden cuenta de procesos progresivos.

– Una situación particular que enfren-ta la investigación y la evaluación delas consecuencias a nivel educativo ysocial de estos programas es el cons-tante y acelerado desarrollo tecnoló-gico, el cual le imprime cambiosconstantes a las posibilidades deaplicación de las TIC a la educación.

– Uno de los aspectos importantes quedificulta el desarrollo en metodologíapara la evaluación de los impactos so-ciales de los programas educativosapoyados en las TIC es la escasez deindicadores que puedan dar cuentade los cambios que estos programasgeneran en los diferentes ámbitos enlos que entran a interactuar.

– Existe bastante consenso en reco-mendar que con la instalación de unprograma se debe de acumular la ma-yor cantidad posible de documenta-ción, tanto de las condiciones inicialescomo del desarrollo del programa.

Por esta vía se facilita la evaluaciónde impacto social y la evaluación lon-gitudinal.

– Los metanálisis realizados a las in-vestigaciones y evaluaciones desdelos 70 sobre las consecuencias de lasTIC presentan un panorama inciertorespecto a la efectividad de estosprogramas, señalándose que sonjustamente las variables no tecnoló-gicas (docencia, capacitación, rela-ciones interpersonales, etc.), las quetienen mayores y mejores efectos enel aprendizaje de las personas.

– En cuanto a métodos de investigaciónresalta el hecho de que el desarrollode las evaluaciones debe darse con laincorporación de la mayor cantidadde representantes posibles de los in-teresados. En este sentido se conside-ran poco recomendables los enfoquesen los que todo el protagonismo delproceso lo lleve a cabo el evaluador.Por otro lado, introducir a los diferen-tes grupos de interesados implicapensar los efectos de los programasapoyados en las TIC más allá de losámbitos en los que tienen una inci-dencia directa. En este sentido, ámbi-tos que otrora han sido de escaso inte-rés como el macrosocial o el comunal–en los proyectos que no son telecen-tros– se presentan ahora como sujetosimportantes de evaluación.

– Los métodos longitudinales surgencomo uno de los métodos más reco-mendados pero a la vez, menos em-pleados. Se sostiene que dichos mé-todos podrían dar resultados mássólidos con los cuales poder valorarlas consecuencias reales que se lepueden atribuir a dichos programas.

– Por otro lado, el uso de métodos etno-gráficos y de técnicas cualitativas sepostula como una de estas estrategias

Revista Educación 28(1), 2004

Page 17: Redalyc.La investigación evaluativa de programas ...

184 Revista Educación 28(1), 2004

metodológicas más empleadas en laactualidad. Esto contrasta con el usode métodos de medición de caráctercuantitativo que no parecieran estaren el primer plano de interés de losinvestigadores en el campo.

– La preocupación por la equidad seha presentado de dos maneras: porun lado en función de grupos margi-nados (mujeres, pobres, niños, etc.),pero también se ha organizado ladiscusión en función de diferentescondiciones de equidad; donde resal-ta la comprensión de la equidad co-mo igualdad de bienes (computado-ras, conexión, capacitación) y laequidad como desarrollo de oportu-nidades. Esta última noción de equi-dad es la más valorada, y se planteacomo perspectiva que debe estar pre-sente desde la planificación de losprogramas hasta su evaluación.

Finalmente, más allá de aspectos quepueden centrarse en la características gene-rales de la evaluación de programas, se haseñalado que la construcción específica decondiciones para evaluación del impacto so-cial de programas apoyados en las TIC esaún un proyecto por constituirse. Se planteaque no existe a la fecha un consenso sobrecuáles son los indicadores adecuados paravalorar el fenómeno y sus vías de aprehen-sión. Por ello, la exploración de modelos deevaluación, el desarrollo de indicadores ycriterios se convierte en un punto capital dela agenda de investigación de estos temas.

Notas

* Este trabajo se llevó a cabo con la ayuda de fon-dos asignados por el Centro Internacional deInvestigaciones para el Desarrollo de Ottawa,Canadá (CIID-IDRC) y se desarrolló en el de-partamento de Investigación de la FundaciónOmar Dengo. Para la redacción inicial de lasprimeras secciones de este documento se contócon la colaboración de la Bach. Mónica Salazar

Villanea. Para la revisión de esta versión secontó con la colaboración de Magaly Zúñiga.

1. En adelante, para referirse a las Tecnologíasde la Información y la Comunicación se em-plearán las siglas TIC.

2. Son programas que vinculan los recursos tec-nológicos con las comunidades. Tienen diver-sas formas de implementarse, ya sea por mediode instituciones (municipalidades, escuelas,etc.) o por medio de estructuras movibles quese colocan en las comunidades. Si bien suorientación puede ser educativa, la mayoríade estos programas están centrados en el de-sarrollo social de las zonas en las que operan.

3. MEAI: Monitoreo, evaluación y análisis deimpactos.

Referencias bibliográficas

ACP-PSRM. “Metodología de evaluaciónde género (MEG)”. En http://www.apcwomen.org/gem/ Consultado 6/1/02. 2001.

Aminata, T. “Linking computers and com-munity organizations in Senegal”.www.idrc.ca/red article english.cfm?article num=719 Consultado el 1/11/2001. 2000.

Allegra, M.; Chifiari, A.; Ottaviano; S. “ICTto tain students towards creativethinking”. En: http://ifets.ieee.org/periodical/vol 2 2001/allegra.html Consultado 15/1/02. 2001.

Álvarez, M.; Roman. F.; Dobles, M.; Uma-ña, J.; Zúñiga, M.; García, J.; Means,B.; Potashnik, M.; Rawlins, L. Com-putadoras en las escuelas: estudiocualitativo de Chile y Costa Rica.E&T: Education and Technology Se-ries: Special Issue. 1998.

Aphek, E. “Sharing Knowledge and brid-ging gaps: children teaching chil-dren computer skills”. Israel. En:

Page 18: Redalyc.La investigación evaluativa de programas ...

185

http://www.iicd.org/base/story search read?id=27 Consultado 15/1/02. 2001.

Arredondo, J. “Nuevas Tecnologías, educa-ción y equidad. Un estudio etnográficoen las escuelas de Chile. FONDECYT-Chile. FLACSO-Ecuador. 2001.

Athanasou, J. “A framework for evalua-ting the effectiveness of technology-assisted learning”. En: Virtual Uni-versity Journal, Vol. 02, Nº 1, pp.13-21.http://www.emerald-library. com/pdfs/50802aa2.pdf Consultado el 17/05/01. 1999.

Blau, A. “More than Bit Players: how in-formation technology will changethe ways Nonprofits an Foundationswork and thieve in the informationage”. Nueva York: Surdna Founda-tion. En:http://www.surdna.org/documents/ morefinal.pdf Consultado el 8/1/02. 2001.

Britain, S.; Oleg, L. “A Framework for Pe-dagogical Evaluation of VirtualLearning Environments”. Universityof Wales, Bangor. En: http://www.jtap.ac.uk/reports/htm/jtap-041.html Consultado el 28/05/01. 1999.

Burbules, N.: Callister, T. “Educación, ries-gos y promesas de las nuevas tecno-logías de la información”. EdicionesJuan Granica: Barcelona. 2001.

Cabrera, J. “Náufragos y navegantes enterritorios hipermediales: Experien-cias psicosociales y prácticas cultu-rales en la apropiación de Interneten jóvenes escolares”. Informe pre-sentado a concurso Investigación so-bre Impactos Sociales de las TIC enLatinoamérica y el Caribe. FLACSO,Sede Ecuador. 2001.

CAIBI “Relación de indicadores TIC en lospaíses de la CAIBI”. En: http://www. map.es/csi/caibi/indicadores lista. pdf Consultado el 7/1/02. 2000.

CAIBI “Que es CAIBI?”. En: www.map. es/csi/caibi/general/o 2.htm Consultado 1/10/01. 2001.

Camacho, K. (coord.) “Building an ICTevaluation framework. IDRC-Works-hop. Memoria de los talleres realiza-dos en Costa Rica. 13-15/12/2000.Material Mimeografiado. 2000a.

Camacho, K. “Marco de referencia de lainvestigación. ¿Cómo nos acercamosa la valoración de impacto de la In-ternet en las Organizaciones de lasociedad civil de Centroamérica?Fundación ACCESO: Costa Rica.2000b.

Camacho, K. “La Internet, un gran desafíopara las organizaciones de la socie-dad civil centroamericana”. Primeranálisis de una encuesta regional.Fundación ACCESO. En: http://www.acceso.or.cr/publica/grandesafio.shtml Consultado 07/11/01. 2001a.

Camacho, K. “Internet, ¿una herramientapara el cambio? Elementos para unadiscusión necesaria”. Fundación AC-CESO. En: http://www.acceso.or.cr/publica/telecom/conocimiento22.shtml Consultado el 07/11/01. 2001b.

Camacho, K. “¿Cómo nos acercamos a lavaloración del impacto de la Interneten las Organizaciones de la SociedadCivil de Centroamérica?”. FundaciónACCESO. En: http://www.acceso.or.cr/publica/telecom/Framework.shtml Consultado 07/11/01. 2001c.

Revista Educación 28(1), 2004

Page 19: Redalyc.La investigación evaluativa de programas ...

186 Revista Educación 28(1), 2004

Chasquinet “Estado del arte de los tele-centros en América Latina y el Cari-be”. Ecuador. En: http://chasquinet.org/pub/docs/telelac/estarte.docConsultado el 13/2/02. 2002.

Colin, L; Walker, D. (ed.) “Telecentres: Ca-se studies and key Issues”. Vancou-ver: the Common wealth of lear-ning”. En: http://col.org/telecentres Consultado 7/1/02. 2001.

Crook, C. “Ordenadores y aprendizaje co-laborativo”. Madrid: Morata. 1998.

Daly, J. (1999) “A conceptual frameworkfor the study of impacts of the inter-net. University of Maryland. http:// www.bsos.umd.edu/cidcm/papers/ jdaly/concept.htm Consultado 14/6/01.

Díaz-Albertini, J. “Evaluación de ImpactoSocial de la Red Científica Peruana eInternet en el Perú 1991-1995”. Direc-ción Universitaria Coordinadora deInvestigación Científica, Universidadde Lima. Internet, en: http: //www.rcp.net.pe/VFORO/memorias/ esp/diaz5.htm Consultado el 29/5/01. 2001.

Ernberg, J. “Integrated Rural Develop-ment and Universal Access-Towardsa Framework for Evaluation of Mul-tipurpose Community Telecentre Pi-lot Projects Implemented by ITU andits Partners. Partnership and Parti-cipation in Telecommunications forRural Development: Exploring WhatWorks and Why”, Conference GuelphUniversity, Canada. En: http://www.itu.int/ITU-D-UniversalAccess/johan/papers/guelph.htmConsultado el 28/6/01. 1998.

Fundación Omar Dengo . “Mi experienciacon el programa de informáticaeducativa MEP-FOD: Impacto delprograma en una escuela de zonarural”. Informe 1-93. Informe de in-vestigación evaluativa. San José.1993.

Fundación Omar Dengo. “Vivencia en ellaboratorio de informática educativadel PIE MEP-FOD. Un acercamien-to a los procesos generados en maes-tras y encargadas de laboratorio”.Informe de investigación evaluativa.San José. 1995a.

Fundación Omar Dengo. “La vivencia en ellaboratorio de informática educativadel PIE: un acercamiento a los pro-cesos generados en niños y niñas”.Informe 2-95. Informe de investiga-ción evaluativa. San José. 1995b.

Fundación Omar Dengo. “Construcción delecciones aprendidas sobre la puestaen práctica del Programa de Infor-mática Educativa MEP-FOD: el pa-pel de los docentes”. Informe #6,Lecciones Aprendidas. Informe deinvestigación. San José. 1997.

Fundación Omar Dengo. “Informe final de laEvaluación Formativa del Componentede Capacitación del Proyecto Informá-tica Educativa 21 para I y II Ciclos(PIE)”. Informe 13-2. Informe de inves-tigación evaluativa. San José. 2000a.

Fundación Omar Dengo. “Informática yeducación de adultos: El caso de loscursos de navegación por internet ycorreo electrónico para adultos ma-yores y ciudadanos de oro de la Fun-dación Omar Dengo”. Informe de in-vestigación. San José. 2000b.

Fundación Omar Dengo. “Informe de Esta-dísticas del Programa de Informática

Page 20: Redalyc.La investigación evaluativa de programas ...

187

Educativa Ministerio de EducaciónPública-Fundación Omar Dengo(PIE-MEP-FOD)”. Informe del mesde Abril. San José. 2002.

Gómez, R.; Hunt, P. “Telecentre Evaluation:A global Perspective”. PAN GlobalNetworks, IDRC, proceedings of Con-ference, Far Hills Inn, Quebec. En: http://www.idrc.ac/telecentre/evaluation/nn/00 Cov.htmlConsultado 3/07/01. 1999.

Gómez, R.: Martínez, J. “Internet... ¿paraqué? Fundación ACCESO. En: http://acceso.or.cr/PPPPConsultado el 8/11/01. 2001.

Gómez, R.; Martínez, J.; Reilly, K. “Paths be-yond conectivity: Experience from LatinAmérica and the Caribbean”. UnitedNations Development Programme. En: http: //63.241.184.166/tcdcweb/coop south journal/2001 oc/index.html Consultado 9/1/02. 2001.

Hafkin, N.; Taggart, N. “Gender, informa-tion technology and developingcountries: An analityc study”. En: http: //www.usaid.gov/wid/pubs/it01.htm Consultado 11/12/01. 2001.

Hamelink, C. “ICT’s and Social Develop-ment: The Global Policy Context.UNRISD News” Number 21. Au-tumn/Winter, DP116. En: http://unrisd.org/engindex/publ/news/21eng/dp116.htmConsultado el 23/7/01. 1999.

Herman, J. Evaluating the effects of tech-nology in school reform. En: Means,B. (ed). “Technology and EducationReform the reality behind the promi-se”. E.E.U.U.: Jossey-Bass Publis-hers. 1994.

Hilbert, M. “Latin America on its path in-to the digital age: Where are we?http://www.eclac.cl/publicaciones/ Desarrollo Productivo/ 5/ LCL555P/ Lc11555.pdf Consultado 10/12/01. 2001.

Hudson, H. Telecentre evaluation: Issuesand strategies. En: Colin, L.; Wal-ker, D. (ed) (2001) “Telecentres: Ca-se studies and key Issues”. Vancou-ver: the Commonwealth of learning.En: http://col.org/telecentres Consultado el 7/1/02. 2001.

Honey M.; McMillan K.; Carrig, F. Perspec-tives on Technology and EducationResearch: Lessons form the Past andPresent. EDC Center for Childrenand Technology. En: http://www.ed.gov/Technology/TeachConf/1999/whitepapers/paper1.html Consultado 17/10/01. 1999.

Iglesias, E. “From digital divide to digitalopportunity in Latin America and theCaribbean”. Inter-American Develop-ment Bank. En: http://www.iadb.org/exr/speeches/s191000c.htmConsultado 20/8/01. 2000.

Ishaq, A. “La brecha informática mundial”.Finanzas y Desarrollo. Vol. 38, Nº 3.2001.

Jackson, B. “Designing Projects and Pro-ject Evaluations Using The LogicalFramework Approach”. The WorldConversation Union. En: http://www.iucn.org/themes/eval/english/lfa.htm Consultado 13/07/01. 2001.

Jurich, J.“Computers in the classroom:How effective???”. Performance

Revista Educación 28(1), 2004

Page 21: Redalyc.La investigación evaluativa de programas ...

188 Revista Educación 28(1), 2004

Review Division. Canadian Interna-tional Development Agency. JTechKnowlogia. Nov/Dec. 1999.

Kleiman, G. “Myths and realities abouttechnology in K-12 schools”. En: www.edc.org/ILNT/news/issue14/feature1.htm Consultado 24/4/01. 2000.

Mansell, R.; When, U. (ed.) “Knowledgesocieties: Information society forsustainable development” OxfordUniversity Press: London. 1998.

Martiniello, M. “Participación de los Padresen la Educación: Hacia una Taxonomíapara América Latina”. DevelopmentDiscussion Paper Nº 709, June. Har-vard Institute for International Deve-lopment, Harvard University. 1998.

McConnell, S. “Connecting with unconnec-ted rural stakeholders”. Universityof Guelph: Canada. http://www.devmedia.org/papers.cfm?docid=117 Consultado el 7/9/01. 1988.

Menou, M. “Assesssing Methologies in Stu-dies of the Impact of Information: ASynthesis, presented to annual mee-ting of the American Society of Infor-mation Science (ASIS) Pasadena CA,26 May 1999”. En: http://www.bellanet.org/partners/aisi/proj/synthesis.htm Consultado el 5/12/00. 1999a.

Menou, M. “Synthesis Report-Part 1: Met-hodological issues. In: Connectivityin Africa: Use, Benefits and Cons-traints of Electronic Communica-tions. Study carried out under theCABECA project of Padis (UN-ECA)as part of the IDRC sponsored re-search program on the Impact of In-formation on Development”. En:

http://www.bellanetorg/partners/aisi/proj/conn.htmConsultado el 5/12/00. 1999b.

Menou, M.; Potvin, J. “Toward a concep-tual Framework for Learningabout ICTs and Knowledge in theProcess of Development: Back-ground Document. Bellanet, Draftfor Comment”. En: http://www.bellanet.org/ICT res pol/docs/LEAP Concept 2May2000.htmConsultado el 11/5/01. 2000.

Menou, M. “IsICTometrics: Toward an al-ternative vision and process”. En:http://funredes.org/olistica/documentos/doc2 Consultado 27/6/01. 2001a.

Menou, M. “Educating citizens of the glo-bal learning society”. Uned nationsDevelopment programme. En: http://63.241.184.166/tcdcweb/coop south journal/2001 oct/index.html Consultado 9/1/02. 2001b.

Miller, D.; Slater, D. “The Internet. An Et-nographic Approach. Chapter One-Conclusions”. Oxford, University ofLondon. En: http://ethnonet.gold.ac.uk/chapter.htmlConsultado el 9/05/01. 2000.

Morino Institute. “From access to outco-mes: raising the aspirations for tech-nology inicitiatives in low-incomecommunities” Morino report on thedigital divide. En http://morino.org/divides/report2.htmConsultado el 18/12/01. 2001.

Morisson, D. “An outlet to growth”. WorldLink. Sept/Oct. 2001.

Page 22: Redalyc.La investigación evaluativa de programas ...

189

National Research Council. “InternetCounts. Measuring the Impacts ofthe Internet”. Office of InternationalAffairs, National Research Council.Washington, D.C. En: http://www.bsos.umd.ed/cidcm/papers/ewilson/xnasresp2.htm#execConsultado el 20/06/01. 1998.

North Central Regional Educational Labo-ratory. “Learning with TechnologyProfile Tool”. Technology in Educa-tion Consortium. U.S. En:http://www.ncrtec.org/capacity/profile/profwww.htmConsultado el 14/5/01. 2000.

Lawson, T; Comber, C. “Introducing infor-mation and communication techno-logies into schools: The blurring ofboudaries”. En: www.techsoup.org/articlepage.cfm?topicid=12&articleid=164Consultado el 28/11/01. 2000.

Lemke, C.; Martin, C.; Capella, E. “Chil-dren and computer technology”. Cali-fornia: The David and Lucile PackardFoundation. En: www.futurechildren.orgConsultado el 7/1/02. 2001.

OECD. “Learning to change: ICTs inschools”. En: http://electrade.gfi.fr/cgi-bin/OECDBookShop.storefront/EN/product/962001131P1 Consultado el 4/12/01. 2001.

PANTLEG “Revealing the soul of a project.Stories as evaluation: Towards a met-hodology”. En: Success Stories of Ru-ral ICTs in a Development Country.Banco de Documentos de IDRC. 2000.

PANTLEG. “Information and communicationtechnologies for rural development anddeveloping countries”. En: http://www.bellanet.org/leap/

pantleg/index.cfm?fuseaction=dsp document details&doc id=23&cat id=19 Consultado el 12/12/01. 2001.

Plaz, I. “Catálogo bibliográfico de tecnolo-gías de la información y la comunica-ción para fomentar el desarrolloequitativo y sustentable en AméricaLatina”. En: http://funredes.org/mistica/castellano/ciberoteca/catalogo/index.htmlConsultado el 27/11/01. 1999.

Potvin, J.; Lanfranco, S.; Balson, D. “ICTImpact Assessment Framework”.Bellanet, February, 2000. En:http://www.bellanet.org/ict res pol/index.cfm?Fuseaction=view article&TheArticle=16Consultado 4/07/01. 2000.

Prat, A. “Sociedad de la información y pro-moción de la cultura científica. Polí-ticas públicas e indicadores de segui-miento (relatoría general)”. En: http://ricyt.edu.ar Consultado 17/12/01. 2001.

Ritcher, C. La gestión del gasto público eneducación en Centroamérica. En:“¿Hacia dónde va el gasto público eneducación?. Logros y desafíos”. SeriePolíticas Sociales 42, vol. III, CE-PAL, ECLAC. División de DesarrolloSocial, Chile. 2001.

Rohozinski, R. “Mapping Russian Cyberspace:Perspective on Democracy and the Net.Paper prepared for the UNRISD Confe-rence on Information Technologies andSocial Development”, Geneva. En: http://www.unrisd.org/infotech/conferen/russian/toc.htmConsultado 1/08/01. 1998.

Proyecto Conexiones “Modelo de Evalua-ción”. Informe Final. Colombia. En:

Revista Educación 28(1), 2004

Page 23: Redalyc.La investigación evaluativa de programas ...

190 Revista Educación 28(1), 2004

http://conexiones.eafit.edu.co/informes/final/Evaluacion.htmConsultado el 17/10/01. 2001.

Sagna, O. “Information Technologies andSocial Development in Senegal”.UNRISD News Number 23. Au-tumn/Winter. ftp://ftp.unicc.org/unrisd/outgoing/news/23e.pdfConsultado el 23/07/01. 2000.

SchoolNet S.A. “Assessment and the Eva-luation of the Impact of ICT. Educa-tor Development for ICT´s: Frame-work, Version 1, 2”. June. En:http://www.school.za/edict/edict/assess.htmConsultado el 29/05/01. 2000.

Sguazzi, T.; du Toit, D. “The espiral mo-del. New options for supportingthe professional development ofimplementers-based education.Findings from the learning for sus-tainability’s piloting of ideasaround environmental learning”.Learning for Sustainbility Project.Johannesburg. 2000.

Stoll, K.; Menou, M.; Camacho, K.; Kehe-llady, Y. Learning about ICTs role indevelopment: A frameworktoward aparticipatory, transparent and conti-nuous process. Draft 5.2. 2002.

The Public Voice. “The Public Voice andthe digital divide: a report for theDOT force”. En: www.thepublicvoice.org/dotforce/DOT Force Report.pdfConsultado el 9/1/02. 2001.

Thomas, G. “Elements of a national stra-tegy to foster effective of techonologyin elementary and secondary educa-tion”. En: www.rand.org/publications/CT/CT145/CT145.pdfConsultado 20/11/01. 1998.

UNRISD. “Info-Tech Project: Information Te-chonologies and Social Development”.En: http://www.unrisd.org/infotech/index.htmConsultado 31/07/01. 1998.

Van Harmelen, U. “Evaluating Change:an impact study of the Life ScienceProject Namibia, 1991-2000. Edu-cational Department Rhodes Uni-versity. 2001.

Wilmore, D. “Establishing a community oflearners: the use of informationtechnology (IT) as an effective lear-ning tool in rural primary or elemen-tary schools”. En: http://ifets.ieee.org/periodical/vol 3 2001/discuss summary april2001.htmlConsultado el 17/1/02. 2001.

Wood, P. “Building Gender ConsiderationsInto ICT Evaluation Work. APC,presented at the Evaluating and Im-plementing ICT Strategies for theInformation Age panel at the GlobalKnowledge Conference in Toronto,build-gender,html. Consultado el3/07/01. 1997.

José Miguel Rodríguez GarcíaProfesor de la Escuela de Psicología

de la Universidad de Costa Rica