100. Sistemas de Evaluación de Aprendizajes en América Latina

Sistemas de Evaluacin deAprendizajes en Amrica LatinaBalance y Desafos

Preal

Autor:Guillermo Ferrer

Primera edicin:1.000 ejemplaresMarzo 2006

Registro de Propiedad Intelectual:N 153.429

I.S.B.N. 956-8109-01-3

Impresin:Alfabeta Artes GrficasCarmen 1985Fono Fax: 551 5657

5INTRODUCCIN

Introduccin .......................................................................................................... 7Aspectos metodolgicos de este trabajo ..........................................................10

PRIMERA PARTE

I. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA ELFORTALECIMIENTO Y LEGITIMACIN DE LOS SISTEMAS DEMEDICIN EN AMRICA LATINA ..............................................................13

II. PRINCIPALES AVANCES Y DIFICULTADES EN EL DESARROLLO DELOS SISTEMAS NACIONALES DE EVALUACIN Y MEDICIN DE LACALIDAD EDUCATIVA DE AMRICA LATINA ...........................................19

Fines y propsitos del sistema ..........................................................................20Marco institucional de las agencias o unidades de medicin ........................20La medicin de aprendizajes y su relacin con el desarrollocurricular y de estndares ..................................................................................24Tipos de instrumentos de medicin: Caractersticas y validacin .................28

Cobertura general de las evaluaciones ................................................28 Diseo de instrumentos .........................................................................29 Validacin tcnica y adecuacin lingstica ....................................... 33

Formas de reporte de los resultados .................................................................35 Reportes a autoridades de gobierno y alta direccin sectorial ..........35 Reportes a actores educativos locales .................................................37 Informes especficos para padres de familia ....................................... 41 Seguimientos cualitativos .....................................................................42

ndice

6 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN

Difusin y uso de los resultados de las mediciones ....................................... 43 Uso para toma de decisiones de poltica o para el diseo de

programas de mejoramiento ................................................................ 45 Uso pedaggico local ........................................................................... 46 Uso de altas implicancias .................................................................... 48 Responsabilizacin poltica ................................................................. 49

Pruebas internacionales comparadas de aprendizaje ......................................... 50

III. DISCUSIN Y SNTESIS .............................................................................. 51

SEGUNDA PARTE

Descripcin de casos nacionales y subnacionales ......................................... 59Argentina ................................................................................................... 60Bolivia ........................................................................................................ 65Brasil .......................................................................................................... 69Chile ........................................................................................................... 74Colombia .................................................................................................... 80Costa Rica .................................................................................................. 85Cuba ........................................................................................................... 90Ecuador ...................................................................................................... 94El Salvador ................................................................................................ 98Guatemala ................................................................................................ 103Honduras .................................................................................................. 107Mxico ..................................................................................................... 112Nicaragua ................................................................................................. 118Panam ..................................................................................................... 121Paraguay ................................................................................................... 125Per ........................................................................................................... 129Repblica Dominicana ........................................................................... 133Uruguay .................................................................................................... 138Venezuela ................................................................................................. 144Minas Gerais, Brasil ............................................................................... 147Paran, Brasil .......................................................................................... 152So Paulo, Brasil ..................................................................................... 157Bogot, Colombia ................................................................................... 162Aguascalientes, Mxico .......................................................................... 166Referencias bibliogrficas ...................................................................... 172Entrevistas ............................................................................................... 172

7NDICE

El Grupo de Trabajo sobre Evaluacin y Estndares (GTEE) del PREALPrograma para la Promocin de la Reforma Educativa en Amrica Latina yel Caribe viene realizando desde el ao 2000 varios estudios sobre el esta-do de situacin de la medicin y evaluacin de la calidad educativa enAmrica Latina, as como del avance de los pases de la Regin en lapropuesta y definicin de expectativas claras de aprendizaje, las que en estedocumento sern denominadas estndares. Tres de estos estudios sientanlas bases conceptuales de este informe sobre la situacin actual de los siste-mas nacionales de evaluacin y desarrollo de estndares en la Regin, ysern citados frecuentemente a lo largo del texto. Esos informes son:

Cmo presentan sus resultados los sistemas nacionales de evaluacin edu-cativa en Amrica Latina? (PREAL, 2001);

Los prximos pasos: Hacia dnde y cmo avanzar en la evaluacin deaprendizajes en Amrica Latina? (PREAL, 2001); y

Aspectos del curriculum prescrito en Amrica Latina: Revisin de tenden-cias contemporneas en curriculum, indicadores de logro, estndares y otrosinstrumentos (PREAL, http://www.preal.cl/GTEE/pdf/Ferrer.pdf, 1999).

El presente informe del GTEE apunta a dar un paso ms all en ladocumentacin de los avances de Amrica Latina y el Caribe en cuanto al

Introduccin


establecimiento, consolidacin, perfeccionamiento y utilidad de los sis-temas nacionales y subnacionales de medicin de aprendizajes, ascomo de los esfuerzos realizados en la Regin para el desarrollo deestndares de logro acadmico en la educacin bsica.

En la primera parte de este documento se discute el progreso delos pases latinoamericanos en sus esfuerzos por establecer expectati-vas claras de aprendizaje, desarrollar herramientas de medicin y eva-luacin adecuadas para informar sobre el logro efectivo de esas expec-tativas, comunicar a los actores educativos y a la sociedad civil sobrela calidad de los sistemas pblicos de educacin en trminos de apren-dizajes logrados, y disear y ajustar polticas educativas para el mejo-ramiento de esos aprendizajes sobre la base de las informaciones reco-gidas en las evaluaciones.

Los esfuerzos iniciales de indagacin estuvieron orientados a siste-matizar la informacin disponible sobre los sistemas nacionales de me-dicin, concretamente en relacin a las agencias responsables de laevaluacin en cada pas, el tipo de instrumentos desarrollados, las po-blaciones estudiantiles evaluadas y el tipo de uso que se da a los datosrecogidos por esos sistemas. Para esa tarea se recurri a los datos reco-gidos por otros investigadores1 en los ltimos aos, y sobre esa base seampli y actualiz la informacin mediante entrevistas y anlisis docu-mentales realizados en casi todos los pases de la Regin.

El informe busca aportar una visin crtica y conceptual sustenta-da sobre esas acciones. Para facilitar la comprensin de esa visin, sepropone en la primera seccin una sntesis del tipo de procesos ycondiciones que, segn este GTEE, y tal como se ha avanzado enestudios anteriores, contribuiran al fortalecimiento de una culturaevaluativa slida y legitimada en los pases de Amrica Latina, y a unmayor impacto en la toma de decisiones de poltica y en la prcticapedaggica para el mejoramiento del logro acadmico de los estu-diantes.

Se presenta tambin una ampliacin y profundizacin de cada unade las categoras de anlisis seleccionadas para este estudio de lossistemas nacionales de evaluacin, y un resumen narrativo de algunosde los casos nacionales y subnacionales que pueden servir como ejem-plo ilustrativo de las diferentes modalidades tcnicas y organizaciona-

1 Rojas, C. y Esquivel, J.M. (1998); Wolff, L. (1998).

9INTRODUCCIN

les de evaluacin desarrolladas en la Regin. En general, se opt porpresentar en esta seccin los casos ms institucionalizados, o los msinnovadores, aunque ocasionalmente se hace referencia a sistemas na-cionales que sirven de contraejemplo para ilustrar las problemticasque suelen enfrentarse en cada uno de los aspectos de la evaluacinaqu analizados.

Luego se ofrece un apartado de discusin, a modo de resumen, delos avances y dificultades ms importantes observados en los sistemasde evaluacin regionales.

En la segunda parte del informe se presenta un resumen individualpara cada caso nacional y subnacional de evaluacin de aprendizajes,siguiendo las mismas categoras de anlisis utilizadas en la primeraparte del documento. A estos resmenes individuales podr referirse ellector para acceder a informaciones ms detalladas sobre los casosmencionados a lo largo del documento, o para comparar las caracters-ticas de los sistemas entre pases.

Es conveniente remarcar que a lo largo del proceso de elabora-cin de este informe, los sistemas nacionales de evaluacin han su-frido cambios de tipo institucional y metodolgico, coincidentes amenudo con los recambios frecuentes de autoridades polticas sec-toriales. En algunos casos se trata de ajustes parciales en la metodolo-ga o cobertura de las evaluaciones, mientras que en otros se han reali-zado cambios estructurales e institucionales de considerable magnitud.En todos los casos se ha intentado ofrecer la informacin ms ac-tualizada disponible al momento de esta publicacin, aunque esposible que algunos cambios recientes no estn debidamente regis-trados. De todas maneras, se invita al lector a considerar este anlisiscomo un retrato dinmico que abarca principalmente el desarrollo delos sistemas nacionales de evaluacin a lo largo de los aos noventa, yalgunos de los cambios ms importantes introducidos recientementecomo respuesta a las problemticas enfrentadas en los diferentes pasesa lo largo de ese perodo.

Claramente, la descripcin presentada podra ser actualizada a dia-rio, considerando especialmente la inestabilidad institucional que expe-rimentan muchos de los sistemas de evaluacin y ministerios de educa-cin de la Regin, pero esperamos que este trabajo sirva al propsitoprincipal de mostrar las principales tendencias, avances y problemti-cas que se ha podido observar en los ltimos diez aos de evaluacinestandarizada de aprendizajes.


ASPECTOS METODOLGICOS DE ESTE TRABAJO

Todas las informaciones presentadas en este informe, tanto en laprimera como en la segunda parte, se basan en fuentes bibliogrficas ydocumentales consultadas, as como en casi 60 entrevistas realizadas arepresentantes de las unidades de medicin y expertos en evaluacin de19 pases de la Regin y cinco sistemas subnacionales. Otras informacio-nes adicionales fueron recogidas por medio de comunicaciones electrni-cas con esos representantes nacionales, quienes agregaron, modificaron oactualizaron los datos que el autor les hizo llegar para su revisin.

Cada tema o categora de anlisis considerado fue desglosado en unconjunto de subtemas, tal como se describe en el siguiente cuadro:

Adecuacin segn marco poltico y capacidades tcnicas: Estabilidad Financiamiento y autonoma administrativa Recursos humanos Autonoma y capacidad para la difusin de resultados Transparencia

Disponibilidad, adecuacin y utilizacin de marcos cu-rriculares nacionales para el diseo de instrumentos demedicin.

Desarrollo y validacin de estndares alineados con elcurrculo vigente.

Marco conceptual slido y explcito para la elabora-cin de matrices de referencia.

Validacin de matrices de referencia e instrumentos. Tipos de temes o reactivos. Adecuacin cultural y lingstica (EBI). Cobertura muestral o censal coherente con objetivos de

la evaluacin. Estudio de contexto escolar y extraescolar para anlisis

de factores asociados al rendimiento.

Coherencia entre tipos de reporte y usos esperados(desarrollo curricular, pedagoga, focalizacin deapoyos, capacitacin docente, seleccin de alumnos,etc.).

Adecuacin de reportes a distintos tipos de destinata-

Categoras de anlisis Subtemas

Marco institucional

Currculo yestndares

Instrumentos

Reportes

11INTRODUCCIN

Por tratarse tambin de un anlisis crtico, y no meramente descrip-tivo, de los sistemas nacionales de evaluacin, este informe contieneapreciaciones personales del autor sobre las caractersticas de esos sis-temas y sobre el grado de desarrollo e impacto que han logrado en losltimos aos. Sin embargo, las afirmaciones realizadas estn basadasen el anlisis de todas las fuentes disponibles para cada caso nacional ysubnacional, e intentan incorporar las voces de diferentes actores delproceso evaluativo, tanto dentro como fuera de los rganos oficiales degestin.

Tambin fue necesario realizar comparaciones entre las versionesde actores gubernamentales pertenecientes a diferentes perodos de ad-

rios (claridad, guas de interpretacin, sensibilizacin,etc.).

Informaciones sobre factores asociados y modelos devalor agregado.

Devolucin: Tiempos Alcance Periodicidad

Impacto: Uso escolar Toma de decisiones de poltica/diseo de programas Responsabilizacin poltica

Altas implicancias: Escuelas Docentes Alumnos

Diferencias principales con sistemas nacionales: Estndares Cobertura censal Participacin de actores locales Tiempos y formas de devolucin de resultados Uso centrado en el mejoramiento pedaggico

Desarrollo de capacidades tcnicas Difusin de resultados e impacto en la opinin pblica Usos especficos de los resultados

Difusin y usos

Sistemassubnacionales

Pruebasinternacionales


ministracin sectorial, a menudo correspondientes a gobiernos naciona-les de diferentes orientaciones polticas y estilos de gestin. Esta multi-plicidad de voces implic una tarea de sntesis e interpretacin de larealidad que, seguramente, sera materia de debate en cada caso anali-zado. De todas maneras, resulta relevante recordar que todos los casospresentados fueron revisados por las autoridades tcnicas en cada pas,quienes tuvieron la oportunidad de corregir, moderar o actualizar lasinformaciones e interpretaciones ofrecidas por el autor.

13PRIMERA PARTE

I. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA ELFORTALECIMIENTO Y LEGITIMACIN DE LOS SISTEMAS DE MEDICIN

EN AMRICA LATINA

Es claro que los modelos y sistemas2 de medicin y evaluacin deldesempeo acadmico de los estudiantes deben disearse sobre la basede las condiciones polticas y de las capacidades tcnicas y operativas,actuales o potenciales, de cada pas. Sin embargo, la experiencia enevaluacin acumulada hasta el presente en la Regin, as como la expe-riencia ganada en pases ms desarrollados, permite avanzar un conjuntode condiciones que pueden considerarse deseables o recomendables paracualquier pas que est planificando o ajustando su sistema de mediciny evaluacin de resultados de aprendizaje. Entre ellas, merecen mencio-narse las siguientes:

2 En teora, el trmino sistema da cuenta de una organizacin y articulacin relativa-mente complejas entre las partes de un todo. En este trabajo mantendremos la denomi-nacin de sistema para todos los programas nacionales de evaluacin de aprendizajes,aunque el lector observar que en algunos casos esos programas no lograron articularsecon otros esfuerzos de poltica sectorial, o bien lo hicieron pero durante perodos detiempo acotados, por lo cual podra considerrseles proyectos de medicin y no es-trictamente sistemas.

Primera parte

ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN14

Los propsitos de las evaluaciones de logros de aprendizaje y losusos pretendidos de sus resultados deben ser materia de amplia con-sideracin y debate desde el inicio del proceso de establecimiento deun programa de pruebas o de un sistema de evaluacin educacionalms amplio. Las bondades del enfoque, metodologa, instrumentos eimpacto de las pruebas y evaluaciones tienen que establecerse enfuncin de cun bien sirven a esos propsitos y cun efectivo ha sidoel uso de los resultados para lograrlos.

Los pases deben considerar cul es el marco o estatus institucionalms adecuado para la agencia evaluadora responsable. Especfica-mente, conviene discutir y definir con claridad, de acuerdo a lascondiciones polticas y tcnicas de cada pas, si la unidad de medi-cin debe ser una dependencia oficial, un ente contratado externo, osi debe establecerse un sistema mixto. En cualquier caso, lo queresulta imprescindible es definir con claridad el grado de autonomafuncional que tendra la unidad evaluadora. El marco institucionalpuede tener fuertes implicancias para la credibilidad y legitimidad desus acciones, para la sostenibilidad tcnica-operativa y financiera delsistema, o para las posibilidades de difusin, uso e impacto de losresultados de las evaluaciones.

Los instrumentos de medicin deben estar referidos a las expectati-vas o metas de aprendizaje que cada pas o regin se haya propues-to mediante los marcos curriculares nacionales. Para esto se requie-re que esas metas estn expresadas claramente, lo suficiente comopara que las competencias cognitivas disciplinares que van siendoalcanzadas por los estudiantes puedan ser reconocidas de la manerams objetiva posible por todos los evaluadores del sistema: docen-tes, directores, supervisores y agentes profesionales externos a laescuela.

Esas metas deben estar descritas operacionalmente3 y ejemplificadaspara facilitar la comprensin de todos los actores del sistema sobre

3 Una definicin operacional de las metas de aprendizaje consiste en la descripcin clara ylo suficientemente detallada del tipo de saberes conceptuales y procedimentales que elestudiante debe demostrar haber desarrollado. Esto no implica un grado de operacionali-dad tal que limite la observacin y restrinja el juicio evaluativo a una forma nica deexpresin del conocimiento, pero s debe ser lo suficientemente descriptivo como paraguiar la construccin de instrumentos de medicin vlidos, asegurar la unidad de criteriosal momento de la correccin de respuestas, y producir informaciones comprensibles ysubstantivas sobre qu tipos de conocimientos han adquirido los estudiantes.

15PRIMERA PARTE

cules son las expectativas de logro acadmico en las diferentesreas curriculares. Adicionalmente, la descripcin debe diferenciar yejemplificar los distintos niveles de logro que es posible se obtenganen la prctica para cada competencia a desarrollar en las diferentesreas curriculares evaluadas. Puede, por ejemplo, describirse un ni-vel de logro insuficiente, un nivel mnimo, uno medio y uno avanza-do, para cada rea curricular y cada nivel (grado o ciclo) de escolari-dad evaluados. Esta clasificacin, con su descripcin operacional ysu ejemplificacin, constituye el marco de interpretacin bsico quepermitir a los profesionales de la educacin y a los ciudadanoscomprender la significancia de los datos arrojados por las evaluacio-nes, y permitir tambin generar estrategias pedaggicas y curricula-res focalizadas para mejorar los resultados de aprendizaje.

Donde no existan definiciones claras y operacionales de las compe-tencias complejas a desarrollarse, sino unas definiciones generalesy orientadoras para el desarrollo curricular, como es el caso en casitodos los pases de Amrica Latina, es preciso reforzar el vnculode trabajo y la comunicacin entre las unidades tcnicas de medi-cin y los profesionales a cargo del diseo curricular oficial paradesarrollar, en conjunto, indicadores claros de desempeo acadmi-co e instrumentos de evaluacin debidamente alineados con esosindicadores.

La metodologa y cobertura de las mediciones deben ser consistentescon los propsitos y usos de las evaluaciones y deben validarse tc-nica y socialmente4. Esto implica tomar decisiones racionales y dis-cutidas en profundidad sobre los siguientes aspectos:

El objetivo y los sujetos de las mediciones, es decir, si se buscaevaluar el sistema, a las instituciones, o a los actores individualmente(docentes y alumnos, en especial). La decisin determinar, porejemplo, si las pruebas deben ser censales o muestrales, si estarnreferidas a normas o a criterios, o si los resultados tendrn altas obajas implicancias para los actores.

Si los datos recogidos por las mediciones van a ser utilizados para elmejoramiento pedaggico o curricular, ser necesario disear instru-

4 Por validacin social entendemos los mecanismos de discusin y decisin compartidaentre actores clave de la comunidad educativa sobre la pertinencia, relevancia y calidadde los contenidos e instrumentos de evaluacin. Considrese tambin como parte de lacomunidad educativa a los representantes de la sociedad civil que se busca involucrar ycomprometer en el proceso de mejoramiento de la calidad educativa.


mentos adecuados para esos fines, lo que requerir tomar decisionessobre, por ejemplo, el modelo de medicin utilizado para medir ellogro de competencias de complejidad creciente, si los reactivos (te-mes) de las pruebas exigirn respuestas de opcin mltiple, respues-tas abiertas, demostraciones prcticas de laboratorio, o una combina-cin entre estas alternativas u otras que se propongan, el grado decobertura del currculo que tendrn las pruebas, etc.

Todos los instrumentos de las evaluaciones requieren ser validadosen forma experimental, es decir, mediante aplicaciones piloto en elcampo, antes de elaborar su versin definitiva.

En algunos pases ser necesario realizar validaciones especficascuando se decida evaluar poblaciones cuya lengua materna sea dife-rente de la lengua oficial. En estos casos, la validacin tcnica de losinstrumentos involucrar aspectos lingsticos (traducciones adecua-das o elaboracin de reactivos en lenguas nativas), as como aspectosculturales generales para asegurar que los temes no contengan ses-gos que dificulten las respuestas de manera discriminatoria.

Si adems de medir los aprendizajes se considera necesario o conve-niente medir los factores escolares y extraescolares asociables alrendimiento acadmico de los estudiantes esto es, medir variablesque pueden estar incidiendo o estar vinculadas con el desempeoescolar y analizar sus relaciones con este, es necesario utilizar proce-dimientos tcnicos slidos para la recoleccin de datos y su posterioranlisis estadstico. Asimismo, pueden disearse instrumentos estan-darizados (guas de entrevistas u observacin, anlisis de videogra-baciones de aula, etc.) para la realizacin de seguimientos cualita-tivos sistemticos sobre los procesos pedaggicos e institucionalesque puedan contribuir a explicar los diferentes resultados de aprendi-zaje obtenidos en las mediciones cuantitativas.

La forma en que se reportan los resultados de las evaluaciones debeguardar coherencia con los objetivos de las mediciones y debe teneren cuenta las necesidades concretas de informacin de los usuarios.Por ejemplo, si lo que se desea es brindar informacin sobre el logrode los estudiantes en algunas capacidades especficas de reas curri-culares recientemente implementadas, de manera tal que las escuelaspuedan realizar ajustes all donde se detecten dificultades, es pocotil reportar los resultados en forma agregada con un porcentaje bru-to de logro para el total de cada rea curricular o disciplina. De lamisma manera, si lo que se busca es mayor involucramiento de los

17PRIMERA PARTE

padres en los procesos de aprendizaje de sus hijos, ser necesariobrindarles informacin no solamente sobre el nivel de logro de sushijos en ciertas capacidades acadmicas, sino tambin una descrip-cin y ejemplos del tipo de desempeo que se espera de ellos en elnivel educativo en que se encuentran.

Si lo que se desea es emitir juicios sobre la calidad de las escuelas entrminos de los logros acadmicos de sus estudiantes, y no solo com-parar o establecer un ranking de resultados por institucin o mbitosgeogrficos, es necesario reportar los resultados de las evaluacionesdistinguiendo el nivel econmico y sociocultural de la poblacin es-tudiantil con que esas escuelas trabajan, as como las condiciones deinfraestructura, equipamiento y recursos humanos con que cuentan.De esa manera, ser posible comparar los niveles de logro de cadaescuela con el conjunto de escuelas que trabajan en condiciones si-milares y as evitar conclusiones injustas sobre la calidad de cadaestablecimiento5. Si las mediciones se realizan siguiendo un modelode valor agregado, es decir, calculando el progreso acadmico delos estudiantes respecto de s mismos en el tiempo, y en comparacincon alumnos de niveles socioeconmicos similares, tambin podrnreportarse datos y realizarse inferencias ms justas sobre la capaci-dad de cada centro educativo para ofrecer oportunidades adecuadasde aprendizaje.

Las mediciones orientadas a recabar informacin que permita unaintervencin remedial para elevar los resultados de aprendizaje de-ben ser acompaadas con programas fuertes, focalizados o integrales,que apoyen el mejoramiento de la gestin y los procesos pedaggicosen las escuelas. En ltima instancia, los sistemas de evaluacin solose consolidarn y legitimarn socialmente en la medida en que losactores perciban que la medicin es, en efecto, una herramienta parael mejoramiento de la calidad de la educacin y no un ejercicio solodiagnstico o eventualmente punitivo.

Si los esfuerzos de evaluacin estn orientados a movilizar la opi-nin pblica y las fuerzas de la sociedad civil en relacin al mejora-miento de la calidad educativa, es necesario disear estrategias co-municacionales efectivas. La eficacia de esas estrategias depende nosolamente de la capacidad del sistema para llegar a diferentes au-

5 Para un tratamiento ms detallado, y adecuadamente ejemplificado, sobre este aspecto dela medicin de aprendizajes se recomienda la lectura de Ravela, 2002.


diencias por medio de documentos y publicaciones masivas, sinotambin del grado de involucramiento de actores y organizacionesclave de la comunidad educativa y de la sociedad civil en el pro-ceso evaluativo. En la medida en que esos actores, como porejemplo representantes de los sindicatos docentes, empresarios oprofesionales de los medios de prensa, sean partcipes de los pro-cesos y del diseo de las estrategias comunicacionales, se lograrun mayor alcance e impacto de la informacin derivada de lasmediciones. Aun cuando la difusin de los resultados quiera ha-cerse solo en forma local y focalizada, como por ejemplo a escue-las o municipios, ser tambin necesario consultar ampliamente arepresentantes de esos sectores en particular para determinar conmayor precisin cul ser la mejor estrategia comunicativa a utili-zarse.

En cualquier caso, independientemente de cules audiencias sedesee alcanzar con prioridad, es muy importante realizar la devo-lucin de los datos en forma oportuna, peridica, y asegurando lallegada a la mayor cantidad posible de individuos e instituciones.

Los esfuerzos de evaluacin en cada pas requieren de la iniciati-va y voluntad poltica central (nacional) para establecerse, conso-lidarse y lograr impactos significativos, pero tambin es conve-niente facilitar y promover las iniciativas subnacionales (zonales,jurisdiccionales) de evaluacin externa. En los pases en vas dedesarrollo, la cooperacin entre unidades tcnico-polticas centra-les y locales es una estrategia clave para ganar espacios de experi-mentacin, legitimacin y de mayor impacto de las prcticas eva-luativas.

Donde se decida participar en pruebas internacionales comparadasde rendimiento acadmico, y al igual que con las pruebas naciona-les, es necesario definir claramente cules sern los objetivos na-cionales especficos de la evaluacin para poder disear estrate-gias de comunicacin y lneas de intervencin que fortalezcan elimpacto de las informaciones recabadas mediante la medicin6.

6 Un tratamiento en profundidad de este tema puede encontrarse en Ferrer y Arregui(2002).

19PRIMERA PARTE

II. PRINCIPALES AVANCES Y DIFICULTADES EN EL DESARROLLO DELOS SISTEMAS NACIONALES DE EVALUACIN Y MEDICIN DE LA

CALIDAD EDUCATIVA DE AMRICA LATINA

Durante las ltimas dos dcadas la mayor parte de los pases de laRegin ha adoptado algn modelo de evaluacin nacional de los resulta-dos de aprendizajes. En algunos casos la experiencia de evaluacin fueganndose con lentitud, con aplicaciones para fines muy especficos,como el de regular la admisin a la educacin superior o evaluar elimpacto de un proyecto focalizado de mejoramiento educativo auspicia-do por un organismo de cooperacin internacional. En otros casos, laevaluacin mediante pruebas estandarizadas se adopt en forma relativa-mente abrupta, como parte de los programas de reforma educativa ms omenos integral, muy comunes en los aos noventa, y dentro de marcosinstitucionales y organizacionales creados especficamente para ese fin.Existe en la actualidad una variedad considerable en los niveles de desa-rrollo alcanzados por los diferentes sistemas nacionales de evaluacin,dependiendo de las capacidades tcnicas, operativas y financieras de lasunidades de medicin, as como de los contextos polticos dentro de loscuales se enmarcan.

Esta seccin ampla la discusin anterior sobre las caractersticasdeseables de los sistemas nacionales de evaluacin, segn indica laexperiencia y la literatura especializada internacional, y presentaejemplos ilustrativos extrados de casos nacionales y subnacionalesde medicin y evaluacin de aprendizajes recogidos en el marco deeste trabajo de investigacin. El tratamiento de las caractersticas delos sistemas de medicin se organiza en torno a seis temas principa-les:

Fines y propsitos de los sistemas. Marco institucional de las agencias o unidades de medicin. La medicin de aprendizajes y su relacin con el desarrollo curricu-

lar y de estndares en cada contexto nacional. Tipos de instrumentos de medicin. Formas de reporte de los resultados. Difusin, uso e impacto de los resultados.

Finalmente, se ofrece un resumen breve sobre la participacin depases latinoamericanos en pruebas internacionales comparadas de


aprendizaje, segn las informaciones obtenidas en un trabajo de investi-gacin anterior a cargo de este autor.

Fines y propsitos del sistema

Como se afirm desde los inicios de las actividades del Grupo deTrabajo sobre Estndares y Evaluacin del PREAL7, en muchos pasesde la Regin fue insuficiente la reflexin acerca de los fines especfi-cos que se esperaba o deseaba que persiguieran sus sistemas de evalua-cin, con la consecuencia de que algunas de las definiciones tcnicasque se tomaron inicialmente no fueron las ms adecuadas para los pro-psitos o usos diferentes que luego se quiso dar a los instrumentos yresultados de las mediciones. Con dificultad un solo diseo servirapara satisfacer todos los objetivos a veces incluso incongruentes entres perseguidos a lo largo del tiempo por los hacedores de poltica,pero los costos de disear instrumentos complementarios y las urgen-cias de contar con informacin sustentatoria para ciertas decisiones aveces inducen a usos equivocados de los resultados de las pruebas.Esto se ve agravado por la ausencia, en muchos casos, de una visin delargo plazo sobre el desarrollo del sistema y a la necesidad de improvi-sar medidas de emergencia que, a veces, acaba por debilitar la legiti-midad y consolidacin de los sistemas.

Afortunadamente, la acumulacin de experiencia y el relativo forta-lecimiento de capacidades evaluativas obtenidos por muchos pases dela Regin permitiran en la actualidad una revisin de esos fines yobjetivos, con la ventaja de que el debate podra estar iluminado porexperiencia vivida, y no solo por concepciones tericas o modelos im-portados de otros contextos. Es posible, y lo demuestran en estos daspases como Repblica Dominicana, Chile y otros, realizar ajustes pro-fundos sin necesidad de desmontar totalmente los sistemas y las capa-cidades institucionales ya instaladas.

Marco institucional de las agencias o unidades de medicin

La experiencia de evaluacin de los resultados de aprendizaje enAmrica Latina data de al menos dos dcadas, aunque la mayor partede los sistemas oficiales de evaluacin se crearon durante los aos

7 Ver la introduccin a Ravela et al. (2001).

21PRIMERA PARTE

noventa. Algunos pases, como Chile y Colombia, vienen realizando des-de hace muchos aos aplicaciones continuas de pruebas de rendimientoacadmico y las unidades de medicin a cargo gozan de altos grados delegitimidad y continuidad tcnica a pesar de los vaivenes polticos quese producen peridicamente por los cambios de gobierno nacional. Otrossistemas, como los de Ecuador, Guatemala, Bolivia o Per han sido msvulnerables a las voluntades polticas de turno, lo cual ha determinadoque las informaciones del sistema no siempre sean difundidas de modopblico, o que los equipos tcnicos se recambien de manera repentina,con el consecuente impacto sobre la calidad de los instrumentos, de losoperativos, o del diseo e implementacin de estrategias apropiadas parala difusin de los datos.

Durante estas dos ltimas dcadas los pases han ensayado diferentesmarcos institucionales para la administracin de los sistemas de evalua-cin educativa. El avance radica, precisamente, en ese ensayo, en labsqueda de la forma que mejor acomode a los intereses y metas de laspolticas de Estado en educacin. En general, puede afirmarse que apesar de los cambios y de algunos casos de fuerte inestabilidad poltica,ha habido una tendencia a sostener los sistemas de evaluacin naciona-les, y a reinstaurarlos o recomponerlos cuando sus actividades fuerondiscontinuadas en algn momento.

En varios pases, los arreglos institucionales ms estables resultaronser los que se instalaron fuera de la estructura orgnica de los ministeriosde educacin. Estos sistemas, por lo general denominados institutos,poseen mayor autonoma administrativa y tcnica que otros rganos delnea y suelen llevar a cabo sus tareas de medicin y devolucin deresultados con ms agilidad y consistencia que los sistemas dependientesde los ministerios.

Dos ejemplos de este tipo de forma institucional son los del ICFESen Colombia y el INEP en Brasil. En Colombia, si bien existe una unidadde evaluacin dentro del Ministerio de Educacin Nacional, el protago-nismo tcnico y operativo en la realizacin de diferentes evaluacionesnacionales lo ha tenido el ICFES, Instituto Colombiano de Fomento a laEducacin Superior. Este organismo, si bien no es totalmente indepen-diente del Ministerio, ya que este ltimo lo financia y preside, goza deamplia discrecin y autonoma en la toma de decisiones tcnicas conrespecto a algunas de las pruebas nacionales, como por ejemplo el Exa-men de Estado para el ingreso a la educacin superior. En Brasil, por suparte, las evaluaciones nacionales de aprendizajes son realizadas por el


INEP, Instituto Nacional de Estudios e Investigaciones Educativas,que tambin se administra independientemente del Ministerio de Edu-cacin. En ambos casos, los operativos de evaluacin se vienen reali-zando con periodicidad desde hace varios aos y los equipos tcnicoshan tenido la posibilidad de consolidarse y desarrollar poco a poconuevas tecnologas de medicin de los aprendizajes.

Mxico, luego de haber contado con un sistema de medicin de-pendiente de la Secretara de Educacin Pblica durante muchosaos, cre recientemente el Instituto Nacional de Evaluacin de laEducacin (INEE), un organismo semiautnomo que contar con ma-yor latitud que la antigua Direccin General de Evaluacin para latoma de decisiones tcnicas y administrativas sobre los operativos deevaluacin. Tambin Argentina intent en el ao 2001 la creacin deun instituto semiautnomo de evaluacin, el IDECE, aunque los ines-perados cambios de gobierno nacional en ese mismo ao determina-ron su disolucin y la reinstalacin del sistema nacional, en la actuali-dad denominado DINIECE, dentro del organigrama regular delMinisterio de Educacin.

Las agencias de evaluacin autnomas, o institutos, si bien pue-den adquirir mayores grados de autonoma funcional y legitimidadtcnica, tambin pueden presentar problemas. Quizs el mayor riesgoes que se desvinculen de las necesidades de informacin de los minis-terios, convirtindose as en programas de medicin de alta calidadtcnica pero con escaso impacto sobre la toma de decisiones de pol-tica para el mejoramiento de la calidad educativa. En algunos aosms podr hacerse una evaluacin de situacin sobre el funciona-miento e impacto de los institutos nacionales de reciente formacinen la Regin.

En otros casos se ha dado una evolucin inversa, en que sistemaso proyectos de medicin anteriormente administrados por institucio-nes independientes se encuentran hoy administrados desde los minis-terios de educacin. Tal es el caso de Chile, donde la organizacin eimplementacin iniciales del SIMCE estuvieron delegadas por el Mi-nisterio de Educacin en universidades pblicas o privadas con lasuficiente capacidad tcnica para llevar a cabo esas tareas. Hoy, sinembargo, el sistema de evaluacin se administra enteramente desde laUnidad de Curriculum y Evaluacin del Ministerio de Educacin. Eneste caso particular, dada la capacidad tcnica y la legitimidad ganadapor el SIMCE a lo largo de las dos ltimas dcadas, el funcionamien-

23PRIMERA PARTE

to dentro del Ministerio de Educacin no parece haberle restado alsistema autonoma o estabilidad en sus funciones8.

Pero no todos los casos de transferencia de responsabilidades alos ministerios de educacin resultan exitosos o convenientes. EnEcuador, por ejemplo, la terminacin del programa de evaluacinAPRENDO, que fuera financiado enteramente con fondos de coopera-cin internacional, signific el final de los operativos. Si bien seplanific la transicin del sistema a la administracin pblica minis-terial, la ausencia de recursos materiales y profesionales especializa-dos en el Ministerio impidi la continuidad de las evaluaciones talcomo venan realizndose antes, y tampoco se han diseado nuevosprogramas de medicin.

Este fenmeno es comn a casi todos los pases que iniciaron sussistemas de evaluacin con financiamiento y apoyo tcnico de losorganismos de cooperacin internacional, principalmente el BID y elBanco Mundial. Sin embargo, existen excepciones, como Uruguay yArgentina, que hoy financian con fondos del presupuesto ordinariosus sistemas de medicin dentro de la estructura orgnica ministerialy la continuidad de los operativos no se ha visto amenazada de mane-ra importante9.

Otro factor que parece contribuir a la estabilidad y permanenciade los sistemas de medicin es la existencia de leyes nacionales queordenen su creacin y sostenimiento. Valga como ejemplo el sistemade Pruebas Nacionales en Repblica Dominicana, que si bien funcio-na en condiciones organizacionales relativamente precarias, los ope-rativos anuales de evaluacin siguen realizndose en forma regular,tal como indica la Ley General de Educacin y un conjunto de orde-nanzas nacionales especficas. Esto mismo podra ocurrir en Per, porejemplo, donde la nueva Ley General de Educacin prescribe la crea-

8 La legitimidad ganada por el SIMCE, vale notar, podra atribuirse a que los resultados delas pruebas no han dado indicios de mejoras sustanciales en la calidad de los aprendizajesdurante la ltima dcada. Desde el punto de vista poltico, esto hace del SIMCE unaherramienta crtica de los resultados de las polticas educativas del gobierno nacional.Cabra preguntarse si esa legitimidad pudiera verse afectada si los resultados fueranmejorando y el SIMCE comenzara a ser percibido como un instrumento de validacinde las polticas educativas en curso.

9 Est pendiente la revisin sobre la cantidad exacta de pases que discontinuaron progra-mas de evaluacin debido a problemas de financiamiento externo o interno.


cin y sostenimiento permanente de un Instituto Peruano de Evalua-cin, Acreditacin y Certificacin Educativa.

Los sistemas subnacionales de medicin de aprendizajes analiza-dos en este trabajo, por su parte, se administran enteramente desde lassecretaras estaduales o distritales de educacin, y este arreglo insti-tucional parece funcionar adecuadamente en esos contextos. Solo elcaso del SARESP, So Paulo, muestra un arreglo institucional dife-rente, donde el protagonismo tcnico lo tiene una institucin indepen-diente del gobierno. Quizs por la escala de estos sistemas educativos,ms pequea y ms fcilmente administrable, los sistemas de evaluacinlogran mayores grados de comunicacin y trabajo orgnico con otrasoficinas sectoriales, facilitando as el flujo de datos y magnificando lasposibilidades de impacto en la toma de decisiones de poltica educativa fenmeno que, en muchos pases, no se da en los niveles centrales de laadministracin del sector. Son sistemas, tambin, que logran mayoresgrados de participacin de los actores locales, en especial docentes, pa-dres de familia y organizaciones acadmicas vinculadas a la formacindocente10.

La medicin de aprendizajes y su relacin con el desarrollo curricu-lar y de estndares

Una de las preocupaciones mayores de quienes tienen a su cargo eldiseo de instrumentos de medicin es que cuentan con currculos nacio-nales que ofrecen definiciones poco claras, y apenas operacionales, de loque se espera que los alumnos puedan realizar con los conocimientosconceptuales contenidos en esos currculos. Casi siempre la matriz curri-cular para el desarrollo de los instrumentos de evaluacin se realiza me-diante el diseo de una tabla de especificaciones que permite construirlos temes de las pruebas cubriendo un nmero determinado de objetivosprioritarios, aunque estos no representen la totalidad o complejidad delcurrculo oficial. La implicancia negativa de esta situacin es, naturalmen-te, que el marco de interpretacin de los resultados es dbil puesto que norefleja un acuerdo profesional y social sobre qu deben saber y saber hacercon sus conocimientos los estudiantes del sistema. A esto se suma, tam-bin, el problema de que a menudo se prioriza los contenidos que pueden

10 La descripcin de varios de estos casos subnacionales ha sido incluida en la segundaparte de este documento.

25PRIMERA PARTE

ser medidos con facilidad, y no necesariamente los ms importantes segnlos supuestos acuerdos entre actores del sistema.

Esta problemtica se agrava por la dbil comunicacin que con fre-cuencia existe entre las unidades de evaluacin y las dedicadas al diseoy desarrollo curricular a nivel nacional, por razones que incluyen, entreotras, el diferente origen profesional de sus integrantes. Esto, junto conla poca claridad de las metas de aprendizaje propuestas oficialmente,suele ser uno de los mayores obstculos para que las actividades deevaluacin sean coherentes con esas metas y puedan de hecho facilitar suconsecucin.

Sin embargo, en algunos pases se est avanzando en direccin delestablecimiento de algunas especificaciones, consensuadas entre los mis-mos evaluadores, sobre esas expectativas de aprendizaje, aun cuando losprocesos de desarrollo curricular del pas no estn alineados con esetrabajo. Visto en forma optimista, puede decirse que muchos de los pa-ses de la Regin cuentan con equipos de profesionales de la evaluacindedicados al establecimiento o especificacin de metas curriculares cla-ras que les permitan disear pruebas ms enfocadas, a la vez que avan-zan el trabajo, y a veces el debate, sobre qu resultados de aprendizajeconcretos se espera prioritariamente de los estudiantes. Ante la falta demovimientos resueltos a favor del desarrollo de estndares de contenidoy desempeo acadmico, el trabajo de las unidades de medicin se cons-tituye en una instancia de avance importante en esa direccin. Algunoscasos representativos de esta tendencia son Uruguay, Colombia11 y Ecua-dor, as como los sistemas subnacionales de medicin como de Aguasca-lientes y Bogot.

En Colombia, donde el currculo oficial se plantea como lineamien-tos generales y orientadores, pero con especificaciones poco claras dedesempeo, se ha adelantado este tipo de trabajo en al menos tres fren-tes. En primer lugar estn las competencias en matemtica y lenguajedefinidas por los equipos de evaluacin del Ministerio de EducacinNacional, y que supuestamente habran de orientar las mediciones de unprograma integral de seguimiento a realizarse anualmente entre 1996 y2005. Este programa, sin embargo, fue discontinuado luego de una fuerte

11 Tanto el ICFES como la unidad de evaluacin del MEN, as como la Secretara deEducacin de Bogot, han realizado esfuerzos considerables por definir competenciascomplejas y operacionales que permitan una mejor evaluacin e interpretacin de losresultados educativos.


reestructuracin del Ministerio de Educacin. En otro frente, el ICFESdefini un conjunto importante de competencias complejas de aprendiza-je en varias reas curriculares comprendidas en el Examen de Estado.Estas competencias, que permiten evaluar aprendizajes en diferentes yclaramente definidos niveles de logro, ofrecen un marco de interpreta-cin de los resultados mucho ms slido del que resultara de evaluacio-nes diseadas sobre la base de una tpica tabla de especificaciones.

Adicionalmente, existe un esfuerzo reciente del Ministerio de Educa-cin Nacional por establecer un conjunto de estndares nacionales entres reas curriculares que fueron presentados pblicamente a la comuni-dad educativa y a la poblacin en general en el ao 2003. Si bien esprematuro juzgar la validez e impacto potencial de esos estndares, valeinformar que su sola presentacin ya ha generado cierto nivel de debateentre los crculos profesionales disciplinares y la movilizacin de algu-nas opiniones en los medios de prensa.

En Ecuador se vivi una experiencia similar a la de Colombia, aun-que en menor escala. Dada la incertidumbre sobre el currculo que final-mente habra de oficializarse a mediados de los aos noventa, el equipotcnico de APRENDO decidi llevar a cabo la definicin de un conjuntode destrezas acadmicas bsicas que luego permitieron el diseo de ins-trumentos de medicin referidos a criterios. Las pruebas plantean cuatrotemes por destreza, y se considera que al menos tres deben ser respondi-dos correctamente para considerar esa destreza alcanzada. A mediados de2001, el Ministro de Educacin de Ecuador planeaba utilizar esta defini-cin y evaluacin de destrezas para establecer un sistema pblico decomunicacin sobre los alcances de los alumnos y del sistema, mediantela decisin sobre una lnea de corte que actuara como horizonte delogro y que pudiera ir elevndose ao a ao en la medida en que losresultados nacionales fueran mejorando. Sin embargo, las evaluacioneshan sido discontinuadas luego del ltimo cambio de autoridades en laadministracin sectorial y no se han realizado declaraciones sobre el usoque pueda darse en el futuro a las matrices curriculares definidas por losequipos de medicin de APRENDO.

En Uruguay, donde el currculo nacional largamente vigente presentaobstculos tcnicos importantes para la definicin de matrices de refe-rencia, el proceso de elaboracin y aplicacin de pruebas ha resultadouna instancia interesante de debate curricular. Concretamente, los temesde evaluacin requieren la demostracin de conocimientos y capacidadescognitivas que resultan pertinentes y deseables, pero que estn ausentes

27PRIMERA PARTE

en forma explcita en el currculo nacional. La validacin de los temesde evaluacin, y la valoracin que los docentes hacen de ellos, ha pro-movido grados importantes de reflexin sobre el currculo prescrito ysobre su prctica en el mbito escolar.

Para las evaluaciones distritales de aprendizajes que realiza la Secre-tara de Educacin de la Ciudad de Bogot, se estableci tambin unconjunto de competencias alineadas con los lineamientos curricularesnacionales. Las pruebas, al igual que las del Examen de Estado nacional,ofrecen un marco conceptual explcito y definiciones operacionales paracada una de las competencias evaluadas, lo cual permite reportar y ejem-plificar diferentes niveles de desempeo estudiantil de manera ms claraque lo que permitira el uso de los lineamientos curriculares nacionalespara ese fin. Desde los puntos de vista tcnico y poltico, las competen-cias bsicas propuestas pueden ser consideradas como estndares de cu-rrculo, en tanto proporcionan una herramienta de comunicacin efectivaentre todos los actores sectoriales sobre las expectativas de aprendizajepara todos los estudiantes del sistema12.

Interesa tambin el caso del estado de Aguascalientes en Mxicodonde, si bien la matriz de referencia para la evaluacin no involucra unapropuesta curricular distinta a la nacional, los objetivos de aprendizajeseleccionados para la evaluacin constituyen un esfuerzo decidido porpriorizar un conjunto de contenidos que se consideran bsicos y quedebieran ser aprehendidos por todos los estudiantes del sistema. El valorde esta seleccin curricular radica en que todas las acciones de mejora-miento propuestas desde las escuelas y desde la Secretara de Educacinsobre la base de los resultados de las evaluaciones se realizan, con prio-ridad, en funcin del alcance de ese conjunto de saberes. Procesos simi-lares han ocurrido en los sistemas subnacionales de Paran, Minas Ge-rais y So Paulo, aunque en esos casos los estados cuentan con marcoscurriculares propios desarrollados a partir de los Parmetros CurricularesNacionales.

En la mayor parte de los casos, sin embargo, convendra avanzar msenrgicamente en la propuesta de ejemplificaciones que muestren qudeberan saber y cmo deberan desempearse acadmicamente losalumnos al trmino de algunos niveles educativos, de manera tal que losestndares no solo prescriban los contenidos de aprendizaje sino que

12 Para ms detalles sobre los procesos de desarrollo curricular y evaluacin en Bogot,consultar Ferrer, 2004.


adems arrojen luz, mediante ejemplos seleccionados de las respuestasde los estudiantes a las pruebas, sobre el tipo y niveles de desempeoque se espera de ellos. De esa manera, podra orientarse mejor no solo laactividad pedaggica y el desarrollo de mejores prcticas evaluativas enel mbito escolar, sino tambin estimular la participacin y demanda delos beneficiarios del sistema por mejores resultados de aprendizaje. Enesa direccin estn dando ya pasos iniciales Argentina, El Salvador, Pery varios otros pases de la Regin.

Chile est avanzando quizs con ms claridad e mpetu en esta direc-cin. Con el asesoramiento tcnico de Australia, el Ministerio de Educa-cin est elaborando estndares de contenido y desempeo y mapas deprogreso en aprendizajes para estudiantes desde primer grado hasta elcuarto ao de enseanza media en las reas de Lenguaje, Matemticas,Historia y Ciencias Sociales, Ciencias (Biologa, Qumica y Fsica) eIngls como segunda lengua. Tambin ha encargado la elaboracin deestndares para la educacin infantil. Se espera, a partir de la elabora-cin de estos instrumentos, que las pruebas nacionales puedan reportarpuntajes de rendimiento referidos a logros de aprendizaje esperados, es-tablecidos claramente y con antelacin a la aplicacin de las medicionesy, por supuesto, a tiempo de influir en la enseanza. Hasta el momento,el SIMCE no ha podido reportar resultados segn criterios claros sobrecul es el nivel de rendimiento aceptable o suficiente, ni sobre cuntosalumnos lo logran. Si la medicin se vincula a logros esperados, el pun-taje podr adquirir mayor significado, toda vez que profesores, padres yalumnos podrn conocer cunto sabe el estudiante y qu debe ensear eldocente para lograr las metas. La primera medicin sobre la base delogros esperados se aplicar en el ao 2006.

Tipos de instrumentos de medicin: Caractersticas y validacin

Cobertura general de las evaluaciones

La mayor parte de los sistemas de evaluacin nacionales miden re-sultados en las reas curriculares de matemticas, lenguaje y comunica-cin, ciencias sociales y ciencias naturales. En algunos casos se evalanlogros en lenguas extranjeras, en particular en ingls y francs. Comple-mentariamente, en pases multilinges como Per, Bolivia y Guatemala,se aplican pruebas traducidas en lenguas vernculas. En educacin mediaes comn que el rea de ciencias naturales sea evaluada diferencialmente

29PRIMERA PARTE

en biologa, fsica y qumica, mientras que el rea de ciencias sociales seevala con pruebas diferentes para historia, geografa y educacin cvi-ca13.

Casi todos los pases que tienen sistemas nacionales de evaluacinmiden logros de aprendizaje en educacin primaria y secundaria. Enambos casos, las pruebas tienden a ser aplicadas al trmino de cicloseducativos de dos o tres aos, bajo la lgica de que algunos aprendizajesno pueden lograrse al cabo de un ao acadmico, sino luego de perodosms largos que coinciden con etapas etarias y de desarrollo cognitivo, ode secuenciacin curricular multianual. Adicionalmente, algunos pases,como Chile, Repblica Dominicana o Costa Rica, aplican pruebas desalida del nivel de educacin media o secundaria (algunas de ellas de-nominadas pruebas de Bachillerato), como requisito de graduacin ocomo criterio de seleccin para el ingreso a la educacin superior. Mxi-co, por su parte, aplica este tipo de pruebas tambin como instancia degraduacin de la educacin primaria y acceso a la educacin media supe-rior, aunque el uso que se da a los datos es por lo general diagnstico yno selectivo.

Diseo de instrumentos

Una de las primeras instancias de validacin tcnica durante el dise-o de los sistemas de evaluacin estandarizada consiste en la toma dedecisiones sobre el tipo de cobertura poblacional y curricular de losinstrumentos de medicin. Tales decisiones, que refieren en especial alas poblaciones y a los contenidos de aprendizaje evaluados, deben estarligadas coherentemente al tipo de uso que se har con posterioridad delos resultados14.

En cuanto a la cobertura poblacional, es necesario distinguir entre lospases que aplican pruebas muestrales y los que realizan medicionescensales. Ambos tipos de pruebas sirven propsitos diferentes. Como seexplic anteriormente, las pruebas censales, aplicadas al universo de es-tudiantes en ciertos niveles de escolaridad, arrojan resultados por esta-blecimiento, o por alumnos, que permite establecer sistemas de incenti-

13 La educacin ciudadana, o educacin para la ciudadana y la democracia, tambin vacobrando mayor protagonismo dentro de los currculos nacionales y algunos sistemas handiseado instrumentos especficos para su evaluacin.

14 Un anlisis exhaustivo de estas instancias de validacin para el diseo puede hallarse enRavela (Ed.), 2001.


vos o sanciones de acuerdo a los logros obtenidos (altas implicancias), obien pueden facilitar la focalizacin de apoyos centrales a aquellos cen-tros educativos que presentan mayores necesidades y dificultades de ren-dimiento acadmico. Las aplicaciones muestrales, por su parte, apuntan arecabar informaciones sobre diferentes grupos o poblaciones del sistema,para as poder detectar problemas generales de aprendizaje y, supuesta-mente, disear estrategias integrales de apoyo a todas las escuelas yestudiantes de un determinado grupo social, o una determinada regindel pas, en concreto, aquellas que ms lo necesitan.

La cobertura y anlisis de logro curricular que se pretenda realizardeterminar, en especial, si las pruebas estarn referidas a normas oreferidas a criterios. La seleccin de uno u otro tipo de pruebas serealiza, o debiera realizarse, de acuerdo a los fines y usos que se preten-de dar a los resultados. Las pruebas referidas a normas son aquellas quebuscan comparar los logros entre diferentes grupos de estudiantes, sinpretender un anlisis muy profundo del tipo y profundidad de conoci-mientos adquiridos por los estudiantes. Las pruebas referidas a criterios,por su parte, suponen el establecimiento de acuerdos sobre cules com-petencias o capacidades acadmicas bsicas debieran lograr TODOS losestudiantes, luego definen una lnea de corte o marca de logro mnimoo suficiente, y miden si los alumnos del sistema educativo alcanzan o noesa marca, y en qu medida lo hacen, como resultado de su experienciaescolar.

No se supone deba existir una correspondencia automtica entre tiposde cobertura poblacional y curricular. Las pruebas referidas a criteriospueden ser aplicadas muestral o censalmente, y lo mismo ocurre con laspruebas referidas a normas. Sin embargo, y tal como se explica con minu-ciosidad en trabajos anteriores de este Grupo de Trabajo (Ravela, ed., op.cit.) una mayor cobertura poblacional puede restringir la capacidad de losinstrumentos para recabar datos de aprendizaje con mayor profundidad, yviceversa. La decisin sobre qu tipo de cobertura priorizar depende, nue-vamente, del tipo de usos que quiera darse a la informacin.

Los sistemas nacionales que aplican pruebas referidas a criteriosofrecen, en general, fundamentaciones conceptuales y descripciones ope-racionales ms slidas sobre los aprendizajes y niveles de desempeoesperados. Las pruebas referidas a normas, por el contrario, se diseancon frecuencia mediante un modelo de medicin que selecciona los te-mes de evaluacin de acuerdo al ndice de discriminacin que mostraronen los pilotajes de campo, pero que no refleja necesariamente la relevan-

31PRIMERA PARTE

cia de los contenidos evaluados ni asegura que estos representen el uni-verso curricular de referencia.

En el caso de Uruguay, las pruebas aplicadas son referidas a crite-rios. La seleccin de los temes no se realiza de acuerdo al ndice dedificultad y de discriminacin, sino que se hace por el valor de lostemes, es decir, buscando aquellos que reflejan, segn criterios profesio-nales, los tipos de capacidades que el sistema educativo considera debenser desarrolladas antes del trmino de ciertos niveles de escolaridad. Unavez diseados los instrumentos se establece, previa consulta a expertoscurriculares y pedagogos de campo, una lnea de corte, que para elcaso de Uruguay es el 60% de respuestas correctas del total de los te-mes. Al reportarse los resultados, se describe el porcentaje de alumnosque alcanz esa lnea de corte, as como el porcentaje de alumnos quelograron niveles inferiores (insuficientes) de desempeo.

Los Exmenes de Estado que disea el ICFES en Colombia, original-mente referidos a normas, se elaboran al presente segn un modelo crite-rial. La iniciativa para esta transicin se debi a un renovado equipo detcnicos que aportaron nuevas visiones, y a las demandas de la poblacinestudiantil y de la comunidad educativa en general por un tipo de prue-bas que se centrara menos en capacidades simples de memorizacin dedatos y ms en el desarrollo de habilidades cognitivas complejas, a lavez que reflejaran conocimientos conceptuales disciplinares ms actuali-zados. Esa actualizacin supona un mejor alineamiento con los conteni-dos de los lineamientos curriculares oficiales, con estndares internacio-nales de alfabetizacin cientfica15, y con concepciones formativas queponen de relieve la necesidad de educar ciudadanos democrticos y par-ticipativos. Los exmenes evalan competencias de tipo interpretativo,argumentativo y propositivo, las cuales son consideradas modos funda-mentales de participacin y construccin de lo social (MEN-ICFES,2000).

Tambin en Colombia, la Secretara de Educacin de Bogot aplicapruebas criteriales y casi censales (80 por ciento de cobertura en losgrados evaluados). Los criterios consisten en una serie de competenciasdefinidas localmente sobre la base de los lineamientos curriculares na-cionales. Los resultados se reportan en forma de porcentaje promediode respuestas correctas por tipos de competencia, ms especficamentepor niveles de desempeo para cada una de ellas. Las respuestas abier-

15 Del ingls, scientific literacy.


tas, por ejemplo de produccin de texto, se califican y reportan segnniveles de competencia preestablecidos que guan la correccin y lainterpretacin que hacen los docentes de los resultados al recibir losinformes escolares.

Varios de los pases que comenzaron aplicando pruebas referidas anormas han optado por realizar un reporte de resultados segn criteriosdefinidos a posteriori. Tales son los casos de Chile, Argentina, Costa Ricay Brasil. Esto no significa que las pruebas estn estrictamente referidas acriterios, pues el modelo de medicin es normativo, pero se establecencriterios y lneas de corte para el reporte con la intencin de informarmejor a los usuarios del sistema. Esta estrategia, sin embargo, albergaciertos riesgos para la validez de las interpretaciones puesto que los temesseleccionados segn su ndice de discriminacin pueden no representarfielmente el logro de las competencias o saberes evaluados, a menos que elespectro de temes utilizados sea lo suficientemente amplio.

La cobertura poblacional de las pruebas vara de pas en pas. Cercade nueve pases aplican o han aplicado pruebas en forma solo muestral,otros dos en forma exclusivamente censal, y ocho han experimentadocon ambos tipos de pruebas. Todos los sistemas subnacionales analizadosen este trabajo aplican pruebas censales. En general, se observa un im-portante grado de coherencia entre la cobertura poblacional realizada yel tipo de uso que se da a los datos. Es decir, se evita hacer inferenciasde resultados sobre instrumentos que no lo permiten, aunque tambin escierto que, en general, se evidencia una alarmante subutilizacin de losdatos para el diseo de estrategias de mejoramiento de la calidad de losaprendizajes y, en oportunidades, interpretaciones insuficientemente sus-tentadas o generalizaciones no del todo vlidas.

En cuanto al formato de las pruebas de aprendizaje, todos los pasesutilizan en especial preguntas cerradas de opcin mltiple, y varios deellos complementan los instrumentos con preguntas abiertas para la pro-duccin de textos, en particular en el rea de lenguaje y comunicacin.La correccin de respuestas abiertas ha presentado problemas tcnicospara algunos pases al momento de definir o utilizar criterios homog-neos de evaluacin entre correctores. En otros pases el proceso resultms exitoso y las correcciones arrojan datos pedaggicamente muy tilespara los docentes. Es digno de destacar que en muchos pases se estrecurriendo ms y ms al uso de respuestas abiertas, pese a su mayorcosto y dificultad de revisin y codificacin, por ser estas de mayorutilidad para la identificacin de los procesos correctos o equvocos que

33PRIMERA PARTE

siguen los alumnos en sus esfuerzos por responder a las preguntas yproblemas que les plantean las pruebas y, por consiguiente, para desarro-llar propuestas para el mejoramiento de la enseanza y el aprendizaje deciertos contenidos y el desarrollo de competencias.

Validacin tcnica

Por ltimo, resta mencionar la validacin tcnica que se supone debehacerse de los temes o reactivos de las pruebas. Este es un elementocrtico y tcnicamente delicado en el proceso de construccin de instru-mentos, y sobre el cual no existen descripciones suficientemente detalla-das en los informes tcnicos nacionales. La teora de medicin interna-cional ofrece un conjunto importante de lineamientos y estndares decalidad para la validacin de los reactivos de pruebas, pero no se disponede informacin suficiente para juzgar en qu medida esos estndares serespetan en la construccin de pruebas nacionales en Amrica Latina.Los informes tcnicos mencionan, en muchos casos, que la validacin serealiz con la participacin de docentes y expertos disciplinares, pero nose indica, por ejemplo, qu criterios especficos se utilizaron para juzgarla validez de los temes (Ej. sesgos culturales, ruido o superposicinde contenidos entre disciplinas, pertinencia curricular, comparabilidadinteranual, etc.) La calidad de los instrumentos es un tema que ameritaestudios en profundidad y que ser materia de anlisis en trabajos futurosde este Grupo de Trabajo.

Adecuacin lingstica

Tres pases de la Regin aplican pruebas en lenguas maternas origi-narias. Per lo hace en quechua y aimara, Bolivia en quechua, aimara yguaran, mientras que Guatemala ha evaluado estudiantes en las cuatrolenguas mayas predominantes, que representan al 84% de la poblacinguatemalteca. En este ltimo caso, sin embargo, no fue posible materiali-zar el operativo en su totalidad pues existe un alto grado de desercinescolar en escuelas de poblacin mayahablante.

Factores asociados al rendimiento acadmico

Otro aspecto destacable de casi todos los programas de medicin enla Regin es que las pruebas de logro acadmico suelen ir acompaadas


de la aplicacin de cuestionarios a diversos actores de la comunidadeducativa, normalmente alumnos, docentes, directores y padres de fa-milia, para recoger informacin sobre los factores escolares y extraes-colares que pueden asociarse estadsticamente al rendimiento o des-empeo de los estudiantes. Los factores escolares suelen serindicadores sobre las condiciones de infraestructura, equipamiento di-dctico, recursos profesionales del establecimiento escolar, actitudes delos alumnos hacia las disciplinas evaluadas, tipos de prcticas pedag-gicas y grados de implementacin del currculo oficial en aula16. Losfactores extraescolares estudiados, por su parte, dicen relacin en parti-cular con el nivel econmico y sociocultural de los alumnos, segn lainformacin que las familias aportan sobre sus ingresos, grados de es-colaridad de los padres y hermanos del estudiante, servicios bsicos deenerga y agua potable en el hogar, y ciertos recursos culturales y deinformacin en el hogar, tales como TV, radio, libros, peridicos yrevistas.

El valor de la informacin contextual extraescolar radica en que lossistemas de medicin pueden reportar los resultados de las pruebas deacuerdo al nivel socioeconmico y cultural de los estudiantes, y de esamanera hacer afirmaciones ms justas sobre la calidad de las escuelas,de acuerdo al grado de vulnerabilidad social de los estudiantes con quetrabajan. Dentro de este modelo de anlisis, destacan los esfuerzosexperimentales por medir valor agregado que han realizado algunossistemas subnacionales, como la provincia de Buenos Aires en Argenti-na. Tal modelo de anlisis permite, mediante pruebas de rendimientoaplicadas en dos momentos en el tiempo, medir el progreso en aprendi-zajes que una cohorte de estudiantes del mismo contexto socioecon-mico logra respecto de s misma al cabo de un lapso determinado.Lamentablemente, este operativo en Argentina ha sido discontinuado yno se han realizado publicaciones de los resultados obtenidos en lasmediciones.

16 A pesar de los esfuerzos tcnicos en este sentido, los datos recogidos mediante estosinstrumentos no siempre resultan tiles para el anlisis estadstico de factores asociados,en parte debido a que la informacin se recolecta a modo de encuestas pero no comoparte de un modelo estadstico lo suficientemente slido como para permitir anlisisrigurosos posteriores, y tambin porque la medicin de prcticas pedaggicas y otrasvariables relevantes es de difcil realizacin a gran escala.

35PRIMERA PARTE

Formas de reporte de los resultados

Se distinguen tres grupos principales de audiencias o destinatariosde los datos e informaciones producidos por los sistemas nacionales ysubnacionales de medicin de aprendizajes. El primer grupo est con-formado por las autoridades polticas de gobierno, en los poderes Eje-cutivo y Legislativo, y por la alta direccin del sector educativo decada pas. El segundo grupo de destinatarios es el pblico general, yorganizaciones acadmicas y no gubernamentales. El tercer grupo estintegrado por los actores educativos locales, principalmente docentes,directores y supervisores de escuelas, alumnos, padres y madres defamilia.

A lo largo de la ltima dcada los sistemas nacionales de medicinfueron desarrollando formatos diferentes para el reporte de los datosobtenidos con la intencin de hacerlos ms tiles segn los tipos dedestinatarios que se busca informar. En general, se observa una evolu-cin hacia formas de reporte que apuntan crecientemente a la devolu-cin de resultados en los niveles escolares, y con particular nfasis enla presentacin de datos curricular y pedaggicamente tiles. Esto con-trasta con la tendencia inicial de algunos pases, sobre todo los queiniciaron sus sistemas de evaluacin a principios de los aos noventa,de producir informes generales que presentaban datos muy gruesos,en trminos de porcentajes globales de rendimiento por asignatura ycomparativos entre las diferentes subpoblaciones estudiantiles evalua-das, cuya utilidad estaba en especial limitada a la seleccin de grupos osectores en los cuales podra focalizarse algn tipo de intervencin o,lo que ha sido ms comn, para movilizar a la opinin pblica sobre eldeficiente nivel de logros educacionales.

Reportes a autoridades de gobierno y alta direccin sectorial

Todos los pases de la Regin producen informes generales, a modode resumen ejecutivo, sobre el rendimiento acadmico de los estudian-tes evaluados. Estos informes tienen como finalidad principal la deinformar a las autoridades polticas y tcnicas superiores del sector, yas facilitar la toma de decisiones de poltica educativa sobre la base deindicadores relacionados con los procesos y los resultados de la educa-cin, que actan como complemento de los indicadores tradicionalessobre insumos educativos tales como salarios, infraestructura o equipa-


miento, u otros productos del sistema, como por ejemplo tasas de ingre-so, repitencia, desercin y graduacin.

Los informes a autoridades superiores ofrecen en general una des-cripcin comparativa de resultados entre las diferentes poblaciones eva-luadas. Para tal fin, se presentan los datos de rendimiento acadmico enforma agregada, por asignatura y grado de escolaridad al nivel nacional,y luego en forma desagregada por regiones geogrficas o administrativasy por tipos de escuelas (pblicas-privadas, urbanas-rurales, unidocentes-polidocentes, bilinges-monolinges, etc.). En algunos casos, los infor-mes desagregan los datos segn el nivel econmico o sociocultural de lapoblacin evaluada. La presentacin de los datos suele hacerse en formagrfica (barras, tablas) y forma narrativa muy resumida. En casi todoslos casos se ofrece algn tipo de conclusiones generales, de tipo compa-rativo entre subpoblaciones pero evitando cifras especficas. En conclu-sin, aunque no en todos los casos, se presenta un conjunto de recomen-daciones sobre lneas de accin posibles para el mejoramiento de losprocesos educativos o de la equidad en el acceso al conocimiento.

Tales conclusiones y recomendaciones suelen basarse en el anlisisde variables escolares y extraescolares asociadas estadsticamente al ren-dimiento acadmico. Sin embargo, existen limitaciones respecto a la va-lidez de las interpretaciones que puedan hacerse sobre la base de estosanlisis. Como bien nota Ravela (2001) en su trabajo sobre informesnacionales de resultados, las interpretaciones sobre los factores asocia-dos al rendimiento pierden validez si se realizan solo en funcin deanlisis bivariados, puesto que estos no toman en consideracin otrosfactores que afectan simultneamente el rendimiento y moderan el efectode las dems variables.

Respecto a las informaciones de difusin pblica (sociedad civil), elescenario es menos consistente pues parece no haberse invertido tiempoy recursos suficientes para el desarrollo de formatos especficos para estefin. Los sistemas de medicin de altas implicancias, por su responsabili-dad de informar de modo sistemtico a los usuarios directos de los datos,hacen pblicos los resultados por escuela o por alumnos. Tales son loscasos del SIMCE en Chile o del ICFES en Colombia. En los pasesdonde las pruebas no tienen consecuencias directas para los actores loca-les, los esfuerzos por presentar los resultados a la sociedad civil han sidoespordicos y el acceso a los datos depende mayormente de la voluntad ycapacidad de los medios de prensa por hacer una cobertura ms o menosperidica de los resultados.

37PRIMERA PARTE

Reportes a actores educativos locales

Aunque resta mucho por mejorar en el diseo y difusin de resulta-dos para los actores locales, no son pocos los esfuerzos realizados en esadireccin. Esta afirmacin se basa en la variedad de formatos que hanproducido varios pases, muchos de ellos ofreciendo datos muy relevan-tes, as como tratamientos sustantivos de las respuestas de los estudian-tes y recomendaciones pedaggicas y curriculares para docentes y alum-nos. A continuacin se presentan algunos casos nacionales ysubnacionales a modo de ejemplo.

Pruebas de salida de bachillerato e ingreso a educacin superior(altas implicancias)

En los ltimos aos los pases que aplican pruebas de egreso deeducacin secundaria o ingreso a educacin superior han desarrolladonuevos modelos conceptuales de evaluacin y formatos de reporte queofrecen informaciones de inters y utilidad para docentes y alumnos,ms all de la mera transcripcin de puntajes y posiciones obtenidos parala acreditacin o seleccin de estudiantes. Los modelos conceptualesmencionados implican en algunos casos un mayor alineamiento con loscontenidos curriculares de la educacin secundaria, en contraste con lamedicin clsica de habilidades cognitivas, y el establecimiento de crite-rios de logro que permiten evaluar a los alumnos en relacin a metas deaprendizaje acordadas en vez de obtener simples medidas de tendenciacentral (pruebas normativas).

En Repblica Dominicana, los informes institucionales devueltos alas escuelas presentan los resultados desagregados al nivel de curso oseccin y por rea de conocimiento. Se reportan los porcentajes de estu-diantes promovidos y aplazados, el grado de correlacin entre la califica-cin escolar final (interna) y la calificacin en prueba estandarizada, unacomparacin de resultados con centros educativos semejantes, y con to-dos los centros educativos en los mbitos nacional, regional y distrital.Los alumnos, por su parte, reciben un informe individual con el puntajeobtenido por dominios o competencias, y por nivel de desempeo, encada rea de conocimiento; se les ofrece tambin un anlisis narrativo desus logros y dificultades principales, y una tabla comparativa de susresultados con el promedio nacional y con el promedio de las escuelasdel mismo nivel socioeconmico o zona geogrfica. Finalmente, reciben


un conjunto de recomendaciones especficas para mejorar su rendimientoacadmico, lo cual resulta en particular til para aquellos alumnos queno aprobaron el examen y deben volver a presentarse.

Los informes de la prueba PAES en El Salvador tambin devuelvenlos resultados a los estudiantes uno a uno. En esos informes, cada estu-diante obtiene informacin sobre las competencias evaluadas en cadaasignatura, el nivel de logro alcanzado en dichas competencias, el pro-medio global de rendimiento en cada una de las reas y una explicacinconceptual de los niveles de logro alcanzados.

Los resultados de los Exmenes de Estado colombianos se devuelvena todos los centros educativos y a los estudiantes individualmente. Todaslas escuelas medias reciben un reporte institucional donde se detallaexhaustivamente cul fue el nivel de logro de cada uno de sus estudian-tes en las diferentes reas del currculo, y cules objetivos especficos decada rea muestran mayores avances y dificultades. Los estudiantes, porsu parte, reciben un reporte individual que les permite conocer detallada-mente cules han sido sus logros y dificultades ms significativos17.

Los casos anteriores corresponden a pruebas de altas implicanciaspara los alumnos, pero no para las escuelas, al menos con formalidad.Segn se desprende de las informaciones recabadas para este estudio,solo en Chile se informa pblicamente y de manera individual, por es-cuela, los resultados de la prueba de ingreso a la educacin superior18.En ese caso, y dado que algunos de los padres y alumnos tienen laposibilidad de escoger el colegio pblico, privado o subvencionado de supreferencia, los resultados institucionales pueden acarrear consecuenciasdirectas para las escuelas secundarias en trminos de captacin de matr-cula.

Devolucin con fines de mejoramiento curricular y pedaggico (ba-jas implicancias)

La mayor parte de los sistemas de medicin de aprendizajes querealizan devoluciones de resultados sin consecuencias directas para las

17 Este tipo de reportes puede considerarse como una instancia importante de acercamientoal tipo de instrumentos y formas de reporte que propone el movimiento de estndares.

18 Hubo intentos de hacer pblicos los resultados comparados en algunos pases, pero no seconsolidaron como estrategias permanentes de difusin de resultados, en gran parte debi-do a la reaccin de la comunidad educativa en contra de la publicacin de rankingsinstitucionales.

39PRIMERA PARTE

instituciones o individuos, lo hace con la intencin de ofrecer insumosde informacin que permitan a los actores locales reflexionar sobre eldesempeo de los estudiantes y elaborar estrategias de mejoramientoante las dificultades observadas. Algunos pases y sistemas subnaciona-les han desarrollado formatos elaborados con diligencia para estos pro-psitos, entre los cuales merecen mencin los de Uruguay, Bolivia,Aguascalientes, Minas Gerais, Bogot, Paran y So Paulo.

En Uruguay, la informacin desagregada por escuelas es entregadaconfidencialmente a cada establecimiento, presentando los resultados desus estudiantes y los de estudiantes en otras escuelas de contexto so-cioeconmico semejante. La presentacin de datos sobre niveles de sufi-ciencia en el desempeo acadmico se basa en una lnea de corte (nivelsatisfactorio) equivalente a la respuesta correcta al 60% del total de lostemes, y en el porcentaje de alumnos que alcanza ese nivel de rendi-miento. Los informes sobre 6 grado de primaria presentan tambin com-paraciones interanuales, cubriendo perodos de tres aos, sobre el pro-greso de la poblacin estudiantil en el logro de las competenciasevaluadas. Tales datos se expresan en forma de puntos porcentuales dediferencia entre los resultados de las aplicaciones comparadas (ao 1 yao 3) para el total de la poblacin evaluada, y en forma desagregada portipo de contexto socioeconmico. Quizs el valor ms importante deestas devoluciones radica en la presentacin de una seleccin de temesde la prueba para que puedan ser reaplicados en forma autnoma por losdocentes durante el ao escolar, siguiendo las pautas de correccin expli-cadas en los informes. De esa manera, las escuelas no participantes de lamuestra nacional pueden obtener una medida ms objetiva del nivel dedesempeo de sus alumnos, a la vez que acceden a nuevas formas deevaluacin, a la posibilidad de realizar reflexiones ms sistemticas so-bre el currculo y sobre los procesos de enseanza-aprendizaje y, asimis-mo, como se ver ms adelante, a oportunidades de desarrollar iniciati-vas y recibir apoyo para mejorar sus planes y programas institucionales.

El SIMECAL de Bolivia, tanto para el caso de las pruebas censalescomo las muestrales, devuelve los resultados a las escuelas por medio deun informe institucional sobre el rendimiento de sus alumnos que incluyeel puntaje promedio institucional, una descripcin operacional de losniveles de logro definidos para cada rea y el porcentaje de alumnos dela escuela ubicados en cada nivel. Luego presenta una descripcin de lasfortalezas y debilidades del conjunto de alumnos por cada eje temticoen cada rea curricular. Tambin distribuye un folleto con anlisis de


temes seleccionados y propuestas metodolgicas para mejorar los resul-tados en relacin a esos temes. Para el caso de los bachilleres egresan-tes, se ofrece un informe individual por alumno con su desempeo encada eje temtico evaluado por rea curricular. Para el conjunto de es-cuelas y de equipos tcnicos locales, se distribuye un folleto con indica-dores de eficacia escolar segn los datos recogidos con las pruebas ycuestionarios de contexto. Los factores asociados al rendimiento que sepublican refieren a las caractersticas del alumnado y sus familias (edu-cacin previa, NES familiar y actitudes, vivienda), procesos pedaggicosy recursos materiales escolares. Si bien se cuenta con informacin sobrelas caractersticas socioeconmicas y culturales de las familias, no sehan definido estratos especficos que permitan desagregar los resultadossegn esta variable.

En el estado de Aguascalientes, en Mxico, los informes de las pruebasestaduales se reportan por niveles de desempeo logrados en cada rea.Los niveles definidos se corresponden con una particin en cuartos de unaescala de 1 a 100 y se clasifican en crtico e insuficiente (no dominio), yen aceptable y deseable (dominio). Los resultados hacia el fin de cada aoacadmico se presentan en trminos de ganancia educativa, en una esca-la de -4 a 4, dependiendo de los avances o retrocesos que muestra lacomparacin entre pruebas inicial y final. Por ejemplo, si un alumno co-menz el ao en un nivel insuficiente y culmin el ao en un nivel desea-ble, la ganancia, segn la frmula utilizada, se calcula en 3 puntos sobre 4.Si el resultado fue inverso, es decir, que comenz en un nivel deseable ydecreci a un nivel insuficiente, la ganancia se expresa en forma negati-va, esto es, como -3 puntos en la escala. Estos datos se presentan agrega-dos al nivel estadual, y desagregados a los niveles de zona educativa,escuela, grupo (curso) y alumno en forma individual.

En los informes que distribuye la Secretara de Educacin de Bogota cada escuela, los resultados para cada asignatura se reportan desagre-gados por competencias, por niveles de desempeo alcanzados para cadauna de ellas, y se expresa el valor esperado (expectativa oficial) y elvalor promedio logrado por los alumnos del plantel en una escala de 0 a306. Se ofrece adems un anlisis de patrones de error de una seleccinde temes (para el conjunto de escuelas), y una serie de materiales conrecomendaciones pedaggicas sustentadas en los datos presentados.

En Minas Gerais, tambin cada escuela recibe un informe individual.Los informes presentan grficos separados para cada grado y rea curri-cular evaluada, y cada uno de ellos muestra el porcentaje de alumnos que

41PRIMERA PARTE

se ubica en cada uno de los tres niveles de desempeo (proficiencia)predeterminados (crtico, intermedio y suficiente). Los porcentajes sedesagregan al nivel de las diferentes capacidades que conforman cadauna de las competencias evaluadas en cada rea curricular. Adems, seofrece un grfico de barras comparando el desempeo promedio de laescuela respecto del municipio correspondiente, la superintendencia re-gional y el estado. Los informes se complementan con una revista expli-cativa para orientar a los profesores en la lectura e interpretacin de losdatos.

En los estados de So Paulo y Paran, adems de presentar datos yanlisis de resultados comparables a los de los casos anteriores, se pro-mueve la participacin de las escuelas en la elaboracin de los informes.Para esto, cada centro educativo se responsabiliza por el procesamientoprimario de los datos (conteo de respuestas, estadsticas descriptivas b-sicas, etc.) segn el formato y las pautas indicadas desde la unidad deevaluacin de la Secretara. Posteriormente, esos datos son elevados a laadministracin central donde son procesados de nuevo y verificados. Porltimo, son devueltos a las escuelas con un nuevo formato y con guasmetodolgicas para la interpretacin de los resultados. En el caso deParan en particular, cada escuela tiene a su cargo la tarea de elaborar unboletn escolar que incluye, adems de los datos de las evaluaciones deaprendizajes, un conjunto de datos institucionales complementarios, talescomo tasas de aprobacin, reprobacin y desercin, y el perfil profesio-nal de los docentes. Todos esos datos tambin son reprocesados por launidad de medicin y devueltos a las escuelas en un nuevo formato quepermite la comparacin de los resultados y del perfil institucional conlos de las dems escuelas del municipio y del estado en su totalidad.

Informes especficos para padres de familia

Este grupo de destinatarios de la informacin sobre aprendizajes es,en casi todos los pases de la Regin, el menos atendido por los sistemasde medicin y evaluacin. Quizs la razn principal que justifica estadebilidad es la creencia por parte de las autoridades polticas sectorialesque este tipo de informaciones puede conducir a las comparaciones y a lacompetencia entre escuelas por captar matrcula. Otras de las razonesque a menudo se esgrimen es que los padres de familia no estn losuficientemente preparados para comprender las informaciones que sepodran ofrecer, y que por lo tanto no se justifica el esfuerzo de difusin


de los resultados entre estos actores del sistema. Ambas razones son muydebatibles, por supuesto, pero hasta el momento ese debate no parecetener lugar en la agenda sobre evaluacin y usos de la informacin sobreaprendizajes.

En la mayor parte de los casos nacionales que tienen pruebas censa-les se solicita a las escuelas que compartan la informacin con los padresde familia, pero se lo hace en forma de recomendacin, sin ningn tipode prescripcin normativa. El nico pas que facilita sistemticamente alas familias el acceso a los resultados de su escuela es Chile, y lo hace enel marco de un esquema de libre seleccin de centros. Fuera de este tipode esquema, destacan los casos subnacionales de Paran y Minas Gerais.En el primero, grupos de representantes de padres de familia son invita-dos regularmente a los encuentros estaduales de capacitacin docente, yall son informados sobre los resultados de las pruebas anuales y susimplicancias en trminos de las acciones de poltica educativa propues-tas. En el caso de Minas Gerais, no todos los padres de familia recibeninformes de los resultados, pero s los representantes de este grupo en losgobiernos escolares de cada institucin. Estos representantes tienen acce-so a los informes de resultados, y de su voluntad depende el que sean ono socializados entre los dems padres.

Seguimientos cualitativos

Adems de los informes regulares mencionados anteriormente, algu-nos pases realizan seguimientos cualitativos de los procesos institucio-nales y pedaggicos que pueden explicar los resultados obtenidos por losestudiantes. La Unidad de Curriculum y Evaluacin del Ministerio deEducacin de Chile, donde funciona el SIMCE, cuenta con un equipoespecial de seguimiento que aplica encuestas y realiza observacione

100. Sistemas de Evaluación de Aprendizajes en América Latina

Documents

Transcript of 100. Sistemas de Evaluación de Aprendizajes en América Latina