EL SISTEMA NACIONAL DE EVALUACIÓNDE RESULTADOS EDUCATIVOS: IRLANDA

JUDITH COSGROVE (*)

RESUMEN. Este artículo describe el sistema nacional de evaluación de resultadoseducativos en Irlanda. Se compone de tres secciones: la primera, describe el desarro-llo del sistema de evaluación hasta este momento, dentro del contexto de objetivosdel Departamento de Educación del gobierno; la segunda, identifica los problemasinherentes al sistema y la tercera, describe un sistema de supervisión de resultadoseducativos que pretende resolver estos problemas, así como las condiciones necesa-rias para que su cumplimiento se realice con éxito.

jetivo primordial del libro blanco será ase-gurar que, en relación con la evaluación desus habilidades intrínsecas, no haya alum-nos con problemas graves de competenciapara leer, escribir, y hacer operaciones ma-temáticas en los primeros cursos de educa-ción primaria durante los próximos cincoaños. Esta labor ha comenzado ya a mate-rializarse, con el fin de que este ambiciosopero crucial objetivo se cumpla, en formade aplicación de una serie de medidasque incluye un mayor énfasis en la identifi-cación de alumnos con dificultades deaprendizaje, la adaptación del currículo alas necesidades particulares del alumno,programas de vinculación de la escuela conel hogar y programas de formación específi-ca para profesores. (Departamento de Edu-cación', 1995a, página 29.)

PRIMERA SECCIÓN

OBJETIVOS ACTUALES DELDEPARTAMENTO DE EDUCACIÓN YCIENCIA Y VÍNCULOS CON LASUPERVISIÓN DE RESULTADOS DELSISTEMA EDUCATIVO

El gobierno irlandés ha manifestado queuno de sus objetivos más importantes enrelación con la educación primaria lo cons-tituye la eliminación del grave problema dealfabetización. En el libro blanco sobre laeducación Implementing the Agenda forChange, que publicó en 1995, se explicita:

Una minoría significativa de alumnos noadquiere un nivel satisfactorio de compe-tencia en lectura, escritura y matemáticasmientras cursa educación primaria. Un ob-

(*) Centro de Investigación Educativa, St. Patricks College, Irlanda.(1) El Departamento de Educación fue denominado en 1996 Departamento de Educación y Ciencia.

Revista de Educación, núm. 321 (2000), pp. 23-34 23

La importancia de contar con un sis-tema de evaluación uniforme se hace ob-via, teniendo en cuenta objetivos como elanterior. Si los resultados del sistema no sesupervisan, no tenemos forma de saber siobjetivos como el anteriormente citado seestán cumpliendo o no.

En este momento, la preocupaciónpor los niveles educativos y el aumento delénfasis en los resultados de la evaluaciónde la calidad y el rendimiento, se ven refle-jados en la política del Departamento deEducación y Ciencia. Esto se correspondecon el desarrollo de los sistemas educati-vos de otros países. Paralelamente a lapreocupación por el estándar, el Departa-mento de Economía lanzó en 1996 la Ini-ciativa de Administración Estratégica(SMI). La SMI afecta al funcionariado ir-landés al completo y en lo que respecta alDepartamento de Educación y Ciencia, sepone de relieve la necesidad de centrarsemás en los resultados, el rendimento, laeficacia y la efectividad. Esto requerirá deun sistema de supervisión fuertemente es-tructurado.

SUPERVISIÓN DEL SISTEMAEDUCATIVO IRLANDÉS DESDE ELSIGLO XIX HASTA NUESTROS DÍAS

Los intentos destinados a supervisar elrendimiento del sistema educativo noconstituyen una novedad. A finales del si-glo XIX, estaban en práctica tres métodos:exámenes de competencia de los centroseducativos, un estudio de las cifras de alfa-betización de los datos del censo y la eva-luación de los resultados de los alumnospor parte de inspectores de centros. A co-

mienzos de siglo, se dejaron de hacer losexámenes de competencia y la alfabetiza-ción se hizo prácticamente general. Sinembargo, los inspectores continuaron su-pervisando los resultados escolares duran-te todo el siglo xx. Se centraban por igualen el rendimiento de los centros, de losprofesores y de los alumnos.

Durante los arios sesenta, el gobiernoirlandés empezó a aumentar su preocupa-ción por la calidad de sistema educativodebido principalmente a los rápidos cam-bios económicos que requerían a su vezcambios en las habilidades necesarias paraproducir una masa laboral efectiva'. A fi-nales de los arios sesenta, se había estable-cido el vínculo entre las políticas educati-va y económica. Fue en medio de esteclima de rápidos cambios económicoscuando se creó el centro de investigacióneducativa St. Patricks College (ERC). ElERC se fundó en 1996 y ha llevado a cabola mayor parte de las investigaciones deevaluación del sistema educativo irlandés.Sus investigaciones hasta hoy recogen unatemática de amplio espectro. El tipo detrabajo que desempeña el centro podríadividirse en varias categorías:

• Elaboración de exámenes. Se hanelaborado exámenes normalizadosy recogidos en la norma de lasáreas de inglés (ERG 1967, 1974,1976, 1994), matemáticas (ERG1968, 1974, 1976, 1997) e irlan-dés (ERG 1974, 1976) tanto parauso de profesores en los centroseducativos, como para propósitosde investigación.

• Estudio de evaluaciones. Ademásde desarrollar instrumentos de

(2) BREEN, HANAN, ROTTMAN y WHELAN (1990) califican al año 1958 de piedra angular en la evoluciónde la sociedad irlandesa. La política económica pasó de favorecer a pequeños granjeros y mercados locales a laplanificación económica a gran escala, por medio de organismos de consejo y negociaciones de base institucio-nal. El resultado de esto fue un cambio en la estructura social de finales de los sesenta, que se basaba en la educa-ción, no en la tenencia.

24

evaluación, se ha estudiado supuesta en práctica y su efectividaden los centros educativos (Kellag-han, Madaus/Airasian, 1982).

• Evaluación de programas específicosestablecidos por el Departamentode Educación y Ciencia. La prime-ra evaluación de un programa lle-vada a cabo por el ERC le fue en-cargada por el Departamento deEducación y Ciencia en 1969 (Ke-llaghan, 1977). Explica la realiza-ción y resultados de un programade nivel preescolar para niños endesventaja educativa llamado elproyecto de Rutland Street, quetuvo lugar en Dublín. Otros pro-gramas desarrollados por el Depar-tamento de Educación y Ciencia yevaluados por el ERC están dirigi-dos al tratamiento de los proble-mas de desventajas educativas.Entre éstos se incluyen Breakingthe Cycle (Weir & Eivers, 1998),Early Start, (ERC, 1998; Kellag-han, Weir, Ó hUallacháin & Mor-gan, 1995) y el programa Home-School-Community Liason (Ryan,1995). Otras iniciativas que hansido evaluadas recogen programasde formación para profesores (Le-wis & Macmahon, 1996; Ryan,1990), programas educativos desti-nados a los jóvenes centrados en lacomunidad (Lanilan, 1987), pro-gramas de transición anual (Egan& O'Reilly, 1980) y proyectos dealfabetización de adultos (Quigley,1994).

• Evaluación de la administración deeducación a alumnos con necesidadesespeciales. La primera investigaciónsobre la administración de educa-ción a alumnos con necesidades es-peciales se publicó hace alrededorde 20 arios (Kellaghan, 1974a,19746). Más recientemente, el co-mité de supervisión de educación

especial, establecido por el Depar-tamento de Educación y Ciencia,publicó un informe que pretendíaestablecer la frecuencia de alumnoscon necesidades especiales en ense-ñanza primaria (Martin & Hickey,1993). Desde entonces, se ha esta-do estudiando la eficacia y efectivi-dad del sistema de educación co-rrectiva tanto en la identificaciónde alumnos con necesidades espe-ciales como en la administraciónde esta educación especial (Shiel &Morgan, 1998).

• Investigación sobre la igualdad en elsistema educativo. En 1967 fue rea-lizado un importante estudio lon-gitudinal que evaluaba la ilualdadde oportunidades en relación conel nivel socioeconómico y el sexoen el sistema educativo (Greaney& Kellahan, 1984). Más tarde, seestudiaron las oportunidades depromoción de profesores de ense-ñanza primaria hombres y mujeres(Kellaghan, Fontes, OToole &Egan, 1985), reflejando los cam-bios producidos a nivel institucio-nal y legislativo con respecto a laigualdad (Grey, 1993; McCarthy,1986). El Departamento de Edu-cación y Ciencia estableció un co-mité coordinador de igualdad deoportunidades educativas paraalumnos y alumnas; como resulta-do del mismo fue publicado un in-forme sobre prácticas y administra-ción de la enseñanza en educaciónprimaria en función de sexos (Le-wis, 1992).

• Participación en estudios internado-naks sobre resultados de los alumnos.El ERC ha recogido los datos deIrlanda para la Evaluación Inter-nacional del Progreso Educativo(Intenuitional Assessment of Educatio-nal Progress —L4EP—), el Tercer Estu-dio Internacional de Matemáticas

25

y Ciencias (Third InternationalMathematics and Science Study—TIMSS—), el Estudio Internacionalsobre Afabetización de Adultos(International Adult Literag Survg—IALS—) y el Estudio sobre rendi-miento académico en lectura de laAsociación Internacional para laEvaluación del Rendimiento Acadé-mico (International Association firthe Evaluation of Educational Achie-vement —IEA—). Actualmente estáparticipando en el Proyecto Interna-cional para la Producción de Indica-dores Educativos de los Alumnos(Project fir International Student Assess-ment —PISA—) de INES-OCDE.

• Evaluación del currículo. (p. ej.,Fontes & Kellaghan, 1977).

• Encuestas sobre opinión pública(p. ej., Kellaghan, Madaus, Aira-sian & Fontes, 1981).

• Estudio sobre lectura (p. ej., Grea-ney, 1986; Greaney & Hegarty,1987; Mortgan & Martin, 1994).

• Supervisión de resultados educativosde los alumnos en el sistema educati-vo. El ERC ha participado en nu-merosas evaluaciones nacionalesdel sistema educativo, llevadas acabo por el Departamento de Edu-cación y Ciencia (Kellaghan,1995). Éstas se explican más deta-lladamente a continuación.

El primer estudio moderno sobre elrendimiento de los alumnos («moderno»en el sentido de que guarda similitud conlas investigaciones actuales en esta mate-ria) en Irlanda se realizó en 1960 y fue di-señado para determinar los efectos de laeducación bilingüe en los resultados de losalumnos (Macnamara, 1966). Se medía elrendimiento de los alumnos mediantepruebas elaboradas en el Reino Unido ylos alumnos irlandeses solían puntuar másbajo que los británicos. Estos resultados,naturalmente, dieron lugar a una gran

controversia, que unida a los rápidos cam-bios económicos, llevaron al gobiernoirlandés a vigilar más de cerca el rendi-miento del sistema educativo irlandés.

Pueden contemplarse como precurso-res del sistema nacional de evaluación delsistema educativo tal como lo conocemoshoy, tres estudios realizados a finales delos años sesenta y principios de los setenta.El primero de ellos era una encuesta di-rigida a los profesores sobre su visión delos progresos académicos de sus alum-nos (Kellaghan, Macnamara & Neuman,1969). El segundo estudio también utili-zó a los profesores como fuente principalde datos con el fin de medir la frecuenciade problemas de alfabetización entre losalumnos irlandeses (Fontes & Kellaghan,1977). El tercer estudio incluía una eva-luación de la competencia de los estudian-tes en los contenidos del currículo de ma-temáticas (Kellaghan, Madaus, Airasian& Fontes, 1976).

En 1972, tiene lugar la primeraevaluación formal del rendimiento de losalumnos, llevada a cabo por el Departa-mento de Educación (Kellaghan, 1995).Desde entonces se han realizado 14 eva-luaciones formales del sistema educativo.Once de las cuales tenían como fuenteprincipal de datos a los alumnos y las otrascuatro a los profesores. Cuando se utiliza-ba a los alumnos, las pruebas se realizabanen los cursos superiores de educación pri-maria, en vez de en los primeros. (Vertabla I.)

En todos los casos, fue la unidad decurricular del Departamento de Educa-ción y Ciencia la que realizó las pruebas.El ERC en colaboración con el Departa-mento de Educación y Ciencia fue elagente principal de las ocho pruebas deinglés y matemáticas. Estas dos asignatu-ras conforman el núcleo del currículo deeducación primaria y constituyen entrelas dos el 20% del tiempo total de lasclases.

26

TABLA 1

Evaluaciones nacionales en Irlanda de 1972 a 1998

Año Área curricular Objetivo principal Edad 1 CursoFuente de

datosInstrumento

principal

1972 Inglés Evaluar la enseñanza del inglés y losresultados de los alumnos

1(1 años Alumnos Test

1976 Todo el currículo Evaluar la puesta en práctica del cu-rrículo

Todos los cursos Profesores einspectores

Cuestionario

1977 Matemáticas Evaluar la enseñanza de matemáticasy los resultados de los alumnos

Cursos 2.. y 4.° Alumnos Test

1977 Educación física Evaluar la enseñanza de la educacióntísica

Todos los cursos Inspectores Cuestionario

1979 Matemáticas Evaluar la enseñanza de matemáticas Curso 6." Alumnos Test

1980 Inglés Evaluar la enseñanza del inglés y losresultados de los alumnos

Cursos 4.° y 5.° Alumnos Test

1981 Estudios sociales ymedioambientales

Evaluar la enseñanza de los estudiossociales y medioambientales

Todos los cursos l'rofesores einspectores

Cuestionario

1982 Música Evaluar la enseñanza de música y losresultados de los alumnos

Cursos 2.° 4." y 6." Alumnos (clase)

1983 Actividades artísticasy manuales

Evaluar la enseñanza de actividadesartísticas y manuales

Todos los cursos Profesores Cuestionario

1984 Matemáticas Evaluar la enseñanza de matemáticasy los resultados de los alumnos

Curso 6.° Alumnos Test

1984 Irlandés Evaluar la enseñanza del irlandés ylos resultados de los alumnos a niveloral

Cursos 2.° 4•0 y 6." Alumnos

1985 Todo el currículo Identificar principios subyacentes dela puesta en práctica del currículo

Todos los cursos Profesores einspectores

Cuestionario

1988 Inglés Evaluar la enseñanza del inglés y losresultados de los alumnos

Curso 5.. Alumnos Test

1993 Inglés Evaluar la enseñanza del inglés y losresultados de los alumnos

Curso 5 • 0 Alumnos Test

1998 Inglés Evaluar la enseñanza del inglés y losresultados de los alumnos

Curso 5.° Alumnos Test

Fuente: Kellaghan, 1995.

27

Según el Departamento de Educa-ción y Ciencia, el propósito de estas prue-bas es propocionar información para latoma de decisiones políticas pertinentes.Sin embargo, no se ha documentado elgrado de repercusión que estos resultadosproducen en la política. Lo más explícitoque se ha dicho con respecto a la utiliza-ción de estos resultados de la evaluaciónnacional está contenido en el informede1990 sobre el currículo de primaria ela-borado por el Organismo de Supervisión,para determinar los aciertos y fallos delmismo, tanto en su contenido como en supuesta en práctica y para evaluar hasta quépunto el sistema educativo proporcionabalas herramientas necesarias para las necesi-dades del mercado laboral del próximo si-glo. Entre las recomendaciones del Orga-nismo de Supervisión a partir de losresultados de la evaluación nacional se in-cluyen las siguientes:

• Mejoras de bibliotecas.• Mayor hincapié en el inglés oral.• Mayor hincapié en el irlandés oral.• Mayor énfasis en la comprensión

del alumno de los conceptos mate-máticos.

• Desarrollo de un programa deciencias que enfatice el entendi-miento de las ciencias y la resolu-ción de problemas.

• Objetivos más realistas en el áreade música.

• Incremento del tiempo dedicado ala educación física.

• Desarrollo de la apreciación delarte por parte de los alumnos.

Estas recomendaciones se basaban enestudios de distinta naturaleza y alcance,dependiendo de la asignatura evaluada.Las pruebas de rendimento de los alum-nos solamente se realizaron en las asigna-turas de inglés, irlandés y matemáticas. Enlas asignaturas de irlandés y matemáticaslas pruebas se realizaban en relación a cier-

tos criterios, es decir, se puntuaba a losalumnos basándose en su «dominio» deobjetivos específicos del currículo. Los re-sultados se daban en forma de porcentajesde alumnos que habían alcanzado un cri-terio predeterminado. La prueba de músi-ca también estaba basada en ciertos crite-rios, pero se daban los porcentajes desatisfacción de los mismos a nivel de gru-po. Por el contrario, en inglés se presenta-ba una sola lista que recogía el número derespuestas acertadas en una prueba hastala evaluación del ario 1993. Desde enton-ces, los resultados de los alumnos en estaasignatura se han explicitado en subáreas.La razón de este cambio en la forma de in-dicar los resultados la encontramos en elreconocimiento que se produjo de las ven-tajas que el informe por subáreas presen-taba frente al informe de resultados enuna lista. Por ejemplo, las diferencias enlas puntuaciones por subáreas revelanaciertos y fallos que pueden relacionarsemás fácilmente con contenidos y objeti-vos curriculares. Por tanto, en el estudiosobre lectura llevado a cabo en 1993 (De-partamento de Educación, 1995), en elcual los instrumentos de las pruebas sevieron influenciados por aquellos utiliza-dos en el estudio sobre lectura del TEA (p.ej., Elley, 1992), se vio que los alumnos deforma general tenían resultados más bajosen la lectura de documentos y fue posiblerelacionar esto con el contenido y el énfa-sis curricular. El análisis por subáreas es asu vez superior al informe del listado a lahora de identificar diferencias específicasentre los estratos de la población. En el es-tudio sobre lectura de 1993, por ejemplo,se vio que los alumnos pertenecientes aáreas desfavorecidas obtenían resultadosinferiores en ejercicios de textos narrati-vos, explicativos y documentales, perotambién se pudo contemplar que la dife-rencia de resultados entre los dos tipos deescuela era mayor en el caso de los textosexplicativos.

28

En esta estas evaluaciones no sólo serecogieron datos del rendimiento de losalumnos. En los estudios realizados en losaños 1982 y 1985, también se recogierondatos sobre la disponibilidad de ciertos re-cursos en los centros educativos, así comosobre la práctica, métodos y énfasis relati-vos a los componentes de la actividad do-cente. En lo que respecta a los estudios de1993 y 1998 sobre la lectura, se recogió,además de estos datos sobre recursos ymétodos de enseñanza, información sobrela actitud de los alumnos, hábitos y entor-no familiar.

Una de las metas obvias de una eva-luación de carácter nacional es la supervi-sión de tendencias de forma diacrónica.En este momento, esto es únicamente po-sible en Irlanda en las áreas de matemáti-cas y lectura en la educación primaria. Lastendencias en el área de lectura han veni-do supervisándose a lo largo del tiempopor medio de la utilización del mismo ins-trumento de prueba en distintos estudios,mientras que en el área de matemáticashan sido supervisadas por comparación deresultados ole instrumentos equivalentes.

SEGUNDA SECCIÓN

LOS PROBLEMAS DEL SISTEMA ACTUALDE EVALUACIÓN EN IRLANDA

La evaluación del rendimiento del alum-no con relación a los recursos, variables dela práctica docente, etc. no se ha llevado acabo aún de forma sistemática en el siste-ma educativo irlandés, en primer lugar,debido a la variedad del tipo de datos re-cogido. La información se ha extraído deinspectores y profesores en algunos estu-dios, mientras que en otros, proviene delos alumnos. Las pruebas realizadas a losalumnos en música se contemplaron a ni-vel de grupo y las de irlandés, matemáticasy lectura, a nivel individual. Las pruebasrealizadas a los alumnos en matemáticas y

música se referían a criterios, mientras quelas de inglés, estaban referidas a la norma.Los cursos de entre los cuales se extrajo lainformación son diferentes para cada asig-natura.

En segundo lugar, las áreas clavedel currículo han sido evaluadas sólo deforma esporádica (Kellaghan, 1995).Ejemplo de ello es que no se han realiza-do evaluaciones formales de rendimien-to en matemáticas a nivel nacional desde1984. Esto hace imposible la supervi-sión de tendencias de las asilnaturas.Aun habiendo dicho esto, es cierto queestá planteada una evaluación formal dematemáticas para el año 1999 (Kellag-han, 1997) y que desde 1988, Irlanda haparticipado en tres evaluaciones inter-nacionales de rendimiento en matemá-ticas.

En tercer lugar, la asignatura de cien-cias no ha sido nunca objeto de una eva-luación a nivel nacional, aunque al igualque en matematicas, los alumnos irlande-ses han tomado parte desde 1988 en dosestudios internacionales sobre rendimien-to en ciencias.

La última cuestión preocupante es queno se han realizado evaluaciones de rendi-miento de los alumnos en enseñanza se-cundaria. A pesar de ello, sí hay datos dealumnos de secundaria pertenecientes a es-tudios internacionales sobre matemáticas yciencias (Tercer estudio internacional so-bre matemáticas y ciencias —TIMSS—, Bea-ton y otros, 1996), e Irlanda, con el ERGcomo centro nacional de investigación,está participando en el proyecto interna-cional para la producción de indicadoresde resultados educativos de los alumnos(PISA 2000) de INES-OCDE, que evalua-rá el rendimiento de los alumnos de 15arios en las áreas de lectura, matemáticas yciencias. Los datos de este proyecto quetendrá nueve años de duración, se recoge-rán en el primer trimestre del ario 2000procedentes de un número aproximado a5.000 alumnos de enseñanza secundaria.

29

Los alumnos de enseñanza secundariarealizan un examen estatal después de losprimeros tres arios Uunior Certificate) yotro después de cursar los otros dos añosde este nivel (Leaving Certificate). Se pu-blican análisis de los resultados de estosexámenes a intervalos regulares (p. ej.,Hickey & Martin, 1994; Kellaghan &Dwan, 1995; Millar, Farrell & Kellaghan,1998). Sin embargo, la información ex-traída de estos exámenes resulta limitadaen su posible utilización para la supervi-sión de estándares debido a numerosas ra-zones: la población que realiza los exáme-nes cambia de año en año al igual que loscontenidos de los exámenes (debido acambios de carácter curricular y a otrascausas) aparte de que los alumnos puedenelegir examinarse de una enorme combi-nación de asignaturas de distintos nivelesde dificultad. Estas tres características delos datos proporcionados por los exáme-nes estatales limitan su validez para serusados en la supervisión de estándares derendimiento a través del tiempo (Kellag-han, 1996).

FUTUROS OBJETIVOS: HACIA LASISTEMATIZACIÓN DE LAEVALUACIÓN DEL SISTEMAEDUCATIVO IRLANDÉS

En el libro blanco de la educación EducationJr a Changing World (Departamento deEducación, 1992), se ponía de relieve laexistencia de la necesidad de criterios objeti-vos para medir el progreso de los almunospor medio de la realización de pruebas regu-larizadas por parte de dichos alumnos perte-necientes al sistema y con edades de 7 y 11años. El informe de la Convención Nacio-nal de Educación, que siguió a la publica-ción del libro verde (Coolahan, 1994),aprobaba esta postura y recomendaba unsistema de evaluación nacional de estánda-res basado en la evaluación regular del ren-dimiento de los alumnos que proveería de

información tanto al Departamento deEducación y Ciencia como al público gene-ral. Aunque esta recomendación se aprobóseguidamente en 1995 en el libro blanco dela educación Charting Our Education Futu-re (Departamento de Educación, 1995a), suaplicación es bastante improbable. Algunoscolegas de educación han objetado la pose-sión de datos sobre rendimiento de alum-nos, grupos y centros educativos, por partedel Departamento de Educación (Coo-lahan, 1994). Este asunto está aún por resol-ver: la introducción de la iniciativa llamadaEvaluación Integral de Centros (WSE) enmarzo de 1998, que requiere que los centrosadministren pruebas regularizadas a susalumnos, lo cual implica la planificación yautoanálisis por parte de los centros, con elfin de poner esta información a disposicióndel Departamento de Educación, ha encon-trado una considerable oposición en el co-lectivo de profesores (Pollak, 1998). Sinembargo, el hecho de que la WSE esté pro-bándose en 12 centros actualmente (Pollak,1998) podría indicar que la evaluación re-gular de los alumnos está siendo incorpora-da gradualmente tanto a la política como ala práctica.

REFLEXIONES Y CONDICIONES PARAUN SISTEMA DE EVALUACIÓNSISTEMATIZADO

Según Kellaghan (1995, 1997), es necesa-rio considerar cuidadosamente los si-guientes aspectos de las evaluaciones y laspruebas si se quiere procurar un sistemaefectivo:

• El establecimiento de comités con-sejeros formados por personascomprometidas con la educación.

• La calidad de las pruebas necesi-ta cuidarse al máximo y será mayorsi éstas son administradas porInspección en vez de por el perso-nal de los centros.

30

• Es necesario tomar una decisióncon respecto a los aspectos particu-lares del rendimiento que se quierenevaluar. Dado el compromiso delDepartamento de Educación yCiencia de eliminar para el año2000 los problemas graves de com-petencia en lectura, escritura y ma-temáticas, es conveniente prestaratención a estas áreas del currículo.

• Es necesario considerar el modo deevaluar la competencia en lectura,escritura y matemáticas. Si, comose ha propuesto, se utiliza el forma-to de preguntas de elección múlti-ple en vez de respuestas libres, se hade tener cuidado de que se evalúatanto los niveles cognitivos supe-riores como inferiores. En los estu-dios sobre lectura de 1993 y 1998,aunque todas las preguntas eran deelección múltiple, se intentó eva-luar varios niveles de complejidadcognitiva por medio del empleo depreguntas de tres niveles: puntual(en los que la información estácontenida en tres o menos frasescontiguas), textual (en la que loslectores necesitan integrar infor-mación contenida en más de unlugar dentro del texto para contes-tar a la pregunta) e hipertextual (enla que el lector necesita integrar susconocimientos con la informacióndel texto, para contestar a la pre-gunta).

• Otro problema referente al procesode sistematización de evaluacioneses la necesidad de asegurar que loscambios en el rendimiento puedenser objeto de supervisión de formadiacrónica.

• Es necesario que el tipo de infor-mación situacional que se recojatenga en cuenta su relevancia en lapolítica.

• Al escribir el informe de la evalua-ción, las reflexiones deben mante-

ner un equilibrio entre la riquezade información y la facilidad decomprensión.

• También se necesita tener en cuen-ta otros aspectos prácticos a la horade diseñar un sistema de evalua-ción nacional, como la utilizaciónde muestras por edad o por curso,el desarrollo de criterios de exclu-sión firmes y claros, y la decisión dela frecuencia óptima para la evalua-ción de un área curricular determi-nada. El sistema de evaluación pro-puesto y explicado a continuación,se basa en una evaluación con unintervalo de tres años para educa-ción secundaria y de cinco para pri-maria.

Kellaghan (1997) ha desarrollado unapropuesta de enfoque sistemático de eva-luación nacional que «proporcionará deforma cíclica información sobre los resul-tados del sistema educativo en determina-dos cursos y en determinadas áreas curri-culares» (p. 4).

Por tanto, el sistema proporcionará losiguiente:

• Una descripción de los resultadosdel sistema educativo en términosde rendimiento del alumno enáreas clave del currículo y en deter-minados puntos del sistema.

• La identificación de áreas de cono-cimiento y habilidades del alumnoque son deficientes (apuntando aproblemas de puesta en prácticadel currículo).

• El análisis de las diferencias de resul-tados debido a variables de interés

TERCERA SECCIÓN

DESCRIPCIÓN DE UN SISTEMA DESUPERVISIÓN DEL SISTEMAEDUCATIVO IRLANDÉS

31

político como sexo, localización y ta-maño del centro educativo.

• La posibilidad de supervisión deestándares de rendimiento a lo lar-go del tiempo.

La propuesta engloba la educación pri-maria y secundaria y permite también la ob-tención de datos a nivel nacional así como laparticipación simultánea en el programaINES de la OCDE. Las áreas curricularesque se van a evaluar en primaria son las delectura en lengua inglesa, irlandés oral y ma-temáticas, mientras que en secundaria seevaluarían las áreas de lectura, matemáticasy ciencias por medio de la participación enel proyecto INES de la OCDE. Se planteala necesidad de solucionar la evaluación deirlandés oral en secundaria.

El esquema propuesto rara la evalua-ción de alumnos de educación primaria ysecundaria se detalla en la tabla II.

Para el nivel de primaria, cada áreacurricular (lectura en inglés, irlandés oraly matemáticas) se evaluará con un interva-lo de cinco años, de forma que para el ario2009, se habrán realizado tres evaluacio-nes de lectura en lengua inglesa y matemá-ticas, y dos evaluaciones de lengua irlan-desa. El curso objeto del estudio para lamateria de inglés es el 5• 0 (11 años deedad), que se corresponde con la muestradel estudio de 1993. En cuanto a las mate-máticas, la propuesta de evaluación de1999 representa el primer intento de eva-luación nacional desde 1984. El curso se-leccionado como objeto del estudio es el4.. (10 años), porque hay disponibles da-tos recientes sobre los alumnos de estecurso proporcionados por el TIMSS. Conel propósito de unir futuras evaluacionesnacionales de matemáticas con los da-tos más recientes disponibles sobre estaasignatura, se incluirán algunos ejercicios

TABLA IIPropuesta de esquema de evaluación de/sistema educativo

a nivel de enseñanza primaria y secundaria

EDUCACIÓN PRIMARIA

Área Curso/Edad Fecha

Lectura de lengua inglesa Curso 5.° 1998, 2003, 2008Matemáticas Curso 4.° 1999, 2004, 2009Irlandés oral Curso 4.° 2000, 2005

EDUCACIÓN SECUNDARIA

Lectura de lengua inglesa (importante) 15 años 2000Lectura de lengua inglesa (menos importante) 15 años 2003, 2006Matemáticas (importante) 15 años 2003Matemáticas (menos importante) 15 años 2000, 2006Ciencias (importante) 15 años 2006Ciencias (menos importante) 15 años 2000, 2003Competencias transversales 15 años 2000, 2003, 2006Lengua irlandesa > ?

Fue/1(c: Kellaghan (1997).

32

procedentes de las pruebas del TIMSS enlos instrumentos de evaluación. El irlan-dés oral fue evaluado la última vez en1984 por el Departamento de Educacióny el Instituto Lingüístico de Irlanda (ITE)en los cursos 2.°, 4•o , y 6.°

Como se puede apreciar, los datos so-bre las tres áreas no provienen de los mis-mos cursos. Esto se debe a que cursos dis-tintos ya han tomado parte en distintasevaluaciones. Pero la ventaja de este enfo-que es que la carga de la evaluación no re-caerá siempre en un solo curso, ayudandoa desechar la idea de que un curso es másimportante que otro.

En educación secundaria, la partici-pación en el proyecto INES de la OCDEque empezó en 1998, proporcionará da-tos sobre competencia en lectura, mate-máticas y ciencias en los años 2000, 2003y 2006 (la primera fase del proyecto se de-nomina PISA 2000). Los ejercicios de laspruebas están basados en marcos que defi-nen los tres campos en términos de rele-vancia cultural, más que de contenido cu-rricular. Los datos que se recojan debenproporcionar información sobre el rendi-miento de los sistemas educativos al tér-mino de la enseñanza obligatoria tanto alo largo del tiempo, como en la relaciónde unos con otros. Será necesario incorpo-rar una evaluación nacional de lengua ir-landesa a estos datos de procedencia inter-nacional. Junto a las áreas de lectura,matemáticas, ciencias y lengua irlandesa,se ha propuesto la inclusión de competen-cias de carácter transversal en la obtenciónde datos a nivel internacional referentes aética, auto-concepto y habilidad de reso-lución de problemas (Peschar, 1998).

Hay numerosas ventajas en la incor-poración de evaluaciones nacionales a lasde nivel internacional. Por ejemplo, unade las características del proyecto PISA dela OCDE es su alto nivel de evaluación dela calidad. El consorcio que dirige el pro-yecto posee también experiencia técnicaen todas las áreas importantes del estudio.

Además, los resultados procedentes delproyecto PISA-OCDE cuentan con la do-ble ventaja de ser comparables internacio-nalmente al mismo tiempo que poseenimportancia a nivel nacional. Esto se debea que el diseño de PISA permite la incor-poración de opciones nacionales, que unavez autorizadas por el consorcio dirigentede PISA, pueden ser incluidas para tratarcuestiones políticas de carácter nacional.

Si bien la propuesta de Kellaghan selimita a las áreas clave del currículo, se tra-bajará en el desarrollo de técnicas de eva-luación de otras áres curriculares. Junto aotras medidas, dichas técnicas se crearáncon vistas a facilitar la supervisión de ten-dencias a lo largo del tiempo.

CONCLUSIÓN

Se espera que el programa de evaluaciónsistemática descrito en este artículo su-pere el riesgo de los procedimientos deevaluación menos sistemáticos que se es-tán practicando actualmente. Ahorabien, este sistema no tendrá éxito a me-nos que se cumplan tres condicionesque Kellaghan ennumera del siguientemodo:

• disponibilidad de recursos y perso-nal técnico con el fin de obteneruna realización de las pruebas yanálisis de datos de máxima cali-dad,

• las estructuras administrativas ypolíticas se encuentren en disposi-ción de interpretar los datos y em-prender acciones pertinentes tras latoma de decisiones,

• se realice una continua supervisiónde la propia evaluación nacionalpara asegurar que está cumpliendosu propósito.

(Traducción: Carmen Gálvez)

33