LA EVALUACIÓN DE LOS CENTROS EDUCATIVOS. …...La evaluación de los centros educativos. Una...

LA EVALUACIÓN DE LOS CENTROS EDUCATIVOS.UNA APROXIMACIÓN A UN ENFOQUE SISTÉMICO

Mario de Miguel DíazUniversidad de Oviedo

1. INTRODUCCIÓN

El presente trabajo puede ser considerado como una continuación del que hemospresentado en el IV Seminario de nuestra Asociación con el título «Modelos de Inves-tigación sobre las Organizaciones Educativas». En el mismo manteníamos que los cen-tros educativos deben ser concebidos fundamentalmente como organizaciones socialesy como tales pueden ser analizados y evaluados siguiendo las teorías y enfoques meto-dológicos que habitualmente se aplican a este tipo de organizaciones. Presentabamos,además, una propuesta a modo de resumen en la cual clasificabamos los principalesmodelos de evaluación que desde la perspectiva organizacional se postulaban comomás apropiados o de mayor aplicación para las instituciones educativas.

Aunque diversos aspectos de este estudio fueron posteriormente desarrollados ymatizados en otros trabajos posteriores (De Miguel 1989b, 1994, 1995, 1997), el conte-nido esencial del mismo puede ser considerado como vigente por lo que, en esta oca-sión, nos ha parecido oportuno efectuar una revisión sobre el tema y analizar qué hasucedido durante estos diez años en relación con la evaluación de los centros educati-vos, en qué situación se encuentra actualmente la metodología al respecto y cuáles sonlas principales alternativas que cabe plantear para un futuro inmediato. Estas son lascuestiones esenciales que abordamos en la ponencia que hoy presentamos, cuyo con-tenido vamos a estructurar en tres apartados.

En el primero efectuamos un balance sobre la literatura pertinente relacionada conel tema —a modo de informe sobre el «estado de la cuestión»— que nos sitúe ante laproblemática que ha rodeado la evaluación de los centros escolares durante la última

Revista de Investigación Educativa, 1997, Vol. 15, n.º 2, págs. 145-178

146 Mario de Miguel Díaz

década. Lógicamente esta revisión la realizamos desde la perspectiva metodológicaintentando resaltar los principales problemas con que habitualmente se encuentranquienes abordan el tema de la evaluación de los centros con un enfoque práctico.Nuestro análisis no recoge, por tanto, otra literatura que analiza la realidad de los cen-tros escolares desde otros enfoques (económicos, didácticos, sociológicos, etc...).

En la segunda parte nos centraremos en el análisis de las diversas alternativas quese plantean en el momento de establecer los fines de los centros educativos ya que, des-de nuestro punto de vista, constituyen el origen de muchos de los problemas queactuamente gravitan sobre los sistemas de evaluación de las escuelas. El hecho de quela mayoría de las veces se formulen los propósitos de la investigación y la evaluaciónsobre las instituciones educativas de forma dicotómica —eficacia/mejora, accountabi-lity/improvement, etc.— no ha favorecido la consolidación del conocimiento en estecampo. Por ello consideramos necesario revisar hasta qué punto estas dicotomías sonrealmente antinomias o simplemente paradojas.

Finalmente, el tercer apartado lo dedicamos a esbozar las líneas generales de lo queconsideramos el marco teórico y metodológico en el que se debe plantear la evaluaciónde los centros escolares en tanto que organizaciones que diseñan y aplican programaseducativos a alumnos que pertenecen a determinados contextos sociales. Partiendo delsupuesto de que existe cierto paralelismo entre las funciones de los centros escolares ylas que llevan a cabo otras organizaciones que desarrollan programas de intervenciónsocial, tratamos de efectuar una delimitación de los objetivos y los procedimientos apartir de los cuales podemos abordar la evaluación de una institución educativa des-de un enfoque sistémico.

Como resumen de nuestra aportación presentamos un modelo evaluativo en el quetratamos de integrar diversos enfoques y perspectivas de análisis sobre las institucio-nes con el fin de responder a las exigencias de las principales audiencias implicadas.Tratamos, igualmente, de resaltar algunas orientaciones o pistas en relación con losprocedimientos metodológicos que consideramos apropiados para que los procesos deevaluación tengan una incidencia significativa en el desarrollo de las instituciones edu-cativas.

Lógicamente, el enfoque que hemos asumido para la elaboración de este trabajoha condicionado nuestro discurso y el contenido de esta ponencia. Aunque algunoslo pueden considerar reduccionísta, entendemos que las escuelas deben ser analiza-das y evaluadas —primordialmente— como organizaciones que gestionan progra-mas educativos. Por ello, esperamos que nuestra aportación sea sugerente y que nosayude a todos a reflexionar y avanzar sobre la metodología a utilizar en la evalua-ción de los centros escolares.

2. BALANCE DE UNA DÉCADA

Una aproximación a los principales problemas que han sido objeto de debatedurante los últimos años en relación con la metodología sobre la evaluación de los cen-tros escolares podría sintetizarse en estos apartados:

147La evaluación de los centros educativos. Una aproximación a un enfoque sistémico.

2.1. Pluralidad de enfoques en relación al concepto de calidad de los cen-tros educativos

Al igual que sucede en todo proceso evaluativo, la primera cuestión a concretar eslo que queremos evaluar. En el caso de los centros escolares este objetivo habitual-mente se define en términos de eficacia entendiendo como tal «el grado o nivel en elque una institución educativa cumple los fines que socialmente tiene asignados». Deahí que en la literatura especializada se haya utilizado este término de forma genera-lizada.

Ahora bien, a pesar de su amplia difusión, la utilización de este concepto es muyheterogénea dado que su operativización depende de cuáles son los fines que se atri-buyan a las instituciones escolares lo que, a su vez, está supeditado al tipo de teoríaque se utilice para conceptualizar la función social de los centros educativos. Ellodetermina que, según el tipo de teoría sobre las organizaciones que se utilice paraexplicar el papel de las escuelas varíe el criterio de referencia que se aplica para defi-nir el concepto de eficacia. Así, mientras unos lo hacen en términos de productividadotros consideran improcedente evaluar las instituciones educativas con criterios eco-nomicístas ya que los objetivos prioritarios de las instituciones educativas deben serotros: adaptación al entorno, compromiso social, la búsqueda de la solidaridad, etc.(Feerman y Quinn 1985, Scherens 1992).

Durante la última década el término eficacia ha sido asociado frecuentemente alconcepto de calidad, hasta tal punto que lo ha desplazado. Vivimos inmersos dentrode una cultura que potencia la calidad como un objetivo prioritario en todas las orga-nizaciones y es lógico que los centros escolares también participen de esta corriente.Pero este hecho tampoco ha resuelto el problema de la delimitación del objetivo a eva-luar ya que existen, igualmente, diversas teorías y enfoques sobre el concepto de cali-dad (Harvey y Green 1993, Rodríguez 1995) que pueden ser aplicados a la realidad delos centros como ya hemos comentado en otro momento (De Miguel 1994, 1995).

En conclusión, no hemos resuelto el problema de la delimitación del criterio a uti-lizar para evaluar las instituciones educativas. Hemos cambiado parcialmente el voca-bulario sustituyendo diversos términos al uso pero no hemos avanzado en la respuestaal interrogante fundamental que configura todo proceso evaluativo. La calidad de lasinstituciones —al igual que anteriormente el concepto de eficacia— constituye un con-cepto multidimensional, relativo y contextual ya que permite ser definido desde múl-tiples perspectivas, por distintas audiencias con intereses claramente diferentes y ensituaciones contextuales muy diversas (De Miguel, Mora y Rodríguez 1991, De Miguel1995, Rodríguez 1995). Cada evaluador se verá obligado a precisar el enfoque o pers-pectiva evaluativa que asume en cada caso.

2.2. Diversidad de modelos evaluativos sobre las instituciones educativas

A pesar de la falta de consenso respecto a los criterios para estimar la calidad de loscentros escolares, durante estos últimos diez años hemos observado un aumento con-siderable del número de trabajos y estudios relativos a la evaluación de las institucio-


nes educativas, así como de estudios metaanalíticos sobre los modelos utilizados (Bar-tolomé y otros, 1991). Sin duda, el desarrollo democrático, cada vez más acusado ennuestra sociedad, está generando una toma de conciencia colectiva sobre la necesidadde controlar las políticas públicas, entre ellas las relativas a los servicios y programassociales y educativos.

Ahora bien, teniendo en cuenta que existen tres sistemas a través de los cuales selleva a cabo el control social de las políticas públicas —el estado, la sociedad civil y elmercado (Wolfe, 1989)—, es lógico que se den acusadas diferencias entre los plantea-mientos y modelos evaluativos utilizados ya que parten de supuestos radicalmentedistintos: el poder, el status y el dinero (House 1993). La manifestación de estas dife-rencias queda patente en lo que Clark (1983) denomina «el triángulo de la tensión entrela autoridad estatal, la oligarquía académica y las leyes del mercado» que no sólo semanifiesta en los sistemas de planificación y gestión de los centros escolares sino tam-bién en los objetivos y procedimientos evaluativos.

Clientes/MercadoProfesorado

Administración

La administración asume prioritariamente la perspectiva de la eficiencia y tiende aevaluar las instituciones utilizando sistemas de auditorías, inspección y el uso de indi-cadores de rendimiento. El estamento académico se opone frontalmente a este tipo deprocedimientos reclamando una evaluación contextualizada, orientada hacia procesosde mejora de la institución y centrada sobre sistemas de revisión interna (autoestu-dios). Frente ambos enfoques se situarían quienes defienden como criterio para eva-luar los centros escolares el grado de satisfacción que manifiestan los usuarios/clientespor los servicios y productos que estos reciben de las instituciones. Se trata, pues, detres perspectivas sobre la rendición de cuentas que postulan modelos evaluativos dife-rentes: técnico, profesional y del cliente (Mc Macpherson 1996).

Dada esta pluralidad de aproximaciones es lógico que existan distintos enfoquessobre las instituciones educativas —como ya hemos puesto de relieve en otro trabajoreciente (De Miguel 1997)— y que surgan conflictos respecto a los modelos evaluati-vos al contraponer distintos intereses y procedimientos relacionados con las políticas


de rendición de cuentas (público/privado, nacional/local, profesional/estatal, evalua-ción interna/ externa, etc.). Cada autor al formular su propuesta evaluativa se sitúa dealguna forma en una de estas perspectivas y asume —aún sin proponerselo— buenaparte de los planteamientos y de los procedimientos que las definen. En ocasiones, losmodelos parece que responden más a los intereses del sector con el que se identifica elevaluador que a una concepción comprensiva de la realidad de las instituciones edu-cativas.

De ahí que, al mismo tiempo que nos hacemos eco de la pluralidad de trabajos queúltimamente se han difundido sobre este tema, constatamos la carencia de modelosque asuman la evaluación de los centros con un enfoque sistémico que integre tantolas tres perspectivas de análisis de las instituciones a las que hemos aludido —la admi-nistración, el profesorado y los clientes/usuarios— como los procedimientos evaluati-vos que se postulan pertinentes desde cada una de estas audiencias.

2.3. Predominio de modelos lineales frente a los modelos interactivos

No obstante, a pesar de la pluralidad de enfoques y modelos evaluativos, existe unagran similitud en la forma o modo de conceptualizar los procesos de escolarizaciónimplícitos en toda organización educativa. El paradigma dominante que justifica lamayoría de los modelos utilizados se fundamenta sobre una perspectiva teórica derelación entre medios y fines, similar a los modelos causa-efecto característicos deinvestigación educativa. Los modelos interactivos, aunque son más sugerentes y rela-tivamente fáciles de formular en términos conceptuales, al estructurar estos procesosen términos recursivos son mucho más resistentes a la formalización. Esta diferenciaentre modelos conceptuales y modelos formales —susceptibles de ser operativizadosen términos matemáticos— es la que ha determinado que la mayoría de los trabajosevaluativos empíricos sobre los centros partan de una concepción lineal de los proce-sos de escolarización.

Si tomamos como referencia las cinco grandes tradiciones o corrientes en las quehabitualmente se agrupan los trabajos relacionados con los efectos de las escuelas––investigaciones relacionadas con la igualdad de oportunidades ante la educación,evaluaciones de programas de educación compensatoria, investigaciones basadas enfunciones de producción, investigaciones basadas en características de proceso de lasescuelas e investigaciones centradas sobre variables relativas al proceso de instrucción(Scheerens y Bosker 1997)— cabe señalar que, durante la última década, se han desa-rrollado precisamente aquellas que utilizan modelos lineales estructurados en base auna teoría economicísta y sociológica de las escuelas, en detrimento de los que estruc-turan los procesos de escolarización desde una perspectiva educativa-mediacional.

Ahora bien, dentro del enfoque lineal también ha habido problemas y divergenciasa la hora de delimitar tanto las causas como los efectos. La necesidad de utilizar un cri-terio de referencia ha llevado a los autores a distinguir, de acuerdo con la perspectivade análisis adoptada, entre efectos monetarios y no monetarios, resultados a corto(output) y largo plazo (outcomes), y cambios con referencia a individuos o colectivi-


dades (Cheng 1993). La pluralidad de combinaciones que se deducen al cruzar estasdiferentes concepciones sobre los efectos fácilmente nos advierte que existe una grandisparidad en los criterios utilizados.

Igualmente sucede respecto a los medios o factores implícitos en los procesos deescolarización que supuestamente se consideran causas. Aunque cada modelo tiendea sobredimensionar algunas variables concretas —relativas al contexto, el input o elproceso— sobre otras, la tendencia general durante estos últimos años ha sido resaltarla importancia de los factores procesuales en un intento de transformar la caja «negra»en «traslúcida». No obstante, de nuevo las divergencias se han planteado a la hora dedelimitar cuáles son estos factores ya que están mucho más mediatizados por las teo-rías organizacionales que se utilicen para conceptualizar la función de la escuela y elmodo de operativizar empleado para poder ser introducidos en los análisis.

La tendencia dominante durante esta década ha sido definir la eficacia de los cen-tros en términos de racionalidad económica por lo que el criterio que con mayor fre-cuencia se ha utilizado ha sido el de productividad. Los sistemas y los centroseducativos son considerados como agentes o intermediarios que posibilitan que losindividuos aumenten su nivel de renta. Quienes defienden este enfoque consideranque las escuelas deben ser evaluadas mediante la identificación de los factores queexplican dicha productividad a nivel de un centro (school effectivenes) y del sistemaeducativo (educational effectiveness).

La mayoría de los estudios que parten de este enfoque abordan el tema como si setratara de una función de producción consistente en una relación estadística entrerecursos y resultados, por lo que —generalmente— las evaluaciones realizadas coneste modelo se consideran sesgadas al utilizar en el análisis criterios de eficiencia másque de eficacia. Uno de los trabajos de síntesis muy difundido es de Hanushek (1989)en el que se analizan más de cien trabajos que asumen este plantemiento y que con-cluyó afirmando que las dotaciones y recursos de las escuelas no siempre estaban enrelación con los resultados académicos de los estudiantes.

Este informe, y otras publicaciones posteriores, originaron un gran debate en tornoa la productividad y la aplicación de dinero público a la mejora de la escuela que aúnno ha concluido. Sus conclusiones rapidamente fueron contestadas. De una parte, revi-siones metaanalíticas de los trabajos utilizados por Hanushek (Cooper y Hedges 1994,Hedges y al. 1996) ponen de relieve acusadas debilidades en el tratamiento de losdatos y llegan a demostrar que los recursos sí tienen influencia positiva sobre los resul-tados y, en algunos casos (gasto por alumno), sus efectos son claramente significativos.De otra, de los mismos análisis se deduce que la simple aplicación de más recursos nocontribuye a crear escuelas más efectivas. Al contrario, más que la cantidad de recur-sos lo que verdaderamente influye sobre la eficiencia de una escuela es la forma de dis-tribuirlos y utilizarlos (Odden y Clune 1995, Levin 1996).

A medida que se cuestiona la teoría economicista sobre la escuela, los modelos deevaluación de los centros educativos se han ido orientando hacia un nuevo objetivo:determinar el valor añadido que aporta al desarrollo de un alumno el proceso de esco-larización. Desde esta perspectiva, la calidad de una institución se estimaría por ladiferencia entre las características de entrada de los alumnos y los resultados obteni-


dos. Aunque teóricamente el concepto de «valor añadido» es fácilmente comprensi-ble, sin embargo es muy difícil de evaluar dado que es practicamente imposible con-trolar los múltiples factores que influyen sobre las varianzas tanto de los individuoscomo de las escuelas. La diversas técnicas metodológicas utilizadas no han resueltosatisfactoriamente los problemas que surgen al analizar datos que proceden de lainteracción de factores que pertenecen a niveles diferentes (analisis de datos multini-vel).

En esta misma línea situaríamos, igualmente, las investigaciones realizadas a nivelinternacional por la Association for the Evaluation of Educational Achievement (IEA)cuya finalidad se orienta primordialmente a estimar la eficacia de los sistemas escola-res (educational effectiveness) y que, en uno de sus últimos trabajos sobre el rendi-miento en la lectura (Postlethwaite y Ross 1992), concluye con una afirmación bastantesorprendente ya que solamente el 9% de la varianza entre las escuelas puede ser expli-cada a partir de variables relativas al sistema educativo (Scheerens y Bosker 1997).

Desde el punto de vista metodológico cabe señalar que estos enfoques evaluativoscentrados sobre la productividad y el valor añadido de las escuelas y de los sistemasescolares se han apoyado predominantemente sobre modelos matemáticos, por lo quelas evaluaciones realizadas al respecto se basan en la aplicación de diversas técnicascorrelacionales y de análisis de las varianzas (análisis de regresión, modelos causalesy path analysis, modelos jerárquicos lineales, modelos sobre efectos multiniveles,modelos sobre partición de las varianzas, etc...) cada una de las cuales presenta limita-ciones y problemas técnicos importantes que no pueden ser ignorados y sobre los queya existe abundante literatura (Reynolds y Cuttance 1992, Wang, Haertel y Walberg1993, Webster y al. 1994, Castejon 1994, OCDE 1995, Raudenbush y Willms 1995, Hilly Rowe 1996, Sheerens 1996, Fernández y González 1997, Scheerens y Bosker 1997).

De ahí que la contribución de los trabajos de corte cuantitativo a la explicación dela calidad de los centros sea considerada como pobre en relación con el número deesfuerzos dedicados. Tal como ponen de relieve los metaanálisis realizados de estosestudios desde una perspectiva más cualitativa (Levine y Lezotte 1990, Cotton 1995,Hill y al. 1995, Sammons y al. 1995, Grisay 1996, Slavin 1996, ...) lo que marca la dife-rencia entre las escuelas es un conjunto de factores y no elementos aislados de la mis-ma. La distinción por niveles —factores relativos al aula, la escuela y el sistema—confunde aún más el análisis ya que en la mayoría de los casos no es fácil establecer elámbito al que pertenecen. Más aún, las escuelas que reúnen buenas condiciones (bue-nas dotaciones, buenos profesores, alumnos motivados, etc...) no necesariamenteobtienen mejores resultados ya que «el todo es algo más que la suma de las partes».

Por ello, aunque hayamos avanzado sensiblemente en la formulación de modelosconceptuales sobre los procesos de escolarización asumiendo nuevos constructos (cul-tura, liderazgo, desarrollo organizacional, etc...) y nuevas perspectivas de análisis, des-de el punto de vista empírico muchos de estos modelos encierran problemas teóricosy metodológicos que se resisten a la formalización o que no han logrado resolver empí-ricamente de forma satisfactoria. Ciertamente, a través de metolologías cuantitativaspodemos identificar algunos factores que pueden contribuir al éxito. Ahora bien, su


presencia en un determinado contexto no significa necesariamente que su influenciasea claramente positiva.

Por ello, necesitamos contextualizar más los modelos y utilizar métodos de análisismenos positivistas que nos permitan matizar muchas de las conclusiones obtenidas.Lamentablemente, la mayoría de las investigaciones cualitativas realizadas han sidodiseñadas con parámetros muy conceptuales por lo que generalmente se han quedadoen el plano teórico, sin llegar a concretar de manera empírica la información necesaria,así como la forma de recogerla, para poder extraer conclusiones objetivas. Al igual quesucede en otros campos de la educación, la investigación y evaluación sobre las escue-las adolece de una falta de modelos que integren estrategias cuantitativas y cualitati-vas lo que dificulta avanzar en el conocimiento.

En resumen, desde la perspectiva metodológica se podría decir que durante estadécada constatamos una pluralidad de enfoques en relación con el tema de la calidadde los centros educativos y en concuencia una gran diversidad entre los modelos quese formulan para la evaluación de las escuelas. Sin embargo, los estudios evaluativosrealizados se han caracterizado por la falta de encuentro entre dos líneas de trabajo queresponden a supuestos teóricos divergentes (economicistas/sociológicos y educativos),que parten de paradigmas metodológicos claramente diferentes (deductivo/inductivo)y que utilizan distintos niveles (macro/micro) y diferentes técnicas en los análisis(Reyes 1990).

3. LOS FINES EN LA EVALUACIÓN DE LOS CENTROS

Teniendo en cuenta estas observaciones, me ha parecido oportuno efectuar en estenuevo trabajo una reflexión sobre el tema que nos permita avanzar en la concreción delas tres cuestiones claves que se debe plantear un metodologo ante cualquier procesoevaluativo: qué queremos evaluar, cómo lo vamos hacer y para qué. Para ello abordaremos,en primer lugar, el problema de los fines ya que entendemos que la mayoría de los pro-blemas que gravitan actualmente sobre la evaluación de los centros escolares tienen suorigen en la falta de consenso existente en relación con sus metas. Los centros educa-tivos son organizaciones complejas sobre las que convergen numerosas alternativasrelacionadas con sus fines que procede analizar.

3.1. Falsas antinomias

En la literatura especializada relativa tanto a la investigación como a la evaluaciónde las instituciones educativas se suelen plantear estos fines en términos dicotómicos—eficacia/mejora, excelencia/eficiencia, calidad/igualdad, etc…— como si existierarealmente una antinomia o contradicción entre dos principios racionales. Desde nues-tro punto vista no son antinomias sino paradojas; es decir, afirmaciones falsas que sepresentan con apariencia de verdaderas. De ahí que consideremos importante su cla-rificación.


3.1.1. La polémica eficacia/mejora

Es muy frecuente el uso de esta dicotomía considerando que ambas finalidadesparten de supuestos teóricos claramente divergentes sobre las instituciones educativasy utilizan aproximaciones metodológicas diferentes. De este modo se han llegado aconsolidar dos modelos alternativos para investigar y evaluar las escuelas que se apo-yan en paradigmas contrapuestos y que pretenden obtener, igualmente, conocimien-tos sobre las instituciones que pertenecen a dominios distintos. En un caso se trata deconocer el grado de eficacia de una institución desde un punto de vista práctico y enel otro se pretende indagar sobre los factores que pueden incidir en la mejora de sufuncionamiento, sin que haya habido esfuerzos significativos para lograr puntos deencuentro entre ambas finalidades (Gray y al. 1996, Reynolds y Stoll, 1996).

Más aún, la estrecha relación existente entre estos dos enfoques y los supuestosteóricos de los dos paradigmas de investigación dominantes ha dado lugar a que seestableciera cierto paralelismo entre fines y métodos —eficacia/cuantitativos, mejo-ra/cualitativos— que ha potenciado el desencuentro entre ambas líneas de trabajo.Así, durante los últimos años, mientras que para unos toda aproximación evaluativacentrada sobre la eficacia es considerada retrógada y obsoleta, otros cuestionan lapoca utilidad práctica de la alternativa centrada sobre la mejora para promover cam-bios en los resultados de las escuelas.

La postura actual al respecto es que se ha planteado esta dicotomía de manera arti-ficial ya que ambos procesos se implican mutuamente. Si tenemos en cuenta la diná-mica implícita en todo proceso de cambio y mejora de una organización, fácilmente sepercibe que ambas finalidades no son alternativas sino secuenciales dado que unareclama necesariamente a la otra. Para diseñar una planificación estratégica orientadahacia la mejora es previo efectuar un proceso de «diagnosis» que nos permita estimarel grado o nivel que alcanza una institución en relación con sus objetivos específicos y,del mismo modo, una vez implementado el plan o programa de mejora tampoco sepodrá prescindir de la estimación de su eficacia. Esta mútua implicación se puede per-cibir de forma más clara en el siguiente gráfico:

Dia

gnós

tico

Evaluación

Desarrollo


Como se refleja en el diagrama, todo proceso de mejora exige una planificación pre-via y esta, a su vez, reclama un proceso de valoración de la realidad de la escuela; esdecir, determinar « su línea base». Ahora bien, esta fase diagnostica conlleva un pro-ceso de valoración tanto de los procesos como de los resultados. Por ello, el conoci-miento del nivel de eficacia de una escuela y de los factores que condicionan sufuncionamiento constituye uno de los objetivos ineludibles a tener en cuenta en todoprograma de mejora. Excluir durante el proceso de diagnóstico la dimensión de la efi-cacia de la institución constituye una anomalía que no se puede justificar ni desde elpunto de vista teórico ni desde el técnico.

De ahí que la tendencia actual —tanto se utilice una teoría basada sobre calidadtotal o sobre la reingeniería de las escuelas (Davies y West-Burnham 1997)— se orien-te a integrar de forma comprensiva ambas orientaciones —eficacia y mejora— ya quelos fines que persiguen en modo alguno son excluyentes. Cada vez existe mayornúmero de investigadores (Reynolds y Stoll, 1996) que consideran que no es buenoplantear la evaluación de las escuelas fomentando una perspectiva dicotómica como sise tratara de dos tipos de conocimientos diferentes. Al contrario, ambas finalidades senecesitan e implican mutuamente, a la vez que reclaman con urgencia su fusión. Eneste sentido cabe señalar que durante los últimos años se han llevado a cabo diversosproyectos (Stoll y al. 1996) que tratan de poner de relieve la «convergencia» o «siner-gia» que existe entre estos dos paradigmas para abordar y resolver los problemas denuestras instituciones.

3.1.2. La controversia entre excelencia y eficiencia

Otra de las antinomias, que últimamente se ha vuelto a suscitar en relación con losfines de las escuelas, se plantea al considerar si estas se deben orientar hacia la exce-lencia académica o, por el contrario, su calidad debe estimarse partiendo del modo dellevar a cabo los procesos. Así, mientras algunos consideran como centros excelentesaquellos que están acreditados en función de la calidad de los medios y dotaciones deque disponen, otros opinan que los resultados de una institución dependen funda-mentalmente de la eficiencia con que las escuelas gestionan sus propios recursos. Estapolémica entre excelencia y eficiencia, aunque no es nueva, ha sido alimentada últi-mamente desde dos vertientes.

De una parte, del debate al que hemos asistido durante los últimos años en rela-ción al tema de la productividad —que ya hemos comentado— parece deducirseque el problema de la calidad de un centro no radica en la cantidad de recursos quedispone una institución sino en cómo actuar para que estos sean más efectivos, talcomo pone de manifiesto el movimiento de las escuelas aceleradas (Levin 1996).Una conclusión similar se desprende de las revisiones metaanalíticas cualitativasrealizadas en torno a los efectos de las escuelas ya que concluyen afirmando que lascondiciones del aula tienen mayor impacto sobre la mejora del rendimiento de losalumnos que los factores relativos a la escuela en tanto que organización (Scheerensy Bosker 1997).


De otra, la teoría organizacional durante la última década ha tomado conciencia deque para obtener productos de calidad es condición necesaria que exista calidad en lagestión de los procesos que intervienen en la cadena de producción. Esta preocupaciónpor los procesos ha llegado a generar sistemas de normalización con el fin de obtenerun marco de referencia común a través del cual podamos homologar los procedimien-tos que determinan la calidad de una organización. Por ello, la aplicación de los prin-cipios sobre «calidad total» a las instituciones educativas constituye actualmente unade la teorías mas difundidas sobre las escuelas aunque se utiliza, a mi modo de ver, deforma poco reflexiva (Sallis 1993, Greenwood y Gaunt 1994).

Constatar que se intenta introducir el lenguaje y los planteamientos que postula elmovimiento TOTAL QUALITY MANAGEMENT(TQM) sin tener en cuenta que lasinstituciones públicas no son homologables a las organizaciones empresariales, espe-cialmente por su falta de autonomía, y que presentan serias dificultades para poderestablecer una normalización sobre los procesos. Igualmente rechazamos la tendenciaa plantear los problemas de los centros escolares exclusivamente en términos de polí-ticas de gestión como si los recursos no fueran necesarios. De ahí que nuestra percep-ción de la postura oficialista al utilizar los principios sobre «gestión de calidad total»como una alternativa para las escuelas es ciertamente engañosa.

Desde la perspectiva del evaluador esta controversia entre excelencia y eficienciaadolece de sentido ya que lo importante para estimar la calidad de un centro escolar escomprobar tanto si dispone de los recursos, medios y servicios que se consideran fun-damentales para su adecuado funcionamiento como valorar la eficiencia en la forma degestionar estos medios por las escuelas. No se trata, por tanto, de evaluar solamente silos centros reúnen determinadas condiciones o características a partir de las cualespodamos predecir su productividad sino también de indagar sobre la calidad de losprocesos que se desarrollan dentro de las instituciones, ya que a partir de una mejoracualitativa en la gestión de estos procesos podemos promover cambios significativos enlos resultados. En definitiva, debemos estimar la calidad de los centros tomando comoperspectiva de análisis tanto la calidad de los inputs como la calidad en la gestión delos procesos. Las dos alternativas son igualmente necesarias e importantes.

3.l.3. El debate calidad/igualdad

El actual movimiento a favor de la calidad total tampoco resuelve satisfactoria-mente el problema de los fines de las instituciones educativas ya que hace referencia aprincipios aplicados a la gestión pero no entra en el debate sobre qué tipo de objetivosdebe perseguir la institución. De alguna forma la teoría TQM plantea a las institucio-nes la siguiente propuesta: decidan ustedes sus objetivos educativos y yo les ayudaréa organizar los procesos de la forma mas eficiente para poder alcanzarlos. La calidadtotal se presenta como una herramienta útil al servicio de los fines que establezcan laspropias instituciones.

Ahora bien, aplicar a las escuelas esta teoría implica asumir una serie de princi-pios y estrategias que habitualmente se utilizan en el mundo empresarial para obte-


ner éxito —competitividad, racionalización de procesos, eficiencia, satisfacción delcliente, etc…— dado que uno de los propósitos irrenunciables de esta corriente esla búsqueda de la excelencia. Muchos de estos principios, aunque inicialmenteresultan atractivos, pueden ser realmente peligrosos cuando se incorporan al medioescolar de forma acrítica ya que pueden reproducir y exacerbar desigualdades edu-cativas y sociales. Aunque no se puede negar que algunas de las estrategias queintroducen los programas de TQM son saludables para el funcionamiento de loscentros educativos —la atención que se presta a las interacciones dentro del siste-ma, la participación del personal en la toma de decisiones, la preocupación por losaspectos procesuales antes que los finales, etc…— lo cierto es que estas tanto pue-den ser usadas como estrategias para el cambio social o como herramientas dedominación y control de los individuos. Los principios de TQM solamente puedencontribuir a la transformación de las escuelas en la medida que estas se cuestionena donde pretenden ir estableciendo de forma explícita metas y objetivos (Capper yJamison 1993).

Por ello, los educadores debemos tener cuidado de no quedar seducidos por estanueva música. Debemos recordar que existe otro discurso. La escuela no puede pres-cindir del tema de la igualdad. Quienes defendemos un enfoque crítico sobre las orga-nizaciones sociales debemos recordar el compromiso que tienen todas las escuelas conel tema de los valores como medio para la transformación social. De ahí que, a la horade evaluar los centros escolares debamos valorar en que medida los objetivos de lasinstituciones educativas se plantean la construcción de una sociedad mas justa y máshumana (Zeichner 1991).

El concepto de igualdad ante la educación no es un constructo estático o unidi-mensional (Valli, Cooper y Frankes 1997). Además de igualdad en el acceso y partici-pación en las oportunidades que ofrece el sistema educativo implica también laigualdad de resultados, es decir en la distribución de los beneficios que aporta la esco-larización. Por ello, dado que una de las funciones de las escuelas es preparar a lossujetos para el trabajo, resulta ciertamente injusto que para los mismos niveles de esco-larización los sujetos tengan posteriormente oportunidades laborales muy desiguales(Secada 1989). Lo que implica que los efectos de las escuelas deben ser evaluados nece-sariamente a largo plazo.

Desde esta perspectiva, en una sociedad no igualitaria no se puede potenciar unaaccountability exclusivamente asociada al mercado ya que las escuelas también sehallan comprometidas en la construcción de una sociedad más democrática. Cierta-mente hoy nadie piensa cambiar la sociedad desde la escuela, pero ello no significa queesta pueda eludir su responsabilidad respecto al alarmante número de sujetos queviven en la probreza y la marginación y para los que la escolarización no les aportaningún beneficio (Willson 1994).

De ahí que el principio de igualdad nos remita a tema de la diversidad. No cabeplantear un objetivo de igualdad ante la educación sino es precisamente desde la tomade conciencia de que existe una diversidad manifiesta que está presente en nuestrasescuelas. Cuando los centros educativos establecen como un objetivo prioritario la


igualdad no pueden prescindir de la forma en que abordan y tratan el tema de la diver-sidad.

Desde un enfoque crítico entendemos que la mejora de la escuela debe ser evalua-da fundamentalmente partiendo de la forma de abordar y tratar los problemas que tie-ne la sociedad actual: pobreza, desempleo, aislamiento social, racismo, etc… (Foster1986). Ciertamente todos sabemos que es un terreno vidrioso y, desde el punto de vis-ta de la evaluación, difícil de medir pero ineludible. Desde mi punto de vista, evaluarla mejora de una institución y de un sistema educativo necesariamente implica, en últi-ma instancia, tener en cuenta el tema de los valores a los que sirve la escuela.

No obstante, queremos dejar claro que desde el plano teórico ambos discursos––calidad total e igualdad— no se contraponen. Todo el movimiento orientado a lagestión de la calidad se apoya sobre dos pilares fundamentales que no excluyen eltema de la diversidad. Por un lado, uno de los principos básicos de la TQM es que lagestión responda a las necesidades de los clientes lo cual exige, previamente, realizarun análisis de las mismas. Por otro, para llevar a cabo una gestión de calidad esimprescindible la coordinación de recursos y cooperación de todos los miembros de lainstitución en la elaboración y desarrollo de los programas y actividades a realizar.Desde esta perspectiva ambos objetivos —atención a la diversidad/igualdad y cali-dad— son igualmente finalidades compatibles.

3.2. Convergencia en los propósitos evaluativos

A la vista de estas opciones, y otras que se pueden plantear en relación con los finesde las escuelas, fácilmente se deduce la complicación que encierra determinar cuálesson los propósitos que deben orientar los procesos de evaluación de los centros edu-cativos. Las instituciones escolares son organizaciones sobre las que confluyen audien-cias muy diversas con puntos de vista e intereses, en ocasiones, enfrentados. Es lógico,por tanto, que estas audiencias entiendan estos fines desde distintas perspectivas y, enconsecuencia, formulen propuestas que pueden parecer contrapuestas en relación conlos propósitos que deben orientar la evaluación de las instituciones educativas.

Generalmente se suelen clasificar los distintos modelos evaluativos en dos gruposalternativos según que su finalidad se oriente hacia la rendición de cuentas (accoun-tability) o hacia la mejora del programa y la organización que lo imparte (improve-ment). En el primer caso se considera prioritario que las instituciones den cuentasocialmente tanto de su eficiencia en la utilización de los recursos como de su eficaciaen el logro de los objetivos pertinentes. En el segundo, se entiende que la finalidadmás importante de todo proceso evaluativo es incidir sobre la toma de decisiones queoptimicen el funcionamiento de la propia institución como estrategia para mejorarsus resultados.

Del análisis de la literatura se deduce que estos dos tipos de propósitos han sidoconsiderados como opuestos. Los diseños orientados hacia la rendición de cuentas sehan centrado fundamentalmente en la evaluación de resultados medibles a través demetodologías cuantitativas y han sido defendidos especialmente por audiencias exter-


nas (administradores, clientes y usuarios…). Por el contrario, las evaluaciones orienta-das hacia la mejora —que son las preferidas por el profesorado— se han centrado esen-cialmente sobre los aspectos deficitarios del contexto, el input y el proceso, y tiendena utilizar predominantemente metodologías cualitativas. Fácilmente se puede deducirque esta dicotomía en relación con los propósitos de la evaluación es una consecuen-cia lógica de la forma en la que se vienen planteando los fines de las instituciones edu-cativas que ya hemos comentado.

Frente a estas dos orientaciones evaluativas, al igual que apuntan otros autores(Glickman 1990, Stoll y Fink 1996), nuestra experiencia al respecto es que se pueden ydeben compatibilizar ambos propósitos —accountability e improvement— a la hora deelaborar un diseño evaluativo sobre una institución educativa. Consideramos que cadauno de ellos reclama necesariamente al otro. No es posible llevar a cabo una evalua-ción orientada hacia la mejora que no parta de un análisis minucioso de todos los fac-tores implicados en la organización, funcionamiento y resultados de las escuelas yaque de los contrario las propuestas de mejora podrían considerarse como descontex-tualizadas. De igual modo, también es impensable que un proceso evaluativo se esta-blezca únicamente para rendir cuentas y no genere procesos de toma de decisiones queimpliquen propuestas de mejora de las instituciones (Aspinwall y al. 1992).

Ello implica que toda evaluación de centros deba incluir, de una parte, toda unaserie de juicios relativos a resultados, especialmente los relativos al progreso de losalumnos y la gestión de la institución como estrategia adecuada para promover la ren-dición de cuentas interna y externa y, de otra, un conjunto de valoraciones a partir delas evidencias detectadas respecto a la estructura y funcionamiento de la propia orga-nización con las correspondientes indicaciones de mejora. Se trata, por tanto, de con-jugar la utilización de los datos obtenidos sobre una institución tanto con finessumativos, para rendir cuentas ante las audiencias implicadas, como formativos paraincidir en el desarrollo de la propia institución.

Si aceptamos el hecho de que existe una evidente complementariedad entre estasdos grandes finalidades o propósitos de la evaluación de centros necesariamente debe-remos plantear los modelos y diseños evaluativos sobre las escuelas de forma integra-dora, es decir asumiendo tanto la función sumativa como la formativa, el punto devista interno y el externo, el dato y la propuesta. Entendemos que en una evaluaciónde centros no podemos renunciar al dato (en el que también incluimos las opinionescontrastadas) tanto sobre la gestión como sobre el «valor/efecto de la escuela» (resul-tados). No sólo nos lo exigen las audiencias sino que resulta imprescindible paraencauzar los aspectos en los que se debe cambiar. Concretadas las deficiencias, un aná-lisis centrado sobre la mejora nos indicara cómo se debe proceder al respecto con el finde que las propuestas lleguen a ser operativas.

Esta mútua implicación entre accountability e improvement no debe llevarnos aconsiderar la mejora de los centros como un concepto lineal, algo así como: «si se dantales circunstancias se producen determinados progresos». La mejora de la escuela seda en el tiempo. Constituye, por tanto, un proceso que no es fácil de comprender des-de un paradigma racional y, aunque puede ser estimulado desde el exterior, exige unaprendizaje interno (Reynolds y al 1996). Las escuelas en tanto que organizaciones


necesitan aprender a mejorar. Mientras que los centros —coorporativamente no indi-vidualmente— no asuman su papel de organizaciones que necesitan aprender paradesarrollarse, la evaluación siempre será considera como accountability y su inci-dencia en la mejora será mínima (Bollen 1996, San Fabian 1996). La convergenciaentre los dos propósitos de la evaluación de los centros cobra sentido en la medidaque asumimos un concepto de escuela como organización que necesita aprender amejorar.

4. MARCO TEÓRICO DE LA EVALUACIÓN DE LOS CENTROS. FUNDA-MENTOS Y CRITERIOS

Una vez que hemos justificado los propósitos que orientan los procesos de evalua-ción de las instituciones educativas y hemos señalado algunos de los requisitos nece-sarios para que estos procesos incidan en la transformación de las escuelas, consideroimportante abordar uno de los aspectos que me preocupa especialmente y al que no sele suele dar demasiada importancia en la bibliografía especializada: el marco o funda-mento teórico en el que se debe situar la evaluación de los centros escolares conside-rados como organizaciones sociales que diseñan y aplican programas y servicioseducativos.

Todos los que nos dedicamos a la metodología empírica somos conscientes de quecada enfoque evaluativo exige un marco teórico apropiado que justifique nuestro tra-bajo en tanto que actividad cientifica orientada a la obtención de conocimientos. Nodebemos olvidar que la investigación evaluativa es ante todo «investigación» lo cualimplica —de algun modo— una «explicación científica».

Ahora bien, los modelos utilizados para la explicación científica han cambiadomucho durante los últimos años. De una parte, en todos los campos del saber se pro-pugna como paradigma epistemológico el realismo científico tratando así de evitartanto el positivismo como el relativismo. Ello implica que el trabajo del investigador,incluso el del científico experimental, se oriente a crear «contextos» donde determina-dos «mecanismos» se manifiestan con cierta «regularidad.» La regularidad —entendi-da a modo de cuasi-ley— constituye el marco en el que se mueve el conocimientocientífico en la actualidad (Pawson y Tilley, 1997).

Este es igualmente el marco epistemológico en el que se mueven de las cienciassociales en general y las teorías sobre el cambio en los sistemas sociales en particular.De ahí que exista un número considerable de tentativas para efectuar el salto de la«explicación científica realista» a la «explicación social realista» con el fin de hallar unajustificación epistemológica a la investigación social.

La evaluación de los programas sociales constituye un ejemplo paradigmático deeste enfoque ya que permite estimar la efectividad que tienen determinadas teoríaspara promover cambios sociales. El marco conceptual del que se parte es el mismo quese utiliza en la explicación científica realista: los resultados que se obtienen con losprogramas sociales dependen de la aplicación de ideas y procedimientos (mecanis-mos) a grupos de sujetos en condiciones específicas (contextos). Ello implica que, al


igual que sucede en la explicación científica social, la explicación en la evaluación deprogramas se construya a partir de la interacción de tres elementos: contextos, meca-nismos y resultados dentro de un sistema autorregulado.

La tarea de un evaluador es, precisamente, tratar de buscar una explicación a par-tir de las interacciones que se producen entre estos tres elementos: ¿cuáles son losmecanismos más apropiados para promover cambios sociales en determinados con-textos?, ¿en qué medida distintos procedimientos provocan resultados diferentes enun mismo contexto?, ¿cómo modifican los resultados las características iniciales delcontexto?, etc… Como fácilmente se deduce, el conocimiento que el evaluador pue-de generar a partir de estos interrogantes exige sucesivas tentativas en las que unapregunta nos remite a otra convirtiendo así el proceso evaluador en una continuaespiral.

Esta es la razón por la cual los diseños evaluativos sobre intervenciones socialesdeben tener siempre una estructura cíclica. La evaluación un programa —es decir, delos resultados obtenidos a partir de la aplicación de determinados mecanismos en con-textos específicos— debe generar nuevas hipótesis sobre cómo se producen los cam-bios sociales, lo que, a su vez, debe dar lugar al diseño y aplicación de nuevosprogramas. De ahí que la investigación evaluativa constituya una estrategia metodo-lógica que permite obtener conocimientos sobre cómo se promueve el cambio dentrode un sistema social.

Asumiendo esta perspectiva teórica para comprender y explicar la realidadsocial fácilmente se intuye la debilidad de los modelos evaluativos de corte linealque venimos utilizando para evaluar los centros escolares ya que, cuando el objeti-vo es mejorar las escuelas, las supuestas relaciones causa-efecto son más que dudo-sas. La fundamentación que reclama la investigación evaluativa actual sobreorganizaciones sociales se sitúa más en la línea de la teoría de Stake. Como ya esconocido, el modelo evaluativo que propone este autor (antecedentes/transaccio-nes/consecuencias) se acerca más al que hemos descrito (contextos/mecanismos/regularidades) que el paradigma explicativo que venimos utilizando habitualmen-te (inputs/process/outputs).

Las instituciones educativas son organizaciones sociales cuya función puede serconceptualizada dentro de este mismo paradigma. Los centros escolares aplican ideasy procedimientos en contextos específicos para obtener resultados concretos de acuer-do con los mandatos constitucionales. Evaluar la calidad de un centro significa, antetodo, determinar el grado en el que la institución garantiza a los alumnos los fines edu-cativos que tiene asignados en las diversas normativas vigentes.

Ahora bien, lo que sucede habitualmente es que las disposiciones legales no preci-san en términos de resultados en qué consiste la educación infantil, primaria o secun-daria y, en consecuencia, los criterios de referencia para evaluar si los centros cumplenel mandato constitucional. Por ello, previamente a todo proceso de evaluación debere-mos especificar qué resultados acreditan que un niño ha recibido la educación infantil,primaria o secundaria a la que tiene derecho. A pesar de las dificultades que encierraesta concreción, no podemos soslayar por más tiempo esta tarea: necesitamos espe-


cificar en objetivos medibles los criterios que determinan la calidad de la educaciónen sus distintas etapas y niveles.

De otro lado, tampoco podemos olvidar que la realidad socio-educativa es muyheterogénea y que las instituciones necesariamente se ven obligadas a adaptar sus ser-vicios a las exigencias del contexto. Ello justifica que los centros tengan cierta autono-mía en la gestión que les permita alcanzar los objetivos establecidos como obligatoriosa través de los procedimientos que mejor se adapten a su realidad educativa. Ambospostulados —metas claras y contrastables y autonomía en la gestión de los procedi-mientos— constituyen los requisitos básicos a partir de los cuales podemos plantearlos criterios de calidad a tener en cuenta en la evaluación de los centros escolares.

Asumiendo este enfoque, el marco teórico adecuado para evaluar los centroseducativos se sitúa dentro de las organizaciones de servicios caracterizadas por lacombinación de procedimientos reglados y discrecionales. En la medida que unaetapa educativa constituya un ciclo obligatorio y básico los objetivos de un centroescolar deberán ser más precisos a modo de «mínimo común denominador» paratodos los alumnos. En tanto que el servicio se oferta a una realidad heterogénea seexige, además, respuestas adaptadas a las diversidades que confluyen sobre cadacontexto educativo. El desafío radica en «lograr una eficiente combinación de pro-cedimientos de obligado cumplimiento y de comportamientos discrecionalmenteelegidos» (Termes, 1996).

Ambos tipos de objetivos son los que necesariamente deben ser tenidos en cuentay conjugarse en el proceso de elaboración del «proyecto educativo de un centro» asícomo en los distintos «proyectos o diseños curriculares» de cada uno de los niveles ociclos educativos. Los proyectos que elaboran las instituciones constituyen las herra-mientas mediante las cuales la administración deja en las manos de los «intermedia-rios» la gestión del servicio. En la medida que cada centro matiza su oferta y losprocedimientos a utilizar introduce elementos que deben ser tenidos en cuenta en suevaluación. De ahí que constituyan el criterio de referencia del que debamos partir aldiseñar un proceso de evaluación sobre un centro educativo.

Desde esta perspectiva, evaluar un centro escolar constituye inicialmente una valo-ración de los objetivos que se pretenden alcanzar en cada nivel o ciclo educativo. Ensegundo lugar supone evaluar los proyectos y/o programas elaborados para alcanzarestos objetivos y cómo se ha llevado en la práctica su implementación. Finalmentedebemos evaluar los resultados obtenidos en relación con los objetivos previstos. Aligual que sucede en toda evaluación de programas, los centros educativos deben serevaluados utilizando como criterios de referencia sus propios «objetivos y programaseducativos» que deberán ser diseñados en base a principios y procedimientos regladosy discrecionales adecuados a las necesidades educativas de un alumnado específico.La evaluación, por tanto, deberá tener en cuenta si las necesidades han sido bien detec-tadas, si el diseño/programa elaborado es adecuado para dar respuesta a las mismas,si la puesta en práctica del mismo ha sido correcta y si los resultados obtenidos sonsatisfactorios en relación con los objetivos previstos.


5. OBJETIVOS EN LA EVALUACIÓN DE LOS CENTROS EDUCATIVOS

A la hora de plantear los objetivos que deben dirigir un proceso evaluativo sobrelos centros escolares podemos igualmente utilizar como referencia los tres componen-tes básicos que habitualmente intervienen en todo proceso de rendición de cuentassobre programas y servicios sociales; es decir, la eficacia, la eficiencia y la efectividad.Tal como se refleja en el modelo adjunto propuesto en un trabajo reciente (Martin yKettner 1996), la representación del significado de estos tres conceptos se podría esta-blecer en estos términos:

a.— La evaluación de la eficiencia/productividad. La primera evaluación a realizarsobre la eficiencia de una organización o programa social es la comparación entre losoutputs y los inputs. La ratio entre ambos constituye la definición clásica de pro-ductividad (Brinkerhoff y Dressler, 1990). Desde la perspectiva del accountabilitytoda organización debe esforzarse para maximizar esta relación entre los outputs ylos inputs con el fin de dar cuenta socialmente de la rentabilidad de los recursos uti-lizados.

b.— La evaluación de la calidad. La perspectiva de la calidad enfoca la evaluación conun planteamiento claramente distinto al de la eficiencia. De acuerdo con la teoríassobre la calidad total, la productividad no se evalúa únicamente con parámetros decantidad sino por la prestación de servicios de alta calidad lo que implica tener encuenta otras cuestiones (oportunidad en la prestación de los servicios, satisfacción delos clientes, etc...). De ahí que la evaluación de la calidad de un programa social impli-que un cambio en la definición del concepto de productividad ya que su estimaciónviene dada por la «ratio entre unos inputs y unos outputs formulados con unos stan-dars específicos de calidad» (Martin, 1993).


c.— La evaluación de la efectividad/desarrollo social. Finalmente, la evaluación de todoprograma relativo a servicios humanos debe implicar una estimación de los resulta-dos que ha generado a largo plazo: impactos, logros, desarrollos, etc… (Epstein,1992). Su finalidad es establecer una comparación entre los logros alcanzados a travésdel programa en relación con los inputs de los que se partía. Aunque este tipo de com-paración se conoce como effectiveness —traducido unas veces por efectividad y otraspor eficacia—, consideramos más oportuno la utilización del término «desarrollo» yaque este concepto define mejor los logros o resultados a largo plazo (outcomes), espe-cialmente cuando en estos resultados pretendemos evaluar cambios en los valoressociales.

Si aplicaramos este mismo modelo al ámbito de las instituciones educativas nosencontraríamos con los siguientes problemas:

1.— La evaluación de la productividad, tal como se ha realizado hasta la fecha enbase a funciones de producción y búsqueda del valor añadido, no ha aportado resul-tados satisfactorios como ya hemos visto.

2.— La evaluación de la calidad siguiendo las teorías actuales sobre calidad totalexige definir previamente unos stándars sobre la calidad de los resultados y una nor-malización de los procesos de gestión de las instituciones, requisitos muy difíciles delograr dada la diversidad de contextos y criterios de las audiencias implicadas.

3.— La estimación del desarrollo social o mejora en términos de logros a largo pla-zo constituye una tarea muy difícil dadas las dificultades metodológicas tanto desdeel punto de vista de la operativización de las variables como de su control y evalua-ción en el tiempo.

No obstante, la dificultad fundamental, desde mi punto de vista, radica en quelas escuelas no sólo pueden ser analizadas solamente a través de sus programassino que también debemos abordar su evaluación desde la perspectiva del desarro-llo que han alcanzado en tanto que organizaciones ya que constituye el condicio-nante que envuelve todo tipo de actividad interna. De ahí que consideremosnecesario realizar un esfuerzo para elaborar un enfoque sistémico de la evaluaciónde los centros educativos que integre tanto los aspectos relativos a la organizacióncomo a los procesos relativos al diseño y ejecución de los programas y servicios quelleva a cabo.

Esta aproximación sistémica, además, intentamos situarla en del marco epistemo-lógico que hemos propuesto como apropiado para la investigación social y que hemosdefinido en términos de contextos/mecanismos/regularidades. Consideramos que lasescuelas constituyen organizaciones insertas en un contexto a cuyas necesidades edu-cativas debe dar respuesta. Con tal fin ponen en marcha determinados mecanismos––proyectos, programas, sercicios, etc…— a través de los cuales esperan transformaralgunas características del contexto.

Partiendo de estos supuestos, hemos efectuado una aproximación sistémica en laque tratamos de integrar los distintos enfoques y dimensiones que consideramosimportantes para abordar un proceso de evaluación o revisión de la calidad de un cen-tro educativo que intentamos plasmar en el siguiente diagrama.


Nuestro modelo se fundamenta sobre cuatro criterios que consideramos básicos ala hora de formular juicios de valor sobre una institución educativa, y que podemosconcretar en los siguientes interrogantes:

A.— ¿El centro escolar tiene establecidas las metas de forma clara y pública, yson pertinentes y adecuadas respecto a las necesidades del alumnado?

B.— ¿Los programas educativos del centro, las estructuras de gobierno y fun-cionamiento de la institución, y la utilización de sus recursos humanos,económicos y físicos están organizados adecuadamente para poder alcan-zar las metas propuestas?

C.— ¿El centro cumple sus propósitos?D.— ¿El centro puede seguir mejorando sus prestaciones a la sociedad?Entendemos que la evaluación debe dar respuesta a estos cuatro interrogantes que

consideramos fundamentales para valorar la calidad de una institución educativa. Porello, el modelo que presentamos se estructura en cuatro modalidades evaluativassobre los centros escolares que aluden directamente a cada uno de los criterios formu-lados aunque —lógicamente— la evaluación global de una institución exige la inte-gración de todas ellas.

5.1. Evaluación de las Metas y Objetivos Educativos del Centro

El primer criterio que consideramos fundamental para evaluar un centro escolar esla calidad de las metas y objetivos que se propone alcanzar. Entendemos que existecierta confusión en relación a los criterios que determinan la calidad de una institu-


ción. Frecuentemente se alude a factores relativos al input y los procesos sin tener encuenta que el factor más importante son los aprendizajes (conocimientos, actitudes,destrezas, valores, etc…) que se pretende que adquieran los alumnos a corto y largoplazo. Como ya hemos dicho, los centros escolares formulan estas metas en términosde los objetivos educativos —prescriptivos y discrecionales— con los que tratan de darrespuesta a las necesidades reales y potenciales de la diversidad presente en un termi-nado contexto social.

El análisis es muy sencillo. Ante una realidad concreta la administración y el cen-tro dan una respuesta educativa formulando una serie de objetivos o metas a alcanzarque se plasman en una serie de proyectos curriculares y la asignación de unos recur-sos. La primera tarea a la hora de evaluar un centro es comprobar en que medida estasmetas asumen la doble perspectiva —normativa y discrecional— de la que venimoshablando y si los objetivos propuestos son factibles y operativos. Evaluaremos si sonfactibles en función de los medios y recursos disponibles y comprobaremos su opera-tivización analizando si están identificados de forma clara y precisa y se especifican losindicadores a utilizar para su medición.

Este tipo de evaluación inicial sobre las metas de los centros actualmente no existe.Los proyectos educativos y curriculares son considerados en los centros como «pape-les de trámite» que nadie valora ni considera criterio de referencia para la evaluación.Ni los centros negocian con la administración la calidad de los proyectos en función delos recursos de los que disponen ni la administración supervisa adecuadamente estosproyectos a fin de que respondan a las necesidades del contexto. Los representantes delos usuarios/clientes no intervienen en este proceso. De ahí que la mayor parte de lasveces los objetivos de estos proyectos se formulan de forma retórica y con un lengua-je impreciso por lo que no sirven como criterio de referencia para la evaluación.

Esta ambigüedad en el proceso de elaboración de objetivos resulta políticamenteútil tanto a la administración como al profesorado ya que permite llegar a compromi-sos sobre la base de intereses divergentes que no llegan a explicitarse (Ballart 1992) altiempo que les deja las manos libres para posteriormente culpabilizar del fracaso alotro. Desde nuestro punto de vista existe un error de partida que debemos reconducirya que si inicialmente no hay claridad y consenso entre las partes en relación con lasmetas a lograr y la forma de evaluarlas todos los demás aspectos a considerar en unaevaluación pierden coherencia. Se necesita concretar previamente la calidad de los pro-ductos (aprendizajes) que queremos alcanzar.

Así pues, la finalidad de esta evaluación inicial se orientará a estimar la calidad de losobjetivos que se propone alcanzar un centro en cada uno de sus niveles o ciclos educati-vos. Ahora bien, esto no será posible sino se especifican previamente los aprendizajesconcretos que acreditan que un alumno ha alcanzado un nivel formativo determinado ylos indicadores a través de los cuales podemos comprobar la calidad de esa formación.La evaluación, por tanto, consistirá esencialmente en un proceso para comprobar si losobjetivos cumplen con los requisitos y criterios de calidad que debe garantizar toda ins-titución (quality control). La falta de diálogo entre la administración e instituciones cons-tituye la principal dificultad para llevar a cabo esta evaluación previa.


5.2. Evaluación de la calidad de los procesos de gestión de las enseñanzas

Una vez establecidos los objetivos educativos a alcanzar, los centros escolares tie-nen que asumir la función de diseñar y aplicar programas educativos para alcanzarestos objetivos. Tal como se expresa en la normativa vigente «la principal finalidad delos centros escolares es la enseñanza para el aprendizaje de los alumnos». La calidadde una institución estará, por tanto, en función del tipo de programas de enseñanzaque diseña y la forma de gestionar los procesos y recursos que emplea para llevarlos acabo.

Los centros escolares constituyen organizaciones que gestionan y ofrecen «servi-cios de enseñanzas» que pueden tener mayor o menor calidad. Como ya hemos dichoanteriormente, partiendo de los objetivos establecidos cada institución planifica suoferta educativa tanto en relación a los contenidos a trasmitir como a las estrategias autilizar en los procesos. De ahí que todos los elementos que intervienen en la organi-zación y funcionamiento de un centro cobran sentido en la medida que contribuyena que las enseñanzas impartidas sean más efectivas. La calidad en la gestión de losprocesos constituye, por tanto, un condicionante clave para obtener aprendizajes demayor calidad.

De ahí que el segundo objetivo de la evaluación de los centros se deba orientar aestimar la calidad de los proceso de gestión (quality management) que realiza el cen-tro y que, a título de aproximación, podemos agrupar en las siguientes tareas:

a) en la elaboración del proyecto educativo, los proyectos curriculares de ciclo y/onivel y el resto de programas y servicios que ofrece el centro.

b) en la adecuación de las estructuras organizativas y los sistemas de gestión y coor-dinación dentro de la institución para que la implementación de los proyectos, pro-gramas y servicios elaborados se lleve a cabo tal como estaba prevista.

c) en la eficiencia con que el centro gestiona los recursos —humanos, materiales ytécnicos— disponibles y los utiliza en el desarrollo de las enseñanzas.

5.3. Evaluación de la calidad de los aprendizajes consolidados a corto y lar-go plazo

Si consideramos que la existencia de los centros educativos se justifica en funcióndel aprendizaje de los alumnos, la evaluación de las instituciones debe asumir comoun criterio preferente la estimación de la cantidad y calidad de sus resultados. Dadoque cada centro tiene que efectuar una planificación de los objetivos normativos y dis-crecionales a alcanzar en cada ciclo y nivel, es lógico que en la evaluación de los apren-dizajes se utilice como criterio de referencia la propuesta elaborada por la propiainstitución. De ahí que sea fundamental en toda evaluación de centros comprobar lacalidad de los aprendizajes adquiridos por los alumnos en relación a los objetivos pre-vistos; es decir, un control de calidad sobre el producto.

Ahora bien, no todos los resultados del aprendizaje tienen efectividad a cortoplazo, especialmente cuando se planifican objetivos desde una perspectiva social.Cabe, pues, distinguir entre resultados de carácter individual y resultados comuni-


tarios o colectivos que por su propia naturaleza se manifiestan en el tiempo (McMacpherson 1996). De ahí la necesidad de que la evaluación también contemple laevaluación de resultados a largo plazo (outcomes). Aunque los instrumentos paraestimar resultados a corto y largo plazo son similares —datos estadísticos, pruebasstandarizadas, escalas de funcionamiento y satisfacción de los clientes (Martin yKettner 1996)— la diferencia fundamental es que las evaluaciones a largo plazoaportan «pruebas» mucho más importantes para estimar la calidad de una institu-ción aunque, como ya hemos dicho, su obtención normalmente entraña serios pro-blemas metodológicos.

No obstante, queremos insistir que la valoración de los resultados obtenidos por losalumnos constituye uno de los pilares de la evaluación de centro educativo que nopuede ser marginado. Debemos comprobar si el centro cumple sus propósitos. El prin-cipal fallo que han tenido los modelos evaluativos conocidos como revisiones basadasen la escuela (school based review) ha sido precisamente la poca atención que hanprestado a los resultados. De ahí que los modelos más conocidos dentro de este enfo-que —GRIDS, IDP, SAS— sean muy criticados por el escaso énfasis que ponen a lahora de planificar estrategias de mejora sobre actividades orientadas a potenciar losaprendizajes (Reynolds y al. 1996).

5.4. Evaluación de los sistemas establecidos para promover el desarrolloorganizacional de los centros

Finalmente, si tenemos en cuenta que hemos conceptualizado a los centros educa-tivos como «organizaciones» que gestionan procesos de enseñanza para el aprendiza-je también deberemos abordar en la evaluación la calidad de la propia institución entanto que organización. El centro escolar constituye una estructura intermediaria entreel contexto y las enseñanzas que reciben los alumnos. En la medida que una institu-ción educativa —en tanto que organización social— tiene más claro cual es su papel ypone los medios para que su estructura y funcionamiento coopere en esta tarea, le serámás fácil diseñar y llevar a cabo programas y servicios de calidad. Ello significa que lacalidad de los programas de enseñanza que imparte una institución depende de la cali-dad que la propia institución tiene en tanto organización social.

El problema radica en que es muy difícil promover la calidad en el funcionamien-to de una institución desde fuera. Son los propios miembros de una institución quie-nes deben tomar conciencia de que necesitan mejorar su organización y poner losmedios adecuados para ello. De ahí que, al igual que sucede en todas las organizacio-nes, los centros educativos deben introducir procesos de revisión sistemática y meca-nismos de autocontrol que les permitan mejorar el funcionamiento de su organizacióny así poder gestionar enseñanzas con más calidad. Evaluar los centros en tanto queorganizaciones significa esencialmente revisar los sistemas de autocontrol que tieneestablecidos para asegurar su adecuado funcionamiento (quality assurance) ya que, enla medida que estos funcionen adecuadamente, será más fácil detectar y corregir losproblemas importantes que tiene la institución.


Si globalizamos estas cuatro perspectivas de análisis sobre los centros escolares––evaluación de las metas, evaluación de los procesos de gestión, evaluación de losresultados y evaluación de los sistemas para mejorar la institución en tanto que orga-nización— el modelo resultante podría quedar estructurado en estos términos:

Como se puede ver, nuestro planteamiento sobre la evaluación de centros escolaresse fundamenta en una concepción sistémica de las instituciones educativas en tantoque organizaciones que facilitan programas y servicios educativos a colectivos condeterminadas características y necesidades sociales. Los objetivos de la evaluacióndeben tener en cuenta tanto la organización como los programas que diseña y aplica.Nuestra propuesta es que la evaluación de la calidad de una institución exige la inte-gración de las tres perspectivas de análisis propias de todo programa —metas/proce-dimientos/resultados— y las relativas a la misma organización, aunque cada uno deestos procesos pueden ser efectuados separadamente, ya que tienen su propio sistemade autorregulación.

Aunque partimos de la afirmación de que todas estas modalidades de evaluaciónde la calidad de un centro escolar son igualmente necesarias e importantes, si tenemosen cuenta la evolución del propio concepto de calidad aplicado a las organizaciones,cabe esteblecer cierto ordenamiento cronológico entre ellas. Utilizando este criteriopresentamos el siguiente diagrama, basado en el que propone Sallis (1993), en el quese relacionan como han ido evolucionando los conceptos de calidad en relación con lasinstituciones educativas así como las implicaciones que se derivan de estos procesosevaluativos para la mejora:


Aunque inicialmente todos podemos asumir este esquema, las divergencias pue-den surgir cuando se plantea si estas evaluaciones se deben efectuar por agentes inter-nos o externos a la propia institución. El carácter contextual que debe tener todaevaluación de servicios sociales hace que nos inclinemos a favor de la evaluación inter-na lo que significa que consideremos que la responsabiidad en la iniciativa y la ejecu-ción de la tarea evaluadora debe recaer sobre la propia institución. Tal como ya hemosavanzado consideramos que, sólo en la medida que las instituciones educativas se con-sideren organizaciones que necesitan aprender, cobra sentido la utilidad de la estrate-gia evaluativa como herramienta para la mejora. La evaluación externa, especialmentecuando no es reclamada desde la institución, adquiere un significado de auditoría.

6. LA EVALUACIÓN INSTITUCIONAL COMO HERRAMIENTA PARA LAMEJORA DE LOS CENTROS EDUCATIVOS

6.1. Supuestos a tener en cuenta:

El discurso que hemos avanzado hemos ido exponiendo algunos de los condicio-nantes en los que se enmarca actualmente la evaluación de los centros educativos.Consecuentemente el modelo evaluativo a proponer debe tener en cuenta ciertosrequisitos y supuestos que consideramos fundamentales:


1.— Los centros escolares son organizaciones sociales que están llamadas inequí-vocamente a mejorar con el fin de ofrecer servicios de calidad a la comunidad. Inde-pendientemente del concepto de escuela que se mantenga, todos podemos coincidir enque prestar un buen servicio a la sociedad constituye el objetivo prioritario y perma-nente de todas las políticas públicas relativas a la educación.

2.— El concepto de mejora aplicado a las instituciones educativas debe entendersecomo un proceso y como tal, aunque puede ser sometido a cierta planificación, no pue-de ser explicado utilizando exclusivamente modelos racionales como si se tratara deun fenómeno lineal. El desarrollo de una institución exige una planificación pero nocabe esperar que toda planificación genere las mejoras previstas.

3.— El requisito fundamental para que un plan de mejora sea efectivo es que la ins-titución tome conciencia corporativamente de que constituye una «organización deaprendizaje» y establecer un proceso constante de revisión que facilite su desarrollo.La planificación del desarrollo de la escuela constituye el camino apropiado para intro-ducir cambios dentro de la organización.

4.— El proceso del desarrollo institucional debe conceptualizarse de una formacíclica: la toma de conciencia sobre la realidad de una institución debe llevarnos a ela-borar planes estratégicos que una vez implementados en las instituciones deberán serevaluados con el fin de valorar los resultados y reiniciar nuevos proyectos. La secuen-cia, por tanto, en la que debemos situar la mejora de las instituciones se establece enestos términos: diagnóstico, planificación, desarrollo y evaluación.

5.— La evaluación constituye la herramienta que dinamiza el proceso de mejora yaque tanto es necesaria en la etapa previa en el momento de efectuar un diagnósticosobre la institución como en la fase final para comprobar los resultados. No obstante,dado el carácter cíclico de todo proceso de desarrollo, no procede considerar las dosfinalidades clásicas de la evaluación —accountability e improvement— como funcio-nes contrapuestas ya que no sólo son compatibles sino claramente complementarias.

6.— Las instituciones educativas tienen que tomar conciencia que constituyen orga-nizaciones sociales que tienen que facilitar servicios educativos adaptados a las nece-sidades de un contexto. Por ello tienen que cambiar la oferta indiscriminada porprogramas elaborados en base a objetivos comunes y discrecionales que respondan alas necesidades de un alumno heterogéneo, y negociar con la administración con el finde establecer de mútuo acuerdo los niveles que deberá alcanzar un sujeto al finalizarcada etapa o ciclo educativo.

7.— La autonomía en la gestión constituye el principio fundamental que posibilitaque las instituciones elaboren y desarrollen programas adaptados al contexto y utili-cen eficientemente los recursos. En la medida que tal autonomía no existe, no se pue-de responsabilizar únicamente a las instituciones del funcionamiento de los centros.Por ello, parece urgente establecer un nuevo marco legal que canalice las relacionesentre la administración y los centros educativos.

8.— La elaboración de modelos sobre las evaluación de centros debe efectuar des-de un enfoque sistémico que integre todas las dimensiones que definen la calidad delos programas sociales así como las perspectivas de análisis características de las tres


audiencias que tienen una mayor implicación sobre la actividad de las escuelas: laadministración, el profesorado y los alumnos.

9.—Ante las dificultades y limitaciones que presentan los modelos evaluativosestructurados con un enfoque economicista y sociológico sobre función de las escue-las, procede avanzar en el diseño de modelos recursivos que, fundamentados sobre unparadigma mediacional-educativo de los procesos de escolarización, se puedan for-malizar a efectos de su posterior verificación.

10.— Finalmente, conviene insistir en que los modelos y diseños evaluativos sobrelas instituciones educativas, en tanto que persiguen finalidades que no son incompati-bles, tienen que asumir e integrar como marco de referencia para recoger y analizar lainformación necesaria para la evaluación la utilización de los dos paradigmas meto-dológicos —cuantitativo y cualitativo— que hasta la fecha se vienen empleando deforma excluyente.

De esta secuencia de condiciones o requisitos a tener en cuenta a la hora de esta-blecer un modelo de evaluación de los centros educativos se puede concluir dos obser-vaciones muy importantes. De una parte, cada institución tiene que tomar concienciaque tiene que desarrollarse y que la evaluación constituye la herramienta clave paraincidir sobre la mejora. De otra, dada la pluralidad de perspectivas de análisis, todoslos procedimientos metodológicos que existen para evaluar los centros escolares––acreditación, auditorías, autoestudios, indicadores, etc… que ya hemos analizado enotras ocasiones (De Miguel, Mora y Rodríguez 1991, De Miguel 1997)— son inicial-mente adecuados siempre que, en cada caso, se utilice aquél que más se ajusta al obje-tivo que pretende alcanzar en cada caso.

Nuestra propuesta es que todas las audiencias pueden y deben intervenir en la eva-luación de los centros. Ahora bien, si el objetivo es promover la mejora, la instituciónescolar es la que debe asumir la responsabilidad de organizar y controlar el proceso.En este caso, el procedimiento más apropiado para realizar una evaluación orientadahacia la mejora es el que se conoce como «evaluación institucional». Ésta es la conclu-sión a la que llegan actualmente la mayor parte de los autores que se ocupan del tema(Nevo 1995, Stoll y Fink 1996).

6.2. Principales parámetros de la evaluación institucional

El concepto de evaluación institucional (De Miguel, Mora y Rodríguez 1991,Vroejenstinjn 1994, Rodríguez 1995, Vught y Westerheijden 1995) constituye un modeloque postula la integración de distintas modalidades de la evaluación que habitualmentese presentan como alternativas. De una parte, asume que el proceso debe ser autorregu-lado por la propia institución pero no excluye la participación en el proceso de otros eva-luadores ya que se considera que la revisión interna adquiere credibilidad en la medidaque es contrastada externamente. De otra, considera que en el proceso se deben conju-gar los datos obtenidos sobre la institución como los juicios que se formulan los exper-tos externos lo que supone, igualmente, la integración de dos estrategias metodológicasdiferentes: la utilización de indicadores y las revisiones por colegas (peer review).


No obstante, lo que realmente define este concepto es una aproximación compresi-va a las instituciones educativas como un todo, abordando tanto procesos como resul-tados, la eficacia y la mejora, la calidad de la gestión y los procedimientos establecidospara asegurar la misma. La evaluación institucional asume, por tanto, las diversasperspectivas de análisis que hemos señalado anteriormente al considerar como objeti-vos de la evaluación de los centros escolares desde un triple enfoque: quality control,quality management y quality assurance. Ahora bien, lo importante es que todos estosprocesos son dirigidos y controlados por la propia institución, lo que la distingue deotras modalidades evaluativas —quality audit y quality assessment— donde la res-ponsabilidad recae sobre órganos externos a la misma (Rodríguez 1995).

A efectos de clarificar las diversas estrategias metodológicas que implica un proce-so de evaluación institucional, últimamente diversos autores han elaborados modelosen los que se plasman las distintas fases y procedimientos que encierran esta modali-dad evaluativa (House 1993, Van Vught 1995, Westerheijden 1996). En este mismo even-to, el profesor Rodríguez Espinar presenta un modelo comprensivo de esta estrategiaevaluativa que, aunque inicialmente está elaborado para la enseñanza universitaria, susparámetros básicos son aplicables a las instituciones que imparten enseñanzas de ciclosanteriores.

El modus operandi que conlleva la aplicación de esta estrategia se define por lassiguientes fases:

6.2.1. Fase de Sensibilización y Preparación

Inicialmente los centros educativos tienen que tomar conciencia de que necesitanmejorar y que la evaluación constituye la estrategia que les puede ayudar en este pro-ceso. Asumido este principio, las instituciones deben clarificar qué pretenden alcanzara través de la evaluación y cómo van a llevar a cabo este proceso. Una vez que handecidido el alcance de la estrategia a implantar deberán proceder a preparar los recur-sos materiales y humanos necesarios para su realización así como las guías necesariaspara orientar el proceso. Especialmente deberán decidir el personal interno y externoa la institución que tendrá a su cargo el proceso evaluativo, así como el nombramien-to de las personas que tendrán a su cargo la dirección del proceso (Comité de Evalua-ción del centro).

6.2.2. Fase de Autoestudio

El proceso comienza con un autoanálisis sobre la realidad educativa de la institu-ción que permita efectuar un diagnóstico y valoración (assessment) sobre situaciónactual. El objetivo es llegar a que la propia institución tome conciencia, por un lado, desus fortalezas y debilidades y, por otro, de sus oportunidades y amenazas en relacióncon su desarrollo futuro (SWOT analysis). Lógicamente en este proceso deberán parti-cipar todas las audiencias implicadas en la institución a efectos de que el análisis refle-je «el sentir de la mayoría» por lo que la revisión no sólo debe fundamentarse en datose indicadores objetivos sino que también tiene que recoger las observaciones, opinio-


nes y valoraciones que hayan sido contrastadas (evidencias). Los aspectos fundamen-tales del autoestudio deben plasmarse en un documento —Autoinforme— que, unavez que haya sido validado, constituye el punto de partida para todo plan de mejoray, por tanto, un requisito imprescindible en este proceso.

6.2.3. Fase de Evaluación externa

La credibilidad de un autoestudio aumenta significativamente en la medida que essometido a revisión y contraste mediante una evaluación externa. La función de quie-nes realizan esta tarea será validar el autoestudio relizado para lo cual, partiendo delautoinforme elaborado, deberán recabar otros datos y opiniones sobre la instituciónademás de los que ellos mismos puedan recoger durante su visita a la misma. A la vis-ta de toda la información recabada emitirán su propio juicio sobre el contenido delautoinforme, el proceso realizado para la elaboración del mismo y sus propias valora-ciones y propuestas sobre la institución evaluada. Todo lo cual se plasmará, a su vez,en una documento o Informe Externo sobre la institución.

6.2.4. Elaboración y Difusión del Informe de Evaluación

A la vista de los dos informes elaborados —interno y externo— el Comité de Eva-luación de la institución confeccionará su propio Informe en el que recogerá los aspec-tos más importantes de las evaluaciones realizadas así como las propuestas que seformulan para el desarrollo de la institución. Además de la elaboración de este Infor-me, el Comité procederá a su publicidad y difusión entre las audiencias de manera quetodos los implicados tengan conocimiento de los resultados de la evaluación realiza-da. De esta forma el proceso garantiza la función de accountability que debe estar pre-sente en todo proceso evaluativo y el propio Informe adquiere credibilidad en lamedida que conocido por las partes.

6.2.5. Diseño del Plan de Mejora

Finalmente el ciclo evaluativo se cierra con el diseño de un plan de mejora para lainstitución. A la vista de los resultados y de las propuestas formuladas el centro edu-cativo debe elaborar un plan estratégico en relación con el futuro de la institución espe-cificando los objetivos a alcanzar a corto, medio y largo plazo, las acciones aemprender para alcanzar estos objetivos, la preparación de los recursos necesariospara su implementación y la previsión de los sistemas de control y evaluación con elfin de que el plan se lleve a cabo en los términos que había sido elaborado y se obten-gan los resultados que cabe esperar del mismo. Especialmente deberá especificar quie-nes deben asumir cada una de las acciones y tareas propuestas a efectos de clarificarcompetencias y responsabilidades.

A medida que se cierra un ciclo comienza otro nuevo proceso de evaluación vincu-lado al plan de mejora elaborado. De ahí que podamos plantear esta estrategia en for-ma de «espiral» tal como ya hemos avanzado anteriormente. Ahora bien, la forma y


cadencia de esta espiral no tiene por que ser siempre uniforme. Aunque en nuestro dis-curso hayamos descrito la evaluación institucional como una estrategia que engloba atodo el centro educativo eso no significa que la unidad de análisis objeto de revisióntenga que ser toda la institución. Se puede utilizar esta misma estrategia evaluativasobre distintos aspectos de las instituciones siempre que esten configurados en térmi-nos de programas de intervención.

De ahí que podemos utilizar esta metodología para evaluar cada uno de los niveleso ciclos de enseñanza que imparte un centro escolar —educación infantil, educaciónprimaria, educación secundaria, bachillerato, etc…— dado que cada uno de ellos pue-de y debe constituirse como una unidad de análisis de forma independiente aunque––lógicamente— existan factores organizativos comunes entre ellos. Cuando se pro-cede de esta forma, la evaluación o revisión de la calidad en sus tres dimensiones(quality control, quality management y quality assurance) toma como punto de refe-rencia las metas que la propia institución se propone alcanzar para cada uno de estosniveles y ciclos de enseñanza.

A MODO DE CONCLUSIÓN

Al margen del discurso efectuado, quisiera resaltar que en la elaboración del presen-te trabajo he tenido en cuenta tres criterios que me parecen básicos respecto a la evalua-ción de las instituciones educativas, y que considero procedente plantear a los miembrosde una comunidad de especialistas en metodología de la investigación educativa paraque entre todos reflexionemos sobre el tema. Estos criterios son los siguientes:

1.— En primer lugar, si asumimos una aproximación pluralista a los fenómenoseducativos fácilmente se intuye que las actitudes dogmáticas y exclusivistas no coope-ran al progreso de la ciencia. Los resultados de investigaciones recientes nos hacen verque no se pueden plantear los fines de las escuelas de forma dicotómica ni tampococoncebir los procesos de escolarización de forma lineal a modo de una función de pro-ducción. Entre las múltiples opciones posibles, consideramos que el marco adecuadopara el análisis de los centros escolares es el de organizaciones sociales que gestionanuna determinada oferta educativa.

2.— Desde esta perspectiva entendemos que los modelos a utilizar para evaluar lacalidad de las instituciones educativas, al igual que sucede con otros programas y servi-cios sociales, deben plantear los objetivos y criterios de la evaluación de forma compren-siva y considerar cada uno de los diversos procedimientos evaluativos como unaherramienta metodológica con sus ventajas e inconvenientes. Por ello es muy importantecaptar la finalidad del trabajo evaluativo a realizar en cada caso con el fin de seleccionarel modelo y el procedimiento apropiado. Si aceptamos los parámetros de la epistemolo-gía postmodernista, el apriorismo metodológico revela una actitud poco científica.

3.— Finalmente entendemos que, al margen de la teorías más o menos convincentesen relación con el funcionamiento de las escuelas, los procesos evaluativos a realizardeben dar testimonio de que es posible la integración de planteamientos que abordanla realidad de los centros educativos con enfoques divergentes (eficacia/mejora), fina-


lidades distintas (accountability/improvement) y estrategias metodológicas y técnicasevaluativas basadas en paradigmas que habitualmente se tiende a presentar comoopuestos (cuantitativo y cualitativo). Nuestra labor en este sentido puede ser muyimportante.

Las escuelas necesitan planes de desarrollo. Para su elaboración necesitamos análi-sis realistas de las necesidades concretas que tiene cada institución. Aunque la litera-tura en relación con la mejora está cargada de conceptos y propuestas la mayoría deestas no son aplicables a la realidad educativa de cada institución. No podemos utili-zar las teorías pedagógicas de moda para elaborar planes de desarrollo para escuelasconcretas ya que los discursos entre ambos niveles son claramente distintos. La eva-luación constituye la herramienta que nos permite detectar las necesidades reales deuna institución a partir de las cuales deberemos establecer los planes de mejora. De locontrario, el proceso estaría descontextualizado.

Consideramos que la evaluación institucional constituye la estrategia apropiadapara incidir en este desarrollo en la medida que implica una recogida de informa-ción —datos y opiniones contrastadas— para formular juicios de valor sobre el dise-ño de los proyectos y programas, la organización de las enseñanzas, el desarrollo delos procesos de educativos y los resultados obtenidos en relación con los objetivosque pretende alcanzar en cada uno de sus niveles o ciclos, con el fin de reconocer lacalidad de la institución y proponer acciones para su mejora. En definitiva, evaluarcómo un centro escolar gestiona su oferta educativa y cómo funcionan los mecanismosque tiene establecidos para asegurar la mejora de su organización.

REFERENCIAS BIBLIOGRÁFICAS

Aspinwal, K. y Al. (1992). Managing Evaluation in Education. London, Routledge.Ballart, X. (1992). ¿Cómo evaluar programas y servicios públicos? Madrid, Ministerio de

Administraciones Públicas (MAP).Bartolomé, M. y Otros. (1991). «Análisis de los modelos institucionales de evaluación

de centros de Cataluña». R. I. E. 17, 103-118.Bollen, R. (ed.) (1993). Educational Change Facilitators. Utrecht, NCSI.Brinkerhoff, R. y Dressler, D. (1990). Productivy measurement: A guide for managewrs and

evaluators. Newbury Park, CA: Sage.Bryk, A. y Raudenbush, S. (1988). «Toward more appropriate coneptualization of

research on school effects:A three-level hierarchical linear model». AmericanJournal of Education, 97, 65-108.

Capper, C. y Jamison, M. (1993). «Let the Buyer Beware: Total Quality managementand Educational Research and Practive». Educational Researcher, 22 (8) 25-30.

Castejon, J. (1994). «Estabilidad de diversos índices de eficacia de los centros educati-vos». Revista de Investigación Educativa, 24, 45-60.

Clark, B. (1983). The Higher Education System, Academic Organization in Cross-NationalPerspective. Berkeley, University of California Press.

Cheng, Y. (1993). «Conceptualization and measurement of shool effectiveness: Anperspective organizational». Paper presented at AERA annual meeting. Atlanta, GA.


Consejo de Universidades. Plan Nacional de Evaluación de la Calidad de las Universidades.Madrid, Ministerio de Educación/Secretaría General.

Cooper, H. y Hedges, L. (eds.). (1994). The handbook of research synthesis. New York, Sage.Cotton, K. (1995). Effective schooling practices: A research synthesis. School improvemente

research series. Northwest Regional Laboratory.CRE. (1997). Institutional Evaluation as o tool for Change. Géneve, Association of Euro-

pean Universities (Doc. nº 3).Davies, B. y West-Burnham, J. (1997). Reengineering and Total Quality in Schools. London,

Pitman.De Miguel, M. (1989). «Modelos de Investigación sobre Organizaciones Educativas».

Revista de Investigación Educativa, 7 (13), 21-56.De Miguel, M. (1989 b). «Diseños sobre el cambio institucional». Actas del IX Congreso

Nacional de Pedagogía. Salamanca, SEP/Diputación.De Miguel, M. y otros (1994). La evaluación para la calidad de los institutos de educación

secundaria. Madrid, Ed. Escuela Española.De Miguel, M. (1995). «La calidad de la educación y las variables de proceso y de pro-

ducto». Donostia, Eusko Ikaskuntza, Cuadernos de Educación 8, 29-51.De Miguel, M. (1997). «La evaluación de centros escolares». Actas de las VII Jornadas

sobre la LOGSE. Granada, Facultad de C. de la Educación.Epstein, P. (1992). «Get ready: The time for performance measurement is finally

coming». Public Administration Review, 52, 513-519.Escudero, T. (1997). «Enfoques modélicos y estrategias en la evaluación de centros edu-

cativos» Relieve 3 (1) 1-15.Evans, I. G. (1995). Marketing for Schools. London, Cassell. Faerman, S. y Quinn, R. (1985). «Effectiveness: The perspective from organizational

theory». Review of Higher Education, 9, 83-100.Fernández, M. J. y González, A. (1997). Desarrollo y situación actual de los estudios de

eficacia escolar. Relieve 3 (1), 1-16.Foster, W. (1986). Patadigms and promises: New approaches to educational adminis-

tration. Búffalo, Prometheus.Foster, P. (1996). Observing Schools. London, Paul Chapman Publishing.Gallegos, A. (1994). «Metaevaluation of school evaluation models». Studies in Educa-

tional Evaluation, 20 (1), 41-54.Glickman, C. (1990). «Open accountability for the 90’s: between the pillards». Educa-

tional Leadership, 47 (7), 38-42.Gray, J. y al. (1996). Merging Traditions: The Future of research on school effectiveness and

improvement. London, Cassell.Greenwood, M. y Gaunt, H. (1994). Total Quality Management for Schools. London, Cassell.Grisay, A. (1996). Evolution des acquis cognitifs et socio-affectifs des eleves au courfs des

annes de college. Liège, Université de Liège.INCE. (1997). Evaluación de la Educación Primaria. Informe Preliminar. Madrid, Ministe-

rio de Educación/Secretaría de Estado de Educación.Hardie, B. (1995). Evaluating the Primary School. Plymouth, Northcote House Publiers.Hardie, B. (1996). Marketing in Primary School. Plymouth, Northcote House Publiers.


Hanushek, E. (1989). «The impact of differencial expenditures on school performance».Educational Researcher, 18, 45-65.

Hardie, B. (1995). Evaluating the Primary School. A practical guide to evaluation process.Plymouth, Northcote House.

Harvey, L. y Green, D. (1993). «Defining Quality». Assessment And Evaluation in HigherEducation, 18 (1).

Hedges, L., Laine, R. y Greenwald, R. (1996). «¿Importa el dinero? Un metaanálisis delos estudios sobre el efecto de las diferencias de recursos de las escuelas en losresultados escolares». En Grao, J. y Ipiña, A. (eds.). Economía de la Educación. Vito-ria, Publicaciones del Gobierno Vasco.

Hill, P. y al. (1995). SIIS: School Improvement Infvormation Service. Melbourne, UniversityPress.

Hill, P. y T. Rowe, K. (1996). Multilevel modelling in school effectiveness research.School Effectiveness and School Improvement, 7, 1-34.

Hopkins, D. (1989). Evaluation for shool development. London, Open University Press.House, E. 1993). Professional Evaluation. Social Impact and Political Consequences.

London, Sage.Levin, H. (1996). «Aumentado la productividad educativa». En GRAO, J. y IPIÑA, A.

(eds.). Economía de la Educación. Vitoria, Publicaciones del Gobierno Vasco.Levine, D. y Lezotte, L. (1990). Unusually effective schools: An review and analysis of

research and practice. Madison, WI/CESRD.Martin, L. y Kettner, P. (1996). Measuring the Performance of Human Service Programs.

London, Sage/SHSG.Martin, L. (1993). Total Quality Management in Human Service Organizations. Newbury

Park, Sage.Mc MacPherson, R. (1996). Educative Accountability. Oxford, Pergamon.Nevo, D. (1995). School-based evaluation. Oxford, Pergamon.OCDE. (1995). Educatrion at a Glance: OCDE indicators. Paris, OCDE.Odden, A. y Clune, W. (1995). «Improving Educational Productivy and School Finance».

Educational Researcher, 24 (9), 6-10.Pawson, R. y Tilley, N. (1997). Realistic Evaluation. London, Sage.Postlethwaite, T. y Ross, K. (1992). Effective school in reading. Implications for educa-

tional planners. The Hague, IEA.Raudenbush, S. y Willms, J. (1995). «The estimation of school effects». Journal of Educa-

tional and Behavioral Statistics, 2094), 307-335.Reyes, P. (ed.) (1990). Teachers and their workplace. London, Sage.Reynolds, D. y Cuttance, P. (1992). Shool effectiveness, research, policy y practice. London,

Cassell.Reynolds, D. y Stoll, L. (1996). «Merging shool effectiveness and shool improvement:the

knowledge base. En Reynolds, D. y al. Making Good Schools. London, Routledge.Rodríguez, S. (1995). «La evaluación de la enseñanza universitaria». En Ooroval, E.

(ed.). Planificación, Evaluación y Financiación de los Sistemas Educativos. Barcelona, Ed.Civitas.

Sallis, E. (1996). Total Quality Management in Education. London, Kogan Page.


Sammons, P. y al. (1995). Key characteristics of effective shools. A review of school effective-ness research. London, OFSTED.

San Fabian, J. (1996). «¿Pueden aprender las escuelas? La autoevaluación al serviciodel aprendizaje organizacional». En Investigación en la Escuela, 39, 41-51.

Scheerens, J. (1992). Effective schooling, researcha, theory and practice. London, Cassell.Scheerens, J. (1996). «¿Puede la base del conocimiento de la eficacia docente guiar la

dirección de los centros?». En Villa, J.: La dirección participativa y evaluación de centros.Bilbao, El Mensajero, pp. 779-805.

Scheerens, J. y Bosker, R. (1997). The Foundations of Educational Effectiveness. Oxford,Pergamon.

Secada, W. (ed.). (1989). Equity in Education. Philadelphia, Falmer.Slavin, R. (1996). Success for all. Lisse, Swets and Zeitlinger.Stoll, L. y Fink, D. (1996). Changing our Schools. Buckinghan, Open University Press.Stoll, L. y al. (1996). «Merging school effectiveness and school improvement: practical

examples». En Reynolds, D. y al. Making Good Schools. London, Routledge.Stufflebeam, D. (1994). «Recommendations for improving evaluations in U.S. public

school». Studies in Educational Evaluation, 20 (1) 3-21.Termes, R. (ed.) (1996). Libro Blanco sobre la Economía Española. Madrid, Instituto Supe-

rior de Estudios Empresariales.Valli, L. Cooper, D. y Frankes, L. (1997). «Professional Development Schools and

Equity: A Critical Analysis of Rhetoric and Research». Review of Research in Educa-tion, 22, 251-304.

Vroejenstinjn, T. (1994). Improvement and Accountability: navigating between Scylla andCharybdis. London, Jessica Kingsley.

Vught, F. (1995). Management for quality. Paris, OCDE.Vught, F. y Westerheijden, D. (1995). Evaluation institutionnelle et gestion de la qualité.

Géneve, Programme C.R.E.Wang, M., Haertel, G. y Walberg, H. (1993). Toward a knowledge base for school lear-

ning. Review of Educational Research, 63, 249-294.Webster, W., Mendro, R. y Almaguer, T. (1994). «Effectiveness Indices: A «value added»

approach to measuring school effect». Studies in Educational Evaluation, 20, 113-145.Westerheijden, D. (1996). Use of Quality Assessment in Dutch Universities. En Maas-

sen, P. y Van Vught, F. (eds.). Inside Academia. New challenges for the academic profes-sion. Enschede, CHEPS.

Wilson, W. (1994). «Crisis and challenge: Race and the new urban poverty». Universityof Chicago Record, 29 (2), 2-7.

Wolfe, A. (1989). Whose Keeper? Social science and moral obligation. Berkeley, Universityof California Press.

Zeichner, K. (1991). «Contradictions and tensions in the professionalization of teachingand the democretization of schools». Teachers College Record, 92, 363-379.

LA EVALUACIÓN DE LOS CENTROS EDUCATIVOS. …...La evaluación de los centros educativos. Una...

Documents

Transcript of LA EVALUACIÓN DE LOS CENTROS EDUCATIVOS. …...La evaluación de los centros educativos. Una...