La Categoría Precisión en la Meta-evaluación: … · este sentido las listas de chequeo son...

RESUMENEste artículo trata de la

categoría precisión de unaverdadera evaluación en elámbito de la evaluación y dela meta evaluación (evalua-ción de la evaluación). Pre-senta, inicialmente, la con-ceptuación moderna de laevaluación y de la meta eva-luación para, entonces, dis-cutir el papel de la meta eva-luación de asegurar la cali-dad de un proceso evaluati-vo, en sus diferentes enfo-ques, a partir de las cuatrocategorías de una verdade-ra evaluación (utilidad, via-bilidad, ética y precisión). Laénfasis del artículo está en lacategoría precisión: (i) suimportancia en una metaevaluación, en todas las fa-ses o etapas de una evalua-ción, con sus avances y suslimitaciones y; (ii) su aplica-

La Categoría Precisión en la

Meta-evaluación: Aspectos Prácticos y

Teóricos en un Nuevo Enfoque1

Ana Carolina Letichevsky

Marley Maria B. R. Vellasco

Ricardo Tanscheit

Reinaldo Castro Souza

Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v.13, n.47, p. 255-268, abr./jun. 2005

Informes e Participações

Ana Carolina Letichevsky

Doutoranda em Métodos de Apoioà Decisão do Depto. de

Engenharia Elétrica da PUC-RJAssessora Técnica Estatística

da Fundação CesgranrioProfessora da PUC-RJ

[email protected]

Marley Maria B. R. Vellasco

Doutora pela UniversityCollege London, Inglaterra

Professora do Depto. deEngenharia Elétrica da PUC-RJ

[email protected]

Ricardo Tanscheit

Doutor pela Queen Mary

College, Inglaterra

Professor do Depto. deEngenharia Elétrica da PUC-RJ

[email protected]

Reinaldo Castro Souza

Doutor pela University ofWarwick, Inglaterra

Professor do Depto. deEngenharia Elétrica da PUC-RJ

[email protected]

1 Este artículo es una adaptación del artículo presentado en la Primera Conferencia de la Red de Seguimiento, Evaluación ySistematización en América Latina y el Caribe (ReLAC), realizada en octubre de 2004.

ción en la propia meta eva-luación que, como procesoevaluativo, también debe res-petar los cuatro patrones deuna verdadera evaluación.En este contexto se presen-tan aspectos teóricos y prác-ticos que merecen atenciónen la negociación, en el di-seño, en la implantación y enla dirección de una metaevaluación cuando se discu-te, incluso, el paradigma deltratamiento de los datos deuna meta evaluación a tra-vés de la lógica clásica y node la lógica fuzzy. Tambiénse presenta una propuesta demetodología para realizarmeta evaluación con base enla lógica fuzzy.Palabras-clave: Metaevaluación. Evaluación.Categoría precisión. Lógi-ca fuzzi.

Ana Carolina Letichevsky, Marley Maria B. R. Vellasco,

256 Ricardo Tanscheit e Reinaldo Castro Souza


RESUMOA Categoria Precisãona Avaliação e naMeta-avaliação:Aspectos Práticos eTeóricos em um NovoEnfoque

Este artigo trata da categoria precisãode uma verdadeira avaliação no âmbitoda avaliação e da meta-avaliação(avaliação da avaliação). Apresenta,inicialmente, a conceituação modernada avaliação e da meta-avaliação para,então, discutir o papel da meta-avaliação de assegurar à qualidade deum processo avaliativo, nas suasdiferentes abordagens, a partir dasquatro categorias de uma verdadeiraavaliação (utilidade, viabilidade, ética eprecisão). A ênfase do artigo está nacategoria precisão: (i) a sua importânciaem uma meta-avaliação, em todas asfases ou etapas de uma avaliação, comseus avanços e suas limitações e; (ii) asua aplicação na própria meta-avaliaçãoque, enquanto processo avaliativo,também deve respeitar os quatropadrões de uma verdadeira avaliação.Neste contexto são apresentadosaspectos teóricos e práticos quemerecem atenção na negociação, nodesenho, na implantação e na conduçãode uma meta-avaliação quando sediscute, inclusive, o paradigma dotratamento dos dados de uma meta-avaliação através da lógica clássica enão da lógica fuzzy.Palavras-chave: Meta-avaliação.Categoria precisão. Avaliação. Lógicafuzzi.

ABSTRACTThe Category Precision inthe Evaluation and Meta-evaluation: Practical andTheoretical AspectsThis article deals with the categoryprecision of a true evaluation in thescope of evaluation and meta-evaluation(evaluation of evaluation). First, itpresents the modern conceptualization ofevaluation and meta-evaluation and thendiscusses the role of meta-evaluation toensure the quality of an evaluationprocess, in its different approaches, fromthe four categories of a true evaluation(utility, viability, ethics and precision). Theemphasis of the article is on the categoryprecision: (1) its importance in a meta-evaluation, in all the phases or stages ofan evaluation, with its advances and itslimitations and; (2) its application in themeta-evaluation itself which, while anevaluative process, must also follow thefour patterns of a true evaluation. In thissense, practical and theoretical aspectswhich merit attention in the negotiation,the design, the implementation and theconduction of a meta-evaluation arepresented, when the paradigm of thetreatment of the data of a meta-evaluation, through the classical logicand not the fuzzy logic, is discussed.Keywords: Meta-evaluation. Categoryprecision. Evaluation. Fuzzy logic.

IntroducciónActualmente la evaluación se entiende

como un proceso por el cual se emite unjuicio de valor respecto al foco u objeto queestá siendo evaluado; el ser humano es

La Categoría Precisión en la Meta-evaluación:

Aspectos Prácticos y Teóricos en un Nuevo Enfoque 257


capaz de evaluar personas, grupos, insti-tuciones, organizaciones, programas, sis-temas, procesos y una serie de otros aspec-tos. Siempre que se emite un juicio de valores necesario hacer uso de uno o más crite-rios, aunque estos no sean explícitos o cla-ros, como ocurre, frecuentemente, en eva-luaciones informales. Estas fueron realiza-das durante siglos, antes de la creación deprocedimientos formales para dirigir unaevaluación, y todavía se vienen utilizandohasta hoy, a causa de que “nacemos eva-luadores, pero no necesariamente buenosevaluadores” (STAKE, 2004).

Desde principios del siglo XX la evaluaciónse viene realizando por medio de técnicas, pro-cedimientos y métodos sistematizados que per-miten la dirección de un proceso evaluativoformal. A lo largo de un siglo de estudios estaevolucionó y pasó a ser entendida como unproceso documentado de recogida sistemáti-ca de datos e información precisa y relevantepara responder a cuestiones que surgían a prioriexplicitando los criterios de excelencia que per-miten la emisión de un juicio de valor con re-lación (i) al mérito de su foco de atención (entérminos de calidad interna de sus componen-tes y de su funcionamiento) y (ii) a la relevan-cia (que se refiere a sus efectos y a su resulta-do, en términos de su impacto), con el intuitode fornecer subsidios para la mejora del focoevaluativo y para la tomada de decisiones per-tinentes (PENNA FIRME, 1998).

La evaluación de un proceso evaluati-vo se denomina meta evaluación y debeser realizada con base en las cuatro cate-gorías que añaden los treinta patrones deuna verdadera evaluación (JOINT COM-MITTEE ON STANDARDS FOR EDUCATIO-NAL EVALUATION, 1994). La meta evalua-ción puede ser dirigida de diferentes for-

mas, pero frecuentemente se utiliza la listade chequeo (del inglés checklist) como ins-trumento de recopilación de datos. Y, comoen cualquier proceso que implique recopi-lación de dados, la calidad de informacióny la adecuación del tratamiento de esta in-formación merecen especial atención. Eneste sentido las listas de chequeo son ins-trumentos importantes para auxiliar la di-rección de una meta evaluación, pero espreciso estar atento para la utilización deformas adecuadas para la recopilación deinformación que subsidien su registro, asícomo para el tratamiento adecuado de losdatos recopilados por las mismas.

Meta evaluaciónLa preocupación en crear patrones (prin-

cipios obtenidos a través de consenso entrepersonas involucradas en la práctica de laevaluación que, logren, garantizarán la ca-lidad de un evaluación) para realización deprocesos evaluativos es antigua y, tal vez,sea tan antigua como la preocupación conla evaluación. Es una tarea ardua no ape-nas por la dificultad técnica a ella inherente,sino principalmente, por la dificultad de sen-sibilizar, movilizar y obtener consenso juntoa los diferentes interesados pertinentes, deforma que se produzca un buen trabajo téc-nicamente y que se acepte por quien realizala evaluación, por quien es evaluado, porquien encarga la evaluación y por quien lautiliza. En los años 60, algunos evaluadoresde renombre como Scriven, Stake y Stuffle-beam comenzaron a discutir procedimientosy criterios formales de meta evaluación, su-giriendo lo que serían evaluaciones buenasy malas. Sin embargo, con el surgimientode diferentes listas de criterios para juzgar lacalidad de los procesos evaluativos los queencargaron evaluación, los que son evalua-




dos y los que evalúan comienzan a cuestio-narse la lista que deben utilizar. Ya por en-tonces la utilización de testes en la evalua-ción de programas educativos era una cues-tión que generaba discusión y demandabauna atención especial. Sin embargo fue tansólo en 1975 cuando se formó un comité,compuesto inicialmente por integrantes dela Asociación Americana de Sicología (Ame-rican Psychological Association), de la Aso-ciación Americana de Pesquisa Educativa(American Educational Research Associa-tion), y del Consejo Nacional de Medidasen Educación (National Council on Measu-ment Education) de los Estados Unidos y queluego incorporó profesionales de otras or-ganizaciones formando el Joint Committeeon Standards for Educational Evaluationpermitindo que, en 1981, se generase lapublicación Standards for Evaluations ofEducational Programs, Projects and Mate-rials (JOINT COMMITTEE ON STANDARDSFOR EUCATIONAL EVALUATION, 1981).

Más tarde se formó un nuevo comité,formado por profesionales de avaluación yrepresentantes de diferentes grupos de inte-rés de la comunidad más amplia (interesa-dos e involucrados de alguna forma en pro-cesos evaluativos), que revisó los patronesdesarrollados específicamente para el con-texto escolar haciendo una adaptación paraque estos pasasen a atender las evaluacio-nes de programas proyectos e instituciones,de cualquier naturaleza, desarrollando untrabajo que combinó algunos de los patro-nes que ya existían y añadió nuevos patro-nes. Este trabajo propició un conjunto detreinta patrones universales que deben,siempre que sean aplicables, estar presen-tes en la dirección de procesos evaluativos

realizados en cualquier área del conocimien-to. De esta forma, actualmente, los patro-nes ya son aplicados para evaluación: edu-cativa, de programas sociales, empresariale institucional, entre otras. Estos patronesson organizados en los cuatro atributoscaracterísticos (o categorías) que el comitécree que son necesarios y suficientes paraque se tenga una verdadera evaluación,conforme define el Joint Committee on Stan-dards for Educational Evaluation (1994,grifo nosso)2:

Utilidad: el patrón utilidad preten-de asegurar que una evaluaciónsupla las necesidades de informa-ción práctica de los usuarios pre-tendidos.Viabilidad: el patrón viabilidadpretende asegurar que una evalua-ción sea realista, prudente, diplo-mática y sencilla.Ética: el patrón ética pretende ase-gurar que una evaluación sea diri-gida legalmente, éticamente y conel debido respeto al bienestar delos involucrados, así como de aque-llos afectados por sus resultados.Precisión: el patrón precisión preten-de asegurar que la evaluación lo re-vele y transmita, técnicamente, infor-maciones adecuadas sobre las carac-terísticas que expresan el mérito o larelevancia del foco de atención.

Por consiguiente, el Joint Committee on Stan-dards for Educational Evaluation entiende queuna evaluación no se debe hacer (i) si esta noes útil para una determinada audiencia o pú-blico lo que se define en términos de identifica-ción de interesados, credibilidad del evaluador,selección y escopo de la información, identifi-

2 Los patrones están siendo actualizados este año y pronto será divulgada una versión actualizada de los mismos




cación de valores, claridad en el informe, pre-sentación (a tiempo), de los resultados, divul-gación e impacto de la evaluación; (ii) si nofuese viable llevarla a cabo de forma realista,prudente y diplomática, lo que se define en tér-minos de procedimientos prácticos, viabilidadpolítica y de costo beneficio y (iii) si no fueseposible asegurar que su dirección será legal yética, con el debido respeto al bienestar de losinvolucrados, lo que se define en términos deacuerdos formales y contratos, derechos huma-nos de los individuos, relaciones humanas, ve-rificación y aferición completa y justa, transpa-rencia de procedimientos y de resultados, so-lución de conflictos de interés y responsabili-dad fiscal. El orden de listado de estos atribu-tos no es accidental. El primero es la utilidad,pues si una evaluación no fuese útil, esta nodebe ser realizada. Caso este criterio sea aten-dido se observarán las condiciones para aten-der a los atributos de viabilidad y de ética ysolamente si estos tres atributos fuesen atendi-dos los evaluadores precisan (y deben) dedi-carse a la cuestión más técnica de buscar laprecisión en la colecta y en el tratamiento delos datos, que se define en términos de docu-mentación del programa, análisis contextual,descripción de propósitos y procedimientos, in-formación confiable, información válida, infor-mación consistente, información sistemática,análisis de información cuantitativa, análisis deinformación cualitativa, conclusiones justifica-bles, informe imparcial y meta evaluación.

“Cualquier proceso evaluativo será has-ta cierto punto tendencioso” (WORTHEN;SANDERS; FITZPATRICK, 1987). Cuando setraza un proceso evaluativo varios aspectos,tales como, cuestiones evaluativas, métodosy técnicas de recopilación de datos y quiénserán los respondientes, deben ser, desde el ini-cio, negociados con quien está encargado laevaluación y con representantes de los que se-

rán evaluados. Estas decisiones, de alguna for-ma, afectarán los resultados del proceso eva-luativo. Evaluadores y clientes precisan estar cons-cientes de las tendencias del proceso evaluati-vo, buscando, siempre que sea posible, mini-mizarlas, y, cuando esto no sea posible, relatar-las. Es justamente para minimizar el bies y ga-rantizar la calidad de un proceso evaluativo entodas sus etapas (decisión sobre la realizaciónde la evaluación, definición del propósito de laevaluación, diseño de la evaluación, recopila-ción de información, análisis de información,elaboración del presupuesto, elaboración delcontrato, coordinación, formación del equipo)que son dirigidas meta evaluaciones.

De la misma forma que se recomienda quelas evaluaciones se realicen en las perspecti-vas formativa y sumativa (SCRIVEN, 1967), lasmeta evaluaciones también se deben dirigir enestas dos perspectivas, que, de cierta forma,se complementan. La meta evaluación forma-tiva se dirige a lo largo del proceso evaluativo.Lo ideal es que su inicio coincida con el de laevaluación. La principal finalidad de la metaevaluación formativa es fornecer al equiporesponsable por dirigir el proceso evaluativoque está siendo sometido a la meta evalua-ción información útil para mejorar este pro-ceso mientras este aun está en curso. . Lameta evaluación sumativa se realiza al tér-mino del proceso evaluativo, buscando res-puestas conclusivas sobre su mérito y su re-levancia para los contratantes, usuarios yotros interesados en el proceso evaluativo,y, sobretodo, dando credibilidad al procesoy a los resultados finales que este genere. Enotras palabras, mientras la meta evaluaciónformativa tiene el papel de mejorar el procesoevaluativo a lo largo de su dirección, la suma-tiva tiene el papel de informar a los involucra-dos y a la comunidad más amplia, y de contri-buir para la mejora de procesos futuros.




Discutir procedimientos de meta evalua-ción es discutir la calidad del proceso eva-luativo siendo, por tanto, fundamental consi-derar también los principios que un evalua-dor debe seguir para dirigir, a la luz de loscriterios de una verdadera evaluación, unaevaluación de calidad. La Asociación Ameri-cana de Evaluación creó, en 1992, una fuer-za-tarea para desarrollar principios universa-les orientadores para los evaluadores. El tra-bajo de esta fuerza-tarea comenzó a travésde la revisión, por cada uno de sus miem-bros, de documentos similares y relevanteselaborados por otras asociaciones profesio-nales el diseño elaborado por cada miembrocirculaba por los otros miembros que hacíancríticas y sugerencias y entonces era compiladopor el coordinador del grupo. Tras incorporarlas sugerencias y considerar las discusiones, en1994, la propuesta fue sometida a los miem-bros de la referida asociación que aprobaron,a través de voto, el documento con cinco prin-cipios universales que deben estar presen-tes en evaluadores responsables por todoy cualquier tipo de evaluación (SHADISHet al., 1995, grifo nosso), a saber:

Indagación Sistemática: evalua-dores dirigen, sistemáticamente,indagación de datos sobre lo quequiera que sea que esté siendoevaluado.Competencia: evaluadores ejer-cen actuación competente frente alos interesados.Integridad / honestidad: evalua-dores aseguran la honestidad y laintegridad de todo el proceso eva-luativo.Respeto por las personas: eva-luadores respetan la seguridad, dig-nidad y autoestima d los respondien-tes, de los participantes del progra-ma, de los clientes y de otros intere-

sados con los cuales él interactúe.Responsabilidad por el bienes-tar general y público: evaluado-res articulan y tienen en considera-ción la diversidad de intereses y devalores que pueden estar relaciona-dos al bienestar general y público.

Una meta evaluación puede ser dirigidade variadas formas, adoptando diferentesinstrumentales, pero la utilización de listasde chequeo para indicar, a lo largo y al tér-mino del proceso evaluativo, el cumplimen-to de los treinta patrones de una verdaderaevaluación ha sido un procedimiento adop-tado por muchos evaluadores y centros deevaluación y ha generado resultados satis-factorios. En la práctica, cuando se trans-forma una lista de chequeo en un instru-mental de recopilación de datos, se crea unconjunto de instrumentos donde cada ítemes una afirmativa con opciones de respues-tas cerradas. Las listas de chequeo puedenser de dos tipos: (i) en cada ítem el respon-diente debe indicar la intensidad de su vera-cidad o de su ocurrencia, o aun informarque aquella afirmativa no se aplica, cuandosea el caso; (ii) en cada ítem el respondientedebe simplemente indicar si la afirmativa esverdadera o no. En el caso específico de lameta evaluación tales afirmativas procuraninvestigar la presencia de cada uno de lostreinta patrones de una verdadera evalua-ción en el proceso evaluativo foco de la metaevaluación. Las listas de chequeo constitu-yen un instrumento eficiente, en un formatoamigable, para compartir las lecciones apren-didas en la práctica (STUFFLEBEAM, 1994).Las listas de chequeo son muy útiles porque,en el mundo complejo de la evaluación, don-de es necesario estar atento a los más varia-dos aspectos, es preciso asegurar que cier-tos criterios se están respetando.




La formación de los equipos de evalua-ción y de meta evaluación es una fase deci-siva para la dirección y el éxito de un proce-so evaluativo. Lo ideal es montar un equipode evaluación Inter. Disciplinar que involu-cre tanto a evaluadores como a profesiona-les del área conocimiento del foco de la eva-luación, que agregue competencias diversi-ficadas y complementares. Existen varias for-mas de montar el equipo de meta evalua-ción, que difiere, principalmente, de acuer-do con el tamaño del proceso evaluativo queserá sometido a la meta evaluación y con elpapel de la meta evaluación. En evaluacio-nes menores, la meta evaluación formativase puede hacer por un evaluador, con expe-riencia en meta evaluación, que interactua-rá como un consultor con el equipo respon-sable por la evaluación. Conforme aumen-ta el tamaño y la complejidad del procesoevaluativo, se puede aumentar el númerode consultores con este papel o montar unequipo específico para meta evaluación. Enun caso u otro lo fundamental es que hayamucha interacción entre los responsables porla evaluación y por la meta evaluación for-mativa. El equipo responsable por la metaevaluación sumativa debe ser formado poruno o más evaluadores cuya credibilidad seareconocida.

Como es la calidad de la evaluaciónque va a garantizar, en un último análisis,o grande desafió que los evaluadores en-frentan actualmente san el éxito de la eva-luación de la calidad, la capacitación deprofesionales para el ejercicio de la eva-luación, la expansión del conocimientoen el área para atingir, democráticamen-te, todos los involucrados en el desarro-llo y en el perfeccionamiento de la cali-dad del foco de la evaluación (PENNAFIRME; LETICHEVSKY, 2002).

La importancia de lameta evaluación en lacategoría PRECISIÓN

Como ya se ha dicho una evaluación sólodebe llevarse a cabo si esta es útil, ética yviable y, de esta forma una meta evaluaciónformativa debe verificar aun en la negocia-ción del proceso evaluativo que estos trespatrones sean atendidos. En el diseño delproceso evaluativo propiamente dicho es pre-ciso dedicarse a la cuestión más técnica deasegurar la precisión cuando es importanteestar atento para: (a) calidad de los instru-mentos de recopilación de datos, (b) calidadde la información recopiladas, (c) elección yaplicación adecuada de técnicas y modelosde tratamiento de los datos y, (d) transmisiónadecuada de los resultados obtenidos dejan-do claro su alcance y sus limitaciones. Así, lameta evaluación también tiene un papel de-cisivo a lo que se refiere precisión auxiliandolos evaluadores en la elección de las técnicasmás adecuadas así como en su correcta apli-cación y utilización. Este es un punto crucialde la meta evaluación ya que es frecuenteobservar procesos evaluativos que fracasano presentan resultados que no ayudan a en-tender de forma adecuada la realidad en vir-tud de fallos en estos aspectos.

Con relación a la calidad de los instrumen-tos de recopilación de datos es preciso asegurarque estos sean adecuados para obtener datosreferentes a lo que realmente se pretende reco-pilar. La validez de los instrumentos de recopila-ción de datos puede ser realizada de diferentesformas. En el caso de instrumentos que recopi-lan información cualitativa esta validez puedeser realizada con el auxilio de especialistas delárea o a través de triangulación (confrontaciónentre diferentes evaluadores, técnicas e instru-mentos) mientras que en el caso de informa-




ción cuantitativa se recomienda la aplicaciónde un Análisis Factorial Confirmatorio (BOLLEN,1998) que es una técnica de reducción de di-mensionalidad de los datos así como el AnálisisFactorial Exploratorio, más conocido y utilizadocon mayor frecuencia. La principal diferencia esque el Análisis Factorial Confirmatorio, se reali-za a partir de la aplicación de un modelo desistemas de ecuaciones estructurales y, por tan-to, se supone a priori un modelo teórico rela-cionando variables latentes (o no observables)a las variables observables, mientras que en elAnálisis Factorial Exploratorio toda y cualquiervariable latente puede estar influenciando lasvariables observables, ya que no se conocencuantos y cuales son los factores latentes antesde procesar el análisis. Es justamente esta dife-rencia que vuelve la primera confirmatoria y lasegunda eminentemente exploratoria. Otra di-ferencia importante es que en el Análisis Facto-rial Confirmatorio los errores también son mo-delados3 y pueden (o no) estar correlaciona-dos, mientras que en el a Análisis Factorial Ex-ploratorio existe la suposición de que los erroresno pueden estar correlacionados (lo que nosiempre es verdad) y lo que se observa es unavasta utilización de esta técnica sin realizar nin-gún tipo de teste para verificar si los errores, dehecho, no son correlacionados. Lo ideal es uti-lizar diferentes tipos de instrumentos de recopi-lación de datos contemplando, preferentemen-te, información cuantitativa y cualitativa.

En cuanto a la calidad de la informaciónexisten dos aspectos que precisan ser observa-dos: (i) calidad y adecuación de las fuentes deinformación y; (ii) tratamiento adecuado de lasbases de datos. Al escoger las fuentes de infor-

mación es importante asegurar (cuando sea elcaso) que los diferentes grupos de informantesposibles sobre el foco evaluativo sean contem-plados. Por otro lado, tras recopilar los datosantes de calcular los indicadores es fundamen-tal tratar la base de datos expurgando la infor-mación que no reflejen el trazo latente que sequiere medir. Así en el caso de instrumentosque recopilen datos cuantitativos, deben serexcluidos los que presentan respuestas siem-pre con el mismo patrón, entregados en blan-co o con señales de protesta, así como cual-quier instrumento cuyos datos no reflejen unainformación útil de lo que se quiere medir.Cuando la información es cualitativa este pro-blema se puede solucionar a través de trian-gulación de datos.

Al escoger la técnica más adecuada demodelar y analizar los datos es importante te-ner claro que cuestión(es) evaluativa(s) se pre-tende responder ya que una técnica adecua-da para buscar la respuesta de una determi-nada cuestión puede no ser adecuada pararesponder otra. Por ejemplo, si una evalua-ción de larga escala de desempeño de alum-nos se dirige con el objetivo de determinar enque escuelas están los mejores alumnos esposible trabajar directamente con los escores(resultados) de los alumnos. Por otro lado, silo que se pretende es identificar cuales son lasescuelas más eficaces4 es preciso considerarqué alumnos presentan algunas diferencias ytraen históricos de vida diferenciadas, tanto porlo que se refiere a la educación formal como aconocimientos generales. Los niveles socioeco-nómicos de las familias son variados, los co-nocimientos preexistentes de los alumnos son

3 En el Análisis Factorial Confirmatorio el modelo establecido a priori – que considera la existencia de factores latentes (x o h)influenciando las variables observables (x) y, teniendo en cuenta los errores de medida (d o e), así como la asociación entre estoserrores y las variables latentes (f) – es ajustado en el intuito de minimizar los residuos calculados a través de la diferencia entre lasmatrices de variancia y covariancia observada y estimada.4Una escuela eficaz es aquella que contribuye para el progreso escolar de los alumnos, aunque se haga un control sobre elconocimiento traído por los alumnos antes de entrar en la escuela (MORTIMORE, 1991).




diferentes. Así, alumnos con nivel socio eco-nómico más alto, o alumnos que tengan ma-yor gama de conocimientos preexistentes, ten-derían a tener mejor desempeño. Las interac-ciones entre el alumno y el ambiente escolartambién interfieren en su desempeño y tam-bién deben ser incorporadas a los modelos.

Es en este contexto que surge la necesi-dad de aislar los efectos que independen dela escuela, o sea, que no están bajo el con-trol de sus gestores, profesores, equipo peda-gógico y de apoyo - y ni pueden llegar a estar-, de aquellos que dependen exclusivamentede los que dirigen o proceso de enseñanza.En este sentido, normalmente se pretende ais-lar, en especial, los efectos de nivel socioeco-nómico de los alumnos y de las escuelas quede alguna forma han impacto sobre sus des-empeños. Así, lo que se desea es medir elvalor agregado (GOLDSTEIN et al., 1993;CREEMERS, 1994; YANG et al., 1999b) porla escuela. Los métodos tradicionales de es-tudio de relación causa y efecto envuelvenmodelos de regresión hecha en un único ni-vel, donde una variable dependiente es ex-plicada por un conjunto de variables inde-pendientes más un error. En este caso espe-cífico, la variable dependiente es la compe-tencia del aluno (estimada por su desempe-ño en testes de contenido). Surge, sin em-bargo, la cuestión: ¿Es posible aceptar lavalidad de estos modelos ignorando las re-laciones existentes entre diferentes niveles je-rárquicos y la forma cómo estas relacionesimpactan los resultados del estudio? La res-puesta es no y estudios estadísticos confir-man esta respuesta que puede ser obtenidahasta de forma intuitiva. Al analizar cuestio-nes multiniveles a través de modelos de un

único nivel, es posible que se cometan erro-res y en este caso, por tanto, es preciso uti-lizar modelos multiniveles (RABASH, 1999)que es la metodología de análisis indicada5

para datos con estructura jerárquica y pa-trón complejo de variabilidad. A la seme-janza de lo que ocurre en escuelas, el mis-mo cuidado debe ser utilizado al evaluar eldesempeño de sectores o directorias dentrode una empresa o el impacto obtenido enlos beneficiarios de programas sociales conobjetivos similares.

Siempre que se elaboran informes conresultados, los meta evaluadores debenactuar junto a los evaluadores en sentidode garantizar que los resultados están sien-do transmitidos de forma clara y lo máspróximo posible de la realidad dejando ex-plícito cuales son las limitaciones y los cui-dados que se debe tener al utilizar aquellosresultados y, cuando sea el caso, realizan-do recomendaciones de utilizaciones perti-nentes. Así, en la divulgación de los resul-tados es preciso dejar claro, por ejemplo,si faltó recopilar información sobre algunaaudiencia o si las diferencias presentadasson estadísticamente significativas.

La categoría Precisiónde la Meta Evaluación

Tal como ocurre en procesos evaluativoscuando se realiza una meta evaluación loideal es agregar varias técnicas de recopila-ción de datos que contemplen informacióncuantitativa y cualitativa y diversificar las fuen-tes de datos de forma que se obtengan in-formación de los diferentes grupos de interésy de las variadas audiencias involucradas.

5 Cabe resaltar que existen casos donde, a pesar de que la estructura de la población es jerárquica, no es posible aplicar modelosmultiniveles, por no existir diferencias entre los grupos (lo que puede ser verificado a través del coeficiente de intra-correlación, cf.Raudenbush y Bryk, 2002) o debido al diseño de muestra (cuando sea necesario) adoptado en la recopilación de datos(PFEFFERMAN et al., 1998).




Tendrá, así, subsidios para la confrontaciónde información y para triangulación de da-tos. Cuando las listas de chequeo son relle-nadas las informaciones son posteriormentecuantificadas y en este momento también escrucial estar atento para la categoría preci-sión de la meta evaluación – perciba quecomo la meta evaluación también es un pro-ceso evaluativo esta debe atender las cuatrocategorías de una verdadera evaluación. Eneste sentido es importante considerar que nosiempre es fácil (o incluso posible) para elmeta evaluador definir si un patrón es aten-dido o no, o sea, existen situaciones dondeel patrón es parcialmente atingido. En estoscasos es necesario crear una escala como,por ejemplo: pobre, regular, bueno, muybueno y excelente. El meta evaluador debeindicar en que punto de la escala cada pa-trón está con el auxilio de una lista de che-queo y, posteriormente, se calcula en quepunto de la escala cada una de las catego-rías de una verdadera evaluación está.

El Centro de Evaluación de Western Mi-chigan University desarrolló listas de chequeoque se organizan, de acuerdo con su finali-dad inicial, en tres categorías, cualquiera quesea, planificación y gerencia, mérito y metaevaluación, que, además de ser utilizadas conéxito en la práctica, encuentran una gran acep-tación en el mundo académico. Estos instru-mentos son elaborados y sus resultados sontratados con base en la lógica clásica. Sinembargo, responder a estos instrumentos y tratarlos datos recopilados con base a la lógica clá-sica (o bivalente) muchas veces se vuelve unatarea ardua tanto para los respondientes comopara los evaluadores principalmente si consi-deramos que no son raras las solicitaciones deevaluaciones de programas cuyo objetivo tie-

ne una imprecisión intrínseca6. En la TeoríaClásica de los Conjuntos, la función caracte-rística de un conjunto puede asumir apenasdos valores: uno (en el caso de que el elemen-to pertenezca al conjunto) y cero (en el casode que el elemento no pertenezca al conjun-to). El enfoque tradicional de tratamiento yadaptación de datos, construida a partir de laTeoría Clásica de los Conjuntos, utiliza mu-chas herramientas matemáticas que presupo-nen la precisión. Cuando se trabaja con pro-blemas sencillos y bien definidos, este enfoquese adapta y, si está bien aplicada, genera re-sultados muy satisfactorios. Sin embargo, paraproblemas complejos, que pueden conteneruna imprecisión intrínseca, las herramientasmatemáticas basadas en la lógica clásica pue-den no adaptarse.

Para rellenar y tratar los dados de laslistas de chequeo con base en la lógica clá-sica la frontera entre un punto y otro de laescala es preciso que esté muy claro y defi-nido. Sin embargo no siempre es fácil parael ser humano definir esta frontera que pue-de tener una naturaleza no muy clara. Enla Teoría de los Conjuntos Fuzzy los con-ceptos de pertinencia y no pertinencia deelementos a conjuntos son flexibilizados: Lafunción característica puede asumir un nú-mero infinito de valores en el intervalo [0,1],los cuales indican los grados de pertinen-cias de los elementos a un dato conjunto(TANSCHEIT, 2004).

Cuando se opta por trabajar con la ló-gica tradicional en las listas de chequeo,surge una discusión que nos remite a la ca-tegoría precisión de los patrones de una ver-dadera evaluación y la pregunta que surgees: ¿será que se está midiendo lo que real-

6Imprecisión intrínseca es aquella asociada con la descripción de las propiedades de un fenómeno y no con la imprecisión asociadaa la medición del fenómeno propiamente dicho.




mente se quiere? Esto aun se refuerza máspor el hecho de que experiencias en labora-torio indicaron que la contextualización y elrazonamiento fuzzy pueden ser típicos de lamitad de la población (KOCHEN, 1975).

La misma dificultad que existe en la fasede recopilación de datos también se en-frenta en el tratamiento de la información,por causa de que para realizar una eva-luación es imprescindible establecer crite-rios de excelencia que sirven como pará-metros para la elaboración de juicio de valory que en realidad forman una base de re-glas, generalmente fornecidas por especia-listas, que son utilizadas para verificar seun resultado atiende o no a un determina-do criterio. La lógica fuzzy permite tratar lascuestiones relacionadas a la imprecisiónintrínseca y al conocimiento subjetivo de losespecialistas, forneciendo una herramientapara traducir matemáticamente reglas lin-güísticas del tipo SI-ENTONCES. Un pro-blema frecuente, tanto en la práctica de laevaluación como en la de la meta evalua-ción, es la falta de consenso entre los espe-cialistas, lo que puede generar reglas con-tradictorias. Estas pueden ser incorporadasa una base de reglas y tratadas de maneraadecuada en el ámbito de la lógica fuzzy.

Como la creación de modelos tiene unpapel importante, no en la reproducciónrealidad, sino en la contribución para sumejor entendimiento, trata el problema pormedio de la lógica fuzzy es una opción quese considera bastante adecuada, pues po-sibilita (i) aceptar respuestas que indiquenel real entendimiento del respondiente conrelación a la atención de un determinadopatrón, (ii) utilizar reglas lingüísticas forne-cidas por especialistas y, cuando sea nece-sario, incorporar reglas contradictorias en

un mismo modelo y (ii) tratar con la impre-cisión intrínseca que generalmente existe enproblemas complejos como puede ser elcaso de procesos de meta evaluación .

Es importante, sin embargo, enfati-zar que no sirve de nada todo el esfuer-zo si los resultados de la meta evalua-ción no se utilizan para el perfecciona-miento de la evaluación albo (PENNAFIRME; LETICHEVSKY, 2002). De esta for-ma se puede extender la afirmativa de queel valor de una evaluación se refleja en lautilización de sus resultados (PATTON,1986): El valor de una meta evaluación serefleja en la utilización de sus resultadospara la mejora del proceso evaluativo y elfortalecimiento del equipo de evaluación.

ConclusiónLa implantación de un proceso de meta

evaluación envuelve cuidados especialespara la categoría precisión, tanto en loque se refiere a la precisión de la evalua-ción a la que se está sometiendo la metaevaluación como en lo que se refiere a laprecisión de la propia meta evaluación prin-cipalmente con relación a la elección apro-piada de métodos y técnicas de recopila-ción, tratamiento, modelado y análisis delos datos y a su adecuada aplicación.

Cuando se diseña un proceso evaluativolas técnicas de recopilación, de tratamiento yde modelado de datos deben ser escogidasteniendo en consideración: la naturaleza de laevaluación, las cuestiones evaluativas que sepretende responder, el tipo de respondiente, yel perfil de los integrantes del equipo respon-sable por la evaluación. En este sentido el equi-pe de meta evaluación precisa dedicar unaatención especial en auxiliar a los evaluadorespara realizar una elección apropiada y, princi-




palmente, para una correcta aplicación de losmétodos y técnicas escogidos. Aun es respon-sabilidad del meta evaluador celar por la co-rrecta divulgación y apropiada utilización delos resultados. Asegurando que la divulgaciónsea responsable, ética y precisa y, aun, pro-moviendo la utilización de los resultados en elsentido de fornecer subsidios para la mejoradel foco evaluativo. De forma análoga cuan-do se diseña una meta evaluación es precisomantener el mismo cuidado dedicado a la elec-ción y la aplicación de las técnicas y de los

métodos utilizados desde la recopilación delos datos hasta el análisis de los resultados. Eneste sentido, como la evaluación está siendoempleada en diversas áreas del conocimientoy, en muchos casos, atinge programas cuyosobjetivos contienen algún tipo de imprecisiónintrínseca, y además, como no siempre es po-sible obtener consenso entre los meta evalua-dores existen situaciones donde es preciso rom-per con el paradigma de bivalencia de la lógi-ca clásica y valerse de la lógica fuzzy que sebasa en el principio de la multi valencia.

REFERÊNCIASBICHELMEYER, B. A. Usability evaluation report. Kalamazoo, MI: Western MichiganUniversity, 2002.

BOLLEN, K. A. Structural equations with latent variable. New York: John Wiley & Sons,1998.

BRYK, A.; RAUDENBUSH, S. Hierarchical linear models. Newbury Park, CA:Sage Publications, 1992.

FLETCHER, P. À procura do ensino eficaz: relatório de pesquisa. Brasília, DF: PNUD/MEC/SAEB, 1997.

FRANSES, P. H.; GELUK, I.; HOMELEN, V. P. Modeling item nonresponse inquestionnaires. Quality & Quantity, Dordrecht, v. 33, p. 203-213, 1999.

GOLDSTEIN, H. Multilevel statistical models. London: Edward Arnold, 1995.

GOLDSTEIN, H. et al. A user’s guide to MlwiN: multilevel models project. London:Institute of Education, University of London, 1999.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. Standards forevaluations of educational programs, projects and materials. New York: SagePublications, 1981.

______. The program evaluation standards: how to assess evaluations of educationalprograms. 2nd ed. Thousand Oaks, CA: Sage Publications, 1994.




MORTIMORE, P. The nature and findings of school effectiveness research in primarysector. In: RIDDELL, S.; BROWN, S. (Ed.). School effectiveness research: its messages forschool improvement. London: HMSO, 1991.

PATTON, M. Q. Utilization-focused evaluation. 3rd ed. Thousand Oaks, CA: Sage,1997.

PENNA FIRME, T.; BLACKBURN, R.; PUTTEN, J. V. Avaliação de docentes e do ensino.In: SOUZA, E. C. B. M. (Org.). Curso de especialização em avaliação à distância.Brasília, DF: Universidade de Brasília, Unesco, 1998. v. 5.

PENNA FIRME, T.; LETICHEVSKY, A. C. O desenvolvimento da capacidade de avaliaçãono século XXI: enfrentando o desafio através da meta-avaliação. Ensaio: avaliação epolíticas públicas em educação: revista da Fundação Cesgranrio, Rio de Janeiro, v. 10,n. 36, jul./set. 2002.

PFEFFERMANN, D. et al. Weighting for unequal selection probabilities in multilevelmodels. Journal of the Royal Statistical Society, London, n. 1, p. 23-40, 1998. Series B.Statistical methodology.

RASBASH, J. et al. MlwiN Beta version: multilevel models project. London: Institute ofEducation, University of London, 1999.

RAUDENBUSH, S.; BRYK, A. Hierachical linear models: applications and data analysis.2nd ed. Newbury Park, CA: Sage, 2002.

RAUDENBUSH, S.; SAMPSON, R. Ecometrics: toward a science of assessing ecologicalsettings, with application to the sistematic observation of neighborhoods. SociologicalMethodology, San Francisco, n. 29, p. 1-41, 1999.

SCRIVEN, M. The methodology of evaluation. In: TYLER, R. W.; GAGNÉ, R. M.;SCRIVEN, M. Perspectives of curriculum evaluation. Chicago, IL: Rand McNally, 1967.(American Educational Research Association monograph series on curriculum evaluation;n. 1).

SHADISH, W. R.; COORK, T. D.; LENITON, L. C. Foundations of program evolution:theories of practice. Newbury Park, CA: Sage, 1991.

SHADISH, W. R. et al. Guiding principles for evaluators. San Francisco: Jossey-Bass,1995. (New Directions for Program Evaluation; n. 66).

STAKE, R. E. Standards-based & responsive evaluation. Thousand Oaks, CA: Sage,2004.




STUFFLEBEAM, D. Empowerment evaluation, objectivist evaluation, and evaluationstandards: where the future of evaluation should not go and where it needs to go.Evaluation Practice, Beverly Hills, CA, v. 15, n. 3, p. 321-338, 1994.

TANSCHEIT, R. Sistemas fuzzy. Rio de Janeiro: Departamento de Engenharia Elétrica,Pontifícia Universidade Católica do Rio de Janeiro, 2004.

WINGATE, L. A. The evaluation checklist project: the inside scoop on content, process,policies, impact, and challenges. In: AMERICAN EVALUATION ASSOCIATIONCONFERENCE, 2002, Washington, DC. Paper presented … Washington, DC, 2002.

YANG, M. et al. MlwiN macros for advanced multilevel modelling, version 2.0:multilevel models project. London: Institute of Education, University of London, 1999a.

______. The use of assessment data for school improvement purposes. Oxford Review ofEducation, Dorchester-on-Thames, Oxford, n. 25, p. 469-483, 1999b.

La Categoría Precisión en la Meta-evaluación: … · este sentido las listas de chequeo son...

Documents

Transcript of La Categoría Precisión en la Meta-evaluación: … · este sentido las listas de chequeo son...