Robert Stake

26
•Leonardo Corredor Toro http://www.twitter.com/leo_corredor •Pablo Emilio Romero http://www.twitter.com/mutantexx •Maestría en Informática Educativa •Universidad de la Sabana •Bogotá – Colombia, 2010 •Fuente de la presentación : Evaluación Comprensiva y evaluación basada en estándares. Robert Stake 2006 Robert Stake Evaluación Comprensiva y Evaluación basada estándares

Transcript of Robert Stake

Page 1: Robert Stake

•Leonardo Corredor Toro http://www.twitter.com/leo_corredor•Pablo Emilio Romero http://www.twitter.com/mutantexx•Maestría en Informática Educativa •Universidad de la Sabana•Bogotá – Colombia, 2010•Fuente de la presentación : Evaluación Comprensiva y evaluación basada en estándares. Robert Stake 2006

Robert Stake Evaluación Comprensiva y Evaluación basada estándares

Page 2: Robert Stake

Evaluación Comprensiva y Evaluación basada estándares

Orden de la presentación

• Vida y Obra• Qué es evaluación • Qué evaluamos • Para qué la evaluación • Cómo se evalúa• Quiénes evalúan• Meta evaluación• Anexo

Page 3: Robert Stake

Evaluación Comprensiva y Evaluación basada estándares

Vida y Obra

• Titular emérito de la cátedra Robert Stake de educación y director del Center for Instructional Research and Curriculum Evaluation CIRCE de la Universidad de Illinois USA.

• Especialista en educación de programas educativos• Trabajo bajo el liderazgo de Thomas Hasting y Lee Crombrach en la fundación del

CIRCE (1975).• Ha trabajado la mayor parte del tiempo en Gran Bretaña, Estados Unidos, Suecia y

Brasil.• Posee afinidad con las técnicas etnográficas, estudio de caso y elaboración de

informes.• Stake se define como un evaluador interpretativo, naturalista, comprensivo,

particularista y cualitativo.

Page 4: Robert Stake

Evaluación Comprensiva y Evaluación basada estándares

Vida y Obra

• Miembro de la American Educational Research Association.• Participó en las redes profesionales Evaluation Research Society and Evaluation

Network hoy en día American Evaluation Association• Doctor en psicometría de la Universidad de Priceton y Doctor honoris causa de la

Universidad Upssala, Suecia• Libros escritos por el:

– Stake, R. E. & Easley, J. A. (1979). Case Studies in Science Education. University of Illinois: CIRCE.– Stake, R. E. (1986). Quieting reform: Social science and social action in an urban youth program. Urbana: University of

Illinois Press.– Stake, R. E., Bresler, L., & Mabry, L. (1991). Customs and cherishing: The arts in elementary schools. Urbana, IL:

National Arts Education Research Center.– Stake, R. E. (1995). The Art of Case Study Research. Thousand Oaks: Sage Publications.– Stake, R. E. & Kerr, D. (1995) Rene Magritte, constructivism, and the researcher as interpreter. In Educational Theory,

Winter, volume 45, number 1, pages 55-61.– Stake, R.E. (2004). Standards-Based and Responsive Evaluation. Thousand Oaks, CA: Sage Publications.– Stake, R.E. (2006). Multiple Case Study Analysis. New York: Guilford Press.

Page 5: Robert Stake

• En un proceso en el cual se busca determinar la calidad de un evaluando• Esta de acuerdo con la evaluación formativa y sumativa conceptos de Scriven.• Gusta por estándares y criterios así como por comprensividad e interpretación.• El observa no solo el objeto de la evaluación sino también todos los actores del mismo

en un contexto.• Correlaciona estrechamente las evaluaciones comprensiva e interpretativa entiendo

sus diferencias.• Para él la calidad se encuentra en la experiencia humana y es particular en cada

persona.• Los fenómenos educativos se llegan a conocer a través de episodios, sucesos

actividades (pensamiento episódico).• “Un modelo es mas bien un prototipo, una plantilla, una receta o un ideal”. Para él no

se pueden establecer modelos de evaluación por la singularidad del evaluando.• Según él, el evaluador no puede pasar por alto el efecto que la evaluación tendrá en el

programa.

Evaluación Comprensiva y Evaluación basada estándares

Qué es evaluación?

Page 6: Robert Stake

• El propósito central de la evaluación es descubrir la calidad.• Ir mas allá de los objetivos que plantean los clientes.• La evaluación comprensiva es basada en criterios e interpretativa al mismo tiempo.• Es importante en la evaluación revelar tanto los aspectos positivos como negativos

del evaluando.• En la evaluación basada en estándares predominan los instrumentos, en la

evaluación comprensiva los significados descubiertos en la evaluación.• Los datos cuantitativos y cualitativos son complementarios mas no confirmativos.• “Las preguntas centrales de toda evaluación seguirán siendo: ¿cuál es la calidad

del evaluando? Y ¿cuáles son las principales percepciones que se tienen de su calidad?” (Stake 2006, P 383).

Evaluación Comprensiva y Evaluación basada estándares

Qué es evaluación?

Page 7: Robert Stake

Cuestiones que necesitan interpretación• Son los problemas seleccionados y propuestos en formas de preguntas que influyen en el

significado que damos a una situación concreta.• Cada evaluador genera sus propias cuestiones.• Para tener en cuenta : Sesgo• “Hacemos caso de los intereses de los patrocinadores, los administradores del programa, los profesionales

educativos, los estudiantes y los miembros de la comunidad, pero las cuestiones de estudio no se escogen para favorecer esos intereses. Nuestra intensión central no es la de ser útiles a los agentes implicados, sino la de ayudarles a entender lo que el programa tiene de bueno y demás” (Stake 2006, P275)

• Diagrama para desarrollar una cuestión de interés– ¿Qué fuentes?– ¿Que virtudes?– ¿Qué problemas?– ¿Qué más?– ¿A quién le importa?– ¿Qué métodos?– ¿Qué hay historias?

Evaluación Comprensiva y Evaluación basada estándares

Qué Evaluamos?

Page 8: Robert Stake

Que evaluamos• La estandarización de programas.• La imparcialidad de los programas.• El desarrollo del personal.• Los test del alumnado.• Los objetivos de un programa.• El funcionamiento interno de una organización.• Decisiones.• Utilización.• Acreditación institucional.• La búsqueda de meritos y defectos.• En educación: Puede tratarse de una clase, de un curso en línea, de una innovación o de una

escuela .

Evaluación Comprensiva y Evaluación basada estándares

Qué Evaluamos?

Page 9: Robert Stake

Matriz de datos susceptibles para la evaluación

.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 10: Robert Stake

Evaluación basada en estándares• DefiniciónDetermina y representa la calidad mediante el uso de números y escalas.• ObjetivosDeterminar los méritos y los defectos del objeto a evaluar.• Características

– Por comparación con programas o estándares.– Por comparación con resultados anteriores.– Se pueden comparar un programa comparando su resultados en dos grupos.– Consiste en la búsqueda del conocimiento sobre el valor de algo.– Este tipo de evaluación podría clasificarse como de proceso lineal pero es cíclico y autocorrector.– No cambiar la pregunta central de la investigación en la realización de la evaluación.– Mas allá de la cantidad de datos recogidos es la importancia de sus conclusiones.– No descarta las experiencias y meritos de los actores, los considera como antecedentes.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 11: Robert Stake

Factores de la evaluación basada en estándares• Las necesidades de los receptores• Los objetivos del programa• Los criterios de evaluación• Los estándares de evaluación• Los pesos o ponderaciones de síntesis• Los rendimientos o actuaciones del personal y de los participantes• Los costes del programa

Instrumentos

Informes

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 12: Robert Stake

Evaluación ComprensivaDefinición• Sinónimos = sensible, responsiva, respondiente, replica, comprensiva.• La evaluación comprensiva es el estudio empírico de la actividad humana.• La evaluación comprensiva intenta facilitar el nivel de comprensión.

Objetivos• Determinar la calidad de un programa a través de sus meritos, su valor y su

representación y documentarla.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 13: Robert Stake

Evaluación ComprensivaCaracterísticas• Construye puentes entre la evaluación cuantitativa y la cualitativa.• La postura compresiva es mas una actitud que un modelo.• Adaptación continua al propósito de la evaluación.• Busca comprensión a la complejidad del evaluando.• Presta su atención a episodios.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 14: Robert Stake

Evaluación ComprensivaCaracterísticas

Acontecimientos destacados de una evaluación comprensiva.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 15: Robert Stake

Evaluación ComprensivaCaracterísticas• Múltiple uso de instrumentos.• Saber elegir a las personas correctas a las que preguntar es uno de los primeros pasos dentro de la evaluación.• A veces la información que se entrega en el proceso de la evaluación se sesga solo a la mejora.

• Instrumentos

• Análisis y síntesis

• Informes– En el informe se debe describir al evaluando, al programa, al método de evaluación y sus resultados sean positivos o

negativos.– Se debe tener cuidado de resaltar la subjetividad en los datos y de la interpretación.– Se espera que les llegue a los diversos grupos que les parezca importante, entendiendo con esto que el evaluador se

puede ver afectado.– Debe argumentar los aspectos encontrados del evaluando.– El evaluador deberá ayudar a construir las conclusiones del estudio a su lector apoyado en sus recomendaciones.

Evaluación Comprensiva y Evaluación basada estándares

Cómo se evalúa?

Page 16: Robert Stake

• Personas y/o equipos externos contratados por los interesados en la evaluación

• Características del evaluador– Capacidad de describir los diversos aspectos de la calidad de un objeto a evaluar.– Investigador de méritos y deficiencias de un evaluado.– Un evaluador debe propiciar que las instituciones sean mas abiertas, participativas y deliberativas.– Debería procurar poner la misma atención a las instancias formativas y sumativas del proceso.– Preocuparse por entender al evaluando.– Describir al evaluando con sus interacciones.– Debería trabajar en equipo.– Procurar que el público comprenda la calidad el programa.– Ser independiente, no dejarse manipular por el cliente.– Tener la capacidad de distinguir entre interpretaciones fiable y opiniones y preferencial personales.

Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

Page 17: Robert Stake

Características del evaluador• El buen evaluador no se debe anticipar a los estándares, pero debe tenerlos en cuenta si

existen. Estos serán construidos en el proceso de evaluación.• Todo evaluador deberá establecer un conjunto de controles y contrapesos para determinar si

el programa se está desviando del curso previsto. Hay que plantearse una y otra vez la pregunta ?Qué puede estar yendo mal?.

• El evaluador debe servir a:– Clientes.– Personal del programa.– Los receptores del mismo.– Los agentes implicados .– Al público en General.– A sus colegas evaluadores .– A los estudiantes que estudian evaluación.

Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

Page 18: Robert Stake

Características del evaluador• Un evaluador puede tener algunas de estas predisposiciones.

– A la rendición de cuentas.– A un caso de estudio en toda su complejidad.– A la erudición -estricta alineación a la rigurosidad académica.– Democrática - elección personal.– Etnográfica - énfasis a relaciones y actividades culturales.– Experimental - se valora el conocimiento preciso y objetivo.– Ilustrativo - describen lo que los lectores ven por si mismos.– Judicial - se hacen argumentos en favor en contra.– Naturalista - valorar las actividades corrientes de los propios entornos.– Comprensiva - se deciden por los temas y valores.

Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

Page 19: Robert Stake

Características del evaluador• Roles habituales para la evaluación de programas

– Evaluar la consecución de objetivos– Ayudar al desarrollo de la organización– Evaluar la calidad contextual– Estudiar un ámbito complejo– Ayudar la acción social– Legitimar el programa y desviar la críticas

• Garantizar la rendición de cuentas• Acreditar programas• Conceder premios o prestigio

Evaluación Comprensiva y Evaluación basada estándares

Quiénes evalúan?

Page 20: Robert Stake

• Es la evaluación de la calidad de una evaluación.• La determinación de los puntos fuertes y débiles del estudio de la calidad.• Puede ser llevada cabo por los propios evaluadoras, por los compañeros

de trabajo o por personas externas.• Es la mejor forma de mejorar la confianza en la investigación.• Puede ser basada en estándares o compresiva.

Evaluación Comprensiva y Evaluación basada estándares

La Metaevaluación

Page 21: Robert Stake

• “Ambos son términos comunes en nuestro lenguaje y su diferencia varia según quien los pronuncie y según la ocasión” (Stake 2004, P89).

• “Buena parte de la evaluación (de la valoración de la calidad) es informal o incluso inconsciente. Difícilmente querremos llamarla investigación”. Es evaluación sin embargo por que determina el valor de algo (Stake 2004, P90).

• La evaluación formal puede ser meramente procedimental (como en el caso de la votación), deliberativa (como en los juicios con jurado) o investigativa (como en la investigación en ciencias sociales) (Stake 2004, P90).

• Cuando se reduce a la recogida de una suma de opiniones, por procedimental que esta sea es mejor que no la llamemos investigación. Pero cuando realizamos un esfuerzo sistemático para descubrir la actividad, los significados y los valores de una entidad (o evaluando), se trata tanto de una evaluación como de una investigación (Stake 2004, P90).

• Ocurre también que buena parte de la investigación que se realiza no se centra en los méritos o el Valor de una entidad en ese caso es mejor no llamarla evaluación (Stake 2004, P90).

Evaluación Comprensiva y Evaluación basada estándares

Diferencias entre evaluación e Investigación

Page 22: Robert Stake

• Existe una categoría de estudios denominados investigación evaluativa en los que no se busca el valor de un único evaluando, sino el de toda una clase de ellos (Stake 2004, P90).

• La investigación institucional es también investigación evaluativa si se evalúa el conjunto de la docencia en todo un campus por ejemplo (Stake 2004, P90).

• La investigación educativa es investigación evaluativa cuando se evalúa a una pedagogía como la del método casuístico de la docencia en una facultad de derecho (Stake 2004, P90).

• La investigación evaluativa es el nombre que mucha gente daba al estudio de la calidad con un afán paralelo de generalización (Stake 2004, P90).

• Todos los estudios de evaluación formal son investigación, pero solo los que aspiran a la generalización de algo para todo una población de casos se conocen con el nombre específico de investigación evaluativa (Stake 2004, P90).

Evaluación Comprensiva y Evaluación basada estándares

Diferencias entre evaluación e Investigación

Page 23: Robert Stake

• Deben identificarse los públicos implicados en la evaluación o afectados por la misma al fin de que puedan abordarse sus necesidades.

• Las personas que llevan a cabo la evaluación deben ser fiables y competentes para realizar ese trabajo, a fin de que los resultados alcancen la máxima credibilidad y aceptación.

• La información recopilada debe ser de tal alcance y debe haber sido seleccionada de tal modo que permita abordar las cuestiones pertinentes acerca del objeto de la evaluación y ser receptiva a las necesidades y los intereses de los públicos especificados.

• Deben difundirse los resultados de la evaluación entre los clientes y otros públicos con derecho a saber, a fin de que puedan valorarlos y usarlos.

• Los informes deben publicarse en el momento oportuno para que los públicos a los que van destinados puedan darles el mejor uso posible.

• Los procedimientos de evaluación deben ser prácticos para que produzcan los mínimos trastornos y se obtenga la información que se necesita.

Evaluación Comprensiva y Evaluación basada estándares

Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones

Fuente de Joint Commitee on Standarts for Educational Evauations (1981)

Page 24: Robert Stake

• Las obligaciones de las partes que suscribe formalmente una evaluación (lo que hay que hacer, cómo, quién y cuándo) deben ser acordadas por escrito para que dichas partes se obliguen mutuamente a adherirse a todas las condiciones del acuerdo o, en su caso, a renegociarlo formalmente.

• Los conflictos de intereses, a menudo inevitables, deben ser tratados de forma abierta y honesta, de manera que no comprometan los procesos ni los resultados de la evaluación.

• Los informes orales y escritos de la evaluación deben ser abiertos, directos y honestos a la hora de revelar los resultados pertinentes, incluyendo las propias limitaciones de la evaluación .

• Las partes formales de una devaluación deben respetar y garantizar el derecho del público a saber (dentro de los límites de otros principios y estatutos relacionados, como los que rigen la seguridad pública y el derecho a la intimidad).

Evaluación Comprensiva y Evaluación basada estándares

Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones

Fuente de Joint Commitee on Standarts for Educational Evauations (1981)

Page 25: Robert Stake

• Las evaluaciones deben diseñarse y realizarse de tal modo que se respeten y se proteja los derechos y el bienestar de los sujetos humanos.

• La asignación y el gasto de recursos que realice el evaluador debe regirse por sólidos procesos de rendición de cuentas y en cualquier caso, debe ser prudente y éticamente responsable.

• El objeto de la evaluación (ya sea un programa, un proyecto un material) debe examinarse suficientemente de manera que la forma del objeto que se tome en consideración para la evaluación pueda ser identificada.

• Los propósitos y los procedimientos de la devaluación deben estar supervisados y descritos con suficiente detalle como para que pueda ser identificados y valorados.

Evaluación Comprensiva y Evaluación basada estándares

Estándares para las evaluaciones de programas, proyectos y materiales educativos - Contrataciones

Fuente de Joint Commitee on Standarts for Educational Evauations (1981)

Page 26: Robert Stake

• Documento fuente para realizar la presentación en:

• http://leocorredor.files.wordpress.com/2010/06/robert-stake-evaluacion-comprensiva.pdf

Evaluación Comprensiva y Evaluación basada estándares