Investigación Evaluativa en Educación -...

17
  Investigación Evaluativa en Educación Profesora Titular de MIDE Mª José Rodríguez Conde   Metodología de Evaluación de Programas Metodología de Evaluación de Programas Tema 2. El proceso de evaluación

Transcript of Investigación Evaluativa en Educación -...

     

Investigación Evaluativa en Educación

Profesora Titular de MIDE

Mª José Rodríguez Conde

  Metodología de Evaluación de ProgramasMetodología de Evaluación de Programas

Tema 2. El proceso de evaluación

     

Objetivos de la sesión

Diferenciar “Investigación” y “Evaluación” en educación

Exponer las “Fases” en las que desarrollar un plan de evaluación en educación (enfoque cuantitativo)

Identificar distintos estándares en un proceso de evaluación (metaevaluación)

     

Contenidos

Tema 2.­ El proceso de evaluación de programas

3. Fases del proceso4. Estándares de la evaluación

     

Bibliografía y direcciones en Internet

FERNANDEZ­BALLESTEROS, R. (1995): El proceso de evaluación de programas, en R. FERNANDEZ­BALLESTEROS, (edt.), Evaluación de Programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid, Síntesis. 75­113.

ALVIRA, F. (1991): Fases en el desarrollo de una evaluación, en F. ALVIRA, Metodología de la evaluación de programas, Madrid, Centro de Investigaciones Sociológicas, Cuadernos metodológicos, nº 2. 21­32.

MATEO, J. (2000): La evaluación educativa, en J. MATEO, La evaluación educativa, su práctica y otras metáforas (pp. 21­55), Barcelona, ICE de la Universidad de Barcelona.

LIZASOAIN, L. y otros (2004). Establecimiento de estándares y puntos de corte en pruebas de rendimiento. Una aplicación en el área de Matemáticas de 2º y 4º de la ESO, Bordón, 56 (2), 237­252.

LUKAS, J.F. y SANTIAGO, K. (2004): Cap. 3. Concepto, componentes y fases de la evaluación, en J.F. LUKAS y K. SANTIAGO, Evaluación educativa (pp. 79­117). Madrid: Alianza Editorial.

     

Inve

stig

aci

ó n ­ E

valu

aci

ó nInve

stig

aci

ó n ­ E

valu

aci

ó n

Utilidad, credibilidadInterna, externa y de constructoCriterios de validez

No procedeBásicaAleatorización

Preestablecido, pero flexiblePreestablecidoDiseño

DiversasDiversasMetodología

LimitadaPosibleGeneralización

Bajo y medioMedio y altoCosto

Inmediato, corto, medioMedio y largo plazoTemporalidad

El evaluador está a expensas a las demandas de los otros. Depende del cliente

El investigador establece y selecciona el problema o las cuestiones a investigar. Autónomo

Papel del investigador / evaluador

Ofrece información para tomar decisiones sobre un objetoBusca nuevos conocimientosFinalidad

Adaptado a las audiencias a las que se dirige la evaluaciónAdaptado a las normas de la comunidad científicaInforme

La decisión sobre el programa depende del cliente de la evaluación

La aceptación/rechazo de las hipótesis se resuelve el análisis de datosDecisión

Valoración por los responsables del programaAdaptado a la comunidad científicaInterpretación de los 

datos

Superficial, cuando es posiblePosibleManipulación/contr

ol de variables

Condicionada por la utilidad del procesoDeterminada por el objetivo de la investigación y las hipótesisRecogida de datos

No posiblePosibleReplicación

Es difícil formular hipótesis y en ocasiones inadecuado

Se formulan y guían toda la investigaciónHipótesis

Se extienden también al desarrollo y aplicación de los procedimientos de estudio

Se limitan a los implícitos en el planteamiento del problema por el equipo de investigaciónJuicios de valor

Proceso de EvaluaciónProceso de InvestigaciónAspectos

     

Proceso de Evaluación: FASESProceso de Evaluación: FASES

R. Fernández Ballesteros (1995)

1. Planteamiento de la evaluación

2. Selección de las operaciones a observar

3. Selección del diseño de evaluación

4. Recogida de información

5. Análisis de datos

6. Informe

     

 Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Planificación del Modelo de EvaluaciónPlanificación del Modelo de Evaluación

•Qué se evalúa. El objeto de evaluaciónQué se evalúa. El objeto de evaluación

•Para qué se evalúa. La finalidad de la evaluaciónPara qué se evalúa. La finalidad de la evaluación

•Qué audiencias están implicadasQué audiencias están implicadas

•Qué información se requiereQué información se requiere

•A quién se demanda información. Las fuentes de informaciónA quién se demanda información. Las fuentes de información

•Con qué instrumentos y cuándo se recoge informaciónCon qué instrumentos y cuándo se recoge información

•Cómo se analiza la informaciónCómo se analiza la información

•Los informes de evaluaciónLos informes de evaluación

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Planificación del Modelo de EvaluaciónPlanificación del Modelo de Evaluación

Adecuación al contextocontexto donde se realizará la evaluación

Diseño de evaluación e Implicados 

Modelos de evaluación y objeto

Garantizar la validez del proceso 

y, con ello, su utilidad

Análisis de necesidades

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Qué se evalúa. El objeto de evaluaciónQué se evalúa. El objeto de evaluación

EnfoquesEnfoques

Calidad del Proceso Calidad del Proceso EducativoEducativo

Calidad del Impacto Calidad del Impacto del Programadel Programa

Objetivo de análisis

Bondad estructural y funcional del programa de enseñanza

Grado en que se consiguen los objetivos del programa

Indicador Adecuación de los diferentes elementos curriculares (diseño, metodologías, medios personales, …)

Nivel de competencia adquirido en diferentes cortes temporales (corto, medio y largo plazo)

Dificultad técnica

Operativizar el concepto de calidad del proceso educativo

Seguimiento del alumnoDiseños cuasiexperimentales

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Para qué se evalúa. La finalidad de la evaluaciónPara qué se evalúa. La finalidad de la evaluación

EnfoquesEnfoques

Calidad del Proceso Calidad del Proceso EducativoEducativo

Calidad del Impacto Calidad del Impacto del Programadel Programa

Evaluación formativa:Evaluación formativa:Mejorar el procesoMejorar el proceso

Evaluación sumativa:Evaluación sumativa:Contrastar la eficacia del Contrastar la eficacia del 

programaprograma

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Qué audiencias están implicadasQué audiencias están implicadas

Identificar a todos los implicados en el programa y en su evaluación:

• Cliente (quien encarga el proceso de evaluación)

• Comunidad educativa: alumnos, padres, profesores, coordinadores, directivos, etc.

• Políticos, responsables del programa, etc…

Finalidad de la identificación de audiencias: conocer expectativas, motivaciones, solicitar información, recibir los informes…

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•Qué información se requiereQué información se requiere

Condiciones:   pertinencia /relevancia y evaluabilidad

Modelo teórico más usual:  CIPP de Stufflebeam

Contexto

EntradaProceso

Producto

Medios materiales:Recursos, …

Medios personales(competencias iniciales):Alumnos y Profesores

Expectativas…

Organización interna del programa

Adecuación metodológica

Clima del centro (relaciones)…

Nivel de competencias alcanzadas por los alumnos

Satisfacción de la comunidad educativa

Tipo de centro, ubicación, nivel socioeconómico…

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•  A quién se demanda información. Las fuentes de informaciónA quién se demanda información. Las fuentes de información•  Con qué instrumentos y cuándo se recoge informaciónCon qué instrumentos y cuándo se recoge información

Fuente de informaciónFuente de información Estrategia de recogida de Estrategia de recogida de informacióninformación

AntesAlumnosProfesoresPadresDirectivos,…

Durante

Al final

MomentoMomento

Pruebas específicas de aptitudEntrevistasCuestionarios,escalas, sociogramas…

AlumnosProfesoresPadres

Observación sistemáticaListas de control, escalas de estimación, …

AlumnosProfesoresPadresDirectivos, …

Pruebas específicas de aptitudEntrevistasCuestionarios,escalas, sociogramas…

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•  Cómo se analiza la informaciónCómo se analiza la información

Depende de…

• Los objetivos de la evaluación• El tipo de datos recogidos (cuantitativos, cualitativos)• El diseño de la evaluación (diseño experimental, …)• El formato de transmisión de los resultados

Proceso de análisis…

Informatización de datos (bases de datos, SPSS…)

Depuración de archivos

Análisis estadisticos descriptivos (inferenciales…)

Análisis de contenido, para datos cualitativos

      Proceso general en Evaluación de ProgramasProceso general en Evaluación de Programas

•  Los informes de evaluaciónLos informes de evaluación

Depende de: a quién van dirigidos…Depende de: a quién van dirigidos…Alumnos, Padres, ProfesoresDirectivos, PolíticosEvaluadoresSociedad …

Algunas recomendaciones para un informe global (componentes técnico­Algunas recomendaciones para un informe global (componentes técnico­metodológicos y relación de resultados):metodológicos y relación de resultados):

• Lenguaje y recursos de presentación: rigor científico + claridad

• Contextualizar todos los resultados

• Apoyarse en recursos gráficos  de fácil comprensión

• Presentar síntesis de resultados (puntos fuertes y débiles) y recomendaciones de mejora

•…

     

EVALUACIÓN DE PROGRAMAS: PLANTEAMIENTO GENERAL

 Concepto de EVALUACIÓN 

 Modalidades de Evaluación 

 Proceso general de Evaluación de Programas

 Metaevaluación: estándares internacionales

     

Metaevaluación: estándares internacionales

• UTILIDAD

(Reflexión sobre la calidad del propio proceso de evaluación)

Categorías básicas:(Joint Committe on Standards for Educational, 1988)

• FACTIBILIDAD

• LEGITIMIDAD

• PRECISIÓN