1 Evaluación de Programas Planificación y diseño de la evaluación. Dr. Jesús M. Jornet Meliá...

1

Evaluación de Programas

Planificación y diseño de la evaluación.

Dr. Jesús M. Jornet Meliá

Departamento de Métodos de Investigación y Diagnóstico en Educación

UNIVERSITAT DE VALÈNCIA

2

Estructura del Seminario

Conceptos básicos de Evaluación de Programas Componentes del diseño: las preguntas de la

evaluación Objeto de la evaluación Finalidad de la evaluación Audiencias o colectivos implicados Fuentes e instrumentos de información Momentos de recogida de información Análisis de la información Difusión de la información

3

Conceptos básicos de Evaluación de Programas

Qué es la Evaluación de Programas (I)

Es una especialización profesional que se identifica en diversas áreas (CC. Sociales, Humanas y de la Salud)

Su objetivo es recabar información para la toma de decisiones acerca de la intervención en esas áreas

En Educación su desarrollo ha sido muy profundo y afecta a la planificación, diseño y organización, innovación y control de la intervención educativa

4


Qué es la Evaluación de Programas (II)

Es propia de países que tienen una gestión democrática

América, Europa y Australia son las áreas donde más impacto y uso está teniendo en la actualidad

Es base tanto para la rendición de cuentas, como para la innovación y mejora de la intervención

5


Qué es la Evaluación de Programas (III)

Sinónimo de Investigación EvaluativaDiferente de:

Investigación Medición

Evaluación y Política

6

Concepto de Evaluación de Programas en Educación

Evaluación (Gem, 2001-2004):Proceso sistemático de indagación y comprensión de la realidad educativa que pretende la emisión de un juicio de valor sobre la misma, orientado a la toma de decisiones y la mejora.

7

Evaluación de Programas y otros conceptos




8

Evaluación de Programas y otros conceptos: Investigación Evaluativa

Investigación EvaluativaEvaluar es tomar una decisión sobre la orientación y el desarrollo de una acción, a partir de criterios explícitos y consensuados, aplicados a una información completa, sistemática, verificable y pública.La investigación evaluativa, sin embargo, pretende comprender los resultados de la acción. No pretende tanto constatar un resultado, cuanto comprender la dinámica interna susceptible de explicar ese resultado.

Evaluación/Investigación Evaluativa: SINÓNIMOS

9

Evaluación de Programas y otros conceptos




10

Evaluación de Programas y otros conceptos: Investigación

Investigación Básica Investigación Evaluativa

Finalidad

Buscar nuevos conocimientos que incrementen el cuerpo teórico de los fenómenos educativos (Anderson y Ball, 1983; Guttentag y Snaper, 1983; Weiss, 1983; Isaac, y Michael, 1984; De la Orden, 1985c).

Proporcionar información de inmediata puesta en práctica sin necesidad de ofrecer conocimientos generalizables

Punto de partida del proceso

Requiere la formulación clara y precisa de hipótesis como punto de partida

No requiere la formulación clara y precisa de hipótesis como punto de partida

Papel del investigador

El investigador es el que establece y selecciona el problema o las cuestiones que desea investigar

El investigador está subordinando a las demandas, problemas y cuestiones que otros necesitan

Criterios de validez de resultados

Se apoya en criterios de validez interna y externa (Campbell y Stanley, 1966) así como validez estadística y de constructo (Mark y Cook, 1984)

Además de apoyarse en criterios de validez debe ser: útil, comprensible, relevante y práctica (Patton, 1984)

Audiencia Los resultados se dirigen a una audiencia universal

Los resultados se dirigen a una audiencia particular

Implicación en el mundo de valores

Menos implicación Bastante o mucha implicación

Informe Utilizan un lenguaje que se ajusta más a las normas académicas que rigen la comunidad científica

Utilizan un lenguaje que debe ser siempre comprensible a quién se dirigen los resultados

11

Evaluación de Programas y otros conceptos: Medición

Medición: establecer la cantidad o extensión de algún fenómeno Evaluación: sustentar/emitir un juicio de valor aecrca de algún fenómeno

12

Qué es la Evaluación de Programas




13

Evaluación de Programas y otros conceptos: Política

Evaluación y Política“La evaluación se inscribe dentro de la tradición científica. (...) Pero la ciencia es sólo parte de la historia y, diría, una parte subordinada. Si la evaluación no es primeramente una actividad científica, entonces, ¿qué es? Es primero y sobre todo una actividad política, una función práctica dentro de un sistema social” (Cronbach, 1977)

14

Evaluación de Programas y otros conceptos: Política

Sistemas de valores y creencias

Metapostulados de la ciencia dominantes

Ideología política dominante

Programadores sociales

PolíticosInvestigadores

Evaluadores de programas

Estado de la cienciaConceptos básicos

Estructura y sistemas de promociónde la investigación aplicada

Sistema políticoRecursos económicos

Relaciones entre ciencia y política en evaluación de programas (tomado de Fernández Ballesteros, 1987)

15

Cómo surge la Evaluación de Programas en Educación

Etapa del inicio. Siglos XVII y XVIIIEtapa de la Reforma. Siglo XIXEtapa de los tests. 1900-1929Etapa tyleriana (1930-1945).Etapa de la inocencia (1945-1957).Etapa de la expansión (1957-1972).Etapa de la profesionalización (1973-1980)La situación actual.

Breve sinopsis

16

Cómo surge la Evaluación de Programas en Educación

Evolución del concepto de evaluación educativa.

Evoluciona hacia una concepción más global del rendimiento educativo, y su evaluación

Evaluación de

Aprendizajes Evoluciona hacia una

concepción más diversificada de los

objetos y los métodos de evaluación

Evaluación de

Programas

Evaluación Educativa

Popham (1980), De la Orden (1982),Salmerón (1997), Casanova (1999), Jiménez (1999), Mateo (2000a), Gómez i Serra (2000), Pérez Juste (2000a, b) Jornet (2001) y el Tesauro de Evaluación (Scriven, 1991).

17

Qué áreas atiende (I)

Informal

So-cial

Individual

No-Formal

Programas Socio-educativosEnfoque Político

Instituciones

Formal

Sistema Educativo

Instituciones

Aula Acciones Formativas

Situación educativa:Escenarios

18

Qué áreas atiende (II)

La Educación actúa mediante Programas

(Intervenciones orientadas a un fin/meta educativa)

Diverso grado de formalizaciónComponentes de un Programa: Medios y recursos materiales y humanos, concreción del diseño de actuación y metodología, objetivos, etc…

19

Qué áreas atiende (III)

Unidades de Evaluación:

Actores de la Educación (las personas)OrganizacionesElementos Materiales

20

Qué áreas atiende (IV)

Actores de la Educación:las Personas

Alumnos/as Profesores/asAgentes de la Educación

21

Qué áreas atiende (V)

Organizaciones Educativas

Sistemas Educativos Instituciones Educativas

Agrupaciones organizativas

22

Qué áreas atiende (VI)

Elementos Formales de Materialización de la Intervención

Educativa

Proyectos Diseños Curriculares

ProgramasMateriales

23

Componentes del diseño: las preguntas de la evaluación (I)

La Planificación de la Evaluación constituirá la adaptación del Plan de Evaluación a la realidad que pretende evaluar, anticipando, en la medida de lo posible, todos los componentes que estarán presentes en la situación evaluativa.

Objetivo de la Planificación: asegurar la validez y utilidad de la Evaluación.

24

Componentes del diseño: las preguntas de la evaluación (II)

Objeto de la evaluación

¿Qué se evalúa?

Finalidad de la evaluación

¿Para qué se evalúa?

¿Quién orienta o encarga la evaluación? ¿Quién realiza la Evaluación?

Audiencias o colectivos implicados

¿Qué audiencias están implicadas?

25

Componentes del diseño: las preguntas de la evaluación (III)

¿Qué información se requiere? ¿A quién se le demanda información?

Fuentes e Instrumentos de

Información ¿Cómo se recoge la información?

Momentos de recogida de información

¿Cuando se recoge la información?

Análisis de la información

¿Cómo se analiza y sintetiza la información? ¿Quién tiene derecho de acceso a la información? Difusión de la

Información ¿Cómo se elaboran los informes de evaluación?

26

Definición del Objeto de Evaluación¿Qué se evalúa? (I)

Se trata de identificar las características del Objeto a Evaluar.

Referencias:1. Concepto de Calidad2. Elementos para operativizar el concepto:

Los objetivos y consecuencias de la formación. Las unidades de análisis: el sujeto, el servicio o el programa. Las tipologías de formación. La definición de efectos a evaluar: eficacia, eficiencia,

funcionalidad

27

Definición del Objeto de Evaluación¿Qué se evalúa? (II)

Calidad del Servicio Calidad del Programa Objetivo de análisis

Bondad estructural y funcional de los Programas de Formación

Grado en que se han conseguido los objetivos del Programa

Clave Análisis del Proceso educativo

Análisis del Impacto

Indicador Adecuación de los diferentes elementos implicados en las Acciones Formativas (infraestructuras, medios y materiales, …)

Nivel de inserción para diferentes cortes temporales (corto, medio, largo plazo)

Fuentes Opiniones de los “clientes” (alumnos y empleadores)

Bases estadísticas de datos

Dificultad técnica

Operativizar el concepto de calidad del proceso educativo

Seguimiento individual a medio y largo plazo de los alumnos. Diseño cuasiexperimental

Características delos enfoques deCalidad de Servicioy del Programa(Perales, 2002)

28

La definición de efectos a evaluarEficacia: grado de consecución de objetivos. ( C B)Eficiencia: grado en que se optimizan los recursos en la consecución de objetivos. ((E,D) B)Funcionalidad: adecuación de todo el proceso a las necesidades, aspiraciones y expectativas sociales.((E,D,C,B) A)

Contexto sociocultural y económico de la

Educación A

Necesidades, aspiraciones y expectativas sociales a que debe responder la educación/institución

escolar B

Metas y objetivos de la Educación C

Productos educativos Aprendizajes y equipamiento intelectual de los

estudiantes D

Procesos Organizativos Curriculares Instructivos Investigadores Evaluativos

Directivos y de liderazgo Administrativos y gerenciales Recursos humanos Recursos económicos Recursos materiales

E Entradas al sistema escolar

Estudiantes: Número y características Profesores: Número y características

Recursos asignados

Modelo sistémico deArturo De la Orden

Efectos a evaluar:Eficacia Eficiencia Funcionalidad

29

Finalidad de la Evaluación

¿Para qué se evalúa? (I)

Se trata de determinar el uso de la Evaluación (Scriven, 1967):¿Identificar aspectos a Mejorar en un Programa o Calificarlo? Evaluación Formativa Evaluación Sumativa Objetivo último Mejorar el programa de

formación Determinar el nivel de calidad de un programa

Indicadores Descripción de los procesos de formación, de un modo concreto, pormenorizado y comprensivo.

Resumen sintético del programa

Uso en FPO Procesos de autoevaluación para la mejora

Evaluaciones de orientación político-administrativa (ev. macroestructural)

Otras finalidades vinculadas

1. Mejora de la eficacia 2. Mejora de la eficiencia

3. Demostración de responsabilidad institucional

4. Demostración del valor/ utilidad del programa

5. Planificación de oferta formativa

30

Identificar las audiencias implicadas(I)Concepto de Audiencia

Weiss (1984), incluye:

“tanto los miembros de los grupos que están palpablemente afectados por el programa y que, por tanto, estarán supuestamente afectados por las conclusiones evaluativas, como aquellos miembros de los grupos que toman decisiones en relación con el futuro del programa, tales como continuar o no con la financiación, o que pueden alterar el programa”.

31

Identificar las audiencias implicadas(II)Cuestiones implicadas

¿Quién orienta o encarga la

evaluación?

Identificar el grado y tipo de responsabilidad política y administrativa de quien encarga la evaluación.

¿Quién realiza la Evaluación?

Identificar quién va a ser el responsable de llevar a cabo el proceso de evaluación.

¿Qué audiencias están

implicadas?

Identificar los actores del proceso que se va a evaluar para definir su rol en el Plan de Evaluación.

32

Identificar las audiencias implicadas(III)¿Quién orienta o encarga la Evaluación?

Identificar las expectativas del cliente ayuda a ajustar mejor el plan de evaluación (finalidad, consecuencias, usos…)

Negociación y contrato de la evaluación

33

Identificar las audiencias implicadas(IV)¿Quién realiza la Evaluación? (II)

Se trata de identificar quién va a ser el responsable de la Evaluación

Afecta a la Credibilidad y al Coste de la Evaluación

Opciones:

Atención: “Externo o Interno” debe identificarse como un rol respecto del Programa

Evaluado

Evaluación Externa vs. Evaluación Interna…¿o bien,Mixta?

34

Identificar las audiencias implicadas(V)¿Qué audiencias están implicadas? (III)

Alumnos. Como sujetos de la Formación. Profesores, tanto de actividades teóricas como prácticas,

como agentes directos de la Formación. Orientadores (Profesionales y Ocupacionales), como

facilitadores de la integración socio-laboral. Coordinadores de Formación y/o Directores de

Organizaciones dedicadas a la formación, como responsables de la misma.

Empleadores, como receptores del producto formativo o como proveedores del capital que hace posible la formación.

Instituciones Públicas y/o Privadas, que proveen fondos de formación.

Sociedad, como receptora última del producto formativo o como subvencionadora de estos programas.

35

Fuentes e instrumentos de recogida de información (I)

Cuestiones implicadas

¿Qué información se

requiere?

Identificar cuál es la información verdaderamente relevante para el proceso evaluativo.

¿A quién se le demanda

información?

Identificar quién puede aportar la información relevante.

¿Cómo se recoge la

información?

Decidir acerca de la Técnica Evaluativa o Instrumento de Medida más adecuado para llevar a cabo la recogida de información.

36

Fuentes e instrumentos de recogida de información (II)

¿Qué información se requiere? Se trata de identificar cuál es la información relevante y de

calidad para la evaluación La información requerida debe cumplir dos requisitos

fundamentales:Pertinencia / relevanciaEvaluabilidad

Tipos de información: DescriptivaExplicativa

37

Fuentes e instrumentos de recogida de información (III)

Estrategia de selección de información

¿Qué información es relevante según la finalidad y el objeto de la evaluación?

¿Qué papel juega cada información?

¿Es evaluable?

¿Es fiable y válida?

¿Podemos interpretarla?

ContextoEntradaProcesoProducto

38

Fuentes e instrumentos de recogida de información (IV)

Variables e Indicadores Las informaciones a considerar son llamadas

variables, dado que son aspectos de la realidad que pueden adoptar distintos valores, que varían

Un Indicador es un dato o resultado susceptible de una interpretación inequívoca o normalizada, que informa del estado o evolución de algún fenómeno

Cuatro tipos de variables o indicadores, según su rol en el Plan de Evaluación

39

Fuentes e instrumentos de recogida de información (V)

Clasificación de información

Adaptado a partir del Modelo CIPP deSttuflebeam y otros (1971)

Variables / Indicadores Contextuales son aquellos que

nos pueden ayudar a modular la interpretación de la Evaluación del Programa teniendo en cuenta la situación en que se inserta

Variables / Indicadores de Entrada (Input) son los referidos a los medios con que se cuenta para el desarrollo del Programa, tanto medios materiales como personales

Variables/ Indicadores de Proceso son los relativos al “Cómo se produce la Formación”, es decir, todas las implicadas en el desarrollo del Programa

Variables / Indicadores de Producto -o Resultados de la Formación- son aquellos que pueden poner de manifiesto el logro de objetivos del programa

40

Fuentes e instrumentos de recogida de información (VI)

Tabla de selección de información

Rol / tipo Variable / indicador

¿Es evaluable?

¿Podemos interpretarla?

¿Es fiable y válida?

Desarrollo tecnológico… Si Si Si

Oferta de formación Si Si Si Contexto

… Infraestructura Puestos para prácticas

Nº Alumnos Entrada

… Proceso … Producto …

41

Fuentes e instrumentos de recogida de información (VII)

¿A quién se le pide información?

¿Quién puede aportar la información requerida de una manera más fiable y válida?

AlumnosProfesoresResponsables de formaciónSupervisores

¿Existe más de una posibilidad?

¿Cuál es la más operativa?¿Interesa triangular fuentes?

¿Es factible el acceso a la información?

SI

¿El banco está actualizado?¿Hacen falta permisos especiales para acceder?

¿Puede haber perturbaciones en el programa de formación?

Bancos de datos

42

Fuentes e instrumentos de recogida de información (VIII)

Tabla de fuentes de informaciónSíntesis de variables/indicadores y fuentes de

información. Fuentes de información

Tip

o

Variables / Indicadores

Alu

mnos

Pro

feso

res

Coo

rdin

ador

Obse

rvad

or

Exte

rno

Otr

as fuen

tes

Características de alumnos X X X Características de los profesores

X X

Sistema de selección de alumnos X Infraestructura (aulas teóricas, prácticas…) X X X X En

trad

a

Medios disponibles en las aulas X X X

Actuación del Profesorado X X X

Nº de sesiones teóricas X X

X X X

Metodología didáctica X

Proc

eso

… … …

Producto … … …

Contexto … … …

43

Fuentes e instrumentos de recogida de información (IX)

¿Cómo se recoge la información? Tipos de instrumentos, según el grado de estandarización:

Instrumentos de Medida: pruebas de rendimiento/capacitación, y buena parte de los Cuestionarios o Escalas de Opinión.

Técnicas Evaluativas: Entrevista, Auto-informes, Registros Observacionales.

Criterios de selección de instrumentos:Adecuación al tipo de información a recogerCriterios técnico-metodológicos, y Oportunidad (la logística de la evaluación)

44

Momentos de recogida de información ¿Cuándo se recoge información?

Considerando: El tipo de información (contexto, entrada, proceso, producto) La fuente e instrumento más adecuados La logística de la evaluación

Es necesario decidir para cada información

¿Cuántas medidas debemos recabar?

Medida única

Medidas repetidas

¿Cuándo se deben establecer?

Antes del Programa

¿Es conveniente adoptar esos momentos para la evaluación?

¿Es conveniente introducir otros momentos?

¿Cuáles son los momentos más adecuados?

A la finalización del Programa

Corto plazo Medio plazo Largo plazo

SI

NO

Durante su realización. ¿Existe una estructura que determine los momentos?

¿Una o varias medidas?

¿Cuándo se ha de medir el producto o impacto del Programa?

Momentos: Previo, Inicio, Durante, Final y Después del programa.

(Pérez Carbonell, 1998)

45

Análisis de la información

¿Cómo se analiza y sintetiza la información?Del Análisis de Datos depende una correcta interpretación de la EvaluaciónLa estructura inicial del Análisis de Datos deviene del Diseño de la EvaluaciónTipos de AnálisisAnálisis cuantitativo:

El Análisis Exploratorio de Datos (AED) es una fase crucial en el Análisis: de él depende buena parte de la selección de técnicas a

aplicarEl Análisis Confirmatorio de Datos (ACD) está orientado a

determinar los efectos del Programa y a explicar los niveles observados en la Evaluación

Análisis cualitativo de datosRecomendacionesEl Análisis de Datos es una tarea dinámica, que debe ir reajustándose a la vista de los resultadosHay que ser muy preciso y claro al explicar los análisis realizados

46

Difusión de la información (I)

¿Quién tiene derecho de acceso a la

información?

Identificar los actores del proceso objeto de evaluación que tienen derecho a información.

¿Cómo se elaboran los informes de evaluación?

Identificar qué informes deben realizarse y ajustar su formato de acuerdo a las características de la Audiencia a que se dirigen.

47

Difusión de la información(II)¿Quién tiene derecho de acceso a la

información?

Dar información es básico para que la Evaluación sea creíble y útil

Como principio general puede asumirse que todo aquél que esté implicado en el proceso, bien porque es evaluado -directa o indirectamente al evaluar el Programa de Formación-, bien porque está implicado como fuente de información tiene derecho a conocer resultados, los que le afectan directamente o los que le pueden ser útiles para sus decisiones acerca del Programa.

Es conveniente recoger en el Contrato de Evaluación las responsabilidades en cuanto a la Custodia y usos posteriores de los resultados

48

Difusión de la información(III)

¿Cómo se elaboran los informes de evaluación? Informes a realizar:Informe Global en el que se incluyan todos los elementos implicados en la EvaluaciónInformes específicos por audiencias

Recomendaciones:Contextualización de la Información y claridad son dos principios básicos para elaborar los Informes de EvaluaciónDebe incluirse una Síntesis y Recomendaciones en los InformesLos informes destinados a cada colectivo específico incluirán sólo la información que pueda interesarles o afectarles, adaptando el lenguaje y sistema de exposición a sus características

49

Difusión de la información(IV)¿Cómo se elaboran los informes de evaluación?

Aspectos a tener en cuenta en el Informe Global:¿Se ha incluido una presentación Metodológica?¿Se reseñan todos los componentes de Planificación de la Evaluación?¿Se incluyen todos los resultados?¿El lenguaje es claro y preciso?¿Se han desarrollado gráficos de apoyo?¿La información está bien contextualizada?¿Se realiza una síntesis adecuada?¿Se aportan recomendaciones?

50

Difusión de la información(V)¿Cómo se elaboran los informes de evaluación?

Aspectos a tener en cuenta en los informes específicos de cada audiencia:¿Se incluye la información de interés para la audiencia a que va dirigido?¿La información está contextualizada?¿El lenguaje se ajusta al nivel de la audiencia?¿En suma, es representativo de los resultados completos?

51

¿Cómo utilizar los resultados de la Evaluación?

Utilidad, para el cliente y los distintos implicadosJusticia. Representación justa de la calidad del programaEquidad. Garantía de igualdad de opotunidades y el tratamiento diferencial, evitando sesgos.

52

Muchas gracias por su atención

1 Evaluación de Programas Planificación y diseño de la evaluación. Dr. Jesús M. Jornet Meliá...

Documents

Transcript of 1 Evaluación de Programas Planificación y diseño de la evaluación. Dr. Jesús M. Jornet Meliá...