1

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

TALLER SOBRE

METAEVALUACIÓN

Ricard de la Vega Alemparte

2

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿qué expectativa tienes?

¿qué te habrás llevado o

qué habrá pasado para

considerarlo un éxito?

3

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

1. ¿Qué es ese horizonte? ¿qué es?

2. ¿Porqué queremos llegar hasta allí?

¿Para qué habrá servido llegar hasta

allí? ¿propósito?

3. ¿Cómo es ese horizonte? ¿enfoques,

herramientas y centrado?

4. ¿Cómo iremos de aquí a allí? ¿Qué

problemas nos encontraremos?Integrarlo en nuestra cotidianeidad a

través de una práctica

Para cubrir el trayecto de hoy …..

4

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

1. ¿Qué es la MTV?

La MTV es una evaluación de la evaluación, es una fase posterior,

terminal, que trasciende a la fase de la evaluación.

Es un juicio sobre la evaluación como resultado que consiste en la

aplicación de listas de comprobación (KEC Key Evaluation

Checklist) para construir un juicio sobre el resultado de la

evaluación original.

Michael Scriven 1968

“Los evaluadores tienen la obligación profesional de que las evaluaciones

propuestas o finalizadas estén sujetas a una evaluación competente, la

metaevaluación”.

5

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Qué es la MTV?

Una evaluación de la evaluación en términos de fiabilidad, validez y

calidad …... sobre el uso y utilidad de la información derivada del proceso

de evaluación ….. en respuesta a la demanda social sobre la calidad de la

evaluación.

Es como un termómetro de la veracidad, viabilidad, objetividad y la

fiabilidad de la información recopilada y arrojada por la diversidad de

instrumentos utilizados en la práctica evaluativa.

La evolución de la evaluación con la que se trata de averiguar hasta qué punto

la evaluación utilizada ha ampliado sus objetivos y hasta qué punto se ha

cumplido la misión que se le había encomendado y hasta qué punto los

instrumentos utilizados son adecuados para obtener la información deseada.

Ha sido y es comúnmente considerada como aquella investigación sistemática

cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una

evaluación.

Más allá de los datos, más allá de los métodos…

Ética y política, más allá de la técnica !!

6

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Qué es la MTV?

Dos visiones opuestas ¿? sobre la MTV

Sobre la eficacia del programa en cuestión

(pretende comprobar el impacto del programa en la

realidad; ex: rentabilidad)

como un proceso técnico

Sobre la evaluación en sí

(pretende analizar y cuestionar sus supuestos

implícitos de la evaluación para mejorarla)

como un proceso social complejo

7

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

2. ¿Para qué sirve la MTV?

"El objetivo de la metaevaluación es asegurar la

calidad de los servicios evaluativos, evitar o

enfrentarse a las prácticas ilegales o a los servicios

que no son de interés público, señalar

el camino para el perfeccionamiento de la profesión

y promover una mayor comprensión de la empresa

evaluativa”.

Daniel Stufflebeam (1987)

Sirve para eliminar de la evaluación

la parcialidad, el error técnico,

dificultades administrativas o

el mal uso de la misma.

8

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

1. Meditar sobre lo que pasa

2. Mentir / Manipular sobre lo que pasa

3. Medir lo que pasa

4. Consensuar / Mediar entre stakeholders

Mejorar la evaluación para alterar lo que pasará en el futuro

¿Para qué sirve la MTV?

9

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Antes de hablar de los

enfoques, herramientas y fases

una reflexión previa

10

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Qué es la calidad?

11

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo medir LA CALIDAD?

Todo juicio sobre la realidad implica de manera inherente unos

valores previos e implícitos que “limitan” “nuestra caja”

Think out of the box

12

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Medir, pero……

¿Qué medir? ¿Cómo medirlo?

VS

¿Por qué medirlo de esa manera?

(supuestos implícitos no sólo respecto a los

indicadores sino a su utilidad, su finalidad,

quién NO los mide y el proceso en sí)

13

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Calidad como

ajuste al

contexto

No como algo inherente al

producto o servicio evaluado

¿Sobre qué contexto centrar la MTV?

El mapa de actores: más allá de los stakeholders

14

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

MTV

MUNDO ACADÉMICO PROFESORES

SOCIEDAD

EMPLEADORES

ESTUDIANTES

POLÍTICOS

GESTORES

Diferentes perspectivas

Diferentes motivaciones

Diferentes usos de la información (internos, externos)

Rendición de cuentas

Tomar decisiones de financiación

Profesionalidad

Empleabilidad

Ayuda sin coartar libertad para el avance del conocimiento. No burocracia.

El mapa de actores (más allá de los stakeholders)

http://www.qaa.ac.uk/enhancement/qualityMatters/QMNovember08.asp

15

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

El mapa de actores (más allá de los stakeholders)

DESTINATARIO DESTINATARIO

AGENTES

INTERNOS

AGENTES

EXTERNOS

PRODUCTOR

PROMOTOR

PROVEEDORUSUARIO

AGENTE DE INTERES

Recibe activamente el

resultado

Recibe pasivamente el

resultado

ASOCIADO

ASESOR

AGENTE REGULADOR

CO-PRODUCTOR

16

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

UTILIDAD FUTURAMARCO DE REFERENCIA

Diferentes perspectivas

Diferentes motivaciones

Diferentes usos de la información (internos, externos)

17

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

3. ¿Cómo llevar a cabo la MTV?

1. Enfoques

2. Herramientas

3. Centrado del proceso

4. Dimensiones

18

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo llevar a cabo la MTV? Enfoques

Tres grandes paradigmas:

1. Cuantitativo • la MTV debe ser veraz

• fuente positivista: lo que no se mide no se mejora

2. Cualitativo • la MTV debe ser creíble y “justa”

• fuente humanista – político: valores y propósitos

inherentes

3. Mixto

19

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo llevar a cabo la MTV? Herramientas

1. Cuantitativas

• Meta estadística

• Estadística cuantitativa (análisis factorial)

• Preocupaciones metodológicas (fiabilidad y validez; origen y

calidad de los datos)

2. Cualitativas

• Análisis textual o hermenéutico (comprender un texto en su

contexto) (SPAD, SPSS,..)

• Grupos focales con stakeholders externos a la universidad

(mapa de actores en contexto)

• Delphi u otros métodos basados en expertos

• Aspectos éticos, políticos y otros valores inherentes

3. Mixtas

20

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

OutputsInputs

Recursos

Guias

¿Herramientas? La caja de proceso

21

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Herramientas? El mapa de actores

DESTINATARIO DESTINATARIO

AGENTES

INTERNOS

AGENTES

EXTERNOS

PRODUCTOR

PROMOTOR

PROVEEDORUSUARIO

AGENTE DE INTERES

Recibe activamente el

resultado

Recibe pasivamente el

resultado

ASOCIADO

ASESOR

AGENTE REGULADOR

CO-PRODUCTOR

22

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Sobre qué centrar la MTV? Centrado

1. el proceso de evaluación en sí (lo diseñado)

2. los resultados obtenidos o ayuda a la toma de decisiones que

apoya (lo deseado)

3. los evaluadores y sus valores y conducta (ética)

4. los modelos y las herramienta/s que se utiliza/n

5. los valores inherentes al enfoque o marco del proceso evaluativo

que usamos (por ejemplo, qué perfil tienen quienes forman parte

del comité de evaluadores)

6. la mejora conseguida en términos acumulativos

7. Outputs o outcomes (intangibles)

8. La ideología y filosofía del proceso en sí (lo que transciende)

23

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo llevar a cabo la MTV? Dimensiones

Exploraremos los siguientes ámbitos:

1. Génesis del informe (origen y porqué del inicio)

2. Veracidad del informe (datos y método)

3. Credibilidad del informe (autoridad y fundamento moral)

4. Persuasión del informe

5. Justicia o equidad del informe (equilibrio interno)

6. Estética y belleza del informe

7. Equidad del informe (intereses en conflicto)

8. Impacto social del informe (actores concernidos)

9. Comunicación del informe (audiencia)

10. ……..

Para ofrecer recomendaciones de futuro

24

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Centrado

+ Dimensiones

= Protocolo y herramienta de MTV

¿Cómo construir la MTV?

Reflexión de lo que ha pasado

+Propósito que queremos cubrir con la MTV

25

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo construir la MTV?

Phi Delta Kappa Study Committee

Para medir la suficiencia técnica cuatro criterios:

validación interna, validación externa, fiabilidad y la objetividad;

y

para medir la utilidad se plantean siete criterios: pertinencia,

trascendencia, alcance, credibilidad, oportunidad

y la accesibilidad, costo / efectividad.

Daniel Stufflebeam

Para realizar una MTV, debemos contemplar seis elementos:

- conceptuales, - socio-políticos, - legales-contractuales, - técnicos,

- administrativos, - consideraciones morales, éticas y de utilidad.

26

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo construir la MTV? Categorías

27

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

¿Cómo construir la MTV? Impactos

28

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Toda evaluación o MTV genera realidad

Dime cómo me

mides y te diré

cómo me comporto.

Eliyahu Goldratt.

Los comportamientos cambian cuando notamos que

somos observados (y medidos) evidencia empírica

El observador siempre influye en lo observado !

29

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

El ciclo de mejora continuo o Caminante no hay camino…

30

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

31

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Por otra parte la evaluación educativa se va plegando cada vez más a intereses políticos y

es por eso que muy acertadamente describe ese proceso de influencia

cuando dice:

“Filosóficamente, los evaluadores dejaron de creer que su disciplina era una disciplina

neutral y asumieron que su práctica implicaba promover los valores e intereses de unos

grupos sobre otros; aunque no acostumbran tener claro en absoluto, qué hacer con

semejante descubrimiento. Los evaluadores tuvieron que hacer frente a la disyuntiva, en

apariencia conflictiva, entre ser científicos por un lado, y útiles, por otro.

Políticamente, por último, se movieron de una esfera en la que se concebían a sí mismos

como técnicos expertos opuestos a los males de la política, a otra en la que ahora

admiten, francamente que la evaluación misma es una actividad con efectos e

implicaciones políticas. Estos cambios conceptuales fueron estimulados por la rápida

evolución del contexto social, en relación con el cambio del carácter en la sociedad

norteamericana”.

Ernest House (1992)

32

RIC

ARD

O D

E L

A V

EG

A A

LEM

PARTE

Dudas, sugerencias, preguntas, interrogantes,..