Metaevaluación
-
Upload
ricard-de-la-vega -
Category
Business
-
view
16.230 -
download
0
description
Transcript of Metaevaluación
1
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
TALLER SOBRE
METAEVALUACIÓN
Ricard de la Vega Alemparte
2
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿qué expectativa tienes?
¿qué te habrás llevado o
qué habrá pasado para
considerarlo un éxito?
3
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
1. ¿Qué es ese horizonte? ¿qué es?
2. ¿Porqué queremos llegar hasta allí?
¿Para qué habrá servido llegar hasta
allí? ¿propósito?
3. ¿Cómo es ese horizonte? ¿enfoques,
herramientas y centrado?
4. ¿Cómo iremos de aquí a allí? ¿Qué
problemas nos encontraremos?Integrarlo en nuestra cotidianeidad a
través de una práctica
Para cubrir el trayecto de hoy …..
4
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
1. ¿Qué es la MTV?
La MTV es una evaluación de la evaluación, es una fase posterior,
terminal, que trasciende a la fase de la evaluación.
Es un juicio sobre la evaluación como resultado que consiste en la
aplicación de listas de comprobación (KEC Key Evaluation
Checklist) para construir un juicio sobre el resultado de la
evaluación original.
Michael Scriven 1968
“Los evaluadores tienen la obligación profesional de que las evaluaciones
propuestas o finalizadas estén sujetas a una evaluación competente, la
metaevaluación”.
5
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Qué es la MTV?
Una evaluación de la evaluación en términos de fiabilidad, validez y
calidad …... sobre el uso y utilidad de la información derivada del proceso
de evaluación ….. en respuesta a la demanda social sobre la calidad de la
evaluación.
Es como un termómetro de la veracidad, viabilidad, objetividad y la
fiabilidad de la información recopilada y arrojada por la diversidad de
instrumentos utilizados en la práctica evaluativa.
La evolución de la evaluación con la que se trata de averiguar hasta qué punto
la evaluación utilizada ha ampliado sus objetivos y hasta qué punto se ha
cumplido la misión que se le había encomendado y hasta qué punto los
instrumentos utilizados son adecuados para obtener la información deseada.
Ha sido y es comúnmente considerada como aquella investigación sistemática
cuyo objetivo es emitir un juicio acerca de la calidad o los méritos de una
evaluación.
Más allá de los datos, más allá de los métodos…
Ética y política, más allá de la técnica !!
6
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Qué es la MTV?
Dos visiones opuestas ¿? sobre la MTV
Sobre la eficacia del programa en cuestión
(pretende comprobar el impacto del programa en la
realidad; ex: rentabilidad)
como un proceso técnico
Sobre la evaluación en sí
(pretende analizar y cuestionar sus supuestos
implícitos de la evaluación para mejorarla)
como un proceso social complejo
7
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
2. ¿Para qué sirve la MTV?
"El objetivo de la metaevaluación es asegurar la
calidad de los servicios evaluativos, evitar o
enfrentarse a las prácticas ilegales o a los servicios
que no son de interés público, señalar
el camino para el perfeccionamiento de la profesión
y promover una mayor comprensión de la empresa
evaluativa”.
Daniel Stufflebeam (1987)
Sirve para eliminar de la evaluación
la parcialidad, el error técnico,
dificultades administrativas o
el mal uso de la misma.
8
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
1. Meditar sobre lo que pasa
2. Mentir / Manipular sobre lo que pasa
3. Medir lo que pasa
4. Consensuar / Mediar entre stakeholders
Mejorar la evaluación para alterar lo que pasará en el futuro
¿Para qué sirve la MTV?
9
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Antes de hablar de los
enfoques, herramientas y fases
una reflexión previa
10
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Qué es la calidad?
11
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo medir LA CALIDAD?
Todo juicio sobre la realidad implica de manera inherente unos
valores previos e implícitos que “limitan” “nuestra caja”
Think out of the box
12
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Medir, pero……
¿Qué medir? ¿Cómo medirlo?
VS
¿Por qué medirlo de esa manera?
(supuestos implícitos no sólo respecto a los
indicadores sino a su utilidad, su finalidad,
quién NO los mide y el proceso en sí)
13
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Calidad como
ajuste al
contexto
No como algo inherente al
producto o servicio evaluado
¿Sobre qué contexto centrar la MTV?
El mapa de actores: más allá de los stakeholders
14
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
MTV
MUNDO ACADÉMICO PROFESORES
SOCIEDAD
EMPLEADORES
ESTUDIANTES
POLÍTICOS
GESTORES
Diferentes perspectivas
Diferentes motivaciones
Diferentes usos de la información (internos, externos)
Rendición de cuentas
Tomar decisiones de financiación
Profesionalidad
Empleabilidad
Ayuda sin coartar libertad para el avance del conocimiento. No burocracia.
El mapa de actores (más allá de los stakeholders)
http://www.qaa.ac.uk/enhancement/qualityMatters/QMNovember08.asp
15
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
El mapa de actores (más allá de los stakeholders)
DESTINATARIO DESTINATARIO
AGENTES
INTERNOS
AGENTES
EXTERNOS
PRODUCTOR
PROMOTOR
PROVEEDORUSUARIO
AGENTE DE INTERES
Recibe activamente el
resultado
Recibe pasivamente el
resultado
ASOCIADO
ASESOR
AGENTE REGULADOR
CO-PRODUCTOR
16
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
UTILIDAD FUTURAMARCO DE REFERENCIA
Diferentes perspectivas
Diferentes motivaciones
Diferentes usos de la información (internos, externos)
17
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
3. ¿Cómo llevar a cabo la MTV?
1. Enfoques
2. Herramientas
3. Centrado del proceso
4. Dimensiones
18
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo llevar a cabo la MTV? Enfoques
Tres grandes paradigmas:
1. Cuantitativo • la MTV debe ser veraz
• fuente positivista: lo que no se mide no se mejora
2. Cualitativo • la MTV debe ser creíble y “justa”
• fuente humanista – político: valores y propósitos
inherentes
3. Mixto
19
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo llevar a cabo la MTV? Herramientas
1. Cuantitativas
• Meta estadística
• Estadística cuantitativa (análisis factorial)
• Preocupaciones metodológicas (fiabilidad y validez; origen y
calidad de los datos)
2. Cualitativas
• Análisis textual o hermenéutico (comprender un texto en su
contexto) (SPAD, SPSS,..)
• Grupos focales con stakeholders externos a la universidad
(mapa de actores en contexto)
• Delphi u otros métodos basados en expertos
• Aspectos éticos, políticos y otros valores inherentes
3. Mixtas
20
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
OutputsInputs
Recursos
Guias
¿Herramientas? La caja de proceso
21
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Herramientas? El mapa de actores
DESTINATARIO DESTINATARIO
AGENTES
INTERNOS
AGENTES
EXTERNOS
PRODUCTOR
PROMOTOR
PROVEEDORUSUARIO
AGENTE DE INTERES
Recibe activamente el
resultado
Recibe pasivamente el
resultado
ASOCIADO
ASESOR
AGENTE REGULADOR
CO-PRODUCTOR
22
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Sobre qué centrar la MTV? Centrado
1. el proceso de evaluación en sí (lo diseñado)
2. los resultados obtenidos o ayuda a la toma de decisiones que
apoya (lo deseado)
3. los evaluadores y sus valores y conducta (ética)
4. los modelos y las herramienta/s que se utiliza/n
5. los valores inherentes al enfoque o marco del proceso evaluativo
que usamos (por ejemplo, qué perfil tienen quienes forman parte
del comité de evaluadores)
6. la mejora conseguida en términos acumulativos
7. Outputs o outcomes (intangibles)
8. La ideología y filosofía del proceso en sí (lo que transciende)
23
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo llevar a cabo la MTV? Dimensiones
Exploraremos los siguientes ámbitos:
1. Génesis del informe (origen y porqué del inicio)
2. Veracidad del informe (datos y método)
3. Credibilidad del informe (autoridad y fundamento moral)
4. Persuasión del informe
5. Justicia o equidad del informe (equilibrio interno)
6. Estética y belleza del informe
7. Equidad del informe (intereses en conflicto)
8. Impacto social del informe (actores concernidos)
9. Comunicación del informe (audiencia)
10. ……..
Para ofrecer recomendaciones de futuro
24
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Centrado
+ Dimensiones
= Protocolo y herramienta de MTV
¿Cómo construir la MTV?
Reflexión de lo que ha pasado
+Propósito que queremos cubrir con la MTV
25
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo construir la MTV?
Phi Delta Kappa Study Committee
Para medir la suficiencia técnica cuatro criterios:
validación interna, validación externa, fiabilidad y la objetividad;
y
para medir la utilidad se plantean siete criterios: pertinencia,
trascendencia, alcance, credibilidad, oportunidad
y la accesibilidad, costo / efectividad.
Daniel Stufflebeam
Para realizar una MTV, debemos contemplar seis elementos:
- conceptuales, - socio-políticos, - legales-contractuales, - técnicos,
- administrativos, - consideraciones morales, éticas y de utilidad.
26
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo construir la MTV? Categorías
27
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
¿Cómo construir la MTV? Impactos
28
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Toda evaluación o MTV genera realidad
Dime cómo me
mides y te diré
cómo me comporto.
Eliyahu Goldratt.
Los comportamientos cambian cuando notamos que
somos observados (y medidos) evidencia empírica
El observador siempre influye en lo observado !
29
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
El ciclo de mejora continuo o Caminante no hay camino…
30
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
31
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Por otra parte la evaluación educativa se va plegando cada vez más a intereses políticos y
es por eso que muy acertadamente describe ese proceso de influencia
cuando dice:
“Filosóficamente, los evaluadores dejaron de creer que su disciplina era una disciplina
neutral y asumieron que su práctica implicaba promover los valores e intereses de unos
grupos sobre otros; aunque no acostumbran tener claro en absoluto, qué hacer con
semejante descubrimiento. Los evaluadores tuvieron que hacer frente a la disyuntiva, en
apariencia conflictiva, entre ser científicos por un lado, y útiles, por otro.
Políticamente, por último, se movieron de una esfera en la que se concebían a sí mismos
como técnicos expertos opuestos a los males de la política, a otra en la que ahora
admiten, francamente que la evaluación misma es una actividad con efectos e
implicaciones políticas. Estos cambios conceptuales fueron estimulados por la rápida
evolución del contexto social, en relación con el cambio del carácter en la sociedad
norteamericana”.
Ernest House (1992)
32
RIC
ARD
O D
E L
A V
EG
A A
LEM
PARTE
Dudas, sugerencias, preguntas, interrogantes,..