La Evaluación de la Participación

PRESENTA

CONCEPCIÓN HERNÁNDEZ BATALLA

V Seminario "Pensamiento Sistémico y Análisis de Sistemas"

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

1. Planeación y Evaluación.2. Evaluación 3. Participación 4. La Participación y su Evaluación 5. Aplicación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Esquema conceptual Situación actual

Análisis histórico

Planteamiento de la problemática

Análisis de los problemas

actuales y potenciales

Escenario de

refrerencia

Expectativas

Evaluación

del sistema

Sistema de problemas;

causas y discrepancias

Evaluación e integración

Formulación de los problemas a solucionar

Elaboración del

estado deseado

Formulación

de objetivos

Construcción del

estado deseado

Generación de

alternativas y

estrategias

Evaluación de

alternativas y

selección

Plan: táctico,

estratégico,

prospectivo

Análisis de

contingencias

Rediseño de la

organización

Generación y Evaluación

de Alternativas

Integración del Plan

Documentación

del diagnóstico

Integración de

programas y

proyectos

Acciones

Desarrollo de la

solución

Restricciones impuestas Criterios y parámetros externos

Identificación de variables

Criterios de medición

Diseño de indicadores

Diseño de la

implementación

Integración de una

estructura de gestión

Sistema de

información

Evaluación del

sistema

Diseño de la implementación y control

SUBSISTEMA CONTROL

DE RESULTADOS

SUBSISTEMA DISEÑO

DE SOLUCIONES

SUBSISTEMA

DIAGNÓSTICO

SISTEMA DE LA

PLANEACIÓN

Estados de insatisfacción

Aprendizaje y

adaptación

Definición de la

problemática

Criterios y

parámetros

internos

Programación y

presupuestación

Gestión del cambio

Implantación de

acciones planeadasResultadosGabriel de las Nieves Sánchez Guerrero;

adaptación de Fuentes Z. A. y Sánchez G. G. N., 1987

1. Planeación y Evaluación

Diversos autores del campo de laevaluación reconocen a esta como partedel proceso de participación (SánchezGuerrero,1994)

Evaluación en función de la Planeación

Diagnóstica ex-ante ex-post

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Edad de la Reforma.

Edad de la Eficiencia y la

experimentación.

Edad Tayleriana.

Edad de la Ignorancia.

1800-1900 1900-1930 1930-1945 1946-1957

Edad de la Expansión.

1958-1972

Edad de la Profesionalización.

1973-1990

Edad de la Convergencia.

1990-2010

2. Evaluación

Es una búsqueda de información que habrá de proporcionarse a quienes deban tomar decisiones (Cronbach, 1963)

Es la ciencia que proporciona información para la toma de decisiones (Stufflebeam, 2000)

Es un proceso participativo y creativo para la toma de decisiones (Patton, 2010)

Evaluación

Es una más de las derivaciones de

las Ciencias sociales aplicadas. Rebolloso (1987).

Es interdisciplinaria

porque ha emergido de

campos distintos. Alvira(1998) .

Es transdisciplinaria , presente en múltiples disciplinas como una

actividad común. Scriven (1994).

Es una multidisciplina

que proviene de muchos campos y

disciplinas. Perloff (1976).

Algunas de las conceptualizaciones actuales permiten comparar y clasificar diferentes evaluaciones o enfoques teóricos en función de su nivel de participación.

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Objetivismo Subjetivismo. Pluralismo Transformativo

1ª Generación 2ª Generación 3ª Generación 4ª Generación 5ª Generación

Ensayos aleatorios.

Resultados eficaces

orientado a procesos .

Evaluación adaptativa,uso de juicios.

Enfocada a los involucrados , los enfoques participativos y al uso de combinación de métodos.

Teoría crítica, evaluación defensiva.

Scriven. Stake. Stufflebeam

Weiss Guba y Lincon Fetterman

Stake Greene Patton

Post- positivismo

Construccionismo

Positivismo

Trasformativa

Paradigmas de la evolución de la Evaluación (Vaca, 2013)

Evolución del enfoque de Evaluación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Forma Autor(es)

principal(es)

Función Control de toma de decisiones Selección para participación Profundidad de

participaciónEvaluación Participativa

Práctica (EP-P)

Cousins and Earl;

Ayers

Práctica: Apoyo a la toma de decisiones

del programa y la resolución de

problemas; utilización de la evaluación

Equilibrado: El evaluador y los

participantes en asociación

Los usuarios primarios: Los

patrocinadores del programa, gestores,

desarrolladores, implementadores

Amplia: La participación en todas

las fases de la evaluación

Evaluación Participativa

Transformativa (EP-T)

Tandon &

Fernandes; Fals-

Borda; Gaventa

Política: El empoderamiento, la

emancipación, la justicia social

Equilibrado: Asociación, toma de

decisiones definitiva por parte de los

participantes

Todos los grupos legítimos:

Especialmente los beneficiarios del

programa o proyecto

Amplia: La participación en todas

las fases de la evaluación

Evaluación de las partes

interesadas

Bryk; Mark &

Shotland

Práctica: utilización de Evaluación;

cierto énfasis en los aspectos políticos

de la evaluación

Evaluador: Coordinador de las

actividades y los aspectos técnicos de

la evaluación

Todos los grupos legítimos: la

representación es la clave para

contrarrestar los efectos nocivos de la

micro política del programa

Limitadas: Las partes interesadas

consultadas en las fases de

planificación y de interpretación

Evaluación Académica Nevo; Alvik Práctica: Apoyo a la toma de decisiones

del programa y la resolución de

problemas

Equilibrado: El evaluador capacita al

personal académico que hacen su

propia investigación

Los usuarios principales: personal

académico, en su mayoría los ejecutores

de programas

Amplia: La participación en todas

las fases de la evaluación

Evaluación Democrática MacDonald;

McTaggart

Política: Uso legítimo de la evaluación

en una sociedad pluralista

Equilibrado: El evaluador y los

participantes trabajan en

colaboración

Todos los grupos legítimos:

Representación ante los participantes es

fundamental

Moderado: Los interesados

controlan la interpretación y

presentación de informes

Evaluación del Desarrollo Patton Práctica: Utilización de la evaluación de

mejora del programa

Equilibrado: El evaluador y los

participantes trabajan en

colaboración

Los usuarios principales: Mayormente

desarrolladores e implementadores de

programas

Sustancial: implicación y

participación vigentes

Evaluación del

Empoderamiento

Fetterman Política: El empoderamiento, la

iluminación, la autodeterminación

Participantes: Control casi total,

facilitado por evaluador

Los usuarios principales: Normalmente

personal clave del programa; a veces los

grupos más amplios incluidos

Amplia: La participación en todas

las fases de la evaluación

Cullen (2011) comenta que la evaluación participativa ha sido conceptualizada, operacionalizada e implementada de diversas maneras yque su diversidad merece hacer una análisis de las diversas formas que incluyen a la participación.

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas" Evaluación enfocada a

la Utilización

Patton Práctico: la utilización de Evaluación Equilibrado: El evaluador y los

participantes en asociación

Los principales usuarios: los usuarios de

la evaluación previstos

Amplia: La participación en todas las

fases de la evaluación

Evaluación Responsiva

Stake Política / filosófica: Promover la

equidad y la justicia, que responda a las

preocupaciones de las partes

interesadas

Evaluador: Mantiene el control y la

autoridad

Usuarios primarios: Interesados locales

/ cercanos

Amplia: La participación en todas las

fases de la evaluación, en particular

en la identificación de problemas del

programa

Evaluación

Colaborativa

Rodriguez-

Campos

Práctica: Apoyo a la toma de decisiones

del programa, propiedad compartida,

aumento de la calidad

Equilibrado: Evaluador y miembros

de colaboración funcionan en

asociación

Las partes interesadas que poseen

"características esenciales" que busca

evaluador

Amplia: miembros de Colaboración

trabajan juntos en todas las fases de

la evaluación

Evaluación de Acción

Participativa

Whyte; Argyris &

Schon

Práctica / filosófica: Mejorar la práctica

y avanzar simultáneamente

Equilibrado: Investigador y

profesional como copartícipes en la

investigación

Usuarios primarios: Muy a menudo los

ejecutores de programas, aunque

pueden estar abiertos a los

beneficiarios y los demás

Amplia: La participación en todos los

aspectos de la investigación

Forma Autor(es) principal(es) Función Control de toma de decisiones Selección para participación Profundidad de participación

Investigación de

Acción Emancipadora

Carr and

Kemmis;

McTaggart

Política: Empoderamiento,

emancipación, mejora de

condiciones sociales

Practicante: Control exclusivo; el

investigador como una persona de

recursos

Sin especificar: Usualmente

los interesados que están

privados de sus derechos o de alguna

manera marginados por el sistema

Extensivo: Participación en todos los

aspectos de la investigación

Investigación

Cooperativa

Heron; Reason; Reason

& Heron

Filosófica: Conocimiento base de

investigación proposicional sobre las

personas en su conocimiento

experimental y práctico

Practicante: Los participantes son co-

investigadores y co-sujetos con

reciprocidad completa

Sin especificar: Usualmente

los participantes son miembros de un

grupo de investigación con todos los

problemas de inclusión,

influencia e intimidad

Extensivo: Participación en todos los

aspectos de la investigación

Evaluación Rural

Rápida

Chambers, Dart Práctica / Filosófica: Método efectivo en

costo para recolectar información de

gente local

Evaluador: Aunque los beneficiarios

participan en

la recopilación de datos, el evaluador

mantiene el control

Usuarios principales: Usualmente es

gente local y beneficiarios

Moderado: Participación

principalmente

limitada a la recopilación de datos

Evaluación Rural

Participativa

Chambers,

Townsley

Política / filosófica: Movimiento hacia

las preocupaciones de los "locales"

contra los "ajenos" en el proceso

desarrollo

Practicante: Los papeles de

investigador e investigado se

invierten

Sin especificar: Usualmente personas de

medio rural que no tienen voz

Extensivo: Los interesados participan

ampliamente en todos los aspectos

Evaluación de

Beneficiarios

World Bank Práctica / filosófica:

Al escuchar a las personas marginadas,

los administradores de programas

pueden tomar mejores decisiones

Evaluador Sin especificar: Le da voz a

pobres y a otros beneficiarios difíciles

de alcanzar

Moderado: El evaluador

invierte grandes cantidades de

tiempo en

conocer a los interesados y sus

problemas y preocupaciones

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas" 3. Participación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Sahagún (2007) indica que hay algunas cuestiones olvidadas en laparticipación que necesitan ser retomadas:

“La mayoría de las definiciones de participación, ya seaconceptuales u operativas, se refieren de alguna manera a la ideade compartir: Ser consultado por su supervisor (Vroom,1960),tener cierto grado de influencia en las decisiones (Ascigil y Ryan,2001), elaboración decisiones conjuntamente (Baloff y Doherty,1989), sintiendo que "todos estamos en el mismo barco" (Andersony West, 1998), asumir la responsabilidad sobre nuestra propiasituación en un colectivo forma (Montero, 1996), etcétera.”

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Manipulación

Terapia

Informar

Consultar

Aplacamiento

Colaboración

Delegación de poder

Control ciudadano Grados de poder ciudadano

Grados de formulismo

No Participación

Sherry Arnstein (1969) La escalera de la Participación ciudadana

1

2

3

4

5

6

7

8

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Actores

Objetos

Co

nte

xto

s

Procesos

Sen

tid

os

Algunas cuestiones olvidadas, Componentes de participación Sahagún (2007)

Flynn (1992) indica cuatro argumentos claves para apoyar lanoción de participación en la toma de decisiones, el diseño y laplaneación:

1. Ética. todo el mundo tiene el derecho de ordenar su propiodestino.

2. Conveniencia. Las personas que no están involucrados en latoma de decisiones pueden revocar o subvertir lasdecisiones tomadas por otros.

3. Conocimiento experto. Ciertas decisiones requierenconocimientos especializados y para asegurar que elconocimiento es ejercido sobre una decisión, los propiosexpertos debería participar en el proceso de toma dedecisiones.

4. Motivar a la fuerza . La participación en el proceso de tomade decisiones garantiza que la gente sea consciente de losmotivos de la decisiones.

Acercamiento a un Modelo de Participación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

“…..hasta la fecha no existen normas uniformes, puntos de referencia, indicadores, métricas, o cuadros de mandos para

evaluar los esfuerzos de participación de interesados.” (Measuring Stakeholders, 2010)

Los retos de la Evaluación, Evaluación de la Participación y la Participación (elaboración propia)

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Evaluar consiste en emitir juicios de valor sobre la calidad de algún objeto (programa, proceso, elemento, organización, persona, etc). El juicio de valor requiere de la existencia de criterios de valor.(Rebolloso, 2008 )

4. La Participación y su Evaluación

Churchman ha caracterizado la medición como una “actividad de toma dedecisiones diseñada para lograr un objetivo” en el cual “el medidor” se enfrentaráa los siguientes problemas:

1. El problema del lenguaje, que se deriva de la cuestión de cómo debenexpresarse los datos para comunicar resultados.

2. El problema de la especificación, que involucra la cuestión de qué datos utilizar,dependiendo del problema que maneje.

3. El problema de estandarización, que involucra la especificación de condicionesbajo las cuales se sostendrá la medición.

4. El problema de exactitud y control, que involucra la evaluación de desviacionesy el control de resultados en contextos diferentes, a través del monitoreo delsistema.

¿Qué es medición? La medición es la asignación de numerales (y números) para representar propiedades.

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Participantes

RecursosObjetivos

Métodos y técnicas

Espacialidad

1. Elementos del Sistema de Evaluación de la Participación(Preliminar)

Personas

Proceso de Comunicación

Conocimiento

Medios de comunicación

2. Elementos del Sistema de Participación(Preliminar)

Sánchez (1994) escribe que para poder realizar el proceso de evaluación primero debemos comprender el sistema a evaluar así como sus fines .

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

La medición de la

Participación

Medir la Participación asociado a los motivos de los participantes (Humanistas)

Medir la participación por

análisis de datos y diseño de software.

Medir la participación por

análisis de contenido para un

modelo de negocio.

Medir la participación bajo

un enfoque de sistemas asociado a la participación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas" 5.Aplicación

Foros

CorreosMensajeForos (virtuales)Teléfono*

Un foro se puede considerar unmicrocosmos, con normas, reglas defuncionamiento propias, en el que senegocian posiciones, estatus, funciones,etc. De ningún modo es un simplecontenedor de mensajes, una meraemergencia técnica, un concepto o elsimple telón de fondo de un juego derelaciones. Un foro virtual es unmicroambiente, un juego deacontecimientos que puntúan elnacimiento de fenómenos desociabilidad. Es, por decirlo en otraspalabras, un elemento básico de la vidasocial en los entornos virtuales

La condición mínima de apertura del foro es la participación

Participación es el efectototal que se genera alponerse en relación losmensajes, los textos, losemoticonos, el contexto, laaudiencia, los auditorios yla larga lista de elementosque forman estecompuesto

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Medir la participación asociada al éxito en unforo de educación a distancia, fundamentado enun marco de sistemas .

Definición del objeto de estudio (elaboración propia)

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

Integrar una propuesta

metodológica para la medición ( criterios e

indicadores )

III. Identificación de variables,

criterios , atributos

métricas e indicadores

V. Medir la participación mediante sus

criterios y atributos

IV. Sensibilizar en Foros de

educación a distancia de la CUAED, UNAM

I. Esquema conceptual

II. Caracterizar el sistema de

participación

M.I. Concepción Hernández Batalla

V S

em

inari

o "

Pensam

iento

Sis

tém

ico y

Análisis

de S

iste

mas"

•Adcock, R., & Collier, D. (2001). Measurement validity: A shared standard for qualitative and quantitative research. [Review]. American Political Science Review,

95(3), 529-546.

•Cardozo, B. M. (2011). Teoría de las decisiones: Marco Teórico-Conceptual (Primera ed.). México D.F.: Impresora cometa.•Carter, J. (1994). Evaluation Thesaurus (4th ed.): by Michael Scriven. Newbury Park: Sage Publications, 1991, 391 pp. [doi: 10.1016/0886-1633(94)90071-X].

Evaluation Practice, 15(1), 109-110.

•Cousins, J. B., & Earl, L. M. (1992). The Case for Participatory Evaluation. Educational Evaluation and Policy Analysis, 14(4), 397-418.

•Cullen, A. (2009). The politics and consequences of stakeholder participation in international development evaluation. Western Michigan University). ProQuest

Dissertations and Theses.

•Daigneault, P.-M., Jacob, S., & Tremblay, J. (2012). Measuring Stakeholder Participation in Evaluation: An Empirical Validation of the Participatory Evaluation

Measurement Instrument (PEMI). Evaluation Review, 36(4), 243-271.

•Flynn, D. J. (1992) Information Systems Requirements: Determination and Analysis.London: McGraw-Hill.

•Freeman, P. H. R. H. E. (1990). Evaluation, A Systematic Approach (Fourth Edition ed.). California, United States of America.

•Gregory, A. (2000). Problematizing Participation: A Critical Review of Approaches to Participation in Evaluation Theory. Evaluation, 6(2), 179-199.

•Guerrero, G. d. l. N. S. (1994). Evaluación de Programas Sociales Enfoque a programas académicos universitarios. Universidad Nacional Autónoma de México,México D.F.•Guba, Y. S. L. a. E. G. (1989). Fourth generation evaluation. United States of America.

•Hart, R.A. (1993). La participación de los niños: de una participación simbólica a una participación auténtica, en Ensayos Innocenti nº4. UNICEF.•Janda, L.H. (1998). Pscychological testing: Theory and applications. Boston, MA: Allyn & Bacon.

•Laughlin, R., & Broadbent, J. (1996). Redesigning Fourth generation Evaluation: An Evaluation Model for the Public-sector Reforms in the UK? Evaluation,

2(4), 431-451.

•Madaus, G. F. (1989). Evaluation Models. In E. a. M. S. Scriven (Ed.) (eighth ed., pp. 423). United States of America.

•Patton, M. Q. (1990). Qualitative Evaluation and Research Methods (2a ed.). California.

•Rebien, C. C. (1996) Participatory Evaluation of Development Assistance: Dealing with Power and Facilitative Learning, Evaluation 2(2): 151–72.

Algunas Referencias