Presentación de PowerPoint - povertyactionlab.org. Indicadores... · • Observatorio Social:...

Qué medir Cómo medir

Herramientas de Evaluación de Impacto e

Innovación Social

23 de abril – 14 de mayo 2014

Santiago, Chile


Índice 1. Evaluando Emprendimientos Sociales

2. Tipos de Evaluación

3. Teoría de Cambio

4. Indicadores y Medición

5. Evidencia Rigurosa y Evaluación Aleatoria

6. Interpretación de Datos

7. Evaluaciones aleatorias: ¿Cómo se implementan?

8. Evaluación de Principio a Fin

2

Clase 4 Indicadores y medición

3

José Vila-Belda Montalt

Analista de Capacitación

J-PAL LAC


Objetivos

4

Después de esta sesión los participantes serán capaces de:

Definir indicadores a partir de conceptos, a través de la operacionalización.

Distinguir entre distintas fuentes de datos secundarios y saber dónde buscarlos.

Conocer algunas de las dificultades que deben considerarse al diseñar cuestionarios.

Localizar tests estandarizados y escalas de actutides.

Entender el papel de los métodos cualitativos en la evaluación de programas.


Esquema de presentación

5

1. ¿Qué medir?

2. ¿Cómo medir?

3. Observar y escuchar*


1. ¿Qué medir?

6


7

NECESIDAD INSUMOS /

ACTIVIDADES PRODUCTOS

RESULTADOS INTERMEDIOS

RESULTADOS FINALES

Evaluación de necesidades

Evaluación teórica de programas

Evaluación de procesos

Evaluación de Impacto


Teoría de Cambio y Medición

La Teoría de Cambio…

Es útil para definir las preguntas de investigación o hipótesis.

Es importante para identificar los productos, resultados intermedios y supuestos que necesitamos medir.

Medir nos permite saber qué ha ido bien o qué ha fallado en la cadena causal del programa.

8


¿Qué medir?

9

Ejemplo: programa de formación de profesores para enseñar sobre prevención de VIH en Kenia.

NECESIDAD INSUMOS /

ACTIVIDADES PRODUCTOS

RESULTADOS INTERMEDIOS

RESULTADOS FINALES


¿Qué medir?

10


¿Qué medir? De la idea a la medida

En relación con los Insumos, Actividades y Productos, suele ser sencillo pensar en qué medir.

Al plantear Resultados Intermedios y Finales, frecuentemente pensamos en términos de conceptos relativamente abstractos: educación, salud, corrupción, calidad de vida…

¿Cómo medir conceptos que son abstractos?

El procedimiento por el cual pasamos de un concepto más o menos abstracto a un indicador concreto y medible (o varios) se denomina operacionalización.

11


¿Qué medir? De la idea a la medida

Unos conceptos son más concretos que otros, y por tanto más fáciles de operacionalizar.

En todo caso, casi siempre hay “un salto” desde la idea hasta la medida.

Suponga que estamos interesados en medir los ingresos en la población en la que vamos a realizar una intervención

Exactamente, ¿cómo medimos los ingresos?

12


Operacionalización

En general, la operacionalización de un concepto consta de los siguientes elementos:

Concepto

Definición

Dimensiones (a veces subdimensiones)

Indicadores

Pregunta y Categorías de respuesta (cuando el indicador se obtiene de un cuestionario)

13


Operacionalización

Concepto: ingresos personales

Definición: flujos monetarios netos recibidos por un individuo a lo largo del último mes, procedentes de cualquier fuente (empleo, rentas u otros)

Dimensiones:

D1: Ingresos procedentes del trabajo

D2: Ingresos procedentes de rentas del capital

D3: Transferencias de la Administración Pública

14


Operacionalización

Indicadores:

D1: Ingresos netos procedentes del trabajo en el último mes, autorreportado.

D2: Ingresos netos procedentes de rentas del capital (propiedades inmobiliarias, beneficios empresariales, activos financieros…) en el último mes, autorreportado.

D3: Ingresos netos por concepto de subsidios, ayudas o becas de la Administración Pública en el último mes, auttorreportado.

15


Operacionalización

Preguntas:

D1: ¿Trabajó usted en el último mes? ¿Cuáles fueron sus ingresos netos procedentes del trabajo?

D2: ¿En el último mes, cuáles fueron sus ingresos netos procedentes de rentas del capital (propiedades inmobiliarias, beneficios empresariales, activos financieros…)?

D3: ¿En el último mes, recibió algún subsidio, ayuda o beca por parte de la Administración Pública? ¿Cuál fue el monto neto recibido en el último mes?

Categorías de respuesta: cifras o rangos

16


Operacionalización

Ahora un ejemplo más complejo:

Concepto: Involucramiento parental (planteado desde la perspectiva de un estudio centrado en el consumo de drogas).

Definición: comportamientos parentales que implican atención sobre las actividades y relaciones de los hijos.

Dimensiones:

vigilancia parental

control parental

comunicación parental

17


18


19


20


21


Una definición operacional define el concepto por medio del modo en que es medido. Ejemplo: Peso Definición teórica: fuerza con que la Tierra atrae a un cuerpo. Definición operacional: número que aparece en la balanza cuando se coloca sobre ella un objeto.

22


Ejercicio práctico:

23

En grupos, operacionalicen el concepto de Capital Social.

1. Individualmente, escriban una definición.

Seguidamente, acuerden una definición en grupo.

2. A partir de la definición acordada, discutan posibles dimensiones del concepto.

3. A partir de las dimensiones, piensen en posibles indicadores para capturar cada dimensión.


2. Cómo medir

24


Cómo medir

Una vez hemos definido qué queremos medir (qué indicadores necesitamos), ¿cómo obtenemos los datos?

Datos secundarios: recurre a datos ya existentes procedentes de encuestas del INE u otros (Censo, CASEN…) o extraídos de registros administrativos

Datos primarios: recolecta tus propios datos mediante encuestas, tests académicos, mediciones físicas o biológicas, observación directa…

25


Cómo medir: Datos secundarios Registros administrativos:

Originalmente recolectados por gobiernos u otros, con fines

de focalización, gestión o rendición de cuentas

• Registros educativos, médicos, electorales, de consumo eléctrico…

• Datos de monitoreo de otros programas existentes

Suelen cubrir a toda la población, pero pueden carecer de

información relevante

Bajo costo, pero no siempre fiables, accesibles e

identificables

• Si no podemos identificar a los individuos, no podremos saber qué datos

corresponden al grupo de control y qué datos al grupo tratado. 26


Cómo medir: Datos secundarios Encuestas nacionales:

Datos obtenidos mediante grandes encuestas del Estado,

con fines amplios de caracterización:

• Nueva Encuesta Nacional de Empleo

• Encuesta de Presupuestos Familiares

• Estadísticas Sociales y Culturales (infancia, género, seguridad, salud…)

Suelen recolectar información muy detallada sobre individuos

que constituyen una muestra representativa

• Pueden ser muy útiles para evaluar necesidades y contexto.

• Utilidad limitada para evaluación de impacto: tamaño muestral;

relevancia de los indicadores; datos anonimizados.

27


Cómo medir: Datos secundarios Encuestas nacionales: dónde buscar

A nivel nacional:

• Observatorio Social: banco de preguntas y fichas metodológicas en la

página del Ministerio de Desarrollo Social:

http://observatorio.ministeriodesarrollosocial.gob.cl/enc_soc_descripcion.php

• Banco de Encuestas de la Fundación Futuro:

http://www.fundacionfuturo.cl/index.php?option=com_content&view=article&id=3

4&Itemid=48

A nivel internacional:

• World Data Bank, del Banco Mundial:

http://databank.worldbank.org/data/home.aspx

28



http://www.fundacionfuturo.cl/index.php?option=com_content&view=article&id=34&Itemid=48






Cómo medir: Datos secundarios Encuestas nacionales: dónde buscar

A nivel nacional:

• Observatorio Social: banco de preguntas y fichas metodológicas en la

página del Ministerio de Desarrollo Social:


• Banco de Encuestas de la Fundación Futuro:

http://www.fundacionfuturo.cl/index.php?option=com_content&view=article&id=3

4&Itemid=48

A nivel internacional:

• World Data Bank, del Banco Mundial:


29

¿Qué datos secundarios podrían

ser útiles para mi proyecto?









Cómo medir: Datos primarios

Si los datos que necesitamos no existen, no son fiables o no proporcionan el tamaño muestral suficiente, necesitaremos crear los datos nosotros mismos.

El instrumento más frecuente para recolectar datos primarios es la encuesta.

Otros instrumentos: tests estandarizados, escalas de actitud, mediciones físicas o biológicas, datos de navegación web…

30


Cómo medir: Datos primarios – La encuesta

31


Cómo medir: Datos primarios – La encuesta

La encuesta basada en el cuestionario es…

Un método para recoger información estandarizada a partir de un grupo relativamente amplio de individuos

Seleccionados de forma tal que constituyen una muestra representativa de una población mayor.

32


Diseño de cuestionarios

Algunas dificultades en el diseño de cuestionarios:

Vaguedad: ¿Vive usted con algún adolescente?

Varias preguntas en una: ¿Está de acuerdo con la decisión del gobierno de tomar medidas en contra de la delincuencia y aumentar el número de carabineros en las calles?

Supuestos erróneos: ¿Cuán a menudo se ve con sus hermanos?

33




Deseabilidad social

34




Preguntas direccionadas:

• ¿Está de acuerdo con la decisión del gobierno de construir un puente en [lugar]?

Sería distinto de:

• ¿Está de acuerdo con que se construya un puente en [lugar]?

35



36

Se cuidadoso en el diseño del cuestionario, y comprueba que no presente problemas:

Question Appraisal System (QAS); Sistema de Evaluación de

Preguntas.

Observa cómo funciona el cuestionario con unas pocas personas, antes de realizar la encuesta final:

Entrevistas cognitivas: observa a una persona rellenando el

cuestionario, e indaga acerca de cómo lo procesa y responde.

Si tienes recursos, haz una encuesta piloto antes de realizar la encuesta final (para detectar problemas logísticos y de implementación).


Cómo medir: Datos primarios – Escalas y tests

37


Cómo medir: Datos primarios – Escalas y tests

38

Instrumentos de medición desarrollados por psicólogos y otros cientistas sociales para medir habilidades, actitudes, opiniones, etc.

Ejemplos: test de inteligencia, creatividad, personalidad, salud mental...

Se administran igual que una encuesta, o como parte de esta.


Escala de Likert: Satisfacción con la vida

39

http://internal.psychology.illinois.edu/~ediener/SWLS.html


Escala de Likert: Curiosidad y Exploración

40

Curiosity and Exploration Inventory (CEI): http://ceicuriosity.tripod.com/


Tests y escalas

41

Algunos tests y escalas están a la venta.

Muchos otros están disponibles gratuitamente en internet.

Algunos lugares donde buscar:

http://www.scalesandmeasures.net/search.php

http://www.statisticssolutions.com/academic-

solutions/resources/directory-of-survey-instruments



http://www.statisticssolutions.com/academic-solutions/resources/directory-of-survey-instruments










42

Directorio de Instrumentos. En esta web pueden localizarse tests y luego comprarse, o buscarse en internet. http://www.statisticssolutions.com/academic-solutions/resources/directory-of-survey-instruments


43

Directorio de Instrumentos. En esta web pueden localizarse tests y luego comprarse, o buscarse en internet. http://www.statisticssolutions.com/academic-solutions/resources/directory-of-survey-instruments


44


3. Observar y escuchar

45


Entrevistas semi-estructuradas Qué es:

El entrevistador lleva una pauta o guía con los temas a cubrir, los términos a usar y el orden de las preguntas.

Frecuentemente, los términos usados y el orden de los temas cambian en el curso de la entrevista, y surgen nuevas preguntas en función de lo que dice en entrevistado.

A diferencia de los cuestionarios, se basan en preguntas abiertas, aportando flexibilidad

46


Entrevistas semi-estructuradas Ventajas de la entrevista abierta frente al cuestionario

con preguntas cerradas:

Permiten más profundidad y aclarar cualquier malentendido

Permite ver hasta dónde llega el conocimiento del entrevistado

Facilitan la cooperación y la empatía

Permiten evaluar mejor qué piensa realmente el entrevistado

Pueden producir respuestas no esperadas

47


Entrevistas semi-estructuradas La tarea del entrevistador es intentar que los

entrevistados hablen libre y abiertamente.

Para ello:

Escucha más de lo que hables: la entrevista no es un espacio para que el entrevistador cuente sus experiencias u opiniones

Formula tus preguntas de forma directa, clara y no amenazante

Evita direccionar las respuestas

48


Grupos de discusión

Qué es:

Similar a una entrevista semi-estructurada, pero con varios participantes

El entrevistador pasa a ser un moderador: su papel es que la conversación se mantenga dentro del tema de interés y cubra los subtemas deseados

49


Grupos de discusión

Ventajas:

La interacción grupal puede aportar incentivos y generar información que no obtendríamos en entrevistas personales.

Puede ser útil para temas poco interesantes (investigación de mercados) y también para temas sensibles o tabú.

Es un método eficiente para obtener información cualitativa

50


Observación directa

Qué es:

En ocasiones puede ser útil observar directamente el comportamiento de interés en el momento mismo en que sucede. En evaluación de programas, los más frecuentes son:

• Visitas aleatorias

• Clientes fantasma

• Encuestadores incognitos

51


Los métodos cualitativos en evaluación de programas Evaluación de los instrumentos de medición

Evaluación de necesidades

Exploración previa a medición mediante encuestas

Evaluación de procesos

Observación directa de procesos, opiniones de usuarios e implementadores

Evaluación de impacto

“Descubrimiento” de resultados potenciales no anticipados. Interpretación de los resultados

52


Los métodos cualitativos en evaluación de impacto

Ejemplo: programa de subsidios de vivienda en Estados Unidos: Moving to Opportunity

¿Cuáles podrían ser los impactos de este programa?

Literatura previa indicaba que las razones más importantes para querer trasladarse a un barrio mejor era poder optar a mejores colegios y mejores casas.

Efectos sobre los niños: mejoras en rendimiento educativo.

Efectos sobre los padres: empleo, capacitación laboral e ingresos.

53



Sin embargo, los datos de línea de base mostraron una realidad que les invitó a cuestionar sus intuiciones:

Razón principal para querer cambiar de barrio: “alejarse de las bandas y las drogas”.

Alta frecuencia de asaltos sufridos por los participantes.

El miedo y la inseguridad aparecieron como un fenómeno central.

54



A la vista de estos hallazgos, los responsables del estudio decidieron llevar a cabo una investigación cualitativa con tres objetivos:

1) Entender los detalles de la intervención.

2) Explorar con mayor profundidad la importancia de las bandas y las drogas.

3) Escuchar con detalle las historias de las familias para pensar en aspectos de la investigación que no habían incluido.

55



Hallazgos en las entrevistas semi-estructuradas:

1) Se confirmó la importancia del miedo y la inseguridad como motivos para trasladarse a otro barrio

2) Se profundizó en cómo esa inseguridad afectaba a la vida cotidiana de las familias: “Bullets don’t got no name”

3) El cambio de barrio contribuía a la paz mental de los adultos y una mayor libertad para los niños

56


Los métodos cualitativos en evaluación de impacto A raíz de los hallazgos cualitativos, se incluyeron

nuevas preguntas sobre seguridad y salud en la encuesta de seguimiento.

Los impactos más grandes se relacionaban con estas variables:

1) Adultos: debido a una mayor seguridad en el barrio, se produjeron mejoras en el bienestar emocional

2) Niños: debido a una mayor seguridad en el barrio, hubo menos instancias de agresiones y lesiones, y también menos asma (en parte causado por el estrés).

57


Métodos de recogida de datos: resumen Para averiguar qué hace la gente en público:

observación directa

Para averiguar qué hacen en privado: entrevistas, grupos de discusión y cuestionarios

Para averiguar qué piensan, sienten o creen: entrevistas, grupos de discusión y cuestionarios con escalas de actitud

Para determinar habilidades o conocimientos: tests estandarizados

58

¡Gracias!

59

José Vila-Belda Montalt

Analista de Capacitación

J-PAL LAC

Presentación de PowerPoint - povertyactionlab.org. Indicadores... · • Observatorio Social:...

Documents

Transcript of Presentación de PowerPoint - povertyactionlab.org. Indicadores... · • Observatorio Social:...