Diseño mediciónContexto Diseño de instrumentos Medición ... · PDF...

Diseño medición Medición cualitativa Contexto Diseño de instrumentos


Importance

Agenda

2

How to Components Example What it is Big picture


Medición en las evaluaciones experimentales

3

Cristián Larroulet

Gerente de investigación,

J-PAL LAC

[email protected]

mailto:[email protected]


Importance

Revisión del aspecto de medición que involucra la

evaluación de impacto.

Especialmente útil para quienes no hayan trabajado o no

hayan tenido formación en medición.

Objetivo

4



Importance

1. Contexto

2. Diseño de la medición

3. Diseño de instrumentos

4. Medición cualitativa

5. Planificación del levantamiento

6. Monitoreo del levantamiento

7. Digitación

8. Documentación

9. Costos y presupuestos

Índice Global

5



1. Contexto: la necesidad de medir en torno a la evaluación


Contextualizar la necesidad de medir en torno a la evaluación



¿Por qué medir en línea de base?

Diagnóstico de la situación

Revisar el balance entre los grupos T y C

Reducir la varianza de la estimación de impacto.

Permite estudiar efectos heterogéneos según

características de línea de base



Medición de procesos

La evaluación de procesos apunta a dar luces sobre el

cumplimiento de los distintos pasos de la teoría de cambio

(fidelidad).

Ahora bien, no necesariamente se restringe a evaluar la

fidelidad de la intervención, también ofrece una instancia

para investigar cualitativamente mecanismos y variables de

resultados no previstos en la investigación.



Mediciones de seguimiento (distintos plazos)

Evaluar el impacto

Se pueden pensar impactos…

• En distintos plazos (corto, medio, largo)

• En distintos contextos (económico-laboral: bonanza económica, crisis económica).



¿Datos administrativos?

Son datos recolectados por los gobiernos u otras

instituciones, como parte de sus procedimientos.

Son altamente utilizados por temas de costos.

Algunos pueden ser muy precisos

Ej. consumo de electricidad medida por la compañía

en vez de en una encuesta.

Pero los datos levantados en encuestas no están exentos

de errores de medición, tal como todas las mediciones.

No siempre son pertinentes para el estudio en cuestión.


2. Diseño de la medición


Diseño de la medición

Introducción a la calidad de la medición

En los 40 ‘y 50’, en la literatura de metodología de

encuestas (survey methodology) la pregunta por la

calidad de la encuesta era la pregunta por el

muestreo.

Hoy en día: desarrollo de marco conceptual llamado

Error Total de Encuestas (Total survey error).


Panorama general de la calidad

Criterios de calidad

Históricamente: la precisión, entendida ampliamente como

la distancia entre el verdadero parámetro y la estimación.

Hoy: nuevos actores => criterios más amplios.

“La calidad se puede definir simplemente como la idoneidad

para su uso (fitness for use). En el contexto de una

encuesta, esto se traduce al requerimiento de que los datos

sean tan precisos como sea necesario para alcanzar la meta

propuesta, estar disponible en el tiempo en que se necesita

y ser accesible para quienes fue realizada.” (Biemer & Lyberg

2003, p. 13)




Panorama general de la calidad

Ahora revisaremos el proceso de medición completo,

donde aparecerán los distintos aspectos de la calidad, y

luego profundizaremos en algunos de esos aspectos.

El ciclo completo de una medición puede ser visto

desde distintas perspectivas.

Revisaremos las perspectivas del proceso del diseño y

de la calidad.


Perspectiva del proceso del diseño: Apunta a los pasos en

el desarrollo de la medición.

Diseño de la medición: proceso

Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer.


1. Definir el objetivo de la

investigación.

2. Luego, comienza el trabajo

de diseño de la medición:

Éste se inicia con la

especificación de la población

relevante y de los conceptos o

constructos.

3. Definir lo que tiene que ver

con el modo en que se

medirán los conceptos:

Encuesta cara a cara, encuesta

telefónica, cuestionario auto-

reportado, observación directa.




4. Luego viene la traducción de

los conceptos a variables

medibles (operacionalización)

y la definición del diseño

muestral.

5. Por último, viene la

recolección, procesamiento y

análisis de los datos.




Perspectiva de la calidad: Apunta a una clasificación

conceptual de errores que pueden aparecer en el proceso.

Diseño de la medición: calidad

Fuente: Groove et al 2004, mostrado en Casas Cordero 2004


Mediciones: De la respuesta editada a un concepto

relevante para un entrevistado cualquiera.



Validez de la medida: habilidad del instrumento para medir lo que pretende medir.




Validez

Co

nfi

abili

dad


Mediciones: De la respuesta editada a un concepto

relevante para un entrevistado cualquiera.



El Error de medición ocurre en el levantamiento del dato.




Representación: De la estimación que se hace en base a

los datos obtenidos a la población objetivo.


Definición de los conceptos:

Antes de comenzar la medición se requiere:

Definir nominalmente cada concepto relevante.

• Típicamente, en una evaluación de impacto, son los conceptos

contenidos en la teoría de cambio.

Definición precisa.

• Detallar cada dimensión que se considera como parte del concepto.

• Detallar cada dimensión que no se considera como parte del

concepto.

En conexión con la literatura relevante


Operacionalización:

Desafío:

Vincular la pregunta concreta al concepto de interés.

Definición:

Proceso deductivo donde los conceptos teóricos son

traducidos en indicadores (preguntas), que permiten

medirlos empíricamente.



Ejemplos:

Ingresos a. ¿Cuánto dinero gana usted al mes en su actual empleo?

b. En el último mes, ¿cuántos días a la semana consumió alguna

bebida alcohólica?

c. ¿Cuál es el ingreso total de su hogar durante el último año?

Consumo de alcohol a. Durante el día de ayer, ¿consumió usted bebidas alcohólicas como

cerveza, vino…?

b. En el último mes, ¿cuántos días a la semana consumió alguna

bebida alcohólica?



Fuente: CURSO: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas: Características Generales, Profesora: Sandra Quijada Javer


Diseño del instrumento

Categorías de respuestas

Dos criterios: deben ser exhaustivas y mutuamente excluyentes.

Exhaustividad: las categorías de una pregunta deben incluir todas

las respuestas que pueden esperarse

• Ejemplo: ¿Qué nivel educativo alcanzó?

o Educación básica

o Educación media

o Educación Universitaria

o Postítulos/otros grados académicos

o Ninguno

• ¿Está completo?

o ¿Grados incompletos?



Categorías de respuestas

Dos criterios: deben ser exhaustivas y mutuamente excluyentes.

Mutuamente excluyentes: las categorías de una pregunta no

pueden superponerse.

• Ejemplo: ¿Cuántas horas al día trabaja?

o Menos de una hora

o Entre una y tres horas

o Entre tres y cinco horas

o Más de cinco horas

• ¿y él/la que trabaja 3 horas?



Categorías de respuestas: dudas comunes

¿Cuántas categorías de respuestas ofrecer?

• ¿Muchas=confusión? ¿Pocas=no distingo entre los sujetos?

• Lógicamente que depende de la pregunta, pero pensando en preguntas que se prestan para preguntar con harto matiz….

• La literatura ha recomendado entre 5 y 7 para encuestas cara a cara, donde el entrevistador puede recurrir a tarjetas para facilitar la respuesta.

• En encuestas telefónicas sería recomendable menos categorías




¿Categorías de respuestas numéricas o adjetivos?

• ¿Numérica = más fácil de aplicar?

• ¿Adjetivos = mayor precisión del significado?

• En preguntas de percepción, queda más preciso el significado de la

respuesta:

o Últimamente, ¿ha sido capaz de disfrutar de sus actividades normales

de cada día? Utilice una escala del 1 al 10 considerando que 1 es

Mucho menos de lo habitual y 10 es Más de lo habitual.

o ¿Ha sido capaz de disfrutar de sus actividades normales de cada día?

1. Mucho más de lo habitual

2. Más de lo habitual

3. Igual que lo habitual

4. Menos que lo habitual

5. Mucho menos que lo habitual




¿Categorías de respuestas numéricas o adjetivos?

• ¿Numérica = más fácil de aplicar?

• ¿Adjetivos = mayor precisión del significado?

• En preguntas de evaluación, es razonable usar una escala

familiar (1 a 7 en Chile)

o Utilizando una escala del 1 al 7, donde un 1 es muy malo y un 7 es muy

bueno, ¿Cómo calificaría usted la gestión que ha realizado en su comuna el

alcalde “XXX” durante el actual período?

o ¿Cómo calificaría usted la gestión que ha realizado en su comuna el

alcalde “XXX” durante el actual período?

1. Muy mala

2. Mala

3. Regular

4. Buena

5. Muy buena



Categorías de respuestas: Problemas frecuentes

Vaguedad de la pregunta

• Conceptos ambiguos: tienen más de un significado

• Conceptos vagos: tienen rangos imprecisos de aplicación

Ejemplos:

• ¿Vive usted con algún adolescente?

o Dar una breve explicación del significado antes de hacer la pregunta.

• ¿Cuál es el ingreso total de usted y de todos los miembros

de su familia que viven con usted en su casa, por trabajos y

otras fuentes durante el último año?

• ¿Enfermedad versus remedio?




Multidimensionalidad de la pregunta

• La pregunta incluye más de una pregunta

Ejemplo:

• ¿Está de acuerdo con la decisión del gobierno de tomar

medidas en contra de la delincuencia y aumentar el número

de carabineros en las calles?




Supuestos en las preguntas • La pregunta supone cosas del sujeto que no necesariamente son

ciertas

Ejemplos:

• “¿Cuán a menudo se ve con sus hermanos?”

• “¿Cuánto gana en su trabajo?”.

• Esto es más común de lo que podría pensarse.




Deseabilidad social • Hay temas que llevan a dar respuestas “socialmente

aprobadas”

• Hay distintas razones (Fowler 1995):

o Tendencia de los encuestados de querer verse bien o evitar verse mal.

o Preguntas vistas como una amenaza para los entrevistados

o La respuesta que ofrece la pregunta no coincide con la imagen que los encuestados quieren tener de sí mismos.

• Ayuda: o En la presentación, dejar en claro el objetivo de la investigación

(sentido público)

o Recalcar la confidencialidad en el uso de los datos

o Redactar introducciones que hagan menos probable este sesgo




Deseabilidad social

• Ejemplo:





Deseabilidad social

• En la literatura experimental también se habla del

“experimenter demand”, que es responder de la manera en

que el experimentador quiere que uno responda.

• Puede ser porque el que recibió el tratamiento

conoce/deduce la hipótesis de investigación o por gratitud

hacia quien administró la intervención (que se confunde con

el investigador)

• Esto es más grave, dado que amenaza la validez interna del

impacto en las variables en que se da esto.




Deseabilidad social

• Ayudas:

o Aclarar, cuando se puede, que quienes están evaluando no son quienes dieron el programa.

o Tener mediciones de comportamiento observado (no reportado)

o Incluir preguntas para testear el nivel de esto

Encuesta cara a cara: Utilizando una escala del 1 al 7, en la que 1 significa muy sencillo y 7 muy complicado, qué tan complicada de responder le pareció esta encuesta.

Número de contactos dados por el sujeto




Preguntas direccionadas

• La redacción influye en la respuesta obtenida

Ejemplos:

• ¿Está de acuerdo con la decisión del gobierno de construir un puente en [lugar]?

• Sería distinto a: ¿Está de acuerdo con que se construya un puente en [lugar]?

• Está usted de acuerdo o en desacuerdo con la siguiente afirmación: dado la cantidad de crímenes que existen hoy en día, tiene sentido no caminar solo por las noches”





Negaciones

• Puede generar confusión

Ejemplos:

• ¿Considera usted que personas del mismo sexo no pueden

casarse legalmente?

o 1.- Si

o 2.- No

• ¿Se debe permitir el matrimonio entre personas del mismo

sexo?





Orden del cuestionario

• El orden sí importa:

• Sesgos

o Preguntas sobre percepción de riesgo de uso del computador

por parte de los adolescentes luego de preguntar sobre

páginas de adultos

• Confianza

o Dejar las preguntas de ingreso y otras más delicadas para el

final.


¿Medición cualitativa?

¿Cuál es el rol de la medición cualitativa en una evaluación

de impacto?

• Evaluación de los instrumentos de medición

• Teoría de Cambio: interpretación de los resultados

oQué es lo que pasó y porqué

o Por qué no pasó lo que podría haber pasado

• Resultados pensados y no pensados


Medición cualitativa: Evaluación de Instrumentos

Cada vez se le reconoce mayor importancia a la evaluación

del instrumento antes de aplicarlo a gran escala

¿Las personas “dividen la realidad” de la manera en que

el investigador lo hace? (supuestos del marco conceptual)

¿Las personas entienden las preguntas y los conceptos

del mismo modo en que el investigador lo hace?

(ambigüedad, diferencias culturales, etc…)

¿Las personas son capaces de hacer lo que le requiere la

encuesta? (recordar, calcular, imaginar, etc…)



Cada vez se le reconoce mayor importancia a la evaluación

del instrumento antes de aplicarlo a gran escala

Técnicas:

Grupos Focales

Entrevistas en profundidad

Pre-test (replica el procedimiento a utilizar)



Ejemplos de preguntas en la entrevista en profundidad

¿Tiene Ud. reglas acerca del tiempo que el/la estudiante puede pasar

en el computador? • Si

• No

o ¿Qué asocia usted al termino reglas acerca del tiempo?

Pensando en la semana pasada, y en un día normal del fin de semana,

aproximadamente ¿cuántas horas utilizó el/la estudiante algún

computador? ________

• Cuando se utiliza el término de la última semana en qué periodo de tiempo

piensa usted (a partir de ayer o a partir del penúltimo último lunes o

domingo)

• ¿Qué procedimiento utiliza usted para realizar este cálculo, por ejemplo si

un día lo usa mucho o poco?

• ¿Distingue usted claramente el comportamiento entre fin de semana y días

de semana? ¿Es constante este comportamiento durante el año?



Pre-test

La idea es probar el instrumento tal cual sería aplicado.

• Un número razonable que permita sacar conclusiones (10 o más).

• Esto permitirá adelantarse a los problemas que podrían ocurrir

durante el encuestaje y que ya no tendrían solución

o Una pregunta que los sujetos no entienden

o Una pregunta en la que todos responden la categoría más alta

o En ambos casos nos quedamos con preguntas inútiles.

También se habla de “Piloto”, cuando se aplica a un número

suficiente como para evaluar la logística del diseño



Pre-test

Recomendaciones:

• Registrar problemas de cada pregunta:

o Tuvo que leer de manera distinta el enunciado para que se

entienda la pregunta

o Tuvo que explicarle de nuevo la pregunta

o Tuvo que nombrarle de nuevo las respuestas

o Le interrumpieron la pregunta

• Revisar las categorías de respuestas

o Revisar las respuestas codificadas como “otro”

o Revisar las que no responden o responden “no sabe”


Vamos a ilustrar la importancia de la investigación cualitativa

para la exploración de mecanismos y resultados con un

ejemplo:

La evaluación experimental del programa Moving to

Opportunity (Kling, Leibman y Katz 2004).

a. Resumen del programa:

¿Cuál es el efecto de vivir en un barrio más acomodado?

Medición cualitativa: Exploración de mecanismos y resultados


b. ¿Cuáles podrían ser los impactos de este programa?

c. Economistas dedicados al mercado laboral, pensaron que

los efectos serían:

Niño(a)s: Educación.

Había literatura previa (Experimento de Gautreaux) sobre que la

mayor razón por querer ir a vivir en un barrio mejor era poder optar a

mejores colegios (1/3) y mejores casas (1/4).

Padres: empleo, capacitación laboral e ingresos.

Mayor cercanía con los lugares de empleo



d. Sin embargo, los datos de línea de base mostraron una

realidad que les invitó a cambiar sus intuiciones:

i. Razón principal: “alejarse de las bandas y las drogas”

ii. Alta frecuencia de asaltos sufridos por los participantes.

iii. Apareció el miedo como un fenómeno muy relevante.



e. Decidieron llevar a cabo una investigación cualitativa con tres

objetivos:

i. Entender los detalles de la intervención.

ii. Explorar con mayor profundidad la importancia de las bandas y las

drogas.

iii. Escuchar con detalle las historias de las familias para pensar en

aspectos de la investigación que no habían incluido.



f. ¿Qué hicieron?

i. Entrevistas en profundidad a los que recibieron el tratamiento.

ii. Eran abiertas, pero con un guion para revisar que se agotaran los

conceptos que ellos traían..

Una mezcla de “apertura a lo nuevo” con “profundizar en el marco

ya planteado”.



g. ¿Qué apareció?

i. Confirmó lo que apareció en línea de base sobre el miedo por la

seguridad de los niños como la motivación primordial para querer

cambiarse de barrio.

ii. Sugirió que este miedo podía tener influencias fuertes en el

comportamiento de los adultos y de los niño(a)s.



g. ¿Qué apareció?

iii. Ante el cambio de residencia, surgió:

Paz mental para los adultos, dado a que si bien no dejaron de ser muy cuidadosos con los niños, era con mayor tranquilidad.

Mayor independencia para los niño(a)s.

h. Entonces…estas entrevistas modificaron la encuesta de seguimiento, agregándole al tema laboral y educacional dimensiones de seguridad y de salud.

i. Además, llevó a desarrollar un marco conceptual para el mecanismo a través del cual el programa podía llevar a cambios en los adultos y los niño(a)s.



j. ¿Qué apareció en los resultados de la medición cuantitativa?

ADULTOS:

1. Menor violencia en el barrio

a. Mayor bienestar emocional (salud en general y paz)

b. Mayor confianza en los vecinos

c. Menor nivel de monitoreo parental

d. Mayor empleo

e. Mayor capacitación laboral



j. ¿Qué apareció en los resultados de la medición cuantitativa?

NIÑO(A)S:

1. Menor violencia en el barrio

a. Menor violencia recibida (menor tasa de asaltos violentos, menor

tasa de lesión (por vidrios rotos, agujas), menor

comportamientos negativos[resultado solo en niños])

b. Menor asma (por el menor estrés, entre otros)

c. Menor nivel de monitoreo parental.



Conclusión: “Esta investigación cualitativa tuvo un impacto profundo en nuestra investigación acerca del MTO”

Reorientó a las variables en las que sí habían resultados (seguridad y salud).

Les dio un macro conceptual para explicar esos efectos.

Otros Dio luces de la validez externa y evitó algunas interpretaciones erróneas.

Ojo: Esto se refiere a la primera ola de seguimiento del programa. Luego siguieron midiendo y aparecieron otras cosas. El sentido de esto no era hablar de los efectos del programa, sino de los efectos de incluir evaluación cualitativa en la evaluación del programa.



Referencias

Robert M. Groves y Lars Lyberg “Total survey error past, present, and future” en Public Opinion

Quarterly, Vol. 74, No. 5, 2010, páginas 849–879.

Fowler (1995) Improving Survey Questions. Design and Evaluation, Sage Publications.

Edith d. De Leeuw, New technologies in data collection, questionnaire design and quality, 2004, p.

13, disponible en http://www.eustat.es/prodserv/vol44_c.html#axzz2tEH1Gs3rt

Apuntes del curso: ENCUESTAS PARA LAS POLÍTICAS PÚBLICAS, APUNTE Nº1: Encuestas:

Características Generales, Profesora: Sandra Quijada Javer, Centro Microdatos, Universidad de

Chile.

Apuntes del curso SOL3062, Pontificia Universidad Católica de Chile, 2014, Profesora Carolina

Casas-Cordero.

Jeffrey R. Kling , Jeffrey B. Liebman y Lawrence F. Katz “Bullets Don’t Got No Name:

Consequences of Fear in the Ghetto” en Discovering Successful Pathways in Children's

Development: Mixed Methods in the Study of Childhood and Family Life. Edited by Thomas S.

Weisner. Chicago: The University of Chicago Press, 2004.

63

http://www.eustat.es/prodserv/vol44_c.html

http://www.eustat.es/prodserv/vol44_c.html

Diseño mediciónContexto Diseño de instrumentos Medición ... · PDF...

Documents

Transcript of Diseño mediciónContexto Diseño de instrumentos Medición ... · PDF...