Post on 26-Nov-2015
Taller sobre Evaluación de impacto de Proyectos de FomentoTaller sobre Evaluación de impacto de Proyectos de Fomentodel Desarrollo Juvenil y Prevención de la Violenciadel Desarrollo Juvenil y Prevención de la Violencia
Hotel Los Héroes, Bogotá 02 de octubre de 2007Hotel Los Héroes, Bogotá 02 de octubre de 2007
Diseño de evaluación de impactos tempranos valuación de impactos tempranos del Programa Familias Fuertes en Perúdel Programa Familias Fuertes en Perú
Hugo MoralesConsultor GTZ
Coordinador de laDiplomatura en Desarrollo Integral
y Prevención de la Violencia JuvenilUniversidad Nacional Mayor de San Marcos
Perú
Contenido1. Marco conceptual del Programa Familias Fuertes.2. Objeto de la evaluación (qué): Programa preventivo dirigido a
Familias (padres e hijos).
3. Propósito de la evaluación (para qué): Producir evidencias sobre qué funciona en la intervención preventiva con Familias.
4. Involucrados en la evaluación (quiénes y con quiénes): Población blanco, interventores y otros actores clave.
5. Indicadores (qué se observa): Cambio de conducta a nivel individual y a nivel interpersonal.
6. Metodología e instrumentos (cómo se evalúa): Diseño cuasi-experimental con grupo control no equivalente y Triangulación.
7. Aprendizajes de la evaluación (qué sirve, qué no sirve, alertas en proyectos de prevención de la violencia): Validez Interna y Externa en los programas y proyectos de prevención.
Marco conceptual del Programa Familias Fuertes:
Amor y Límites
Objeto de la evaluación (qué): Programa preventivo
dirigido a Familias(padres e hijos)
Familias FuertesObjetivo General:
Mejorar la salud y el desarrollo de adolescentes entre 10 – 14 años de edad, y prevenir conductas de riesgo a través de la promoción de la comunicación entre padres e hijos.
Pre-adolescencia y adolescencia temprana son los períodos claves para prevención. Las conductas de riesgo aún no han comenzado o se están recién instalando.
El rol de la familia en el desarrollo adolescente
• La familia tiene un rol fundamental en promover en un espacio contenido, la experimentación y vivencia de experiencias nuevas de los hijos adolescentes.
• Familia es un espacio para promover oportunidades, expectativas, metas – límites y guía (orientación y monitoreo).
• Estudios multiculturales resaltan la importancia de la familia y el efecto en el bienenstar emocional del adolescente (Brian Barber, 2002)– Relación con adulto significativo.– Regulación de límites.– Autonomía.
• Relación emocional positiva y estable promueve competencia social.• Coherencia en las reglas y los valores facilita la adaptación al mundo
social.
Nivel conductual interpersonal (familiar): Teoría del Cuidado Eficaz (authoritative parenting model de Baumrind, 1971)
• El cuidado eficaz de adolescentes se ubica en un continuo entre la demanda de cumplimiento de expectativas y la disciplina; y el estar atento/a a las necesidades y deseos de los adolescentes.
• Está compuesto de = Amor y Límites– Calidez y amor– Estructura y disciplina– Apoyo a la autonomía y al desarollo– Monitoreo de su comportamiento
Nivel conductual individual (padres): Teoría del Aprendizaje Social de Bandura (1986) – videos aplicados a los padres: modelaje.
• Compuesto de = Autoeficacia, Metas y Valor de los resultados esperados– Determinismo recíproco– Capacidad conductual– Expectativas de resultado– Expectación de resultado– Auto-eficacia– Aprendizaje observacional– Refuerzos
Competencias a desarrollar en los Padres
• Amor y Conexion – Apoyo y Aceptacion.Amor y Conexion – Apoyo y Aceptacion.
• Controlar y Observar – Dar libertad y averiguar.Controlar y Observar – Dar libertad y averiguar.
• Guiar y Limitar – Límites y moral clara.Guiar y Limitar – Límites y moral clara.
• Dar ejemplo y Consultar – Ofrecer oportunidades Dar ejemplo y Consultar – Ofrecer oportunidades para el debate y toma de decisiones.para el debate y toma de decisiones.
• Proveer y Abogar- Conectar con la red de apoyo.Proveer y Abogar- Conectar con la red de apoyo.
• Amor y Conexion – Apoyo y Aceptacion.Amor y Conexion – Apoyo y Aceptacion.
• Controlar y Observar – Dar libertad y averiguar.Controlar y Observar – Dar libertad y averiguar.
• Guiar y Limitar – Límites y moral clara.Guiar y Limitar – Límites y moral clara.
• Dar ejemplo y Consultar – Ofrecer oportunidades Dar ejemplo y Consultar – Ofrecer oportunidades para el debate y toma de decisiones.para el debate y toma de decisiones.
• Proveer y Abogar- Conectar con la red de apoyo.Proveer y Abogar- Conectar con la red de apoyo.
Propósito de la evaluación(para qué):
Producir evidencias sobre qué funciona en la intervención
preventiva con Familias
Involucrados en la evaluación (quiénes y con quiénes):
Población blanco, interventores y otros
actores clave
• Coordinadora país: introduce la estrategia de trabajo con Familias en POA del proyecto en Perú.
• Muestra de familias: reclutadas en el ámbito escolar local. N = 25 familias aprox./casos y controles en 5 distritos de Lima.
• Equipos distritales: trabajadores de los Municipios socios del proyecto entrenados en el programa. Responsables de establecer contactos con el Colegio y realizar la convocatoria e identificación de las familias.
• Directores de colegios, Tutores, Alcaldes.
Ejes temáticos de las sesiones para el trabajo con los padres
• 7 sesiones concentradas en reducir factores de riesgo y promover factores protectores dentro de la dinámica familiar y la relación de la familia con el entorno.1. Usando amor y límites.2. Estableciendo de reglas en el hogar.3. Fomentando el buen comportamiento.4. Uso de las consecuencias (uso de sanciones).5. Construyendo puentes (establecer vínculos).6. Protección contra los comportamientos de riesgo.7. Ayuda para necesidades especiales de la familia y
conexión con la comunidad.• Atención a la estructura familiar.
Sesiones con los adolescentes1. Tener objetivos y sueños
Indicador conductual / Ítem2. Apreciar a los padres
Indicador conductual / Ítem3. Hacer frente al estrés
Indicador conductual / Ítem4. Obedecer las reglas
Indicador conductual / Ítem5. Hacer frente a la presión de los compañeros
Indicador conductual / Ítem6. La presión del grupo y los buenos amigos
Indicador conductual / Ítem7. Ayudar a otros
Indicador conductual / Ítem
Sesiones con las familias1. Apoyar los objetivos y sueños
Indicador conductual / Ítem2. Promover la comunicación en la familia
Indicador conductual / Ítem3. Aprecio a los miembros de la familia
Indicador conductual / Ítem4. Empleo de las reuniones familiares
Indicador conductual / Ítem5. Comprender los principios de la familia
Indicador conductual / Ítem6. Las familias y la presión de los compañeros
Indicador conductual / Ítem
Indicadores (qué se observa): Cambio de conducta a nivel
individual y a nivel interpersonal
Familias Fuertes Los adolescentes:• Elijan compañías adecuadas.• Desarrollen mayor capacidad de resistir la
presión de los compañeros.• No consuman sustancias como tabaco, alcohol
y drogas• Presenten modelos de comportamiento sexual
sin riesgos (abstinencia o de uso de preservativos).
• Tengan un buen comportamiento en la escuela.
Familias Fuertes Los padres:• Aumenten su conocimiento y capacidad de resolver
los conflictos con sus hijos adolescentes.• Desarrollen su capacidad de demostrar afecto, a la
vez que se establecen reglas claras de comportamiento.
• Aumenten tanto su capacidad para vigilar el comportamiento rutinario, así como desarrollar la capacidad para escuchar y comprender los problemas específicos de los jóvenes.
Metodología e instrumentos (cómo se evalúa): Diseño
cuasi-experimental con grupo control no
equivalente yTriangulación
Tamaño de las muestras finales para los distritos
que cumplieron conel diseño
GC: O1 O2 ----------------------------------------------------------------------------------------------------- Nivel de la Familia X1, X2, X3…..X7
GE: O3 O4
Diseño de evaluaciónCuasi-experimental
(actualmente se ha convertido en un diseño pre-experimental por la
reducción de casos control)
Criterios de inclusión (a nivel de los padres y los hijos):• Familias con al menos un hijo adolescente con edades entre 10 y 14 años de edad (__)• Padres que convivan junto a sus hijos o al menos uno de los padres (si es una familia monoparental)
que conviva con el hijo o hija adolescente desde hace más de 5 años como mínimo (__)• Padres que conviven con adolescentes y tienen un alto grado de interacción como parte de la crianza
(__)• Familias con alto nivel de compromiso para participar hasta el final del programa, puntualmente y en
todas las sesiones programadas (__)• Familias que envían a sus hijos a la escuela (__)• Familias que asisten los requerimientos básicos de subsistencia de sus hijos (__)• Padres que se encuentran realizando actividades económicas para el sostenimiento de sus familias
(__)• Hijos adolescentes que asisten a la escuela (__)• Padres interesados e involucrados en la crianza de sus hijos (__)• Padres con edades entre 26 y 65 años de edad (__)• Familias donde a lo mucho un hijo presenta problemas de conducta, pero no los demás (__)
Criterios de exclusión (a nivel de los padres y los hijos):• Familias multiproblemáticas, que ya presentan problemas entre varios de sus hijos (__)• Hijos adolescentes con problemas de conducta, discapacidad o retardo en el desarrollo (__)• Padres que se encuentran desempleados al mismo tiempo (__)• Hijos adolescentes que tienen funciones de crianza de otros hermanos pequeños (__)
Muestra de adolescentesControl Experimental
San Felipe 4 3 7Total 4 3 7
José María Arguedas 0 4 4Jorge Chavez 0 7 7
Total 0 11 11Ricardo Palma 0 7 7
Total 0 7 7Fe y Alegría 33 0 1 1
Héroes del Pacífico 5088 2 10 12Total 2 11 13
6 32 38San Felipe 5 3 8
Total 5 3 8José María Arguedas 0 4 4
Jorge Chavez 0 7 7Total 0 11 11
Ricardo Palma 0 7 7Total 0 7 7
Fe y Alegría 33 0 1 1Héroes del Pacífico 5088 2 10 12
Total 2 11 13
7 32 39
GrupoTotalInstitución educativaMunicipalidadTipo de prueba
Comas
Santiago de Surco
Surquillo
Ventanilla
Post-Test
TOTAL
Pre-Test
TOTAL
Ventanilla
Comas
Santiago de Surco
Surquillo
Muestra de padresControl Experimental
San Felipe 4 3 7Total 4 3 7
José María Arguedas 0 6 6Jorge Chavez 0 8 8
Total 0 14 14Ricardo Palma 0 6 6
Total 0 6 6Fe y Alegría 33 0 1 1
Héroes del Pacífico 5088 0 11 11Total 0 12 12
4 35 39San Felipe 4 3 7
Total 4 3 7José María Arguedas 0 6 6
Jorge Chavez 0 8 8Total 0 14 14
Ricardo Palma 0 6 6Total 0 6 6
Fe y Alegría 33 0 1 1Héroes del Pacífico 5088 0 11 11
Total 0 12 12
4 35 39
Total
Pre-Test
Santiago de Surco
TOTAL
Santiago de Surco
Surquillo
Ventanilla
GrupoInstitución educativa
Post-Test
TOTAL
Comas
Tipo de Prueba Municipio
Comas
Surquillo
Ventanilla
Instrumentos y Triangulación Metodológica
(multi-método/entre los métodos) de resultados
Instrumentos cuantitativos:• En los padres – cuestionario aplicado a los padres o adultos significativos que participaron de la
intervención (9 ítems).• En los adolescentes – cuestionario aplicado a los adolescentes que participaron de la
intervención (103 ítems).• Base de datos, análisis de bondad de ajuste, uso de pruebas no paramétricas como Mann-
Whitney Test (intergrupos) y Wilcoxon Test (intragrupos) para analizar diferencias de medias.
Instrumentos cualitativos:• En los padres – guía de indagación de grupo focal aplicado a los padres que participaron de la
intervención.• En los adolescentes – guía de indagación de grupo focal aplicado a los adolescentes que
participaron de la intervención.• Realización de dos grupos focales: padres y adolescentes – criterios de reclutamiento de casos.• Identificar los cambios de comportamiento (de acuerdo a los objetivos del programa y otros no
esperados) percibidos como consecuencia del entrenamiento en Familias Fuertes por los participantes del programa durante las siete sesiones, a nivel de ellos mismos y de sus hijos/padres, aislando los efectos de otros factores que pudieron generar los cambios de comportamiento identificados en la medición pre y post test realizada como parte del programa. Conocer el discurso hegemónico, así como los consensos y disensos alrededor del programa para su posible mejora futura.
Escala de evaluación de Proceso y Resultados:• Cuestionario aplicado a los responsables del Programa a nivel Local (30 ítems).
• Aumenten su conocimiento y capacidad de resolver los conflictos con sus hijos adolescentes.
“Lo que en ese programa si logré encontrar fue lo que él más le duele, es que yo no lo bese y lo trate serio, incluso cuando viene del colegio me mira y me dice: “estás molesta”, no hijo, “no está molesta mamá”, no para nada a ya, y me comienza a abrazar y besar, porque ha a veces cuando voy al colegio por ahí me dicen: “huy señora el Josue se subió a la mesa”, a veces me dicen, porque es así, él es espontáneo no es malcriado sino, demasiado espontáneo, entonces, lo que yo veo en él, descubrí en ese programa es que, él lo que más le afecta es que yo no le sea muy , muy cariñosa con él…”NN-Surco (grupo focal a madres)
“…me siento más tranquila, porque los míos son 4 y entre los cuatro se hacen un lío entre los 4 y no sé a quién corregir, antes no, antes agarraba mi correa y a todos por igual, porque todos están metidos ahí en el lió, ahora les miro, ya terminaron, ya se terminaron de chancar entre los cuatro, y miran pero el empezó, él empezó, no me interesa, tú no sales tu me haces esto y el otro, yo sentada les miro que hagan las cosas. he aprendido a tranquilizarme a controlarme…”NN-Ventanilla (grupo focal a madres)
• Desarrollen su capacidad de demostrar afecto, a la vez que se establecen reglas claras de comportamiento.
“…yo ahora tengo hijos jóvenes y eso me ha ayudado bastante porque yo trato de observar, a mirarlo, a ver la manera de cómo conversar con él, preguntarle qué le ha pasado y ver el momento oportuno, pues como se dice, de momento no te va decir nada, pero de momento yo veo la manera trato de conversar con él. Y sí he sacado buenos resultados, porque he buscado la manera, mi hijo me comunica y yo trato de darle lo que yo aprendí trato de conversarle a él y llego a que él me tenga esa confianza y me cuente, me cuenta, me llega a contar y como él es el mayor, lo mismo que estoy utilizando con el, lo mismo voy a seguir con el más pequeño…”NN-Surco (grupo focal a madres)
“...y me gustó mucho lo que nos decían de que forma podemos darle esa confianza para que ellos vayan solos hasta donde, ahora por ejemplo ya se va a la parroquia se viene a la parroquia, mamá tengo un trabajo perfecto hijo ya, cuando se demora me llama…”NN-Surco (grupo focal a madres)
• Aumenten tanto su capacidad para vigilar el comportamiento rutinario, así como desarrollar la capacidad para escuchar y comprender los problemas específicos de los jóvenes.
“…yo ahora converso más con ellos, les hablo les hablo les hablo, ya no reniego ya, antes renegaba pero ay hasta el hígado, un poco que he calmado…”NN - Villa el Salvador (grupo focal a madres)
“…a mí lo que me más me ha gustado es saber escucharlos, cuando ellos llegan veces, yo mayormente que paro más con ellos a veces llegan que mamá el esto que el otro, me siento ahí y les empiezo a escuchar…”NN - Villa el Salvador (grupo focal a madres)
“En uno de mis hijos Erick, cuando él tiene algo, está dando vueltas a la mesa, o a mí. y yo le miro qué has hecho, que tienes? nada y sigue dando vueltas, no, algo tienes, qué has hecho no, es que estaba jugando en el colegio y el profesor quiere que vayas al colegio porque quiere hablar contigo… yo he notado, cuando él tiene algo, él está dando vueltas…”NN - Villa el Salvador (grupo focal a madres)
“Ya no reniego, para que mis hijos han cambiado conmigo, yo llego y dicen, mami ya siéntanle para servirte una tasa de café y me hacen que me suba a la cama y me alcanza la comida en la cama yo sí cocino pero ellos calientan, July encargarte de tus hermanos a servirles, sepárale par tú papá. Antes era puro grito en esa casa, ya no, da cuenta de que no vive nadie en esa casa…”NN-Surco (grupo focal a madres)
“…yo en mi casa, con eso que empezó el programa, empezamos a reunirnos en la casa a ponernos todos a sentarnos juntos porque mayormente trabaja mi esposo, mis hijos uno llega en la mañana otro en la tarde, osea que no todos estamos juntos, pero sí un día a la semana nos juntamos, los domingos, antes no era así, los domingo es sagrado ustedes van a venir vamos a almorzar juntos y ahí conversamos dialogamos, eso sí hemos mejorado un poco en él (el papá), en ese aspecto, y ya ese día nos ponemos a dialogar a conversar y mi esposo también un poco ya que los días domingos está un poco más en la casa…”NN - Ventanilla (grupo focal a madres)
“Sí porque en mi caso mío, mucho peleábamos y mis hijos escuchaban, estaban traumados y después mi esposo me dijo hijo siéntate vamos a conversar… si ustedes obedecen lo que tu mamá les dice, y yo también les digo, esta familia va se más unida. Así ha sido ya nos reunimos a almorzar, a conversar. Cada vez que almorzábamos, cada uno almorzaba para allá o para acá, ya no, todos juntos conversamos, nos reímos, antes, era puro llorar, y mis hijos también me miraban; mamí por qué lloras, yo decía es que tu papá mocho, no sé él piensa que cuando salgo, a qué iré porque el llegaba molesto conmigo, pero yo me iba a trabajar, pero ahora ya no, él dice: hagan las cosas porque tu mamá viene cansada, bastante ha cambiado…”NN - Surco (grupo focal a madres)
Aprendizajes de la evaluación (qué sirve, qué no sirve, alertas en proyectos de
prevención de la violencia): Validez Interna y Externa en los programas y proyectos
de prevención
Validez interna: ¿podemos atribuir los cambios al programa?– Autoselección de los participantes (aleatoriedad y reclutamiento).– Regresión estadística (regresión hacia la media – cuestionarios).– Sensibilidad y sensibilización al Test.– De un diseño cuasi a uno pre experimental.– Muerte experimental.
Validez externa: ¿podemos aplicar el programa en otras poblaciones de familias equivalentes?– Fracaso al describir explícitamente las variables independientes.– Falta de representatividad de las poblaciones disponibles.– Efecto Hawthorne (los sujetos saben que son “cobayas”).– Operacionalización inadecuada de las variables dependientes.– Sensibilización a las condiciones experimentales.– Efectos de interacción de factores extraños y tratamientos
experimentales.
Taller sobre Evaluación de impacto de Proyectos de FomentoTaller sobre Evaluación de impacto de Proyectos de Fomentodel Desarrollo Juvenil y Prevención de la Violenciadel Desarrollo Juvenil y Prevención de la Violencia
Hotel Los Héroes, Bogotá 02 de octubre de 2007Hotel Los Héroes, Bogotá 02 de octubre de 2007
Diseño de evaluación de impactos tempranos valuación de impactos tempranos del Programa Familias Fuertes en Perúdel Programa Familias Fuertes en Perú
Hugo MoralesConsultor GTZ
Coordinador de laDiplomatura en Desarrollo Integral
y Prevención de la Violencia JuvenilUniversidad Nacional Mayor de San Marcos
E-mail: hmorales@aloe.ulima.edu.pe