Evaluación y monitoreo de programas gubernamentales ...

47
Evaluación y monitoreo de programas gubernamentales dirigidos a la infancia El caso del programa 24 horas con Terapia Mul<sistémica (Programa Lazos) Primer Curso Interdisciplinario de Niñez y Adolescencia Profesor Luis Vial Recabarren [email protected] Miércoles 16 de enero 2019

Transcript of Evaluación y monitoreo de programas gubernamentales ...

Page 1: Evaluación y monitoreo de programas gubernamentales ...

Evaluación y monitoreo de programas

gubernamentales dirigidos a la infancia

El caso del programa 24 horas con Terapia

Mul<sistémica (Programa Lazos)

PrimerCursoInterdisciplinariodeNiñezyAdolescenciaProfesorLuisVialRecabarren

[email protected]ércoles16deenero2019

Page 2: Evaluación y monitoreo de programas gubernamentales ...

Programa 24 horas con Terapia Mul<sistémica (Programa Lazos)

•  ProgramadeSeguridadIntegradadeCarabineros-PSI24horasseimplementaelaño1996porlaDirecciónProtecciónalaFamiliadeCarabineros(hoyDIPROFAM).•  Elaño2009pasaaserpiloto,entrelosaños2010a2014sedenominaProgramaVidaNuevayespartedelPlanNacionaldeSeguridad–ChileSeguro.•  ProgramaVidaNuevageneraunsistemadegesUónterritorialquedefineentresusobjeUvos“Interrumpirconductastransgresorasysuperarsituacionesdevulneracióndederechosdeniños,niñasyadolescentes.”•  Elaño2012(pilotoen8comunas)seincorporalaTerapiaMulUsistémica.atravésdelProgramadeSeguridadIntegradadeCarabineros–PSI24horas.

Page 3: Evaluación y monitoreo de programas gubernamentales ...

Programa 24 horas con Terapia Mul<sistémica (Programa Lazos)

•  Duranteelperíodopresidencial2014-2018esextendidoa36comunasdelpaíscomouncompromisodecampaña.•  ManUenesusprincipalesdefiniciones:

•  Esunprogramaquebrindaatencióndirectaenelhogaralasfamiliasdeniños,niñasyadolescentes(NNA)infractoresdeleyconaltoriesgodereincidencia,conelobjeUvodeinterrumpirtrayectoriasdelicUvasyfavorecerlareinserciónsocial.

•  Tienedoscomponentes:

•  DetecciónTemprana(EDT):Evalúaperfilesderiesgosocio-delictualdelosNNAyfuncionacomounapuertadeentradaaotrosprogramasanivellocalqueabordanestaárea.•  TerapiaMulUsistémica(MST):TratamientointensivodirigidoalosNNAdemásaltoriesgodereincidenciadelictual.

Page 4: Evaluación y monitoreo de programas gubernamentales ...

Equipos de Detección Temprana

•  EvalúanriesgodereincidenciaatravésdeuninstrumentoestandarizadodenominadoASSET,elcualmidelassiguientesdimensiones(preypost):

Page 5: Evaluación y monitoreo de programas gubernamentales ...

Terapia Mul<sistémica (MST) •  Caracterís)casdeltratamientoenTerapiaMul)sistémica(MST):

ü  DirigidoaNNAentre10y17añosdeedadcongravecomportamientodecarácterdelictual.

ü  Tratamientointensivolas24horas,los7díasdelasemana(mínimo3visitasalhogardurantelasemanaysistemadeturnos).

ü  Altoestándarenatenciónconmáximo6casosporterapeuta.

ü  Duracióntratamientoesde3a5meses.

ü  EltratamientoUene3objeUvosgeneralesparalosNNA:

Quesemantengaoreincorporealsistemaescolar

Quenoseadetenidoduranteeltratamiento

Quepermanezcaviviendoenelhogar

Page 6: Evaluación y monitoreo de programas gubernamentales ...

Terapia Mul<sistémica (MST)

CaracterísUcasdelModelo:

•  Buscalaintegraciónsocial,reestablecerfuncionalidadfamiliarydesarrollarpautasdecrianzaquereviertanconductastrasgresorasenNNA.

•  Esuntrabajointensivo(3-5meses)entodohorarioydíadelasemana.

•  Aborda amplio rango de problemas asociados a conductas trasgresoras como por ej. abuso de drogas,depresiónparental,etc.

•  Accesovoluntario,perofocalizadoacasosdemásaltoriesgo(10a17años).

•  EltratamientoesenelentornosocialdelNNA(casa,escuela,calle,etc.).

•  El terapeutadedica90%delUempoa los adultos cuidadores, paraempoderarlosdemaneraquepuedanresolverproblemaspresentesyfuturos.

Page 7: Evaluación y monitoreo de programas gubernamentales ...

Terapia Mul<sistémica (MST)

•  Esunmodelobasadoenevidencia:MSTconmásde30añosdeinvesUgaciónyresultadosprobados.

•  Unodelosresultadosquepromueveesque“puedereducirlareincidenciaenun30%”•  Implementadoenmásde15países.

•  Abordajeintegraldeproblemasseverosdeconducta,incluyendoconsumodedrogasydelincuencia,enNNAentre10y17años.

•  VinculaciónposiUvaconotrasinsUtuciones.•  ApoyoycapacitaciónaequiposMST.•  Mejoraenlacalidadentodoslosniveles.

Page 8: Evaluación y monitoreo de programas gubernamentales ...

Extraídode:HenggelerS.,“TerapiaMulUsistémica:FundamentosclínicosyresultadosdeinvesUgación”,PsychosocialIntervenUon,vol21,N°2,2012

Page 9: Evaluación y monitoreo de programas gubernamentales ...
Page 10: Evaluación y monitoreo de programas gubernamentales ...

Extraídode:HenggelerS.,“TerapiaMulUsistémica:FundamentosclínicosyresultadosdeinvesUgación”,PsychosocialIntervenUon,vol21,N°2,2012

Page 11: Evaluación y monitoreo de programas gubernamentales ...

Extraídode:HenggelerS.,“TerapiaMulUsistémica:FundamentosclínicosyresultadosdeinvesUgación”,PsychosocialIntervenUon,vol21,N°2,2012

Page 12: Evaluación y monitoreo de programas gubernamentales ...

EquipoDetecciónTemprana

ComponenteTerapia

Multisistémica

EncargadoMunicipalPSI24Horas

Programaslocales/

municipales

Demandaespontánea

ProgramasDJJSENAME

TribunalesdeFamilia

DerivaciónPSI24horas

infractores

EvaluacióndeRiesgoAsset

AltoRiesgo

MedianoRiesgo

BajoRiesgo

ProgramasDEPRODESENAME

24Horas

Ofertalocal/FNSPPlanComunal -

NNA

Otraofertalocaloprivada

EgresoSinriesgodelictualo

necesidadesdeotrotipo

MESACO

MUN

ALDEG

ESTIÓN

DEC

ASOS

31%*

37%*

32%*

Nota: Los porcentajes indicados por nivel de riesgo delictualcorresponden al total de ASSET aplicados (17.718 evaluaciones)desde agosto2012 a diciembre 2015.

ZONAFAM– CarabinerosdeChileBasePSI24Horas

91%delasderivaciones

8%delasderivaciones

1%delasderivaciones

12%*

15

73%*

%

Nota: Los porcentajes indicados por nivel de riesgo delictualcorresponden al total de ASSET aplicados (22.144evaluaciones) desde agosto2012 a junio 2016

Evaluacionesyflujosdederivación

Page 13: Evaluación y monitoreo de programas gubernamentales ...

Distribución de detenidos por DMCS, Niños, niñas y adolescentes y adultos.

13%23%

10%

87%77%

90%

Hurtos Robos Lesiones

Menoresdeedad Mayoresdeedad

20.872 22.099 19.72721.141

19.529 19.021 19.17117.721

0

5.000

10.000

15.000

20.000

25.000

2008 2009 2010 2011 2012 2013 2014 2015

DistribuciónDMCSporaño-Menoresdeedad

PROGRAMA DE ATENCIÓN INTEGRAL A LA FAMILIA 24 HORAS

Page 14: Evaluación y monitoreo de programas gubernamentales ...

Estadís<cas: •  Del total de delitos DMCS en el año 2016, el 14%

(17.737),fueron come<dos por niños niñas y adolescentes detenidos .

•  El 25% son mujeres y el 75% son hombres.

PROGRAMA DE ATENCIÓN INTEGRAL A LA FAMILIA 24 HORAS

95,2%

Resultados entre 2012 y 2016 al finalizar el tratamiento

77,56% No presentó nuevas detenciones

82,28% Se encontraba en el sistema escolar

95,43% Se mantuvo viviendo en el hogar

Page 15: Evaluación y monitoreo de programas gubernamentales ...

PROGRAMA DE ATENCIÓN INTEGRAL A LA FAMILIA 24 HORAS

Caracterís<cas de las familias atendidas.

Residen en barrios vulnerables, donde existe presencia de violencia y tráfico de drogas.

Los NNA atendidos están principalmente al cuidado de mujeres (madres o abuelas).

Gran parte de los casos atendidos presenta violencia intrafamiliar.

Los cuidadores o adultos responsables de los NNA <ene dificultades en la crianza y manejo conductual.

Los NNA atendidos presentan problemas conductuales graves y alto riesgo de reincidencia delictual.

Los NNA atendidos están en riesgo de deserción escolar o presentan un importante rezago escolar.

Page 16: Evaluación y monitoreo de programas gubernamentales ...

•  Barrerasenelaccesoalainformacióndeloscasos.

•  Dificultades en la comunicación y coordinación entre insUtuciones diferentesque dirigen sus esfuerzos a un mismo sujeto de atención con múlUplesnecesidades.

•  Sobreintervencióndecasosgenerandovulneracióndederechos.

•  RigidezenlarespuestadelosserviciosparaabordarlasdiferentesnecesidadesdelosNNAysusfamilias.

•  FaltadeofertasocialespecializadayefecUvadirigidaalosNNAdeconriesgosociodelictual,enlosámbitosdeeducaciónysalud.

BARRERAS IDENTIFICADAS EN LA GESTIÓN DEL PROGRAMA

Page 17: Evaluación y monitoreo de programas gubernamentales ...

Evaluación del programa

•  Elaño2015laSubsecretaríadePrevencióndelDelito(MinisteriodelInteriorySeguridadPública)convoca a una licitación para evaluar el programa, la que es adjudicada a la Fundación PazCiudadana.

Elestudiobuscó:

•  Describir y analizar la implementación del programa en Chile, a nivel general y por comunas,idenUficandolosfactorescontextualesquefacilitaronyobstaculizaronsuimplementación.

•  IdenUficarlosfactoresderiesgoydeproteccióndecasosegresadosdeMST

•  Compararlosnivelesdereincidenciayreinserciónentrelosusuariosegresadosdelprograma.

Page 18: Evaluación y monitoreo de programas gubernamentales ...

Figura1.Esquemadelasetapasdeanálisisysusámbitosdeevaluación

Etapa

Implementación AnálisisProspectivo

Análisis

retrospectivo

Ámbito

Contexto

Institucional

Page 19: Evaluación y monitoreo de programas gubernamentales ...

Atravésdeunaestrategiametodológicamixta,elestudioplanteabadescribir,analizaryevaluarlaimplementacióndelprogramarespondiendolassiguientespreguntas:I.¿Quéniveldeimplementacióndebuenasprác8casparaprogramasbasadosenlaevidenciateníaelprogramaMSTenChileel2016?MetodologíauUlizada:Encuestaonlinelosequiposejecutores“EvaluacióndeprácUcasdeimplementaciónenMST”.36comunas,año2016,N=183

II.¿CómohasidoeldesempeñodelprogramaMSTenChiledesdesuinicioal2016?Metodología uUlizada: Análisis de 10 indicadores seleccionados del Informe deImplementación del Programa (PIR), según semestre de implementación comunal(periodo2012a2016,32comunas).III.¿CuáleshansidolosprincipalesdesaGosparalaviabilidaddelaimplementacióndeMSTenChile?Metodología uUlizada: Análisis cualitaUvo de fuentes de información primaria ysecundaria. Entrevistas semi-estructuradas y focus groups (nivel central y comunal, año2016,N=27),preguntaabiertaenConsultaonlineyFormatoderevisióndelPIR(2012a2016).

METODOLOGÍA Y ESTRATEGIA DE EVALUACIÓN

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 20: Evaluación y monitoreo de programas gubernamentales ...

¿Quéniveldeimplementacióndebuenasprác8cas8eneelprogramaMSTenChile?

PRINCIPALES HALLAZGOS DEL ESTUDIO

•  Por el contrario, obUenenmenor nivel de implementación aquellas prácUcasque implican conseguir retroalimentación de los involucrados en laimplementación, entablar comunicación entre disUntos niveles y actoresexternos al programa, así como uso de la información para la toma dedecisionesyposicionamientodelprograma.

•  Las prácUcas peor evaluadas por los ejecutores se concentran en los ejesimplementación municipal e intervención de redes, los cuales están menosestructuradosaprioriporelmodeloy suponendesalos tanto técnicoscomopolíUcos.

Ejemplos de prácUcas con peor evaluación: “Los datos de la plataforma MSTI soncomparUdosconmiembrosdelafamiliayactoresclavedelacomunidad”(1,03),“Elequipo que lidera la implementación genera capacidades para superar obstáculos atravésdeltesteodedisUntasalternaUvasdesoluciónengrupospequeños”(0,94).

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 21: Evaluación y monitoreo de programas gubernamentales ...

PRINCIPALES CONCLUSIONES DEL ESTUDIO IMPLEMENTACIÓN

•  Los hallazgos no muestran evidencia contundente de que el contexto municipal sea unabarrera insoslayable para la implementación del programa, pero sí para sostener que esrequeridoelmejoramientodelasredesdesoportemunicipaldeMSTyajustesenelmodoenqueseinstalaelprogramaenelcontextolocal.LasdificultadespararesolverlosejescríUcosqueéstapresenta,comoporejemplolagesUónadministraUvaocondicioneslaboralesdelosprofesionales,nosonatribuiblesexclusivamenteaproblemasdeliderazgoocompromisodelascontraparteslocales,tampocoalimitacionesestructuralesdelasmunicipalidadesparalaimplementacióndeprogramassociales.

•  Comofortalezadelprogramadestacaelaltodesarrolloeimportanciaatribuidaalmonitoreode procesos y resultados en comparación a otros programas sociales, permeando losaprendizajes adquiridos a la totalidad del programa PAIF 24 Horas. Los indicadores sonbastante uUlizados por el equipo a cargo del programa, pero no es suficientementecomparUda con otros actores clave. Para un mejor monitoreo y seguimiento, persistendesalosdecolaboraciónconotrosorganismosrespectoainformacióndeloscasosasícomoUpodeindicadoresderesultadosuUlizados.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 22: Evaluación y monitoreo de programas gubernamentales ...

Obje)vo:LaevaluaciónretrospecUvabuscaesUmarelimpactodelprogramaMSTencuanto a la prevención de la conducta delicUva e integración social de losadolescentesatendidosenChile.

Metodología: Se uUliza una metodología de evaluación cuasi-experimental.BásicamentesebuscacompararalosadolescentesingresadosaMST(grupotratado)conungruposimilardenominadogrupodecontrol.

•  Paraquelacomparaciónseaválida,losadolescentesdelgrupodecontrolalmenosdebenpoderserelegiblesporelprograma.

•  EspecíficamenteseuUlizandostécnicasdeesUmación:•  Pareo(PropensityScoreMatching)•  Ponderación(InverseProbabilityWeigh7ng)

ESTUDIO RETROSPECTIVO METODOLOGÍA

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 23: Evaluación y monitoreo de programas gubernamentales ...

PropensityScoreMatching:Consisteenbuscar individuossimilaresenambosgruposdetratadosycontrol,paraluegocompararlosentresi.

ESTUDIO RETROSPECTIVO METODOLOGÍA

0,50,8

0,4

0,70,5

0,8

0,7

0,1

Tratamiento Control

0,2

0,4

1.  Se determinan los casos para lasmuestrasdetratamientoycontrol.

2.  En base a las caracterísUcas de losindividuos (edad, sexo, nivel deriesgoydelitode ingreso) se calculala probabilidad de ser seleccionadoporelprograma.Estaprobabilidadseconocecomo“propensity”.

3.  Se hacen coincidir los propensityentre individuos de ambos gruposparaparearcasossimilares.

4.  Finalmente, se comparan losresultado promedios de los casospareadosparaesUmarelimpacto.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 24: Evaluación y monitoreo de programas gubernamentales ...

Ponderaciónporelinversodelpropensity:Esunatécnicaconceptualmentemáscomplejaqueelpareodecasos.BásicamentesebuscareponderaralgrupodecontrolytratamientodetalformaqueenpromediolascaracterísUcasdelosgruposseansimilaresentresi.

Esto se realiza ponderando cada observación de la muestra por el inverso de laprobabilidaddeselección,determinadaporlasiguienteecuación:

𝑃𝑜𝑛𝑑𝑒𝑟𝑎𝑑𝑜𝑟= 𝑡/𝑝 + (1−𝑡)/(1−𝑝) 

•  t: Toma el valor 1 si el individuo pertenece al grupo de tratamiento y valor 0 sipertenecealgrupodecontrol.

•  p:Eselpropensity(probabilidaddehabersidoseleccionadoporMST)

ESTUDIO RETROSPECTIVO METODOLOGÍA

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 25: Evaluación y monitoreo de programas gubernamentales ...

Grupo de control: Casos evaluados por el EDT durante 2012-2014 con 21 o máspuntosenelASSET,peroquenoingresaronalprograma.

•  CausasdenoingresoaMST:i.  EstaracUvoenunprogramadeSenameii.  Novoluntariedadiii.  Sinadultoresponsableiv.  Cambiodecomunav.  Nocontactovi.  Otrosdesconocidos

•  Casosexcluidosdelgrupodecontrol:i.  Casossinadultoresponsableii.  Casosconpresumibleproblemapsiquiátricoiii.  Intervenciónfamiliarrealizadaahermano/a

ESTUDIO RETROSPECTIVO SELECCIÓN DE LOS GRUPOS

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 26: Evaluación y monitoreo de programas gubernamentales ...

•  PuntajeASSET:Elpuntajederiesgopromediodelosgruposenlalíneabaseesde26,2paraelgrupodetratamientoy26,4paraelgrupodecontrol.

•  HistorialenSename:•  Al momento de la aplicación del ASSET el 36% del grupo de tratamiento se

encontraba vigente en algún programa de Sename, mientras tanto, un 40% delgrupodecontrolseencontrabaenlamismasituación.

•  AmbosgruposUenenenpromediomásde2ingresosaSenameantesdehabersidoevaluadosporelEDT.

•  Mo)vodeingresoaEDT:•  En tornoal 60%de los casos evaluadospor los EDT fueron ingresadospordelito

contralapropiedad.•  Entre el 7% (tratamiento) y 8% (control) fueron ingresados por vulneración de

derechos.

ESTUDIO RETROSPECTIVO CARACTERIZACIÓN DE LA MUESTRA

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 27: Evaluación y monitoreo de programas gubernamentales ...

•  Para medir el efecto del programa en el involucramiento delictual futuro seconsideraron 3 variables de resultado: Condenas; formalizaciones y nuevasdetencionesenel24horas.

•  Siendo las formalizaciones la variable final de resultados ya que las otras dospresentabanimportantesproblemas:

•  Losresultadossemidierona12mesesdesdeelegresodelprogramaparaelgrupode tratamiento y a 12 meses desde la evaluación de los EDT para el grupo decontrol.

ESTUDIO RETROSPECTIVO RESULTADOS DE IMPACTO - DELITOS

Variablederesultado Principalproblema

Condena Graveproblemadepseudo-reincidenciaenlamuestradeMST.Condenasporhechosanterioresalingresoalprograma.

Detención24H(porinfracción)

Muestratruncadayaquenoconsideraalosmayoresdeedadparaelseguimiento.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 28: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS DE IMPACTO - DELITOS

A.EFECTOENLAPROPORCIÓNDEFORMALIZADOS1.  Seobservaunadisminuciónmuypequeñaenlaprobabilidaddeserformalizado

atribuible al programa MST luego de 12 meses del egreso. Siendo unadisminuciónnoestadísUcamentesignificaUva.

2.  AlconsiderardisUntosperiodosdeseguimiento,seesUmaqueMSTdisminuiríalaprobabilidad de ser formalizado en 4,3 puntos porcentuales solo durante los 3primeros meses desde el egreso, sin tener disminuciones estadísUcamentesignificaUvadesdelo6mesesenadelante.

3.  Finalmente, se analizaron efectos diferenciados para disUntos sub-grupos:Tramosde edad, Sexo, Tipode delito de origen y TramodepuntajeASSET. SeencontraronefectosestadísUcamentesignificaUvosenloscasosconmayoredadyloscasosdemayorriesgo.Ambosefectosfavorablesalprograma->

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 29: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS DE IMPACTO - DELITOS

A.EFECTOENLAPROPORCIÓNDEFORMALIZADOSEfectosdiferenciadosportramodeedad:•  Seconstruyeron3tramosdeedad:8-13,9años;14-15,9añosy16-18años.

•  Paraeltramodeedadentre16y18años,duranteelprimerañodesdeelegreso,elprogramadisminuiríaentre6,5y13,4puntosporcentualeslaproporcióndeadolescentesformalizados.

47,7%

34,3%40,9%

34,3%

ConMST SinMST

ModeloPareo

ModeloPonderación

Es8mación%formalizadosconysinMSTa12meses,tramoedad:16-18años

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 30: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS DE IMPACTO - DELITOS

A.EFECTOENLAPROPORCIÓNDEFORMALIZADOS

Efectosdiferenciadosporsub-nivelderiesgo:•  Seconstruyeron3sub-tramosderiesgoaparUrdelospuntajesASSET:21-22

puntos;23-28puntosy29-48puntos.

•  Paraeltramodemayorriesgo,29a48puntos,elprogramaMSTdisminuiríaentre10a16puntosporcentualeslaproporcióndeadolescentesformalizadosconsiderandounañodesdeelesgreso.

Es8mación%formalizadosconysinMSTa12meses,tramoASSET:29-48puntos

55,6%

39,5%49,6%

39,5%

ConMST SinMST

ModeloPareo

ModeloPonderación

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 31: Evaluación y monitoreo de programas gubernamentales ...

•  Paramedirelefectodelprogramaencuantoa la integraciónsocial,secontemplóuUlizardatosadministraUvosdeinsercióneducaUvay laboral.Paraello,sesolicitócolaboraciónconelMinisteriodeDesarrolloSocial(Mideso).

•  Parainserciónlaboralseobtuvierondatosdetrabajoformaldelsegurodecesanqa.Sin embargo, el número de casos con trabajos formales era extremadamentepequeño,imposibilitandorealizarlaevaluación.

•  Para insercióneducaUva se construyerondos indicadoresaparUrdeunabasededatosconlosmatriculadoseneducaciónformaldesdeelaño2010a2016:•  MatriculaefecUva(ME)•  Porcentajedeasistenciacondicionalalhaberestadomatriculado(Asist).

•  LosresultadossemidierontantoparaelgrupodetratamientocomoparaelgrupodecontrolalañosiguientedesdelaevolucióndeloscasosporpartedelEDT.

ESTUDIO RETROSPECTIVO RESULTADOS DE IMPACTO – INTEGRACIÓN SOCIAL

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 32: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS POR INDICADOR: INTEGRACION SOCIAL

B.EFECTOENINTEGRACIÓNEDUCATIVAPara la esUmación de los efectos se uUlizaron modelos por pareo y ponderaciónsimilares al uUlizado con las Formalizaciones. Solo se encontraron efectosestadísUcamente significaUvos para el modelo de ponderación, los cuales sepresentanaconUnuación:•  Resultadoenmatriculaefec)va:

-  HaberparUcipadoenMST,segúnelmodelodeponderación,aumentaen3,2puntosporcentualeslaproporcióndematriculaenelañosiguientealaevaluacióndelEDT.

•  Resultadoenporcentajedeasistencia:-  HaberparUcipadoenMST,segúnelmodelodeponderación,aumentaen6,8

puntosporcentualeslaasistenciaduranteelañosiguientealaevaluacióndelEDT.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 33: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS COMPLEMENTARIOS: RIESGO

C.EVOLUCIÓNENFACTORESDERIESGODe forma complementaria se analizó la evolución de los riesgos en la poblaciónatendidaporelprograma.Paraello,seanalizóunamuestrade557casosdelestudioretrospecUvoquecontabanconunaplicacióndelASSETpreyposttratamiento.

25,6

13,1

0

5

10

15

20

25

30

PuntajeASSETpre PuntajeASSETpost

Evaluaciónantesydespuésdelpuntajederiesgogeneral,retrospec)vo

-  Disminución de 12,5 puntos en elpuntaje e de riesgo agregado luego deparUciparenelprogramaMST.

-  Reflejaun tamañodeefecto grande (ddeCohen=1,6).

-  Resultadonoes impacto.Sinembargo,dadasumagnitudyelcortoperiododeobservación,essugerentedeunefectofavorabledelprograma.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 34: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO RESULTADOS COMPLEMENTARTIOS: RIESGO

C.EVOLUCIÓNENFACTORESDERIESGOSisedesagregancadaunade las12dimensionesqueabordaelASSET,seapreciandiferenciasfavorablesparatodasellas.

Factor PJEASSETpre PJEASSETpost Dif.PJEASSET ddeCohenCondicionesdelhogar 1,19 0,68 0,50 0,55Relacionesfamiliaresypersonales 2,82 1,39 1,43 1,31Educación,capacitaciónyempleo 1,91 1,01 0,90 0,75Contextocomunitario 2,37 1,58 0,79 0,66Es)lodevida 3,22 1,59 1,63 1,33Usodesustancias 1,63 0,97 0,66 0,57Saludfsica 0,36 0,19 0,17 0,28Saludmentalyemocional 2,00 1,06 0,94 0,90Percepcióndesímismoydeotros 1,90 0,88 1,02 0,97Pensamientoycomportamiento 2,93 1,55 1,38 1,26Ac)tudeshacialacomisióndedelitos 2,91 1,25 1,65 1,28Mo)vaciónalcambio 2,42 0,95 1,47 1,20

1

2

3

1

2

3

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 35: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO RETROSPECTIVO CONCLUSIONES

•  Elprogramaenlageneralidadnomuestraefectosfavorablessobrelareduccióndenuevasformalizacionesalos12mesesdesdeelegreso,pudiendoidenUficarse,sinembargo,unimpactofavorablesólohastalos3mesesdesdeelegreso.

•  En relación a determinados grupos, el programa simuestra efectos favorables yrelaUvamenteimportantesenreduccióndelasformalizacionesa12meses.Estoesparalapoblaciónentre16a18añosyparaelsubgrupodemásaltoriesgo(ASSETentre29a48puntos).

•  EnrelaciónalaintegracióneducaUva,elprogramamuestraunimpactomoderadoenelaumentodelamatriculayenlaasistenciaaclases.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 36: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIOPROSPECTIVO

Principalesresultadosdelseguimientodecohorte

Page 37: Evaluación y monitoreo de programas gubernamentales ...

OBJETIVOS Y METODOLOGIA

Obje)vo: IdenUficaryanalizar factoresderiesgoydeproteccióndecasosegresadosdeMST,hasta12mesesposteriorasuegreso.Metodología:seguimientoprospecUvodeunamuestradeegresadosdeMST,medianteelusode instrumentos del protocolo MMIDDA96 (FER-R; EDA; EFED y DEP-ADO) y el instrumentoASSET97Población:391adolescentesegresadosdeMSTentreAbrilaAgostode2016.(300hombresy91mujeres).Muestra:170adolescentes,procedentesde26comunas(20comunasdeRM,2comunasdelaregióndeValparaíso,1comunadelaregióndeO'Higginsy3comunasdelazonasurdelpaís)Seguimientoen4intervalosde)empo

Tiempolevantamiento Entrevistas

Tiempo1(egreso) 178Entrevistas

Tiempo2(3meses) 140Entrevistas

Tiempo3(6meses) 112Entrevistas

Tiempo4(12meses) 108Entrevistas

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 38: Evaluación y monitoreo de programas gubernamentales ...

24,5

9,712

10,3 8,7 8,7 9,5

0

5

10

15

20

25

30

T0(antesingreso) T1(egreso) T2(3mesesegreso) T3(6mesesegreso) T4(12mesesegreso)

Evolucióndelosriesgostotales

RiesgostotalesASSET RiesgostotalesFER-R

PRINCIPALES HALLAZGOS DEL ESTUDIO PROSPECTIVO Evolución de riesgo en ASSET Y FER-R previo y posterior a MST

•  Fuertedescensodelriesgoentreelingresoyelegresoalprograma

•  EvoluciónfavorabledelriesgoparalosNNAingresadosalprograma

•  Mantencióndelosresultadosdelprogramamásalládelegreso,hastaelañoposterior

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 39: Evaluación y monitoreo de programas gubernamentales ...

PRINCIPALES HALLAZGOS DEL ESTUDIO PROSPECTIVO Evolución de consumo de sustancias con DEPADO

T1 T4 DIF Sig. d-Cohen

PuntajeTotalDEPADO 19,58 19,68 0,1 0,922 0,012

PuntajeFactorAlcohol 5,74 6 0,26 0,45 0,065

PuntajeFactorMarihuana 5,82 6,45 0,63 0,031* 0,272

PuntajeFactorotrasdrogas 4,59 4,33 -0,26 0,555 0,075

•  ElpuntajetotalDEPADOnomuestradiferenciasestadísUcamentesignificaUvasentrelamediciónrealizadaalegresoylarealizadaalos12meses

•  RespectoalpuntajedesagregadodelasdisUntassustancias:

•  Para alcohol y otras drogas, no se aprecian diferencias estadísUcamentesignificaUvas

•  Paramarihuana, se apreciaunadiferenciaestadísUcamente significaUva,pero conuntamañodeefectopequeño

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 40: Evaluación y monitoreo de programas gubernamentales ...

PRINCIPALES HALLAZGOS DEL ESTUDIO PROSPECTIVO Evolución de recursos con FER-R, posterior a la intervención de MST

7,27 7,337,01

7,73

6,0

6,5

7,0

7,5

8,0

8,5

9,0

Tiempo1 Tiempo2 Tiempo3 Tiempo4

Evolucióndemediasderecursos*FER-Renlos4)emposdeseguimiento(n=102).

*Recursos:evalúafactoresprotectorestalescomo“recursospersonales”“recursosfamiliares”eintereses”.•  Intervención es eficaz en reducción de factores de riesgo, pero no muestra resultados

estadísUcamentesignificaUvosenpromociónderecursos.•  Al desagregar los resultados de cada factor protector, se muestran diferencias

estadísUcamentesignificaUvasenelfactor“intereses”(moUvaciónporalcanzarunametaolamanifestacióndeunproyectoclaroafuturo)

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 41: Evaluación y monitoreo de programas gubernamentales ...

PRINCIPALES CONCLUSIONES DEL ESTUDIO DE SEGUIMIENTO DE COHORTE

•  Enconsistenciacon losresultadosdelestudiode impacto,seconstataunadisminuciónenlosfactoresderiesgodelosadolescentesintervenidosentreelmomentoenqueingresanalprogramayelegreso(de24,5a9,7puntosASSETenpromedio)

•  Durante el año posterior al egreso, en promedio, el programa consigue mantener susresultados. Los egresados de cualquier nivel de riesgo inicialmanUenen niveles de riesgobajosomediosalos12mesesdelegreso.

•  En consistencia con los resultados del estudio de impacto, se constatan efectos máspronunciadosyperdurablesendisminuciónderiesgosenelgrupoconmayoresnivelesderiesgoalmomentodeingresaralprograma

•  ElprogramaengeneralnomuestradiferenciasestadísUcamente significaUvasen consumode drogas, salvo respecto de consumo de marihuana, donde se muestra un aumentoestadísUcamentesignificaUvo,peroconunefectodetamañopequeño

•  El programa no muestra resultados estadísUcamente significaUvos en la promoción de laglobalidad de los recursos de los adolescentes intervenidos. Solo se aprecian efectosestadís)camentesignifica)vosenlapromocióndelfactor“intereses”

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 42: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO DE CASOS Metodología

•  CualitaUva

•  Entrevistas semi-estructuradas a 12 familias egresadas del programa MST de la RegiónMetropolitana,deValparaísoylazonasurdelpaís(24entrevistasentotal)

•  Para propender a la heterogeneidad de la muestra, se incluyeron egresos saUsfactorios yotrosdondelosresultadospudieronhabermermadoconelpasodelUempo

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 43: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO DE CASOS Principales resultados

i.   U)lidaddeltratamiento

•  Paralasfamilias

-  El programa les entrega múlUples beneficios, tales como mejoras en la comunicación,fortalecimientofamiliarydisminucióndelaconflicUvidad

-  Estos elementos les permiten generar estrategias para afrontar y resolver de conflictos, yparaejercercontrolysupervisiónparental

•  Paralosadolescentes-  Elprogramalespermitedesarrollarmayoresnivelesdeempaqaytenermayorrespetopor

otros,porlasnormasycomenzaraconectarconlasnecesidadesdelgrupofamiliar.-  IndicanhaberdesarrolladohabilidadesparareconocerlainfluencianegaUvadesugrupode

pares.ii.   Generacióndevínculoscomoelementorelevantedeltratamiento

-  Apoyo incondicional de los terapeutas, su calidad humana y la confianza transmiUda, sonrelevadoscomoelementosfavorecedoresdelcambioporlasfamilias

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 44: Evaluación y monitoreo de programas gubernamentales ...

ESTUDIO DE CASOS Principales resultados

iii.Par)cularidadesdeltratamientolas familiasvivencianel formatodetrabajodelprogramacomoalgo novedosoy fuerade locomúnencomparaciónaotrasintervencionesquehanrecibido,dadoque:•  Operaenelhogarfamiliar,•  Losterapeutasestándisponible24/7,loquegeneraunmayorvínculoconlasfamilias•  La intervención es realizada de forma planificada, con objeUvo claras y centrados en los

micro-logrosiv.Etapaposterioralegreso•  Sensacióndeduelooperdidaporausenciadeterapeutaslassemanasposterioresalegreso•  Reconocimiento de la posibilidad de recaídas posteriores al egreso, aunque de menor

gravedady/orecurrencia.

ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 45: Evaluación y monitoreo de programas gubernamentales ...

ANALISISINTEGRADODERESULTADOS

Page 46: Evaluación y monitoreo de programas gubernamentales ...

ANALISIS INTEGRADO DE RESULTADOS Obje<vos del análisis integrado y teoría de cambio de MST

ResultadosIntermedios

Problema

Actividades

Productos

ResultadosFinales

Propósito Prevenciónsecundariayterciariadeldelito

ExistenciadeNNAquerealizan,oestánenriesgoderealizar,conductasdelictivas

Detectar,evaluaryderivaraNNAconproblemassocio-

delictuales

Intervencióndelasfamiliasdedichos

NNA

Monitoreodeactividadesyde

resultados

Casosdetectados,evaluadosyderivados

Sesionesrealizadas

Reportedeactividadesyresultados

Mejorarecursosdelospadres

Disminuciónenfactoresderiesgosocio-delictual

MejorarecursosdeNNA

Mejorasenlosnivelesdeintegraciónsocial

Contactogeneradoconlared

DisminuirconductasdelictivasenNNA ExtraídodelaPPTdelaFundaciónPazCiudadana

Page 47: Evaluación y monitoreo de programas gubernamentales ...

•  Elprogramaincorporalanociónderiesgodelictual(modeloderiesgosimilaraRNR)•  Elprogramaseintroducecomounaestrategiadereduccióndelacriminalidadadolescenteinterrumpiendo“carrerasdelictuales”•  Elprogramanoincorporalanocióndederechosdelossujetosdeatenciónsinembargolaintervención(terapiamulUsistémica-Enfoqueecológico)buscaasegurar:•  AccesoeincorporaciónalsistemaeducaUvo(laboral)/Derechoalaeducación?

•  Permanecerenelhogar/Derechoalaconvivenciafamiliar?

•  Noserdetenidonuevamente/reinserción-reintegraciónsocial?•  /Derechoasalud(lsica,mental,rehabilitación)?Derechoalesparcimiento?a

parUciparplenamentedelavidacultural?Derechoalanodiscriminación?Proteccióncontralaexplotacióneconómica?Derechoatenerundesarrollolsico,mental,espiritual,moralysocial?

Supuestos de implementación del programa y visión crí<ca