1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS...

18
1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos

Transcript of 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS...

Page 1: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

1

17 de Agosto 2009

1

EVALUACIÓN DE PROGRAMAS PÚBLICOS(CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009)

Alberto Arenas de MesaDirector de Presupuestos

Page 2: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

2

Los resultados que estamos entregando hoy muestran el esfuerzo significativo que ha hecho esta administración evaluando programas e instituciones a través de las distintas líneas de evaluación, lo que ha permitido generar información relevante para mejorar la gestión de los programas públicos y la asignación y uso de recursos.

Este esfuerzo se refleja en el compromiso de que 1 de cada 2 programas del Presupuesto serán evaluados en el período 2006-2010, lo que equivale a 155 programas o instituciones.

Esto ha significado aumentar en este período la escala de evaluaciones comprometidas en más de 30%, respecto del promedio evaluado entre 2000 y 2005. En 2006 se evaluaron 22 programas e instituciones, y hoy se están evaluando 38.

En términos de recursos, entre 2000 y 2005 se había evaluado el equivalente al 12% del Presupuesto de ese último año. Considerando las evaluaciones comprometidas entre 2006 y 2009, el porcentaje equivale al 34% del Presupuesto 2009.

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Page 3: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

3

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Sistema que ha creado distintas líneas de evaluación de manera gradual que entregan información relevante para mejorar asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público.

Evaluaciones de Programas Gubernamentales (EPG) (1997): Evaluación de diseño y gestión de un programa, y resultados a nivel de producto (cobertura, focalización, entre otros). Utiliza sólo información disponible. Realizada por un panel de evaluadores externos, aprox. 6 meses de duración, totalmente conectada al ciclo presupuestario.

Evaluaciones de Impacto (EI) (2001): Además de lo anterior, permite evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasi-experimentales, construyendo grupos de control y línea de base. Realizada por un entidad evaluadora externa, aprox. 18 meses de duración.

Evaluaciones Comprehensivas del Gasto (ECG) (2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados. Realizada por un entidad evaluadora externa, aprox. 14 meses de duración.

Evaluación de Programas Nuevos (EPN) (2009): Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases y utilizando preferiblemente diseño experimental. Realizado con apoyo Panel Internacional Asesor, aprox. 24 a 36 meses de duración.

Page 4: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

4

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Meta: 155 programas o instituciones serán evaluadas durante esta administración

( ): Evaluaciones en proceso.

Evaluaciones 1997-2009 (Número de programas/Instituciones evaluadas)

 1997 - 1999

2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Total

Evaluación de Programas Gubernamentales (EPG)

80 18 19 15 13 13 16 13 14 16 20 237

Evaluaciones de Impacto (EI)     2 4 4 14 6 7 11(3) (12) (8) 71

Evaluaciones Comprehensivas del Gasto (ECG)

      8 2 4 5 2 4 4 (3) (5) 37

Evaluación de Programas Nuevos (EPN)

                    (5) 5

Total anual 80 18 21 27 19 31 27 22 32 35 (38) 350Total período 2006-2009: 127  

Page 5: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

EVALUACIONES COMPROMETIDASPeríodo 2006-2009

5

Con el objetivo de ampliar la cobertura de las acciones de evaluación, la presente administración comprometió la evaluación de 155 programas/instituciones en el período 2006-2010, lo que significó aumentar los programas e instituciones a ser evaluadas en más de un 30% respecto del promedio evaluado entre 2000 y 2005.

Año N° de Programas

2006 22

2007 32

2008 35

2009 38

Sub Total 127

2010 (por comprometer)

Meta período 2006-2010

155

Page 6: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

6

Evaluación de Programas Públicos (EPG-EI)Definición de Categorías

Categorías de Efectos Definición

1.- Ajustes Menores Programas que requieren de pequeños ajustes, tales como perfeccionar sus sistemas de información, monitoreo y seguimiento; precisar algunos aspectos de diseño y/o ajustar procesos administrativos o de gestión interna.

2.- Modificaciones en el Diseño y/o Procesos de Gestión Interna del Programa

Programas que requieren incorporar cambios en el diseño de alguno de sus componentes y/o actividades, o en sus procesos de gestión interna (ej.: revisar criterios de focalización, implementar sistemas de información que permitan un mejor seguimiento y monitoreo de sus resultados, perfeccionar la coordinación interna y/o externa y fortalecer las capacidades institucionales).

3.- Rediseño Sustantivo del Programa

Programas que requieren reformulaciones o reestructuraciones profundas en su diseño y/o en su estructura organizacional y/o en sus procesos de gestión interna; o completar aspectos sustantivos del diseño necesarios para lograr los objetivos.

4.- Reubicación Institucional Programas que en atención a sus objetivos requieren cambio de dependencia institucional hacia el Ministerio o Servicio responsable de la ejecución de la política pública a la que corresponde el programa.

5.- Finalización o Reemplazo Íntegro del Programa

Programas que requieren modificaciones tan sustantivas que equivalen a su reemplazo íntegro o su absorción a la función institucional; o que finalizan su período de ejecución comprometido y en consideración a sus resultados y/o vigencia del problema que dio origen al programa, no se justifica extenderlo por otro período; o que en atención a sus resultados no mantienen sus asignaciones presupuestarias.

Page 7: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

7

Evaluación de Programas Gubernamentales (EPG) 2009 Recomendaciones - Implicancias

Categorías de Efectos Programas

1.- Ajustes Menores

- Subsidio Leasing Habitacional - M. Vivienda/Subsecretaría - Programa Servicios Comunitarios - Fundación Nacional para la Superación de la Pobreza

- Programa Adopta un Hermano - Fundación Nacional para la Superación de la Pobreza

- Programa Vivienda en Zonas Aisladas - Fundación Nacional para la Superación de la Pobreza - Programa Fondo de Promoción de Exportaciones Silvoagropecuarias (FPESA) - M. Agricultura/Subsecretaría - Programa Previene (Municipios) - M. Interior/CONACE.

- Programas de Prevención al Consumo de Drogas - M. Interior/CONACE.

2.- Modificaciones en el Diseño y/o Procesos de Gestión Interna del Programa

- Programa Servicio País Rural - Fundación Nacional para la Superación de la Pobreza.

- Saneamiento y Normalización de la Tenencia Irregular de la Pequeña Propiedad Raíz - M. Bienes Nacionales

- Programa Centros de Recursos Educativos (Bibliotecas CRA) - M. Educación/Subsecretaría

- Programas de Tratamiento y Rehabilitación - M. Interior/CONACE

- Programa Fondo de Promoción de Exportaciones (FT) - M. Relaciones Exteriores/DIRECON

- Programa de Caminos Básicos - M. Obras Públicas/Dirección de Vialidad

- Programa de Recuperación y Desarrollo Urbano de Valparaíso (PRDUV) - M. Interior/SUBDERE

- Corporaciones Municipales de Deporte - M. Secretaría General de Gobierno/IND

3.- Rediseño Sustantivo del Programa

- Programa Recuperación de Suelos Degradados - M. Agricultura/INDAP

- Programa Recuperación de Suelos Degradados - M. Agricultura/SAG

- Fondo de Desarrollo Indígena: Fomento Económico - M. Planificación/CONADI

- Fondo de Desarrollo Indígena: Gestión Social - M. Planificación/CONADI

4.- Reubicación Institucional  

5.- Finalización o Reemplazo Íntegro del Programa

- Programa de Educación Extraescolar - M. Educación/Subsecretaría

Page 8: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

8

Evaluación de Impacto (EI) 2007 Recomendaciones - Implicancias

Categorías de Efectos Programas

1.- Ajustes Menores - Programa de Apoyo al Microemprendimiento (PAME) – M. Planificación/FOSIS

- Programa de Apoyo a Acciones Económicas (PAAE) – M. Planificación/FOSIS- Programa de Mejoramiento de la Gestión (PMG) – M. Hacienda/DIPRES

2.- Modificaciones en el Diseño y/o Procesos de Gestión Interna del Programa

- Programa Servicios de Asistencia Técnica (SAT) – M. Agricultura/INDAP

- Riego Asociativo – M. Agricultura/INDAP

- Programa de Desarrollo de Inversiones (PDI) – M. Agricultura/INDAP

- Chile Emprende – M. Economía/SERCOTEC

3.- Rediseño Sustantivo del Programa

- Programa Centros de Gestión (CEGES) – M. Agricultura/INDAP- Programa de Desarrollo de Redes Pro Rubro – M. Agricultura/INDAP-Instrumentos del Programa de Fomento a la Microempresa (PFME) – M. Economía/SERCOTEC

4.- Reubicación Institucional

5.- Finalización o Reemplazo Íntegro del Programa

- Programa de Desarrollo (PRODES) – M. Agricultura/INDAP

Page 9: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

Resultados Evaluación de Programas Públicos Recomendaciones – Implicancias

(EPG – EI)

9

Categoría de Efectos N° %

1.- Ajustes Menores 10 32%

2.- Modificaciones en el Diseño y/o Procesos de Gestión Interna del Programa 12 39%

3.- Rediseño Sustantivo del Programa 7 23%

4.- Reubicación Institucional 0 0%

5.- Finalización o Reemplazo Íntegro del Programa 2 6%

Total Programas 31 100%

Page 10: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

10

Evaluación Comprehensiva del Gasto (ECG) 2008Recomendaciones - Implicancias

Categorías de Efectos Instituciones1.- Ajustes MenoresConsidera instituciones que requieren de ajustes de grado menor, tales como el perfeccionamiento de sus definiciones estratégicas, y/o de sus sistemas de información, monitoreo y seguimiento.

2.- Modificaciones Importantes en el Diseño o Gestión InternaConsidera instituciones que requieren incorporar modificaciones, ya sea en el diseño de parte de su estructura organizacional, y/o cambio en algunas de sus definiciones estratégicas y/o en procesos claves de su gestión interna, tales como asignación y transferencia de recursos e incentivos y relación con agentes ejecutores.

- Defensoría Penal Pública

3.- Rediseño Sustantivo en el Diseño o Gestión InstitucionalConsidera instituciones que requieren reformulaciones o reestructuraciones profundas en su diseño institucional lo que implica cambio en sus definiciones estratégicas, en su estructura organizacional y en su gestión interna.

Sector Pesca:- Subsecretaría de Pesca- Servicio Nacional de Pesca

(SERNAPESCA)- Instituto de Fomento Pesquero

(IFOP)

Page 11: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

11

Estado de Avance Evaluación Programas Nuevos (EPN)

Protocolo de Acuerdo con el Congreso que acompañó el despacho de la Ley de Presupuestos 2009 compromete el diseño de 5 evaluaciones en esta línea:

• Subvención Escolar Preferencial (SEP)

• Reforma Previsional: Aumento de Cobertura Previsional y Nivel de Pensiones para Mujeres

• Reforma Previsional: Subsidio al Ingreso para Jóvenes (Subsidio a la Contratación y Cotización de Jóvenes)

• Chile Crece Contigo

• Inglés Abre Puertas

Estos 5 programas equivalen a más 50% del incremento de recursos entre 2008 y 2009.

Firma de Convenio con el Centro de Microdatos de la Universidad de Chile, que contempla el apoyo del Panel Asesor en el diseño de las 5 evaluaciones comprometidas.

Los diseños de evaluación elaboradas por el Panel Asesor serán informados en el Informe de Finanzas Públicas en Octubre de 2009.

Page 12: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

12

EJEMPLOS

Page 13: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

13

Línea Evaluación de Programas Gubernamentales (EPG)

2009

Page 14: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

14

1. AJUSTES MENORES

RESULTADOS Y RECOMENDACIONESEl programa tiene una focalización adecuada, valorándose positivamente la pertinencia y diversidad de servicios ofrecidos en tres áreas: educación, salud y vivienda y habitabilidad, donde se han obtenido mejoras en lenguaje y comprensión lectora, matemática, convivencia con sus pares y autoestima; así como en el cumplimiento de los requisitos para acceder a subsidios habitacionales. El número de trabajadores comunitarios contratados por el programa para entregar los servicios ha aumentado en un 8,6% entre 2005 y 2008, alcanzando a 1.777 personas este último año, de las cuales 97% son mujeres, lo que es consistente con el diseño del programa. De estos trabajadores, 90% recibió certificación otorgada por una entidad de educación superior o por una OTEC, 21% encontró trabajo en la misma área desempeñada en el programa luego de egresar del mismo. Esto ha significado un aumento en la tasa de ocupación de los trabajadores comunitarios desde 38% a 54% en igual período.

La principal recomendación señala que se requiere perfeccionar la definición de los estándares mínimos de calidad de las prestaciones entregadas.

DESCRIPCIÓNEl programa entrega servicios de apoyo y asistencia técnica a personas y familias pobres de sectores urbanos para resolver necesidades educacionales, de salud y habitabilidad, a través de la contratación de trabajadores comunitarios (personas desempleadas correspondientes al segundo perceptor de ingresos en el hogar, preferentemente mujeres) que a su vez reciben capacitación para ampliar y fortalecer su empleabilidad.

PROGRAMA SERVICIOS COMUNITARIOS – FUNDACIÓN NACIONAL PARA LA SUPERACIÓN DE LA POBREZA – Ministerios de Planificación y Trabajo

Page 15: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

1515

2. MODIFICACIONES EN EL DISEÑO Y/O PROCESOS DE GESTIÓN INTERNA DEL PROGRAMA

PROGRAMA DE TRATAMIENTO Y REHABILITACIÓN – CONACE – Ministerio de Interior

RESULTADOS Y RECOMENDACIONES

En 2008 el programa tuvo una cobertura de 76% para el componente de población general, 31% para el componente de mujeres y 87% para el de jóvenes infractores.

El programa ha logrado cumplir con la entrega del servicio, considerando las metas planificadas, en el tiempo esperado y según los estándares definidos. Sin embargo, no cuenta con información respecto de la permanencia de los beneficiarios en el tratamiento ni del resultado de su aplicación. Por tanto, se desconoce las causales de egreso de la población atendida, las que pueden variar desde un “alta terapéutica” hasta el “abandono del tratamiento”.

En ese contexto, se recomienda fortalecer, mediante convenios, los registros de los beneficiarios en la base de datos de FONASA para contar con información sobre la efectividad de estas intervenciones. Asimismo, se deben reforzar acciones (visitas, rescate, prevención de recaídas, seguimiento, etc.) que aseguren la retención de los beneficiarios en el proceso de tratamiento y rehabilitación.

DESCRIPCIÓN:

El programa entrega tratamiento y rehabilitación gratuitos en centros de salud públicos y privados a quienes presentan dependencia o abuso en el consumo de drogas, a través de tres líneas, cada una asociada a distintas poblaciones y planes de atención, según la complejidad de los casos: población general, mujeres y adolescentes infractores de ley con consumo problemático.

Page 16: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

16

3. REDISEÑO SUSTANTIVO DEL PROGRAMA

RESULTADOS Y RECOMENDACIONESEl programa ha cubierto un promedio anual de 212.000 hectáreas entre 2005 y 2008, 47% de las cuales fueron bonificadas a través de SAG. Esto ha significado que en el mismo período han participado más de 34.000 agricultores por año, 88% de los cuales corresponden a pequeños productores.

La evaluación constató que la concentración del programa en algunas regiones del país no es consistente con la distribución del problema de degradación de suelos en el territorio nacional, recomendando considerar la condición de los suelos al asignar su oferta a las regiones.

Se concluye que el programa debe rediseñarse sustantivamente, conjugando el enfoque ambiental y el agropecuario, en una perspectiva de desarrollo sustentable, definiendo con claridad la población objetivo para cada uno de los componentes según el tipo de suelo, el tipo de intervención y el tipo de agricultores. También sugiere incorporar asistencia técnica o capacitación de agricultores, para no perder los logros alcanzados por falta de mantención de los suelos, e integrar compromisos ambientales en los planes de manejo.

DESCRIPCIÓNEl programa busca recuperar la condición productiva de los suelos degradados, contribuyendo que los productores agrícolas adopten sistemas de producción sostenibles en sus predios, a través de la entrega de bonificaciones en seis líneas de acción: fertilización fosfatada, prácticas de conservación, enmiendas calcáreas, siembras de praderas, prácticas de rehabilitación y prácticas de rotación de cultivos.

PROGRAMA RECUPERACIÓN DE SUELOS DEGRADADOS – SAG – M. Agricultura

Page 17: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

17

5. REEMPLAZO ÍNTEGRO DEL PROGRAMA

La cobertura asociada a la estrategia de entrega de sets deportivos en el período 2007-2008 alcanzó al 36% de los establecimientos subvencionados y al 42% de la matrícula.

La necesidad que enfrenta el programa está bien identificada, no obstante, no se justifica abordar la función formativa de la educación a través de la ejecución de un programa separado de la gestión de los niveles educativos encargados de la implementación del currículum (básica, media y especial). La real y efectiva implementación de éste se logra mediante una gestión integrada de todos los objetivos educacionales, instruccionales y formativos. Por lo que se recomienda, traspasar la gestión curricular y la implementación de los OFT a la Unidad de Currículum y Evaluación y a los niveles de educación, respectivamente.

PROGRAMA DE EDUCACIÓN EXTRAESCOLAR – M. de Educación

RESULTADOS Y RECOMENDACIONES

El objetivo del programa es que niños, niñas y jóvenes del sistema escolar subvencionado reciban una educación integral de acuerdo los contenidos formativos incluidos en los Objetivos Fundamentales Transversales (OFT) asociados al desarrollo personal y formación ética. Es ejecutado a través del Departamento de Educación Extraescolar y entrega: i) capacitación a docentes/sostenedores y alumnos; ii) recursos educativos (sets deportivos, manuales y folletos) a los establecimientos subvencionados; y iii) difusión a la comunidad educativa.

DESCRIPCIÓN

Page 18: 1 17 de Agosto 2009 1 EVALUACIÓN DE PROGRAMAS PÚBLICOS (CUMPLIMIENTO PROTOCOLO LEY DE PRESUPUESTOS 2009) Alberto Arenas de Mesa Director de Presupuestos.

18

SISTEMA DE EVALUACIÓN DE PROGRAMAS E INSTITUCIONES

Los Mitos sobre las Evaluaciones y sus Resultados

1. Las evaluaciones las realiza la Dirección de Presupuestos.

2. La Dirección de Presupuestos evalúa para reducir los recursos de los programas.

3. Las evaluaciones están hechas para cerrar programas.

4. Nunca se cierran los programas que han sido mal evaluados.

Las evaluaciones realizadas en el marco del Sistema de Evaluación y Control de Gestión buscan mejorar la gestión de los programas, incorporando las recomendaciones realizadas por los evaluadores externos, contribuyendo a la modernización del Estado.

Los resultados presentados en esta oportunidad nos permiten derribar los mitos que se han construido alrededor del sistema de evaluación.