Sistema de Evaluación de Programas e Instituciones Públicas

Paula Darville Jefa División de Control de Gestión

Dirección de Presupuesto, Ministerio de Hacienda

Enero 2016

Presupuesto por Resultados

• El concepto de Presupuesto por Resultados o PpR es utilizado por los países de la OCDE, y consiste en que a través de distintas técnicas se busca integrar información de desempeño al proceso presupuestario, relacionando asignación de recursos con resultados medibles.

• La opción de Chile ha sido establecer un PpR bajo la categoría de “Presupuesto informado”, a través del diseño e implementación de un Sistema de Evaluación y Control de Gestión del Gobierno Central. En este sistema la información de desempeño es utilizada para informar y mejorar la toma de decisiones en el proceso presupuestario, la asignación y uso de los recursos públicos y con ello la calidad del gasto y la gestión pública.

Sistema de Evaluación

• Sistema dependiente de la Dirección de Presupuestos del Ministerio de Hacienda que ha implementado distintas líneas de evaluación de manera gradual, cuyo objetivo general es entregar evidencia e información relevante para mejorar asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público.

• Marco Legal :

• Protocolo de Acuerdo Congreso

• Ley de Administración Financiera y su Reglamento (2003)

Principios orientadores de las evaluaciones

• Independientes (externas)

• Transparentes (resultados de carácter público)

• Confiables (calidad técnica)

• Pertinentes (mejorar eficiencia gasto público)

• Oportunas (ciclo presupuestario)

Sistema de Evaluación

Sistema de Evaluación • Se inició en 1997.

• Evalúa objetivos declarados o resultados esperados de los programas en ejecución.

• Relacionadas con el ciclo presupuestario.

• Programas seleccionados en conjunto con el Congreso.

• Evaluación desarrollada por evaluadores independientes elegidos a través de concurso público (paneles de expertos o universidades y consultoras).

• Evaluadores con autoridad para solicitar información, encargar estudios.

• Contrapartes en ministerios/servicios responsable de programa en evaluación.

• Sus resultados se informan en la elaboración del presupuesto, se envían al Congreso y se publican en pagina web.

• Compromisos de mejora como resultado de las recomendaciones de la evaluación.

• Seguimiento a través de acuerdos formales entre DIPRES e Institución Evaluada.

Evaluación de Programas

• Evaluaciones de Programas Gubernamentales (EPG) (1997) Evaluación de diseño y gestión de un programa, y resultados a nivel de producto (cobertura, focalización, entre otros). Utiliza sólo información disponible. Realizada por un panel de evaluadores externos, aprox. 7 meses de duración.

• Evaluaciones de Impacto (EI) (2001) Permite evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasi-experimentales, construyendo grupos de control y línea de base. Realizada por un entidad evaluadora externa, aprox. 14 meses de duración.

• Evaluación de Programas Nuevos (EPN) (2009) Diseña la evaluación desde que se inicia o planifica un nuevo programa público, estableciendo líneas bases y utilizando preferiblemente diseño experimental. Realizado con apoyo Panel Internacional Asesor,

LÍNEAS DE EVALUACIÓN

LÍNEAS DE EVALUACIÓN Evaluaciones Institucionales

Evaluaciones del Gasto Institucional (EGI ex ECG) (2002) Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, gestión, resultados y uso de los recursos. Realizada por un entidad evaluadora externa, aprox. 12 meses de duración.

PROGRAMA DE EVALUACIÓN: 1997-2015

• Durante 2006 – 2015 el presupuesto total evaluado alcanza a un 47%.

Línea Evaluación 1997 a 1999 2000 a 2005 2006 a 2009 2010-2015 Total

1. Evaluación Programas Gubernamentales

80 94 63 95 332

2. Evaluación del Gasto Institucional 19 18 17 54

3. Evaluación de Impacto 30 41 50 121

4. Evaluación Programas Nuevos 5 9 14

Total General 80 143 127 171 521

8% en desarrollo.

Evaluaciones finalizadas de Programas (EPG – Impacto) Años 2012-2015

Categoría de Resultados TOTAL

Buen Desempeño (BD)

El programa presenta resultados positivos y significativos a nivel intermedio y final,

así como también en las dimensiones diseño, gestión y producto.

1%

Desempeño Suficiente (DS)

El programa tiene resultados positivos que dan cuenta de sus objetivos, sin embargo

presente debilidades en alguna(s) de las dimensiones evaluadas.

27%

Desempeño Insuficiente (DI)

El programa presenta resultados insuficientes y/o muestra debilidades en las

dimensiones evaluadas que no le permiten dar cuenta de sus objetivos.

54%

Resultados no Demostrados (RnD)

La evaluación no entrega información suficiente que permita obtener resultados

concluyentes respecto del desempeño del programa.

18%

TOTAL (67) 100%

Sistema de Evaluación Cumplimiento de Compromisos de las Evaluaciones de Programas e Instituciones

al 30 de Junio de 2015, por Ministerio Años 1999-2014

Ministerio Cumplido Parcialmente

Cumplido No

Cumplido Traspaso de

Compromisos

N° Total de Compromisos a

Junio 2015

Ministerio de Agricultura 100% 0% 0% - 647

Ministerio de Defensa 100% 0% 0% - 152

Ministerio de Economía 99% 1% 0% - 354

Ministerio de Educación 100% 0% 0% - 955

Ministerio de Relaciones Exteriores 100% 0% 0% - 172

Ministerio de Hacienda 100% 0% 0% - 115

Ministerio del Interior y Seguridad Pública 96% 1% 2% 1% 370

Ministerio de Justicia 98% 1% 1% - 274

Ministerio de Desarrollo Social 98% 1% 0% 1% 643

Ministerio de Minería 100% 0% 0% - 49

Ministerio de Obras Públicas 89% 7% 4% - 153

Ministerio de Salud 96% 3% 1% - 182

Ministerio Secretaria General de Gobierno 92% 0% 0% 8% 273

Ministerio de Secretaría General de la Presidencia 100% 0% 0% - 31

Ministerio de Trabajo y Previsión Social 96% 0% 0% 4% 274

Ministerio de Transporte y Telecomunicaciones 98% 2% 0% - 97

Ministerio de Vivienda y Urbanismo 92% 3% 5% - 255

Ministerio de Bienes Nacionales 100% 2% 0% - 46

Ministerio de Energía 83% 0% 17% - 41

Ministerio del Medio Ambiente 100% 0% 0% 87

Total General 97% 1% 1% 1% 5.170

- Programas de Infraestructura Educacional (Evaluación de Programas Gubernamentales 2015)

- Categoría de Resultados: Desempeño Insuficiente

RESULTADOS & EFECTOS

Su propósito es que los establecimientos educacionales (Tradicionales Municipales y Subvencionados) cuenten con infraestructura, equipamiento y mobiliario que se adapte a los objetivos del proyecto educativo de estos establecimientos.

Los programas actúan como un fondo, cuyo diseño plantea la entrega de recursos en base a demanda de los sostenedores de los establecimientos educacionales, quienes hacen su solicitud según un diagnóstico propio y a un proyecto educativo. Ello considera como supuesto implícito que los sostenedores tienen similar capacidad de gestión y conocimiento de sus necesidades. No cuentan con un sistema de seguimiento y monitoreo, sólo se identifican acciones básicas de seguimiento de los convenios firmados para realizar los desembolsos respectivos, todo lo cual no permite tener una medición concreta de la infraestructura construida/reparada a partir de estos recursos. El presupuesto 2016 reflejará una reducción cercana al 73% de 2 de los 3 programas evaluados.

DESCRIPCION

EVALUACION EX POST: EJEMPLOS

- Programas Mas Capaz (Evaluación de Programas Gubernamentales 2015)

- Categoría de Resultados: Desempeño Insuficiente

RESULTADOS & EFECTOS

Jóvenes, mujeres y personas con discapacidad en situación de vulnerabilidad, se insertan en puestos de trabajo de calidad, ya sea en el mercado laboral como dependientes o a través de la consolidación de emprendimientos

Con respecto a la población potencial y el establecimiento de metas (450.000 capacitados para el periodo 2014‐2018), el programa no establece la relación entre ellas de acuerdo a un criterio técnico, basado, por ejemplo, en la proporcionalidad de las condiciones laborales de la población potencial (no establece población objetivo). Esto último, tiene consecuencias directas sobre los resultados del programa, ya que no es lo mismo que al término del periodo presidencial (2018) se incorporen 450.000 inactivos a la fuerza de trabajo, a que se capaciten 450.000 desempleados y ocupados con empleo precario -impactos macroeconómicos diversos‐. Si bien el presupuesto 2016 no reflejó una disminución sustancial para el programa, los compromisos están orientados a definir y cuantificar la población objetivo a atender durante los cuatro años que se proyecta el programa, distinguiendo anualmente entre la población económicamente activa y la población inactiva.

DESCRIPCION

EVALUACION EX POST: EJEMPLOS

- Jardines Infantiles (JUNJI) (Evaluación de Programas Gubernamentales 2015)

- Categoría de Resultados: Desempeño Insuficiente

RESULTADOS & EFECTOS

Su propósito es que niños y niñas, preferentemente entre 0 y 4 años de edad, de los quintiles I, II y III de la FPS, como también aquellos que estén bajo algún criterio de vulnerabilidad, reciban educación parvularia de calidad.

Se observa una subutilización de la capacidad instalada. Para el año 2014, la matrícula promedio alcanza alrededor del 92% de la capacidad de los establecimientos, no obstante, para el mismo año la asistencia promedio mensual sobre la capacidad instalada es del 60% para AD y 70% para VTF. El programa cubre aproximadamente el 10% de la población potencial, sin embargo, el 72% de los niños/as entre 0-4 años no asiste, dado que las madres, no importando su nivel de ingreso, prefieren no enviar a sus hijos a un centro educacional, especialmente a nivel sala cuna (CASEN 2013). Pese al resultado de la evaluación, se estima que los recursos asignados para el periodo 2016 aumentarán en cerca de un 18%. Sin embargo, en términos de recursos disponibles para infraestructura (iniciativas de inversión), el presupuesto 2016 se redujo en cerca del 50%.

DESCRIPCION

EVALUACION EX POST: EJEMPLOS

- PLAN CUADRANTE (CARABINEROS DE CHILE) (Evaluación de Programas Gubernamentales 2014)

- Categoría de Resultados: Desempeño Suficiente

RESULTADOS & EFECTOS

Su propósito es satisfacer las demandas de seguridad de la comunidad a nivel urbano.

Los resultados de la evaluación muestran que existe una baja tasa de uso de los vehículos policiales, lo cual podría estar explicando los déficits también detectados en coberturas de demandas policiales, patrullajes preventivos y tiempo de respuesta en los procedimientos. Esta subutilización estaría asociada a la ausencia de seguros de cobertura a los daños asociados ocurridos durante el cumplimiento del servicio por parte de carabineros, desincentivando el uso de éstos (hipótesis de causalidad). A partir de este hallazgo, se detecta un espacio de mejora, el cual se materializó en un compromiso dirigido a realizar una experiencia piloto que permita obtener juicios evaluativos en el efecto de un seguro de accidentes sobre la tasa de uso de los vehículos policiales.

DESCRIPCION

EVALUACION EX POST: EJEMPLOS

Desafíos para mejorar el uso de las evaluaciones: Experiencia de Dipres

• Ámbito de la Evaluación

– Debilidad en la formalización de los programas atenta contra una base sólida para la evaluación y la aceptación de sus resultados.

– Contrapartes institucionales no necesariamente reconocen la evaluación como parte inherente a la ejecución de un programa público.

– Manejo de conceptos de evaluación, por parte de las contrapartes institucionales.

– Disponibilidad de información necesaria para llevar a cabo una evaluación de calidad (elementos tanto técnicos como jurídicos).

– Estructura de la ley no facilita análisis por programa.

Desafíos para mejorar el uso de las evaluaciones: Experiencia de Dipres

• Ámbito del uso de las Evaluaciones:

– Similares resultados en proceso evaluativo, no necesariamente conllevan a resultados presupuestarios iguales.

– Débil uso de tomadores de decisiones presupuestarias como herramienta de decisión.

– Elementos legales imponen rigideces a la utilización e implementación de presupuesto por resultados: causa – efecto.

– “Informalidad” de la estructura de los programas públicos no permite, en ocasiones, implementar las mejoras levantadas en la evaluación.

• Ámbito Institucional:

– Objetivos del “programa de evaluación”: ¿efectos presupuestarios o aumentar la eficiencia en la ejecución de los programas? ¿ambos?

– Distintos paradigmas de institucionalidad de la evaluación y sus respectivos trade-off.

– Donde se ubica la institucionalidad en Chile: Ventajas y Limitaciones.

www.dipres.gov.cl Sistema de Evaluación y Control de Gestión

Gracias.