Evaluación Ex Post - SNI Fernando Cartes Mena

Jefe División de Evaluación Social de Inversiones Ministerio de Desarrollo Social - Chile

SISTEMA NACIONAL DE INVERSIONES (SNI)

El SNI norma y rige el proceso de inversión pública de Chile.

Reúne las metodologías, normas y procedimientos que

orientan la formulación, ejecución y evaluación de las

Iniciativas de Inversión (IDI) que postulan a fondos públicos. El

SNI está compuesto por 4 subsistemas:

Evaluación Ex Ante

Formulación Presupuestaria

Ejecución Presupuestaria

Evaluación Ex Post

Ministerio de Desarrollo Social

Ministerio de Hacienda

OBJETIVOS

TIPOS DE EVALUACIÓN EX POST

EVALUACIÓN EX POST DE CORTO PLAZO

EVALUACIÓN EX POST DE MEDIANO PLAZO

EVALUACIÓN EX POST DE LARGO PLAZO

TEMARIO

OBJETIVOS DE LA EVALUACIÓN EX POST

• Identificar el grado de cumplimiento de los objetivos planteados y la validez

de las proyecciones ex ante.

• Analizar el cumplimiento de los procesos y procedimientos técnicos y

administrativos establecidos en la evaluación ex ante.

• Derivar acciones correctivas para mejorar los procesos de inversión vigentes

y la gestión de los proyectos.

• Generar información y lecciones para apoyar el proceso de actualización de

metodologías, capacitación, criterios de formulación y evaluación ex ante.

TIPOS DE DE EVALUACIÓN EX POST

Evaluación Ex Post Oportunidad en que se realiza

la evaluación

Alcances

Corto Plazo

(Producto)

Al término de la Ejecución

Entrada en Operación (1 o 2 años)

Fase I: Medición y análisis de variables

relevantes.

Fase II: Visitas a terreno de proyectos

en operación.

Mediano Plazo

(Intermedio)

En la etapa de Operación.

Proyectos con 3 a 7 años de operación.

Medición de flujos (demanda, oferta,

beneficiarios, costos de operación) y

efectos intermedios.

Aspectos de calidad de servicio

Análisis de la operación y modelo de

gestión

de Largo Plazo

(Impacto)

En la etapa de operación en régimen.

Proyectos con más de 7 años de operación

Levantamiento de línea base

Medición de resultados a nivel de

impacto.

EVALUACIÓN EX POST DE CORTO PLAZO

1. Conceptualización

2. Características del proceso, variables e Indicadores

3. Sistema Informático

4. Informes

Programado Real

Evaluación

EX POST DE CORTO PLAZO

1. CONCEPTUALIZACIÓN

Ex Post de Corto Plazo

Consiste en la evaluación y análisis de los costos, plazos y magnitudes de los proyectos (al término de su ejecución), a objeto de contar con referencias para la formulación y evaluación de proyectos nuevos.

Fase I

Consiste en visitar proyectos en operación para observar, registrar y analizar cómo funcionan aspectos relevantes de la formulación, con el objeto de extraer lecciones aprendidas, que sean útiles para otros proyectos.

Fase II

EX POST DE CORTO PLAZO

Dimensiones Aspectos Hasta el Proceso 2010 Del Proceso 2011 al 2014

A partir del Proceso 2015

COBERTURA

Modalidad de Evaluación

Muestra de proyectos, programas y estudios

básicos

100% de proyectos

Selección Estratégica de proyectos por subsector y

visitas a terreno

N° Proyectos 200 Más de 600 FASE I: Alrededor de 215 FASE II: Piloto: entre 3 y 5 proyectos.

Fuente Financiamiento

FNDR FNDR y Sectoriales

Período de Referencia

Dos años anteriores a la evaluación

El año anterior a la evaluación

GENERACIÓN DE

RESULTADOS

Informes Nacional Nacional y Sectorial

Informes Nacional, Sectorial y de Visita

Registro por Proyecto evaluado

Ninguno Informe Individual en el Banco Integrado de

Proyectos

OPTIMIZACIÓN DEL TIEMPO

Sistema Manual Automático

(con carga de información del BIP)

2. CARACTERISTÍCAS DEL PROCESO

EX POST DE CORTO PLAZO: FASE I

3. ¿QUÉ ANALIZA?

EX POST DE CORTO PLAZO: FASE I

Variable Nombre indicador Descripción

Plazos (meses)

Variación plazo recomendado por ítems Plazo Real vs Plazo Recomendado de: Obra Civil, Equipos, Equipamiento, Consultorías,

Terreno

Variación plazo total recomendado

Plazo Total Real vs Plazo Total recomendado de Ejecución del Proyecto

Costos (M$)

Variación del monto recomendado

Monto Contratado v/s Monto Recomendado

Monto Ejecutado v/s Monto Recomendado

Variación del Monto Contratado

Monto Ejecutado v/s Monto Contratado

Costo por Magnitud Monto Ejecutado v/s Magnitud Real

Magnitud Cumplimiento de la magnitud

recomendada Magnitud Ejecutada v/s magnitud

recomendada

4. INDICADORES

EX POST DE CORTO PLAZO: FASE I Módulo Unidad

Financiera Módulo SEREMI

Usuario

Técnico

Usuario

Financiero

Evaluación

Analista

Módulo Unidad Técnica

Control

Comunicación

Cierre

Sistema en línea de empuje y simultáneo

Control

Retorno a Evaluación

5. FUNCIONAMIENTO DEL SISTEMA INFORMÁTICO : AVANCES TECNOLÓGICOS IMPLEMENTADOS

EX POST DE CORTO PLAZO: FASE II

¿QUÉ ANALIZA?

Las Visitas a Terreno buscan entender las causas que generan un determinado resultado (el porqué), en las siguientes áreas…

Identificación del problema Funcionalidad

Área de influencia Uso de la infraestructura

Localización Calidad del servicio

Población beneficiaria Equipos y equipamiento

Estimación de demanda Operación y mantenimiento

Capacidad instalada Personal

Diseño Adecuación metodológica

…para expresarlas en forma de lecciones aprendidas.

EX POST DE CORTO PLAZO INFORMACIÓN PAGINA WEB

EVALUACIÓN EX POST DE MEDIANO PLAZO

1. Objetivo

2. Metodología Selección de Proyectos

3. Aspectos a Evaluar

4. Estudios Realizados

5. Información Disponible

EX POST DE MEDIANO PLAZO

Anteproyecto y Proyecto Ejecutado

“Mejoramiento Estadio Municipal Nelson Oyarzún Arenas de Chillán” Código BIP 300758980-01

Fuente: Evaluación ex post de Mediano Plazo a Estadios Mundialistas (2012).

1. OBJETIVO

Analizar y comparar el comportamiento de lo estimado en la formulación del proyecto vs lo real en las variables relevantes de un proyecto; y se lleva a cabo cuando el proyecto lleva entre 3 a 7 años de operación. Algunos aspectos analizados en esta etapa son los flujos de oferta y demanda, costos operacionales y de mantenimiento; como también, el modelo de gestión de la infraestructura, calidad del servicio (satisfacción del usuario), flexibilidad de la infraestructura en operación, entre otros.

EX POST DE MEDIANO PLAZO

Aspectos Proceso vigente

Modalidad de Evaluación Selección de proyectos relevantes en coordinación con el sector y los equipos de Inversiones y Metodologías

Modalidad de Ejecución Selección de alrededor 15 proyectos según tipo de proyecto, considerando la disponibilidad de información

Fuente FNDR y Sectorial

Período de Referencia En operación (entre 3 y 7 años)

Estudio Licitación pública

Producto final Informe y presentación de la evaluación de indicadores

La metodología depende principalmente del objetivo del estudio, considerando qué para el análisis de la evaluación social del proyecto se aplica la misma metodología ex ante, pero esta vez, considerando antecedentes reales o efectivos del proyecto, obtenidos en el ex post (Inversión real, costos de operación y mantenimiento, demanda, entre otros). A partir del 2014 para la evaluación ex post de mediano plazo se priorizan proyectos que presenten evaluación ex post de corto plazo, con una operación mínima de 3 años.

2. METODOLOGÍA DE SELECCIÓN DE PROYECTOS

EX POST DE MEDIANO PLAZO

Dimensión Variable

Demanda Demanda efectiva

Económico Costo de operación y mantenimiento

Indicador económico en operación

Gestión Modelo de gestión

Calidad servicio Satisfacción usuario

Infraestructura Uso efectivo, mantenimiento efectivo y estado actual

Beneficiarios

Localización / Accesibilidad

Área de influencia

Población atendida

Las variables medidas están relacionadas con los resultados de la operación del proyecto y se ajustan dependiendo del origen del proyecto.

Los aspectos transversales analizados y medidos en la evaluación ex post de mediano plazo son:

3. ASPECTOS A EVALUAR

EX POST DE MEDIANO PLAZO

4. ESTUDIOS

Sector Estudio / Año N° Proyectos Aspectos analizados

Educación Establecimientos Educacionales (2012)

10

N° matrículas, Capacidad de uso, Costos de operación y mantenimiento, Calidad del servicio, Indicador económico en operación.

Multisectorial Complejos Fronterizos (2011) 4

Demanda efectiva, Costo de operación y mantenimiento, Modelo de gestión, Calidad del servicio, Indicador económico en operación.

Riego

Embalse Santa Juana (2012) 1 Costo de operación y mantenimiento, Modelo de gestión, Traspaso, Designación derechos de agua, Volumen acumulado, Indicador económico en operación. Embalse Puclaro (2012) 1

4. ESTUDIOS

EX POST DE MEDIANO PLAZO

Sector Estudio (Año) N° Proyectos Aspectos analizados

Agua potable y alcantarillado

Agua Potable Rural (2014) 12 N° Arranques, consumo efectivo, Costo de operación y mantenimiento, Satisfacción usuario, Tarifas, Indicador económico.

Defensa y Seguridad

Cuarteles de Carabineros (2013) 12 Siniestros, Costo de operación y mantenimiento , Modelo de gestión Calidad del servicio,Indicador económico

Deporte

Estadios Mundialistas (2011) 4 Demanda de actividades y deportes, Costo de operación y mantenimiento, Modelo de gestión, Estado de conservación , Modificaciones programa arquitectónico, indicador económico, calidad del servicios, localización, Traspaso, área de influencia.

Polideportivos y Gimnasios recreativos (2015)

15

La línea de ex – post de mediano plazo es la más antigua implementada, comenzó el año 1992 y en forma casi ininterrumpida ha realizado estudios de distintos sectores y proyectos de distinta envergadura. A continuación se presenta una muestra de los sectores analizados en el periodo 2010-2015:

EX POST DE MEDIANO PLAZO

4. ESTUDIOS

Sector Estudio / Año N°

Proyectos Aspectos y variables analizadas

Salud

Hospitalización Domiciliaria (2013) 7 N° de camas, rotación, demanda efectiva, costos de operación y mantenimiento, recursos humanos, modelo de gestión, equipamiento, indicador económico.

Efecto de la construcción de hospitales sobre su Red asistencial (2013)

2

Eficiencia Modelo Gestión Equipos Imaginología (2012)

8

Transporte

Transporte caminero (2014) 5 Flujo vehicular, Costos de operación y mantenimiento, Velocidades, Tasa de ocupación, Rugosidades, indicador económico.

Tránsito generado (2012) 12

Vivienda

Viviendas para Adultos Mayores ELEAM y CVT (2015)

15

Oferta y Demanda, Costo de operación y mantenimiento, equipamiento, estándares, Modelo de gestión, Traspaso, Rentabilidad

EX POST DE MEDIANO PLAZO

5. INFORMACIÓN PAGINA WEB

FICHA RESUMEN ESTUDIO

EX POST DE MEDIANO PLAZO

EVALUACIÓN EX POST DE LARGO PLAZO

1. Objetivo

2. Avances

MOMENTOS DE LA DE EVALUACIÓN EX POST

Evaluación Ex Post Oportunidad en que se realiza la evaluación Alcances/Tipo de resultados medidos

Corto Plazo

(Producto)

Al término de la Ejecución

Entrada en Operación

Fase I: Análisis de productos, procesos y

procedimientos realizados en la

ejecución.

Fase II: Visitas a terreno de proyectos

en operación.

Mediano Plazo

(Intermedio)

En la etapa de Operación.

Proyectos con 3 a 7 años de operación.

Medición de flujos (demanda, oferta,

beneficiarios, costos de operación) y

efectos intermedios.

Aspectos de calidad de servicio

Análisis de la operación y modelo de

gestión

de Largo Plazo

(Impacto)

En la etapa de operación en régimen.

Proyectos con más de 7 años de operación

Levantamiento de línea base

Medición de resultados a nivel de

impacto.

EX POST DE LARGO PLAZO (IMPACTO)

1. OBJETIVO

Medir los resultados finales (impacto) a nivel de propósito o fin del proyecto. En general, la evaluación de largo plazo mide el beneficio de mediano y largo plazo ejercido en la población objetivo (indicadores macroeconómicos y socioeconómicos) . El horizonte de tiempo para medir resultados de largo plazo es variable según el tipo de proyecto, sin embargo se estima en más de 7 años de operación del proyecto. El análisis puede estar enfocado en proyectos de gran envergadura o en grupos de proyectos.

EX POST DE LARGO PLAZO (IMPACTO)

Este proceso aún es incipiente en el Subsistema de Evaluación Ex Post .

El año 2009 se inició con un primer intento de traspasar la metodología de evaluación de

impacto de programas a proyectos de inversión en infraestructura, con un estudio en el

tema que entrega lineamientos muy básicos y revisa exhaustivamente la evaluación de

programas entregando una propuesta metodológica para el caso de inversión en

infraestructura.

Por otra parte, el SNI está sentando las bases para efectuar evaluación de impacto a

través de la generación de Líneas de Base para proyectos de gran envergadura, para el

caso de embalses y carreteras de gran magnitud. (Embalses Chacrillas y Valle Hermoso,

Carretera Austral, p.ej.)

2. AVANCES

Gracias…