Curso Planificación Estratégica y Construcción de Indicadores:

Planificación Estratégica Gubernamental y Sistemas de Evaluación del Desempeño

Marianela ArmijoÁrea de Políticas Presupuestarias y Gestión Pública ILPES/CEPALMarianela.armijo@cepal.org

Quién planifica y para qué(hipotéticamente)?

• Los gobiernos …(para apoyar el establecimiento de prioridades de política pública)

• Los Ministerios o Secretarías….(paraalinearse a los Planes Nacionales de Desarrollo o LineamientosEstratégicos de Gobierno, y como base para la programaciónpresupuestaria…

• Las Entidades y/o programas..(planifican peroaisladamente…en la mayor parte de los casos planificación..)

Cuáles son algunos de los desafíos de la Planificación hoy día….en el contexto de

América Latina…

• Apoyar el proceso de diseño e implementación de políticas públicas (innovadoras, creíbles…y efectivas)

• Apoyar la priorización del gasto público y sucalidad…(objetivos estratégicos…sectorialesvinculados a los OEN)

• Servir como herramienta de apoyo para rendircuentas….(Sistemas de Indicadores de resultados de uso estratégico..Presidencia..)

Planificación Estratégica: Conceptos y orientación en el ámbito público

Consiste en un ejercicio de formulación yestablecimiento de objetivos de carácter

prioritario, para definir los cursos de acción

(estrategias) que permitan alcanzar dichosobjetivos.

• PARA RESPONDER A LOS CAMBIOS Y A LAS DEMANDAS Y LOGRAR LA MAYOR EFICIENCIA,

EFICACIA, CALIDAD EN LOS BIENES Y SERVICIOS QUE SE PROVEEN.

Situación Actual Situación deseada

Brechas

La Planificación no es un FIN en si mismo:Apoya la identificación de las preguntas básicas para la toma de decisiones en el

ámbito público

Quienes somos,que hacemos y para quienes

Quienes somos,que hacemos y para quienes Que esperamos

lograr, donde queremos ir

Que esperamos lograr, donde queremos ir

Cómo podemos llegarCómo podemos llegar

Como sabemos que llegamosComo sabemos que llegamos

Objetivos

Estrategias

Indicadores de Desempeño

Misión Creacion de Valor Público: Justificación Social Productos y Servicios

Análisis de lasprioridadesnacionales, sectoriales, institucionales, entorno, aspectosinternos

Indicadores de Resultado o Impacto Final

Indicadores de Gestión

Cursos de Acción

Alternativos

Sistemas de Monitoreo y Evaluación

En qué ámbitos de decisión gubernamentalestá aplicándose la Planificación

…..Estratégica?

• Planeación Nacional de Desarrollo –Lineamientos Estratégicos

• Prioridades Sectoriales (Metas Sectoriales)

• Prioridades Estatales- Planificación Territorial

• Planificación Estratégica Institucional- Ministerial

• Planificación Estratégica Programa (Entidad descentralizada, etc)

• Programación Anual Operativa

La PE como herramienta que apoya el tránsito haciauna Gestión Orientada a Resultados.

Planes Estratégicos acompañan Políticas Públicas, PGMP, Formulación Presupuesto

Planes Estratégicos acompañan Políticas Públicas, PGMP, Formulación Presupuesto

La PE provee información sobre indicadores y metas para monitorear y evaluar

La PE provee información sobre indicadores y metas para monitorear y evaluar

La PE provee información sobre indicadores y metas para monitorear y evaluar

La PE provee información sobre indicadores y metas para monitorear y evaluar

Los indicadores que se crean a partir de la PE “permitirían” mejorar transparencia y Rendición de Cuentas

Los indicadores que se crean a partir de la PE “permitirían” mejorar transparencia y Rendición de Cuentas

La fase de PE facilita “ priorizar “ objetivos y asignación de recursos que permitan alcanzar los resultados esperados.

La PE “permitiría” facilitar la identificación de objetivos y metas asignando responsables por la gestión

La PE “permitiría” proveer información sobre lo que las entidades “quieren” hacer con los recursos asignados y cuales son los logros esperados (productos, resultados intermedios y finales)

La PE posibilita generación indicadores estratégicos que facilitan la transparencia tanto al interior de la entidad como hacia fuera)

Planificación Estratégica, como parte de las innovaciones presupuestarias (ILPES, 2004)

Objetivos PresupuestoObjetivos PresupuestoPPúúblicoblico

Para quPara quéé InstrumentosInstrumentos

Objetivos Objetivos MacroeconMacroeconóómicosmicos

Preservar la solvencia del Preservar la solvencia del sector psector púúblicoblicoEstabilizar la demanda Estabilizar la demanda agregadaagregada

Marco de programaciMarco de programacióón n plurianualplurianualEvaluaciEvaluacióón de Riesgos n de Riesgos FiscalesFiscales

Objetivos de PolObjetivos de Polííticasticas Eficiencia distributivaEficiencia distributivaAsignar recursos de Asignar recursos de acuerdo a las prioridades acuerdo a las prioridades gubernamentalesgubernamentales

PlanificaciPlanificacióón n estratestratéégicagicaEvaluaciEvaluacióón de Programan de ProgramaIndicadores de Indicadores de DesempeDesempeññoo

DesempeDesempeññooOperacionalOperacionaly y AccountabilityAccountability

MaximizaciMaximizacióón relacin relacióón n costocosto-- efectividad efectividad ParticipaciParticipacióónnciudadanaciudadana

PlanificaciPlanificacióón estratn estratéégicagicaIndicadores de Indicadores de DesempeDesempeññooConvenios de GestiConvenios de Gestióónn

PLANIFICACION ESTRATEGICA

PLANIFICACION ESTRATEGICA Y

PROGRAMACION OPERATIVA!!!!!

Planificación Estratégica y Evaluación del desempeño desde una perspectiva sistémica

I. Planificación-Programación-Presupuesto

II. Monitoreo y Evaluación

III. Rendición de Cuentas

Plan Nacional de Desarrollo

Planificación Sectorial

Planificación-Programación

Presupuestaria con enfoque a resultados

Sistema de Indicadores de Gestión y resultados

Evaluación de Impacto

Ex –Post de Inversiones y Resultados Intermedios

Informes de Evaluación Anual Resultados de la

Gestión, Congreso, Órganos de Control

Que son los Sistemas de M&E

Conjunto de instrumentos y procedimientos

Que entregan información para hacer el seguimiento y evaluar el desempeño.

Indicadores de desempeño:

Evaluaciones

MONITOREO Y EVALUACIONComponentes Instrumentos Metodología Uso de la

InformaciónRequerimientos

Evaluación de Resultados

EvaluacionesComplementarias

Evaluación de Impacto o Resultados Finales

Evaluación de Programas, o EvaluaciónInstitucional del GastoPúblico

Econométricas, EstadísticasComplementada con evaluación cualitativa.

Marco Lógico

Consultoríasespecializadas, de carácter externolicitadas por el Órganoresponsable.

Establecimiento de marco metodológico.

Evaluación de Impacto(12 meses)

Evaluación de Programas (3-5 meses)

Monitoreo y Evaluación de la Gestión (Operativa y Presupuestaria)

Sistema de indicadoresde desempeño: producto, resultado intermedio y final, eficiencia, calidad, ejecución presupuestaria

Planificaciónestratégica.

Diseño de sistema de control de gestión

Procesos de definiciónde prioridades, objetivos estratégicos, metasSistemas de Información para el monitoreo de los indicadores

Políticas, Programas

Seguimiento yEvaluación Institucional

Rediseño de Programas

Rendición de Cuentas

Monitoreo de indicadoresDe gestión y resultados

Formulación Ejecución

Evaluación

Discusión Aprobación

Rendición de CuentasRetroalimentaciónPara la toma de

decisiones

INFORMES

PlanificaciónProgramación

GobiernoSectores/ MinisteriosJerarcas

AsambleaLegislativaÓrganos de ControlCiudadanía

Indicadores año n-1 y año +1

Indicadores de Ejecuciónpresupuestaria, Procesos

IndicadoresEvaluacionesComplementarias

Evaluación de Inversiones

Evaluación de ImpactoEvaluación de Programas

Uso de la información del desempeño en el Presupuesto

Que han hecho los países

• Países con intentos de integración entre niveles de decisión gubernamental

– Colombia: SINERGIA– Costa Rica: MAPI-POIS– Uruguay SEV– Brasil Plan Plurianual. PPA– México SED– Chile Sistema de Control de

Gestión y Presupuesto por Resultados

– Perú Plan Nacional de Desarrollo-Sectorial…

– Ecuador Plan de Desarrollo de Gobierno

MEXICO

COSTA RICA

INSTRUMENTOS DE CONTROL DE GESTIÓN EN CHILE

Fuente: www.dipres,cl

EVALUACIÓN INDICADORES DE

DESEMPEÑO

PRESENTACION DE PROGRAMAS

AL PRESUPUESTOBGI

MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL• PROGRAMA DE MEJORAMIEnTO DE LA GESTIÓN

• METAS DE EFICIENCIA INSTITUCIONAL• LEY MEDICA

DEFINICIONES ESTRATÉGICAS

D is c u s ió nD is c u s ió n

A p ro b a c ió nA p ro b a c ió n

E je c u c ió nE je c u c ió n

E v a lu a c ió nE v a lu a c ió n

F o rm u la c ió nF o r m u la c ió n

EVALUACIÓN DE INVERSIONES

Caso Uruguay

Planificación Estratégica y Sistemas de Evaluación de Desempeñocomo apoyo a la gestión orientada a resultados

Principales Problemas identificados a partir de la experiencia

en países de la región

Principales Problemas1. Dificultad para articular los instrumentos de evaluación y utilizarlos

adecuadamente para la toma de decisiones

2. Las instituciones o entes que tienen un mandato público no siempre sabenque hacen y donde van… los instrumentos de monitoreo y evaluación se aplican sobre bases débiles

3. Sistemas de Evaluación débiles en su diseño y uso

4. Institucionalidad de los SEV no generan incentivos adecuados

1. Dificultad para articular los instrumentos de evaluación y utilizarlos adecuadamente para la

toma de decisiones

• Plan Nacional de Desarrollo:

• Indicadores Macro nivel país

• Planes Sectoriales

• Indicadores de Impacto y resultadosintermedios de los Programas

– Tasas de Desnutrición– Deserción escolar– Disminución de déficit viviendas, etc.

• Planes Institucionales

• Indicadores de Objetivos EstratégicosInstitucionalesvinculados a Sectores Y Programas

Indicadores agregados y articulación con los Sectores?

Indicadores de Impacto y atribución a Programas, especialmente “seguridad, competitividad, etc” ?

Indicadores de ObjetivosEstratégicos desarrollados y Planificación Estratégica y vínculo con lo sectorial ?

Planes Estratégicos Institucionales

Plan Operativo Institucional

Presupuesto

PLANIFICACION-PROGRAMACIONPRESUPUESTO

Plan Financiero Multianual

Plan Nacional de Inversiones

Plan Nacional de Desarrollo

METAS SECTORIALES

Planificación EstratégicaProgramas???

Planificación EstratégicaProgramas???

• Identificación de Prioridades• Misión, Visión• Objetivos Estratégicos

( Y las estrategias, metas, actividades para lograrlos)

• Indicadores que permiten medir el desempeño logrado

• EVALUACION del DESEMPEÑO

2. Las instituciones o entes….no siempre saben que haceny donde van… los instrumentos de monitoreo y

evaluaciónse aplican sobre bases débiles

3. Sistemas de Evaluación débiles en su diseño y uso

• Confusión entre el monitoreo y la evaluación

• Se utilizan indicadores de proceso monitoreo trimestral, anual para tratar de medir “ïmpacto”

• La información de desempeño está siendo más un fin que un medio.

• Los indicadores como herramientas para mostrar lo que debiera hacerse que lo que se hace …. escaso apoyo como retroalimentación para los directivos

4. Institucionalidad de los SEV no generan incentivos adecuados

• Marcos Institucionales no facilitan hacer “gerencia” y responsabilización”

• Con excepciones los liderazgos de Órganos Rectores (Hacienda, Planificación…) poco consolidados y son poco creíbles en esta nueva función “evaluadora”

• Los modelos de GpR son adecuados en el “deber ser”, pero poco comprendidos en su lógica en las organizaciones

• Con excepciones hay poca evidencia de aplicación de los SEVdy su relación con la Eficiencia Asignativa y Eficacia Operativa….

Qué hacer1. Mejorar articulación entre la Planificación

Nacional, Sectorial: Uso de informaciónestratégica para las políticas….

2 Implementar incentivos para el uso de la información de evaluación en la toma de decisiones: Contractualización, consecuenciase incentivos

La información sobre desempeñodebiera tener una demanda permanente y sistemática desde los Organos Centrales, de Control Externo, Grupos de Interés

La información de los SED se utiliza para retroalimentar las decisiones de directivos de Programas..(suponiendo que están definidas las responsabilidades)

Qué hacer?

1. Mejorar las técnicas de evaluación…y los sistemas de información-metodologías

2. Mejorar los sistemas de rendición de cuentas….

Tipología de indicadores: Qué rol juegan los indicadores de desempeño (Resultados y gestión (Eficiencia, Economía)

Qué rol juegan las evaluaciones..(de impacto..de resultados intermedios)

Informar lo que interesa conocer…Cumplimiento de Metas físicas de productos?

Mejoramiento del marketing del presupuesto.. Que información de desempeño y deseable y posible …?

Mayor expertise para presentación de “Informes sobre Resultados” al Congreso y ciudadanos…

3. La información relevante para la rendición de cuentas… cuesta obtenerla… y cuando se tiene a

veces no se usa

• Distintos tipos de indicadores para distintos usosIndicadores de Desempeño

INSUMOS (INPUTS) PRODUCTOS(OUTPUTS)

RESULTADOS(OUTCOMES)

De interés para la Asamblea Legislativa, Ciudadanía

Baja Media Alta

De interés para Ministros, Directivos

Baja Medio Alta

De interés para Instituciones, Entidades, Organos de Control

Alta Alta Media

Dificultad para la medición

Baja Media Alta

CUAN BIEN LO HACEMOS QUE HACEMOS

HAY ALGUNA MEJORIA

COMO CAMBIAN LASCONDICIONES INICIALES

CUANTOS RECURSOS OCUPAMOS

INDICADORES

Costos planillaCostos unidadesde productos

Número de funcionarios

Licitacionesrealizadas

Actividades

Número de viviendas

Kilómetrosconstruidos

Inspeccionesrealizadas

Costo porvivienda

Costo porkilómetroconstruido

Tiempo de respuestainspecciones

Gastoadministrativo/Gasto TotalGastoEjecutado/Gastoprogramado

COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS

Porcentaje de viviendas con estándares de calidad en la normal

Porcentaje de viviendas con entorno urbanomejorado

Disminución del déficit habitacionalProvincia X

Porcentaje de usuariosque reciben viviendadeclaran satisfacciónpor calidad y entorno

TIPO

Insumos

Inptus

EficienciaCalidadEconomía

USO

INF.

Sistema de InformaciónInterna

Entidades

Contraloría

Eficacia(Cobertura, Focalización)Calidad

Eficacia (Cobertura, Focalización)EficienciaCalidad

EficaciaEficienciaCalidad

Presupuesto(ProductosFinales)

Sistema deInformaciónInterna(ProductosIntermedios)

Presupuesto

Sistema de Informacióninterna(Productosintermedios, Productos finales, no relacionadoscon O.Estratégicos)

Presupuesto

Sistema de InformaciónDirectivo

Presupuesto

Sistema de InformaciónDirectivo

ORGANISMO DE PLANIFICACION

INSUMO PROCESO PRODUCTO RESULTADOINTERMEDIO

RESULTADO

FINAL

Indicadores de desempeño más cerca de las decisiones y como herramientas de mejoramiento

de la gestión

Requisitos de los Sistemas de M&E

– Pertinencia y Relevancia: capacidad de proporcionar la información que se precisa o demanda para adoptar decisiones debidamente fundamentadas

– Confiabilidad: asegurar que la información corresponda a la realidad del proyecto, programa o institución que se observa

– Oportunidad: asegurarse que la información esté disponible en el momento en que lo requiere el proceso de toma de decisiones

– Legitimidad: que la información y los juicios que el sistema genere sean respetados por los actores relevantes, sustentando las decisiones que de ellos se desprendan

– Eficiencia o Costo razonable: que la información se genere al menor costo posible, en función de los beneficios del uso de la información

Sistemas de Evaluación del Desempeño a nivel Subnacional

Análisis de Experiencias Internacionales

Experiencias Internacionales• Estados Unidos

• Estudio de implementación de Sistemas de M&E en 489 municipios de USA

From Measuring to Managing Performance:Recent Trends in the Development of Municipal Public Sector Accountabilitywww.ipac.ca

• Canadá• Estudios de Mejores Prácticas de implantación de Sistemas de M&E

en Canadá. Experiencias Gobiernos FederalesTreasury Board Secretariat Canada. www.tbs-sct.gc.ca

• Reino Unido• Experiencia de Audit Commission

http://www.audit-commission.gov.uk/http://www.bvpi.gov.uk/pages/Index.asp

Principales errores en el diseño e implementación de los Sistemas de M&E

• Medición del desempeño:– Como ejercicio técnico con poca consideración a los

aspectos organizacionales y a la realidad de la gestión local.

– Implementado como instrumento de control que para mejorar el desempeño, como herramienta para los directivos.

Principales problemas en el diseño e implementación de los Sistemas de M&E a nivel subnacional

• Medición del desempeño:– Frecuentemente implementado unilateralmente

desde la dirección, sin participación de los funcionarios que están a cargo de la provisión de servicios. Se generan indicadores irrelevantes para los usuarios y ciudadanos

– Particularmente en los gobiernos locales, existe dificultad para acordar cuales son las medidas correctas: satisfacción del usuario, grupos de interés, rendición de cuentas, etc.

Estudio de Sistemas de M&E en municipios: Factores que deben ser potenciados

• Debe haber una interconección entre el alto nivel de decisión y el desempeño operacional

• El Sistema de M&E debe incluir Indicadores de desempeño estratégicos en cascada desde el cuerpo Directivo hacia los departamentos, los indicadores operacionales apoyan a los niveles de gestión senior.

Estudio de Sistemas de M&E en municipios: Factores que deben ser potenciados

• Capacidad de empoderamiento a los directivos

• Desarrollo de Sistemas de Información

• Rendiciones de Cuentas en un marco de participación ciudadana

Canadá: Experiencia de Ontario,

• Existen contratos de desempeño entre el ámbito federal y municipal, con referencia a sistemas de indicadores

• El interés principal de los esfuerzos de monitoreo y evaluación son los ciudadanos y el mejoramiento de los servicios a éstos.

Elementos comunes• Todos los Sistemas tienen un componente

básico de Planificación Estratégica articulado con los sistemas de control de gestión.

• Están claramente identificados los responsables por el cumplimiento de las metas asociadas a los indicadores

• Los sistemas de indicadores se apoyan de procesos de benchmarking y buenas prácticas

Elementos comunes

• En el ámbito local los sistemas de monitoreo y evaluación tienen un fuerte componente de escrutinio público y están más expuestos a enfoques donde prima la perspectiva política.– Difícil llegar a consensos sobre los

estándares – Distintos intereses de los stakeholders

(calidad v/s costo…)

Elementos Comunes• Si bien el foco de la gestión estratégica son los

resultados……

• La dificultad de medición de éstos en el ámbito público…pero…si no se avanza en …

• Considerar los indicadores de operacionales o de gestión, la implementación, el mejoramiento y la generación de capacidades, los RESULTADOS no se producirán