Monitoreo y Evaluación para la Gestión para Resultados

113
Monitoreo y Evaluación para la Gestión para Resultados TALLER DE LANZAMIENTO DE PROYECTOS EFECTIVIDAD DEL DESARROLLO Y GESTIÓN PRESUPUESTARIA POR RESULTADOS 23-27 DE OCTUBRE DE 2006 MONTEVIDEO - URUGUAY Angel Saz-Carranza [email protected]

description

Monitoreo y Evaluación para la Gestión para Resultados. TALLER DE LANZAMIENTO DE PROYECTOS EFECTIVIDAD DEL DESARROLLO Y GESTIÓN PRESUPUESTARIA POR RESULTADOS 23-27 DE OCTUBRE DE 2006 MONTEVIDEO - URUGUAY Angel Saz-Carranza [email protected]. Contenido. 9.30-11.00 Introducción - PowerPoint PPT Presentation

Transcript of Monitoreo y Evaluación para la Gestión para Resultados

Page 1: Monitoreo y Evaluación para la Gestión para Resultados

Monitoreo y Evaluación para la Gestión para Resultados

TALLER DE LANZAMIENTO DE PROYECTOSEFECTIVIDAD DEL DESARROLLO Y GESTIÓN

PRESUPUESTARIA POR RESULTADOS

23-27 DE OCTUBRE DE 2006MONTEVIDEO - URUGUAY

Angel Saz-Carranza [email protected]

Page 2: Monitoreo y Evaluación para la Gestión para Resultados

Contenido 9.30-11.00

Introducción La evaluación 10.30 Sistemas de evaluación (1)

11.15-12.30 Sistemas de evaluación (2) 11.45 GpR en Francia 12.15 GpR en NYC (GpR en UK)

Page 3: Monitoreo y Evaluación para la Gestión para Resultados

Introduccion

Page 4: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación y Monitoreo

Evaluación: la valoración puntual de una intervención.

Monitoreo: la valoración esporádica y/o continua del avance de una intervención.

Page 5: Monitoreo y Evaluación para la Gestión para Resultados

EM de resultados

Énfasis en las consecuencias, productos o impactos de una intervención

Diferente de la gestión para resultados la evaluación de resultados es una

herramienta para la gestión por resultados

Page 6: Monitoreo y Evaluación para la Gestión para Resultados

La evaluación de los resultados de la gestión pública

No es un fin en sí mismo No es una herramienta neutral

Page 7: Monitoreo y Evaluación para la Gestión para Resultados

La organización pública como sistema de producción

PROCESO

Procesos de producción y prestación de servicios (sistemas de gestión)

Servicios &Productos

Resultados(cambio)

INSUMOS

AutorizaciónRecursos humanos

Tecnologías & informaciónRecursos financieros

Criterios de evaluación:

Transparencia

Responsividad

EfectividadCalidad/Impacto

Legitimidad

Legalidad/Equidad

Eficiencia/Economía

OUTPUT

Page 8: Monitoreo y Evaluación para la Gestión para Resultados

EM de resultados: una herramienta para la gestión por resultados

La efectiva evaluación y el monitoreo de los resultados de la gestión pueden promover una cultura orientada a resultados:

información útil para tomar decisiones en

varios niveles retroalimentación para mejoramiento

continuo de procesos, sistemas y funciones información útil para la rendicion de

cuentas en varios niveles

Page 9: Monitoreo y Evaluación para la Gestión para Resultados

La Evaluación en el Sector Público La evaluación cumple funciones

diversas en distintos países: Las prácticas varían de acuerdo

con: Quién comisiona la evaluación? Qué se va a evaluar? Quién realiza la evaluación? Quién utiliza la información y las

recomendaciones?

Page 10: Monitoreo y Evaluación para la Gestión para Resultados

Tres grandes “eras” en la evaluación de lo público (programas, políticas y reformas)

Era Condiciones Enfoque de la reforma Enfoque de la evaluación

60’s y 70’sProsperidad económica

Diseño e implementación de políticas; reorganizaciones; descentralización

•Mejorar la política (énfasis en impactos y efectividad de los programas)•Evaluación de programas como parte de la planeación de las políticas

80s y 90’s Crisis--Retroceso económico

Desregulación; privatización; reducción de costos

•Reducir/racionalizar el gasto; legitimizar decisiones (maximizar insumo/producto = eficiencia)

95s +

Contracción moderada –gerencialismo

“buen gobierno”

Reducción del tamaño; fortalecimiento institucional; flexibilización; agencias independientes; externalizaciónes y contratación - gestión del desempeño

•Racionalizar, fortalecer, mejorar y legitimar el sector publico (énfasis en los resultados -efectividad, eficiencia, calidad, etc)•Evaluación como parte del ciclo de gestión estratégica

Page 11: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación y Monitoreo de los Resultados

Nuevo enfoque es “universal” pero… Experiencia, investigación y tecnología

desarrolladas en el Norte Experiencias en el Sur no han sido

suficientemente documentadas Además:

Vienen del sector privado y deben transformarse

Page 12: Monitoreo y Evaluación para la Gestión para Resultados

Evaluacion

Page 13: Monitoreo y Evaluación para la Gestión para Resultados

PROGRAMACIÓN

FORMULACIÓN

IDENTIFICACIÓN

EVALUACIÓN

EJECUCIÓN

•Análisis de “stakeholders”•Lista de problemas

•Análisis de problemas•Análisis de objetivos•Análisis de alternativas•Matriz

•En base a la Matriz

•En base a la Matriz

Page 14: Monitoreo y Evaluación para la Gestión para Resultados

Ingresos derivados de productos

agrícolas incrementan

Bienes se venden a un precio aceptable

en los mercados urbanos

FINES

Transporte y comunicacion

mejora

Lluvias abundantes pero no anormales.

Carreteras son mantenidas

correctamente

Agencia de infraestructura es

eficaz

Inversión del Estado en infraestructuras

incrementa

Tecnología utilizada adecuada

Personal capacitado

MEDIOS

OBJETIVOESPECÍFICO

Lógica de intervención / Teoría de cambio

Page 15: Monitoreo y Evaluación para la Gestión para Resultados
Page 16: Monitoreo y Evaluación para la Gestión para Resultados

OG: Transporte y comunicacion mejoraOE: Agencia Estatal de Infraestructuras es eficazOI1: Tecnología utilizada es adecuadaOI2: Personal capacitadoA1.1: Identificar deficits tecnológicos.A1.2: Adquirir tecnología necesaria.A2.1: Identificar deficits formativos.A2.2: Formar al personal.

Lógica de intervención / Teoría de cambio

Page 17: Monitoreo y Evaluación para la Gestión para Resultados

Los indicadores objetivamente verificables Constituyen las descripciones operativas de los

objetivos globales, del objetivo específico y de los resultados.

Permiten observar indirectamente los objetivos del proyecto.

Un buen indicador debe ser (SMART): Específico: El indicador se ha de relacionar directamente

con la variable que queremos medir. Medible. Estar disponible a un coste aceptable. Pertinente respecto a un objetivo preciso. Estar disponible en un tiempo aceptable.

Mas de un indicador por objetivo

Page 18: Monitoreo y Evaluación para la Gestión para Resultados

Ejercicio

Construir tres indicadores para los siguientes objetivos:

Reduccion de la pobreza

Mejora de la educacion

Mejora salud humana

Page 19: Monitoreo y Evaluación para la Gestión para Resultados

Las fuentes de verificación Indican dónde y cómo se pueden encontrar

las informaciones necesarias para los indicadores.

Deberían especificar: El formato de presentación de las informaciones

(informes intermedios, registros del proyecto, estadísticas oficiales, etc.).

Quién debe proporcionar las informaciones. La periodicidad con la que las fuentes deben ser

proporcionadas.

Page 20: Monitoreo y Evaluación para la Gestión para Resultados

OG: Red de carreteras en mejora

OE: Agencia Estatal de Infraestructuras es eficaz

R1: Tecnología utilizada es adecuada

R2: Personal capacitado

A1.1: Identificar deficits tecnológicos.A1.2: Adquirir tecnología necesaria.A2.1: Identificar deficits formativos.A2.2: Formar al personal.

Ejercicio: —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—

Page 21: Monitoreo y Evaluación para la Gestión para Resultados

OG: Transporte y comunicacion mejora

I.OG: La duración media de un trayecto via una las carreteras mejoradas se ha reducido un 15%

FDV.OG: Informes de investigación dirigidas a usuarios

OE: Agencia Estatal de Infraestructuras es eficaz

I.OE: Normas de calidad de la red de carreteras controladas

FDV.OE: Informe de monitoreo de la agencia

OI1: Tecnología utilizada es adecuada

OI2: Personal capacitado

I.R1: Tecnología utilizada esta conforme con los estándares profesionales internacionales

I.R2: El 100% del personal está capacitado para su posición de trabajo.

FDV.R1: Informe de asesoría técnica externa.

FDV.R2: Certificados de formación.

Ejercicio: 2 —construye indicadores e indica sus fuentes de verificación para la siguiente lógica de intervención—

Page 22: Monitoreo y Evaluación para la Gestión para Resultados

PROGRAMACIÓN

FORMULACIÓN

IDENTIFICACIÓN

EVALUACIÓN

EJECUCIÓN

Page 23: Monitoreo y Evaluación para la Gestión para Resultados

La Evaluación

Motivo ¿Por qué queremos evaluar? ¿Quién quiere saber?

Objeto ¿Qué es lo que se va a evaluar? ¿Qué espacio de tiempo se quiere evaluar?

Criterio de la evaluación ¿Qué queremos saber de lo que vamos a

evaluar?

Page 24: Monitoreo y Evaluación para la Gestión para Resultados

Motivos de la evaluación

¿Por qué queremos evaluar? Rendición de cuentas “accountability” (Parlamentos, Boards,

etc.) Asignación Aprendizaje: aprender lecciones

¿Quién quiere saber? ¿Es el mismo actor que consumirá información?

Motivos Explícitos – implícitos Personales – organizacionales

Page 25: Monitoreo y Evaluación para la Gestión para Resultados

Objeto de la evaluación Objeto/nivel de la evaluación/unidad de análisis:

¿Qué es lo que se va a evaluar...? Proyecto individual Programa/ Sector Política

Espacio de tiempo que se quiere evaluar (un ciclo de programación; más de un ciclo; etc.)

Page 26: Monitoreo y Evaluación para la Gestión para Resultados

planificacion input aplicado

proceso ejecutado

output outcome

situacion contrafactual

objetivo 1

impacto

efectividad

eficacia 2

eficiencia 1

objetivo 2

eficacia 1

eficiencia 2

input asignado

proceso planificado

economía

Page 27: Monitoreo y Evaluación para la Gestión para Resultados

Criterio de la evaluación ECONOMÍA

Relación input asignadoi-input aplicado EFICACIA

Relación objetivo fijado-resultado conseguido EFICIENCIA

Relación input aplicado-output producido EFECTIVIDAD

Relación output producido-resultado conseguido IMPACTO

-Grado de modificación conseguido EQUIDAD

Relación distribución valor público fijada-conseguida SATISFACCIÓN

Relación expectativas esperadas-satisfechas

Page 28: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación absoluta / postmoderna

Page 29: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación gestora / controladora

Page 30: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación positivista / científica

Page 31: Monitoreo y Evaluación para la Gestión para Resultados

El diseño de la Evaluación

(El diseño o metodología) El evaluador

¿Quién va a evaluar? El marco temporal

¿Cuándo vamos a evaluar? Muestra

¿Que actores, actividades, datos vamos a utilizar en el análisis?

Recolecta de datos Análisis de datos

Page 32: Monitoreo y Evaluación para la Gestión para Resultados

Programación Ejecución EvaluaciónImpacto

Programación EjecuciónEvaluación

Impacto

Programación Ejecución

Programa 1

Programa 2

Programa 3

Marco temporal

Page 33: Monitoreo y Evaluación para la Gestión para Resultados

HERRAMIENTAS ANALÍTICAS

Análisis de beneficiariosAnálisis de conflictosAnálisis de génerio

Análisis participativo ruralAnálisis de riesgo

SARAR (self-esteem, associative strength, resourcefulness, action

planning and responsibility) Análisis de escenarios

Análisis de stakeholder

MÉTODOS PARTICIPATIVOS

Acceso a recursosAnálisis de taréas

Mapping Análisis de necesidades

Pocket Charts Juego de roles

ÁrbolesRanking

Talleres:Planificación por objetivos

Marco lógico

MÉTODOS CUALITATIVOS

Observación directaGrupos de expertos

Entrevistas en profundidadEntrevistas desestructuradas

MÉTODOS CUANTITATIVOS

EncuestasAnálisis bivarianteAnálisis de clusters

Correlaciones

Page 34: Monitoreo y Evaluación para la Gestión para Resultados

Restricciones

Recursos disponibles (relación coste-calidad)

Información disponible (primer y segundo grado)

Disponibilidad a cooperar de los actores implicados (locales e internacionales)

Page 35: Monitoreo y Evaluación para la Gestión para Resultados

Impacto

A1 B1

A2 (con)

B2 (sin)

T1 (antes) T2 (después)

Con P

Sin P

Impacto: diferencia entre lo que ha pasado (el outcome) y lo que hubiera pasado

V. Estadística

V. Interna

V. Constructo

Page 36: Monitoreo y Evaluación para la Gestión para Resultados

Conclusión Motivo Objeto Criterio Evaluador Marco temporal Muestra Datos Análisis

Page 37: Monitoreo y Evaluación para la Gestión para Resultados

Sistemas de Evaluacion y Monitoreo

Page 38: Monitoreo y Evaluación para la Gestión para Resultados

Marco conceptual Para qué evaluar?

las múltiples funciones de la evaluación (visión estratégica para generar valor público)

Qué evaluar y a qué nivel hacerlo? el alcance de la evaluación

Qué hacer con la información? la relación entre el uso de la información y

el mejoramiento de la gestión

Page 39: Monitoreo y Evaluación para la Gestión para Resultados

Para que evaluar? Aprendizaje

De que? De quien? Se lograron los resultados esperados? Cómo alcanzar

mayores logros ? Cómo mejorar? Asignación

De que? De quien? Se debe re-considerar la asignación actual? (ofrecer

mas o menos recursos?) Se justifica mantener o eliminar la unidad evaluada o

sus partes? Legitimación

De quien? Respecto a quien? Cumple el gobierno sus promesas? Es efectivo? Es

transparente?

Page 40: Monitoreo y Evaluación para la Gestión para Resultados

País

Propósito declarado

ColombiaSINERGIA

Costa Rica SINE

Uruguay SEV

ChileSCPG SCG

Mejoramiento de la gestiónorganizacional

X X X

Asignación presupuestaria(racionalización del gasto)

X X X X

Mejoramiento de políticassectoriales y programas

X X

Planificación estratégica yglobal de las políticas

X X X

Responsabilización y rendimiento de cuentas

X X X X

Para qué evaluar los resultados de la gestión?

Page 41: Monitoreo y Evaluación para la Gestión para Resultados

Modernizacion & Democratizacion

Alemania

Holanda

80 90

ModernizacionDemocratizacion

Modernizacion Democratizacion

Page 42: Monitoreo y Evaluación para la Gestión para Resultados

Debate

Una orientación a los resultados de la gestión puede ...

...debilitar la democracia

... fortalecer la democracia

Page 43: Monitoreo y Evaluación para la Gestión para Resultados

Dos OrientacionesModelo

PlanModelo

Presupuesto

Enfasis en la responsabilización políticaFunción: Aprendizaje/legitimación

Enfasis en la responsabilización gerencialFuncion: Aprendizaje/Asignación

Organizado en función del Plan Nacional de Desarrollo

Organizado en función del ciclo presupuestario

Colombia: DNP - Departamento Nacional de Planeación Costa Rica: Mideplan - Ministerio de Planificación

Uruguay: OPP - Oficina de Planeamiento y Presupuesto Chile: DIPRES - Division de Presupuesto, Ministerio de Finanzas

Page 44: Monitoreo y Evaluación para la Gestión para Resultados

Evaluación de los resultados de la gestión pública paraObjetivos declarados Modelo

PlanModelo

Presupuesto

Modernizar:El mejoramiento de la gestión

Relaciona el desempeño con el

desarrollo de la política pública

[eficacia]

Relaciona el desempeño con la

asignación del presupuesto[eficiencia]

Democratizar:Responsabilización y transparencia

Principal criterio de responsabilización:

político[eficacia]

Principal criterio de responsabilización:

gerencial [eficiencia]

Page 45: Monitoreo y Evaluación para la Gestión para Resultados

Qué evaluar?

Que enfocar? Componente de cadena de valor Criterio

A que nivel? Macro (sector), Meso (organizacion), Micro (persona)

Page 46: Monitoreo y Evaluación para la Gestión para Resultados

Casos LA

NivelCOLOMBIA SINERGIA(mon&eva)

CSTA RICA SINE(monitoreo)

URUGUAY SEV(monitoreo)

CHILESSPG SCG(mon&eva)

Macro PNDSectores

PNDSectores

Meso Programas[agencias]

Programas Agencias

Agencias ProgramasAgencias

Micro Unidad de presupuesto

Niveles de desempeño

Page 47: Monitoreo y Evaluación para la Gestión para Resultados

Casos LA (2)

Chile :dos sistemas, muchos

componentes

Colombia :un sistema, tres componentes

Uruguay y Costa Rica: un sistema

(de monitoreo)

• SSPG (SEGPRES) Monitoreo de metas y objetivos

• SCG (DIPRES)Monitoreo y evaluaciones

•Monitoreo de objetivos y resultados

• Evaluaciones estratégicas

•Diseminación y rendimiento de cuentas

• Medición, monitoreo, rendición de cuentas

Page 48: Monitoreo y Evaluación para la Gestión para Resultados

Qué hacer con la información?

Preguntas claves sobre la información generada: Es confiable? Es accesible? Se consume? Produce consecuencias?

Page 49: Monitoreo y Evaluación para la Gestión para Resultados

Es confiable la información?

Credibilidad de la información depende de:

Quien decide los indicadores? Quien recoge los datos? Rigor metodológico, problemas de

medición Que hay detrás de un indicador?

Page 50: Monitoreo y Evaluación para la Gestión para Resultados

Se consume la información? Destinatarios/usuarios potenciales

Ejemplo Colombia Poder Ejecutivo

Ministerio de Planificación Ministerio de Hacienda Ministerios sectoriales (ministros) Jerarcas y funcionarios de varios niveles de gestión Presidente de la Republica Organismos de auditoria y control Oficina Nacional de Presupuesto

Poder Legislativo Parlamento

Sociedad civil Organizaciones Ciudadanos

Page 51: Monitoreo y Evaluación para la Gestión para Resultados

INE MEInformacion 1 Informacion 2

RetroalimentacionInformacion 3

Consultores

DecisoresGerentes……Ciudadanos

Usuarios 1

Usuarios 2

Informacion 4

Tipos de informacion & usuarios

Page 52: Monitoreo y Evaluación para la Gestión para Resultados

Costes

De inversion De funcionamiento:

Quien los cubre: Usuario de informacion Proveedor de informacion

Depende del formato de la informacion en:

En output En input

Page 53: Monitoreo y Evaluación para la Gestión para Resultados

Problemas Uso limitado de la información para la

toma de decisiones Información útil a nivel macro no es útil a

nivel meso (muy agregada) Tension respecto a usuario

Información llega demasiado tarde para ser útil

Información no es confiable para ser útil Tension: rigor vs. temporalidad/coste

No hay incentivos formales para usar la información

Page 54: Monitoreo y Evaluación para la Gestión para Resultados

Desafíos Uso limitado de la información

La información todavía no afecta el aprendizaje ni la asignación como se esperaba.

Avances técnicos, pero la información aun no es confiable, accesible, usable

Falta integración El ciudadano es el gran ausente de los sistemas

de evaluación de los resultados de la gestión Cuanta y que tipo de información proporcionar

al público toda info no es susceptible de ser publica

El ciudadano puede ser el garante para la sostenibilidad de estos sistemas.

Page 55: Monitoreo y Evaluación para la Gestión para Resultados

Nivel municipal Caracteristica principal:

cercania/interaccion general Positivo: integracion/coordinacion parece

menos problematica Negativo: paradoja global/local

Los representantes de los habitantes de las ciudades “suelen enfrentarse a una empresa imposible, se mire por donde se mira: la de encontrar soluciones locales a contradicciones globales” (p23).

Negativo: puede entorpecer funcionamiento.

Page 56: Monitoreo y Evaluación para la Gestión para Resultados

LEY ORGÁNICA DE LA LEY DE FINANZAS—LOLF

La Reforma del Sistema Presupuestario Francés

Page 57: Monitoreo y Evaluación para la Gestión para Resultados

La LOLF

•La LOLF del 1 de agosto de 2001 es una reforma profunda del sistema pressupostario y político del Estado francés

•La LOLF tiene un proceso de gestación (1998-2001) y de implementación (2001-2006) de 8 años.

•La LOLF afecta e integra el presupuesto con el programa de gobierno, con el sistema institucional democrático (parlamento) y revisa los criterios de ejercicio de la gestión pública.

Page 58: Monitoreo y Evaluación para la Gestión para Resultados

Aportaciones de la LOLF Pressupuesto por programas

vinculados al programa de gobierno Nueva contabilidad Nueva cultura de gestión y dirección

Flexibilidad responabilización directiva, control de gestión

Integración de sistemas de información y gestión

Page 59: Monitoreo y Evaluación para la Gestión para Resultados

Agentes de cambio

Anterior ordenanza de 1959: papel del parlamento limitado, falta

transparencia, rígida Nuevo contexto europeo

aboga por una mayor participación del Parlamento

Coyuntura política favorable Acuerdo histórico de ambas Asambleas

Page 60: Monitoreo y Evaluación para la Gestión para Resultados

Nueva arquitectura pressupuestaria Orientación a resultados no a gastos

Tres niveles:

Misiones [¬ políticas]

Programas

Acciones [¬proyectos & actividades]

Page 61: Monitoreo y Evaluación para la Gestión para Resultados

Las misiones

Estructuran el financiamiento (en vez de los ministerios)

Pueden comprometer varios ministerios

Pero cada mision tiene un único responsable

Hay 45 misiones 9 interministeriales

Page 62: Monitoreo y Evaluación para la Gestión para Resultados

Misión interministerial

•Formación superior e investigación universitaria•Vida estudiantil•Investigaciones científicas pluridisciplinarias•Investigación en el ámbito de la gestión de recursos y medios•Investigación espacial•Orientación y control de la investigación

•Investigación en el campo de los riesgos y la contaminación

•Investigación en el campo de la energía• Investigación industrial

•Investigación en el campo del transporte, del equipamiento y del hábitat

•Investigación dual (civil y militar

•Investigación cultural y científica

Educación nacional e Investigación

Ecología

Economía, Finanzas e Industria

Equipamiento

Defensa

Cultura

“Investigación y enseñanza superior universitaria”MINISTERIOS

Page 63: Monitoreo y Evaluación para la Gestión para Resultados

9 Misiones interministeriales1. Enseñanza escolar2. Solidaridad e integración3. Seguridad sanitaria4. Ayuda pública al desarrollo5. Investigación y enseñanza superior

universitaria6. Deporte y juventud7. Medios de comunicación8. Regímenes sociales y de jubilación9. Cuenta de asignación especial "Apoyo a los

medios de comunicación"

Page 64: Monitoreo y Evaluación para la Gestión para Resultados

Los Programas

•Reagrupaciones de créditos destinadas a poner en marcha un conjunto coherente de acciones que dependen de un mismo Ministerio.

•Es el nivel mínimo de vinculación jurídica

Page 65: Monitoreo y Evaluación para la Gestión para Resultados

Programas Cada misión se despliega en programas 149 programas Substituyen a los 848 capítulos

presupuestarios de la ordenanza de 1959. El gestor del programa tiene libertad casi

absoluta para reorganizar los créditos Fungibilidad asimétrica respecto a personal

personal otros: SI personal otros: NO

Page 66: Monitoreo y Evaluación para la Gestión para Resultados

Ejemplo de programas

Misión: Cultura

Programa 1: Patrimonio

Programa 2: Creación

Programa 3: Transmisión de conocimiento y democratización de la cultura

Page 67: Monitoreo y Evaluación para la Gestión para Resultados

Responsable de programa

Designado por ministro Define estrategia del programa Fija objetivos e indicadores Rinde cuentas al parlamento vía

informe anual

Page 68: Monitoreo y Evaluación para la Gestión para Resultados

Objetivos e indicadores Estos objetivos e indicadores deben

presentarse en los proyectos e informes anuales de resultados que debe acompañar al presupuesto.

Las categorías de objetivos a definir son tres:1. Los objetivos de eficacia socioeconómica2. Los objetivos de calidad de servicio3. Los objetivos de eficacia de gestión (o de

eficiencia)

Page 69: Monitoreo y Evaluación para la Gestión para Resultados

Tipo de Objetivo Programa Objetivo Indicador

Para los ciudadanos: objetivos de eficacia socioeconómica

Policía Nacional Reducir la delincuencia Tasa de resolución de crímenes y delitos

Para el usuario objetivos de calidad de servicio

Acceso al empleo Mejorar la eficacia de la relación entre la oferta y la demanda de empleo teniendo en cuenta la variedad de necesidades

Proporción de empresa que cuentan con personal d a través de la ANPE

Para el contribuyente: objetivos de eficacia de gestión (o de eficiencia

Conducir y controla la política de justicia y organismos adjuntos

Optimizar la gestión de los grandes proyectos informáticos

Porcentaje de exceso de coste contractual por proyectos superiores a 3 millones de euros

Tipos de objetivos

Page 70: Monitoreo y Evaluación para la Gestión para Resultados

El cambioANTES 30 CAPÍTULOS

Título III Recursos de los serviciosPersonal-Remuneraciones de actividadPersonal Jubilado-pensiones y asignacionesPersonal en actividad y en retiroMaterial y funcionamiento de los serviciosSubvenciones de funcionamientoGastos diversosTítulo IV-Intervenciones públicasIntervenciones políticas y administrativasAcciones sociales-Asistencia y solidaridadTítulo V-Inversiones ejecutivas para el EstadoEquipamiento administrativo diversoTítulo VI-Subvenciones de inversiones acordadas por el EstadoEquipamiento cultural y social

DESPUÉS 6 PROGRAMAS

Justicia administrativa

Justicia judiciaria

Administración penitenciaria

Protección Judicial de la juventud

Acceso y derecho a la justicia

Apoyo a la política de justicia y organismos adjuntos

Page 71: Monitoreo y Evaluación para la Gestión para Resultados

Las acciones

Los programes se depliegan en acciones

Las acciones agrupan créditos La distribución de los créditos entre

las diferentes acciones es orientativa

La liquidación es respecto a la aplicación final de los fondos

Page 72: Monitoreo y Evaluación para la Gestión para Resultados

Ejemplo de acciones del Programa “Política Nacional”

Acción 1: Orden público y protección de la soberanía

Acción 2: Seguridad y paz pública

Acción 3: Seguridad vial

Acción 4: Policía de extranjería y seguridad de transportes

internacionales

Acción 5: Policía judicial y ayuda a la justicia

Acción 6: Orden, formación y logística

Page 73: Monitoreo y Evaluación para la Gestión para Resultados

Las Acciones

Antes Ahora

Voto Título/Ministerios Misión

Especialidad Capítulo Programa

Información ArtículoPárrafo

Acción/título

Page 74: Monitoreo y Evaluación para la Gestión para Resultados

Enseñanza escolar

Enseñanza escolar pública:1º grado

En

señ

anza

pre

-ele

men

tal

Enseñanza escolar pública:2º grado

En

señ

anza

ele

men

tal

Nec

esid

ades

ed

uca

tiva

s p

arti

cula

res

Rec

luta

mie

nto

,

form

ació

n y

per

son

al e

n

situ

acio

nes

div

ersa

sS

ust

itu

ció

nC

on

tro

l y M

arco

p

edag

óg

ico

En

señ

anza

en

co

leg

ioE

nse

ñan

za g

ener

al y

te

cno

lóg

ica

en e

l lic

eoE

nse

ñan

za p

rofe

sio

nal

en

el l

iceo

Po

st b

ach

iller

ato

Ejemplo de acción

Page 75: Monitoreo y Evaluación para la Gestión para Resultados

Algunos alcances Simplificación del proceso de presentación

y discusión presupuestaria.

Con esto se pretende una visión completa y clara de las políticas públicas

La LOLF amplia las competencias de los Presupuestos anuales a ser presentados ante el Parlamento

Page 76: Monitoreo y Evaluación para la Gestión para Resultados

Ejemplo presentación de créditos

Presentación por tipo de gastos

Presentación por Política Pública

•Conociendo a la vez la repartición de créditos por política pública y por tipo de gastos, los parlamentarios disponen de mayor información

ProgramaPolicía Nacional

Acciones

Título 1Personal

Título 3 Funcionamiento

Título 5 Inversiones

Título 6Intervención

Orden Público y protección de la soberanía

Seguridad y paz pública

Seguridad vial

Policía de extranjería y seguridad del transporte internacional

Policía judicial y ayuda a la justicia

Orden, recursos humanos y logística

Page 77: Monitoreo y Evaluación para la Gestión para Resultados

FACTORES DE ÉXITO Una cadena de responsabilidades corta Implementación generalizada y estable Comparación permanente de resultados

con estándares La asociación de las personas a los

resultados institucionales: contractualización, reconocimiento, capacidades (escuela LOLF)

Page 78: Monitoreo y Evaluación para la Gestión para Resultados

La implementacion de la LOLF: “experimentaciones”

45 experimentaciones en 4 Ministerios se iniciaron en 2003

En 2004, ya se implicaban a más de 150 servicios y se centraba en una gestión globalizada de los recursos.

En el 2005, se referían a 65 programas y significaron 28 mil millones €.

El Ministerio de Educación Nacional y sus 33 academias; el Ministerio de Economía, Finanzas e Industria, y sus 144 direcciones Generales de Impuestos y el tercio de las Direcciones Regionales del INSEE; el Ministerio de Agricultura y sus 26 direcciones regionales de Agricultura y Bosque; así como el Ministerio de Justicia con sus 8 Cursos de llamada y sus 84 cárceles, representaban un 85% del perímetro financiero de las experimentaciones en 2005.

Page 79: Monitoreo y Evaluación para la Gestión para Resultados

ConfianzaEl Parlamento y el gobierno fijan sus objetivos con los gestores públicos y

les dan un amplio margen de maniobra para disponer de los

recursos entregados por la LOLF

GobernanzaEl gobierno y el Parlamento se apoyan en

nuevas herramientas de control y evaluación de la acción del Estado para orientar las

políticas públicas

LA LEY DE FINANZAS

Más democracia y más estrategia en la gestión

pública

LA LEY DE REGLAMENTO

Más transparencia en las cuentas

Una mejor evaluación de las políticas públicas

LA PUESTA EN MARCHA POR LA ADMINISTRACION

Más libertad y responsabilidad para los gestores públicos

TransparenciaLa administración rinde cuentas de su acción al Parlamento de manera más

precisa y fiable

DesempeñoA todos los niveles, la administración pasa de una cultura de medios a una

cultura de resultados

LOS RESULTADOS PARA LOS FRANCESES

•Más eficacia para los ciudadanos•Una mejor calidad de servicio

público para los usuarios•Un mejor coste para los

contribuyentes

El círculo virtuoso

de la LOLF

Page 80: Monitoreo y Evaluación para la Gestión para Resultados

La GpR en NYC

Mayor´s Management Report

Page 81: Monitoreo y Evaluación para la Gestión para Resultados

Elementos del sistema Informe del alcalde

44 agencias que proveen servicios directa e indirectamente

Indicadores adicionales Descripcion de indicadores Estadisticas vecinales 311 La tarjeta de resultados de calles limpias CapStat: Citywide Accountability Program [NYC: presupuesto de 54mil millones US$]

Page 82: Monitoreo y Evaluación para la Gestión para Resultados
Page 83: Monitoreo y Evaluación para la Gestión para Resultados

Informe del alcalde

Page 84: Monitoreo y Evaluación para la Gestión para Resultados
Page 85: Monitoreo y Evaluación para la Gestión para Resultados
Page 86: Monitoreo y Evaluación para la Gestión para Resultados

Informe 2: Indicadores

Page 87: Monitoreo y Evaluación para la Gestión para Resultados

Informe 3: Descripcion de indicadores

Page 88: Monitoreo y Evaluación para la Gestión para Resultados

Estadisticas vecinales

Page 89: Monitoreo y Evaluación para la Gestión para Resultados
Page 90: Monitoreo y Evaluación para la Gestión para Resultados
Page 91: Monitoreo y Evaluación para la Gestión para Resultados
Page 92: Monitoreo y Evaluación para la Gestión para Resultados

El servicio 311

Page 93: Monitoreo y Evaluación para la Gestión para Resultados
Page 94: Monitoreo y Evaluación para la Gestión para Resultados
Page 95: Monitoreo y Evaluación para la Gestión para Resultados

La tarjeta de resultados (scorecard)

Page 96: Monitoreo y Evaluación para la Gestión para Resultados

CapStat: CompStat

Page 97: Monitoreo y Evaluación para la Gestión para Resultados

CapStat: Campanya politica

Page 98: Monitoreo y Evaluación para la Gestión para Resultados

Bibliografia Performance evaluation, public management improvement and democratic

accountability. Sonia Ospina, Nuria Cunill Grau, Ariel Zaltsman. 2004. Public Management Review

Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano. Sonia Ospina Bozzi. Reforma y Democracia.

OCDE (1997) In search of results: Performance Management Practices. www.oecd.org/dataoecd/10/60/1902712.pdf

IMF Working Paper. Does Performance Budgeting Work? An Analytical Review of the Empirical Literature. Prepared by Marc Robinson and Jim Brumby

Evaluación del impacto de los proyectos de desarrollo en la pobreza. Manual para profesionales. Judy L. Baker. Banco Mundial. Washington, D.C.

Between Democracy and Efficiency: Trends in Local Government Reform in the Netherlands and Germany. F Hendriks, P Tops - Public Administration, 1999

Confianza y temor en la ciudad. Zygmunt Bauman. Arcadia, 2006.

Page 99: Monitoreo y Evaluación para la Gestión para Resultados

"En la medida en que las leyes de la matemática se refieren a la realidad, no son exactas, y en tanto son exactas, no se refieren a la realidad."

Albert EINSTEIN

Page 100: Monitoreo y Evaluación para la Gestión para Resultados
Page 101: Monitoreo y Evaluación para la Gestión para Resultados

Modernización de la administración pública en Reino Unido

Page 102: Monitoreo y Evaluación para la Gestión para Resultados

Modernización en UK Next steps empieza en 1988: separar

ejecución estructuras departamentales Carta ciudadanía (1991): provee estándares

de desempeño y satisfacción de cliente La oficina del servicio público (OPS, del

gabinete del primer ministro) y el Tesoro son actores principales.

Dentro del OPS se ha formado un equipo de Next Steps, una oficina de eficiencia, y una unidad de la carta de ciudadanía

Page 103: Monitoreo y Evaluación para la Gestión para Resultados

Next Steps La separación de agencia y estructura se

hace para incrementar la responsabilización en desempeño

Las agencias Next Steps cubren 2/3 de los empleados públicos

Es obligatorio formar parte de esta iniciativa Los objetivos los marcan los ministros

consultando las agencias

Page 104: Monitoreo y Evaluación para la Gestión para Resultados

Next Steps Objetivos relacionados con calidad, finanzas,

eficiencia y resultados (outputs) Cada agencia tiene un mix diferente de

objetivos El cumplimiento de objetivos se utiliza para

asignar recursos Link entre paga a individuo y contribución a la

organización

Page 105: Monitoreo y Evaluación para la Gestión para Resultados

Next Steps Hoy en día ya se asume que siempre

hay algo de interpretación en la medición y que componentes cualitativos son necesarios.

Los objetivos deben estar en control de las agencies por lo que se centran en eficiencia y

outputs más que en effectiveness y outcomes

Page 106: Monitoreo y Evaluación para la Gestión para Resultados

Next Steps

Problemas identificados Objetivos se centran en lo que se puede

medir, no en lo que es importante Fijación de objetivos lleva tiempo Prioridad a objetivos financieros y no en

calidad Planes tienen objetivos generales pero no

indicadores claros

Page 107: Monitoreo y Evaluación para la Gestión para Resultados

Carta ciudadanía

Ahora hay 42 cartas de ciudadanía cubriendo muchos servicios y miles de cartas de ciudadanía locales 

Page 108: Monitoreo y Evaluación para la Gestión para Resultados

Carta ciudadania La carta de ciudadanía se basa en 6 principios:

Estándares: fijar, monitorear y publicar estándares de servicios para ciudadanos

Información: accesible de manera clara y entendible respecto al costo y los resultados

Derecho a escoger y ser escuchado: el sector publico debe facilitar la opción a escoger y ha ser escuchado.

Cortesía: por parte de los empleados públicos que deberán ser identificables siempre (con etiquetas de nombres)

Page 109: Monitoreo y Evaluación para la Gestión para Resultados

Carta ciudadanía ...

Corregir: cuando las cosas no funcionan y dar explicaciones. Facilitar la tramitación de quejas por parte de los usuarios.

Valor por dinero (value for Money): servicios eficientes según la capacidad del país y evaluación de los resultados en función a los estándares por parte de entes independientes 

Los estándares se revisan al alza regularmente para mantener presión sobre las agencias.

Se empezó a con estándares de procesos (e.j. tiempo de espera en un hospital), pero actualmente ya se refieren a resultados (e.j.calidad de la educación).

Page 110: Monitoreo y Evaluación para la Gestión para Resultados

Carta ciudadanía

Nivel local Todas las autoridades de Inglaterra y Gales

mide su desempeño contra estos indicadores Publican el desempeño en un periódico local

Page 111: Monitoreo y Evaluación para la Gestión para Resultados

Carta ciudadanía Sobre los primeros indicadores propuestos:

Demasiados indicadores para ser interesantes para los ciudadanos; pero demasiados pocos para reflejar la complejidad

Indicadores determinados centralmente reducen autonomía local

Coste muy alto de recogida de información

Page 112: Monitoreo y Evaluación para la Gestión para Resultados

Unidad de eficiencia La Unidad de eficiencia ha hecho 400 revisiones

desde 1979 Las agencies del gobierno central se revisan

cada 5 años en base a los siguientes tests: Hace falta hacer la función? Necesita quedarse la función bajo responsabilidad

del gobierno? Puede privatizarse? Si no se puede, se puede subcontratar alguna parte? Si la función debe quedarse totalmente bajo

responsabilidad publica, debe delegarse a una agencia ejecutiva?

Page 113: Monitoreo y Evaluación para la Gestión para Resultados

Unidad de eficiencia Tres tipos de estudios “value for Money”:

Investigaciones selectivas debido a señales de desperdicio, ineficiencia…

Investigaciones para asegurar los resultados de proyectos importantes.

Revisiones de practicas de gestión individual. La unidad de eficiencia produce 30 informes cada

año.