PERSPECTIVAS DE LA EVALUACIÓN EN EL...

45
PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana Cruzado Dirección de Calidad del Gasto Público Dirección General de Presupuesto Público

Transcript of PERSPECTIVAS DE LA EVALUACIÓN EN EL...

Page 1: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL

Karina Peñaloza y Viviana Cruzado Dirección de Calidad del Gasto PúblicoDirección General de Presupuesto Público

Page 2: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

EVALUANDO LA GESTIÓN PÚBLICA

Page 3: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

PERSUPUESTO POR RESULTADO:PRIORIDAD DE ASIGNACIÓN Y BUEN DESEMPEÑO

DESEMPEÑO

PR

IOR

IDA

D

Con el PpR se busca que las asignaciones presupuestales

S/

respondan a los criterios de prioridad y desempeño.

Bajo Alto

Ba

jaA

lta

D A

C B

S/

* Sujeto a estabilidad fiscal

Page 4: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

DESEMPEÑO

PR

IOR

IDA

D

Page 5: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

5

OBJETIVO PPR 1:EFICIENCIA ASIGNATIVA

DESEMPEÑO

PR

IOR

IDA

D

Page 6: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

6

DESEMPEÑO

PR

IOR

IDA

D

OBJETIVO PPR 2:MEJORA DEL DESEMPEÑO

Page 7: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Programas Presupuestales

.

PR

IOR

IDA

D

DESEMPEÑO

Incentivos

EvaluaciónSeguimiento

PRESUPUESTO POR RESULTADO:HERRAMIENTAS

1. Evaluaciones de Diseño y Ejecución Presupuestal (EDEP)

55 EDEP (2008) 36 matrices de

compromiso

14 EI (2010)

2. Evaluaciones de Impacto

Page 8: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

PRESUPUESTO POR RESULTADOSLey N°28927 del Presupuesto del Sector Público

Estrategia de gestión pública que vincula la asignación de recursos a productos y resultados medibles.

• Artículo 81. Sobre la evaluación en elmarco del Presupuesto por Resultados

• Artículo 84. Generación de informaciónestadística para el seguimiento deindicadores y evaluación deintervenciones públicas

EVALUACIONES INDEPENDIENTES:ASPECTOS NORMATIVOS

EVALUACIONES INDEPENDIENTESLey N°28411 del Sistema Nacional de Presupuesto Público

Análisis sistemático y objetivo de una intervención pública.

• Articulo 6: Instrumentos de evaluaciónindependiente

• Evaluaciones de Diseño y EjecuciónPresupuestal: Análisis del diseño,implementación y desempeño de lasintervenciones públicas.

• Evaluaciones de Impacto : Estudios quebuscan generar evidencia en torno a losefectos directamente atribuibles a lasintervenciones públicas.

Page 9: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

EVALUACIONES INDEPENDIENTES:LINEAMIENTOS Y USOS

Aprendizaje sobre mejoras en la gestión pública de recursos

Toma de decisiones de política informadas

Rendición de cuentas

USOS

INDEPENDENCIA

LINEAMIENTOS

1.

RIGUROSIDAD TÉCNICA2.

TRANSPARENCIA3.

PARTICIPACIÓN DEL SECTOR4. DECIDIR

Page 10: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

PRIORIDAD SECTORIAL O DEL

GOBIERNO

RELEVANCIA DEL

PRESUPUESTO

COBERTURA DE LA

INTERVENCIÓN

NECESIDAD DE INFORMACIÓN

DE DESEMPEÑO

EVALUACIONES INDEPENDIENTES:CRITERIOS DE SELECCIÓN

Vinculado al Acuerdo Nacional, el Plan Estratégico de Desarrollo Nacional, ODS, Programa País de Acceso a la OECD, prioridades sectoriales

Relevancia presupuestal en la función

Requerimiento de evidencia para expansión o continuidad

Falta de información y consenso sobre efectividad

1.

2.

4.

3.

Page 11: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

i) Anexo 2 del PP

ii) EFP

1. Diseño programas

presupuestales

2. ProgramaciónFormulación

i) Proyecto de Ley

ii) Aprobación Ley en Congreso

3. Aprobación 4. EjecuciónFases del

Presupuesto

Hitos

Recomendacionesde las Evaluaciones Independientes

i) Directiva de Programación/ Formulación: sustentación ii) Ley Presupuesto: Demandas adicionales

i) Modificaciones presupuestarias

EVALUACIONES INDEPENDIENTESY EL CICLO PRESUPUESTAL

Page 12: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Evaluaciones de Diseño y Ejecución Presupuestal (EDEP)

Page 13: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Evalúa el diseño, la implementación y los resultados

de una intervención pública en marcha o culminada.

Marco lógico Flujo de procesos Análisis presupuesto

Las recomendaciones de las

EDEP llevan a la firma de

compromisos entre el MEF y la

entidad evaluada.

¿QUÉ ES UNA EDEP?

Page 14: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

FASES DE LA EDEP1.

2.

3.

4.

• Preparación TdR

• Selección de Evaluaciones independientes

Selección de IPE

• Comentarios

• Recomendaciones

Desarrollo de la Evaluación

• Definir acuerdos sobre

acciones, plazos y

responsables

• Firma de matriz

Firma de Compromisos

• Generar mecanismos para

facilitar cumplimiento de

compromisos.

• Reportar cumplimiento ante

espacios de accontability.

Seguimiento de Matrices

Page 15: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

1° INFORMEConstrucción de plan de evaluación

2° INFORMEConstrucción de análisis

INFORME FINALConstrucción de recomendaciones

1. El Punto de partida de la evaluación es la información de diseño, proceso y presupuesto/resultados, mas las reuniones con involucrados. Periodo de evaluación (3 últimos años)

2. No se busca hacer TODOS los contenidos de análisis sino aquellos vinculados a preguntas de evaluación.3. Las recomendaciones deben estar alineadas con las preguntas de evaluación.4. Tiempo de duración de la evaluación: 120 días efectivos

1. Parte 1: InformaciónDiseño de intervención.Procesos de implementación.Presupuesto y resultado.

2. Matriz de preguntas de evaluación.

3. Propuesta de contenidos de análisis (índice).

4. Parte 2: Análisis del diseño

1. Parte 1: Información.

2. Parte 2: Análisis según propuesta.

3. Resultados trabajo campo.

4. Conclusiones borrador.

1. Parte 1 y 2 información.

2. Conclusiones y recomendaciones validadas.

3. Resumen ejecutivo

LABORESiniciales

- Reuniones con MEF y sector evaluado para generar preguntas de evaluación.

- Plan de trabajo con definición de actividades.

CONTENIDOS CENTRALES DE LOS INFORMES DE LA EDEP

Page 16: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

PREGUNTAS DE EVALUACIÓN

La evaluación debe considerar los distintos niveles de maduración de la intervención (diseño, en marcha,consolidada con cambios en el beneficiario)

No todas las intervenciones tienen la mismas condiciones para ser evaluadas ni soportan las mismas preguntas

Preguntas de Evaluación Método de análisis/Fuente Información

Diseño

¿El modelo conceptual presentado cuenta con los componentes suficientes y necesarios para llegar al objetivo atribuible al Programa / Intervención?

Sistematización de evidencias / Revisión de literatura

¿La población objetivo ha sido bien definida en función del problema / necesidad que dio origen a la Intervención?

Análisis cualitativo / cuantitativoRevisión secundaria

Procesos de Implementación

Es adecuada la estructura organizacional del Programa / Intervención? ¿Cuáles son las principales barreras institucionales para entregar los servicios/bienes considerados por la intervención?

Análisis cualitativoRevisión documental / Entrevistasfuncionarios

Identificar en cada uno de los sub-procesos, los cuellos de botellas para la entrega de los bienes y/o servicios. Asimismo, identificar los responsables de tomar acciones

Mapeo y documentación de los procesos / Revisión documentos normativos, fuentes secundarias y trabajo de campo

Presupuesto y Resultados

¿Las acciones del Programa / Intervención son ejecutadas y los bienes y servicios son generados incurriendo en el menor costo unitario posible (en comparación con alguna intervención que otorgue servicios similares o un referente internacional)?

Análisis presupuestal / SIAF y bases de datos del Programa

Page 17: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Avances en las EDEP 2008-2016›Las EDEP realizadasaumentaron de 4 en 2008, a 55 a julio del 2016.

Distribución de EDEP realizadas según sector, 2008-2016

2016

2016

Page 18: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Distribución de EDEP realizadas según sector, 2008-2016

2016 Cuna Más

2016 Programa Pensión 65

Avances en las EDEP 2008-2016

›Las EDEP realizadasaumentaron de 4 en 2008, a 55 a julio del 2016.

Page 19: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

› El porcentaje del presupuesto evaluado aumentó de 0% a 32% entre 2007 y 2015.

Avances en Evaluaciones de Diseño y Ejecución Presupuestal (2012-2015)

2012 2013 2014 2015Porcentajes de avance

A Presupuesto Evaluado modificado acumulado (1) 102,236 113,590 79,190 129,276

BAvance del Presupuesto Evaluado modificadoacumulado, %

12.0 15.9 23.9 32.0

Notas: (1) En millones de nuevos de nuevos soles corrientes. Se considera el PIM correspondiente a cada año, excluyendo el presupuesto de la deuda y pensiones. (2) Porcentaje con relación al presupuesto total , excluyendo el presupuesto de la deuda y pensiones.

INDICADORES EDEP

Page 20: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Los usos principales de las EDEP se dan en tres frentes:

i) Mejorar la gestión institucional: Se realizaron eventosde difusión a tomadores de decisión, se publicaron 9resúmenes ejecutivos y 8 se encuentran enelaboración

ii) Compromisos para mejorar las intervencionesevaluadas: Existe un avance de aproximadamente 50%en los compromisos (*).

iii) Uso de los resultados en la gestión presupuestaria:Avances en la normatividad del Sistema Nacional dePresupuesto que vinculo uso de evaluaciones contoma de decisión.

http://www.mef.gob.pe/index.php?option=com_content&view=article&id=3332&Itemid=101532&lang=es

TRES FRENTES:

(*) Dato preliminar

USOS EDEP

Page 21: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

EDEP y el ciclo presupuestal

• Se define el

listado de

intervenciones

a evaluar.

Ley Anual de Presupuesto Público

Page 22: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

EDEP y el ciclo presupuestal

• Se estipula la

firma de

matrices entre

entidad

evaluada y MEF

Artículo 17ºLey Anual de Presupuesto Público

Page 23: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

EDEP y el ciclo presupuestal

• Se indica que el

cumplimiento de

compromisos es

requisitos para la

asignación de

recursos

adicionales.

Ley Anual de Presupuesto Público

Page 24: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Cartera de EDEP

Intervención Pública Evaluada Sector

PP Mejoramiento de la Empleabilidad e Inserción Laboral –PROEMPLEO

Empleo

Especializaciones a Formadores y Acompañantes de Instituciones Educativas Públicas (PELA)

Educación

PP Incremento de la práctica de actividades físicas, deportivas y recreativas en la población peruana

Educación

Acciones y procedimientos de DIGESA relativos al recurso hídrico Salud

Tamizaje y atención de Hipertensión Arterial y Diabetes, del Programa Presupuestal Enfermedades No Transmisibles

Salud

Acciones de mantenimiento y de aquellas dirigidas a garantizar la seguridad vial en el transporte terrestre

Transportes y Comunicaciones

Iniciativas de apoyo a la Competitividad Productiva - PROCOMPITE Economía y Finanzas

PP Gestión integral de residuos sólidos Ambiente

Page 25: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Intervención Pública Evaluada Sector

Intervenciones en vivienda social y entorno de la vivienda delMinisterio de Vivienda, Construcción y Saneamiento.

Vivienda

Programa Presupuestal “Aprovechamiento de lasoportunidades comerciales brindadas por los principalessocios comerciales del Perú”.

Comercio Exterior y Turismo

Programa Presupuestal “Desarrollo de la ciencia, tecnología einnovación tecnológica”.

Presidencia del Consejo de Ministros

Programa Presupuestal “Acceso de hogares rurales coneconomías de subsistencia a mercados locales” y ProgramaPresupuestal “Mejora de la articulación de pequeñosproductores al mercado”.

Desarrollo e Inclusión Social

Fondo de Promoción a la Inversión Pública Regional y Local(FONIPREL).

Economía

Acciones vinculadas a la promoción y desarrollo de industriasculturales

Cultura

Cartera de EDEP

Page 26: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Evaluaciones de Impacto

Page 27: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

27

Productos

Identifica si política contribuye al logro de resultados

Dimensiona la magnitud del impacto

Identifica los componentes a través de los cuáles la intervención genera mejoras

Diferencia impactos según grupos poblacionales

Diferencia impactos según intensidades de tratamiento

Sostenibilidad de los impactos

Descomponer impacto

¿QUÉ ES UNA EVALUACIÓN DE IMPACTO?

Mide los efectos enteramente atribuibles a la intervención sobre los resultados de interés, mediante la estimación de escenarios

contra-factuales y metodologías rigurosas.

Page 28: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Preguntas de Evaluación Método de análisis/Fuente Información

¿Cuál es el efecto de un programa de entrenamiento laboral en los ingresos de los beneficiarios?

Atribución básica

¿Cuánto cambió el número de horas trabajadas por los adultos mayores en Pensión 65 respecto a los que no reciben la subvención económica?

Atribución básica

¿El impacto del Acompañamiento Pedagógico sobre los logros de aprendizaje es alto o bajo ? ¿La intervención es costo – efectiva?

Costo - Efectividad

¿El impacto sobre la tasa de inserción laboral (empleo) de los beneficiarios de Beca 18 es mayor en becarios de institutos o en becarios de Universidades?

Impactos heterogéneos por componentes

¿El impacto sobre el acceso a servicios de salud y horas de trabajo es mayor en los AM que tienen más tiempo afiliados a Pensión 65, respecto a los que llevan menos tiempo?

Intensidad del tratamiento (multidosis)

¿El impacto de JUNTOS sobre la tasa de matrícula es significativo o mayor en niños o en niñas? Impactos heterogéneos por población

¿Los impactos del AP son sostenibles? Efectos en el tiempo

¿Los impacto de los esquemas de incentivos en salud, se mantienen cuando se elimina el incentivo?

Sostenibilidad de los impactos

PREGUNTAS DE EVALUACIÓN

Page 29: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Intermedios

Productos

Actividades

Insumos

Finales

Imp

lem

enta

ció

nR

esu

ltad

os

Dis

o

• Se evalúan programas, productos, actividades,proyectos de inversión, políticas nuevas, en cusoo concluidas

• Se compara lo que ocurrió respecto a lo quehabría ocurrido en la ausencia del programa(contrafactual)

• Requiere grupo de control válido (condición deevaluabilidad) y aplicación de metodologíasrigurosas

• Requerimiento de información es alto:mediciones de línea de base y de seguimientoadhoc y muestras representativas y con potencia)

EVALUACIÓN DE IMPACTO

Page 30: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

30

EVALUACIÓN DE IMPACTO

RETROSPECTIVASCuasi-experimentales

X Después de la intervención (ex post)

X Sin línea de base adhoc ni muestras representativas.

Fuentes: ENAHO, ENDES, ENEDU, ENAPRES, registros administrativos o mediciones especiales.

PROSPECTIVASExperimentales+Cuasi-experimentales

Antes y durante la intervención

X Horizonte multianual

Mediciones de línea de base y de seguimiento a muestras representativas.

Trabajo conjunto con sectores e INEI para recojo de información (flexibilidad y calidad técnica)

X Requiere un monitoreo continuo a la muestra de evaluación y estado de intervención

Alto compromiso del sector evaluado

Page 31: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Teoría de cambio

Preguntas de evaluación

Metodología

Datos

Análisis

Diseminación de resultados

Uso y recomendaciones para políticas públicas

Entender el contexto del programa, objetivos, componentes y población relevante

Determinar cómo se puede evaluar la intervención

Línea de base y mediciones de seguimiento, desarrollo de instrumentos de mediciónFuentes: operativo de campo, información administrativa

Análisis estadístico y econométrico para medir impactos

Cadena de resultadosDefinir variables sobre las que se evaluaría el impacto

La DGPP dirige, participa y/o supervisa cada una de estas etapas.

FASES DE LA EVALUACIÓN DE IMPACTO

Page 32: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

• Evaluaciones retrospectivas que emplea información delseguimiento del desempeño y registros administrativos(desde 2010)

• Énfasis en evaluaciones prospectivas de alta calidad y conhorizontes de evaluación multianuales para programasnuevos

• La participación del MEF desde el diseño de la evaluaciónasegura su independencia y uso en ciclo presupuestario

• 16 evaluaciones de impacto de alta calidad y rigurosidad académica

• 8 evaluaciones culminadas

• 7 en curso en diferentes sectores, sociales y productivos, seleccionadas en base a su relevancia presupuestal actual y futura, prioridades sectoriales y necesidad de información acerca de su expansión

Las EVI brindaron estudios basados en metodologías especializadas que den cuenta de la eficacia, atribución de políticas, así como el costo - efectividad de las intervenciones públicas.

Page 33: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

33

Continuar, limitar o expandir

intervenciones

Redistribuir recursos entre

componentes para potenciar

impacto

Condicionar asignación de

recursos a mejoras en el

diseño (focalización,

priorización) e implementación

Generar evidencia que

sustente intervenciones

públicas.

Usos Evaluaciones de impacto

Vínculo con asignación presupuestal

¿Cuánto?

¿Cuándo?

¿Qué?

• Identificar

componentes más

efectivos.

• Identificar impactos en

el corto, mediano y

largo plazo

• Valorar el impacto del

programa: Costo–Beneficio y

Costo-Efectividad

Atribución de las políticas

públicas en el logro de

resultados

Mejorar la calidad del gasto

Page 34: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Piloto Retén Franco

Sector: Interior

Intervención evaluada

Programa Articulado Nutricional

Sector: Salud

Construyendo Perú

Sector: Trabajo

Acompañamiento Pedagógico

Sector: Educación

El Programa no fue expandido.Implicó un ahorro de S/. 1,384mill.

Uso

Los resultados permitieronvalidar la importanteasignación de recursos al PP

Se restringió la poblaciónobjetivo del PP y losrequerimientospresupuestales asociados

Se cambió la focalización deescuelas beneficiarias

No se encontró evidencia robusta que el Piloto contribuya a la reducción de la incidencia de robo. No es costo efectiva

Impactos significativos en lareducción de la desnutrición crónicainfantil.

Se encuentra evidencia de impactosde corto plazo sobre los ingresosque no se sostienen en el medianoplazo.

Mayor impacto en el logroacadémico en escuelas polidocentes urbanas.Impacto sobre el aprendizaje enmatemática es mayor que encomprensión lectora

Resultados

El uso de las EVI ha abarcado múltiples sectores y son base de recomendaciones y acciones de mejora.

Page 35: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

35

Intervención Principales hllazgos

Acompañamiento

Pedagógico a docentes

(2009 -2012)

Sector: Educación

Visitas en aula

microtalleres

materia: matemática y comprensión

lectora

Nivel de logro de aprendizaje en matemática

Nivel de logro de aprendizaje

en comprensión lectora

Recomendar Continuidad, pero no

expansión hasta mejoras en el diseño

Revisar protocolos y estrategias

diferenciadas por materia

Diseñar estrategias diferenciados para

contextos multigrado, bilingües y rurales

(SPI)

Mayor nivel de aprendizaje en comprensión lectora y en matemática (en el tercer año)

El impacto sobre el aprendizaje en matemática es mayor que en comprensión lectora

Mayor impacto en las escuelas polidocentes completas que en las escuelas multigrado.

• Mayor impacto en el aprendizaje en matemática en escuelas urbanas

• No hay efecto adicional si el docente recibe más de dos años de AP

Decisiones Indicadores de resultado

Supervisar implementación en zonas rurales (con mayor rotación )

Focalización : escuelas primarias (1 y 2do grado) priorizadas Nª de años que

docente recibe intervención por grados

USOS Y RECOMENDACIONES:CASO ACOMPAÑAMIENTO PEDAGÓGICO

Page 36: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Resultado: Equidad en el acceso a educación superior, garantizando permanencia y culminación.

IESUniversidades

Institutos

Carreras

Ciclo 0

Tutoría

Acceso, permanencia y

culminación

Rendimiento académico

Empleo

Capital social

Habilidades no-cognitivas

Componentes

BecaPriorizar IES (calidad)

Priorizar carreras

Eliminar/reforzar Ciclo 0 y Tutorías

Mejora del diseño del PP

Estrategias para priorizar U e IST

Toma de decisiones:

(re)Definir Número de becas

IES elegibles

Subsidio

Correlacionar impacto con distintos aspectos de la intervención (efectos heterogéneos)

Mejor desempeño en Universidades

Tutorias aumentan notas en universidades

Reduce empleo no calificado

Acceso a mejores IES (calidad)

Matrícula oportuna

Reduce deserción en IST

USOS Y RECOMENDACIONES:CASO BECA 18

Page 37: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

INTERVENCIÓN TIPO / METODOLOGÍA ESTADO VAR. DE RESULTADO

Fondo Mi Riego

Agricultura

Prospectiva

Cuasi-experimental: RDD (espacial)

+ DiD

• Línea de Base en 2014

• Informe de LdB en elaboración

• Follow-up para 2016

Ingresos agropecuarios; valor de

la producción; rendimiento y

diversificación de cultivos

Pensión65

Desarrollo e Inclusión social

Prospectiva

Cuasi-experimental:

RDD

• Línea de Base en 2012

• Follow-up 2015

• Informe finalizado

Oferta laboral, acceso a servicios

de salud, gasto y consumo del

hogar, salud física y emocional

Cuna Más Acompañamiento a

familias (Rural)

Desarrollo e Inclusión social

Prospectiva

Experimental: aleatorización

• Línea de Base en 2013

• Follow-up para 2015

Desarrollo infantil

Juntos

Desarrollo e Inclusión social

Prospectiva

Cuasi-experimental:

Matching + DiD

• Línea de Base en 2011

• Informe LdB finalizado

• Follow-up para 2015

Incidencia de pobreza;

desnutrición infantil

asistencia y atraso escolar

Redes Educativas Rurales

Educación

Matching + DiD • Línea de Base 2012

• Follow-up para 2015

Logros de aprendizaje

37

AGENDA DE EVALUACIONES DE IMPACTOEN CURSO

Page 38: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Evaluación EDEP Evaluación de impacto

¿Cuán bien está organizado el servicio de Acompañamiento en las Regiones?

¿Se cumplieron los protocolos en la implementación respecto del número de docentes por acompañante y el número de visitas por semestre?

¿El servicio de formación de los acompañantes abarca todas las áreas curriculares?

¿El acompañamiento pedagógico ha generado algún impactoatribuible en los logros de aprendizaje de estudiantes de 2do grado?

¿Cuál ha sido la magnitud de dichos impactos?

¿Hay impactos diferenciados por tipo de escuela y por ámbito?¿Hay impactos diferenciados por año de implementación¿Hay impactos diferenciados por intensidad de tratamiento?¿Cuál es el ratio beneficio - costo?

EVALUACIONES INDEPENDIENTESCASO APLICADO: ACOMPAÑAMIENTO PEDAGÓGICO

Page 39: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

8 documentos breves dirigidos a operadores de los sectores, evaluadores, miembros de la DGPP.

10 policy briefs dirigidos a los tomadores de decisiones.

1 documentos de difusión masiva de la herramienta EDEP, donde se explica en forma sencilla el instrumento

1 Evaluación a la herramienta EDEP, donde se presentan recomendaciones con el fin de fortalecer el proceso de implementación de las EDEP

ESTRATEGIAS DE DIFUSIÓN

Page 40: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

LECCIONES APRENDIDAS Y RETOS EN EL PANORAMA POST ELECTORAL

Page 41: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

1. El compromiso y la participación de los sectores es clave.

2. Las EDEP y las EI son complementarias: Ambas potencian la evidencia sobre el desempeño de laintervención

3. Las matrices de compromisos brindan el espacio para que los especialistas prioricen las mejorasnecesarias producto de la evaluación

4. La apropiación de resultados a nivel técnico es fundamental para impulsar las mejoras en eldesempeño de las intervenciones.

5. La generación de contrapartes técnicas a través de desarrollo de capacidades en los Pliegos escrítico para el buen desarrollo de las evaluaciones

6. Establecer condiciones técnicas de las intervenciones nuevas para su futura evaluación deimpacto y condiciones expansión a resultados (DS, ley de presupuesto)

7. Mayores riesgos de evaluaciones prospectivas con horizontes temporales multianuales

8. Fortalecer la información administrativa para abaratar costo de evaluaciones y obtenerresultados relativamente pronto

LECCIONES APRENDIDAS

Page 42: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Legitimidad y credibilidad de las Evaluaciones como instrumento para la toma de decisiones Definición de la agenda de evaluaciones concertada con los sectores y con las direcciones del MEF Mayor difusión de los criterios para la definición de la agenda de evaluación Comisión Consultiva de Evaluaciones Independientes, creada mediante DS 108-2016-EF

Adaptación del formato de las Evaluaciones a las necesidades particulares de cada Intervención Pública Evaluada

Diversos tipos de Evaluación:i. EDEPii. Impactoiii. Evaluación Rápida de Diseñoiv. Evaluación de Procesosv. Evaluación Estratégica (Políticas Públicas)

Estandarizar procesos (peer reviewers)

Potenciar su uso en las políticas públicas Motivar a los encargados de las evaluaciones y la Alta Dirección de las Entidades la importancia de la

evaluación, no como un elemento punitivo, sino para mejorar los procesos de la gestión pública Espacios para la difusión de los resultados de la evaluación entre la ciudadanía y demás actores no-

gubernamentales

RETOS

Page 43: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

Retos

Fortalecer la oferta para Evaluaciones Fortalecer capacidad de evaluación: firmas consultoras, equipos en entidades públicas, cultura evaluación Generar mercados de proveedores para terciarizar etapas de las evaluaciones

Generar mecanismos para facilitar cumplimiento de compromisos.

Mejorar oportunidad de evaluaciones de impacto

Page 44: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

LOGROS

Reconocimiento en los Premio 2016 a las Buenas Prácticas en Gestión Pública (BGP)

Finalista en el II Premio Anual 2016 GESTIÓN PARA RESULTADOS (COPLAC)

1.

2.

Page 45: PERSPECTIVAS DE LA EVALUACIÓN EN EL ...evalperu.org/sites/default/files/news/files/Panel...PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana

¡GRACIAS!