Conocer para Incluir

Agenda

• Estrategia Nacional Conocer para Incluir• Marco Institucional del Seguimiento, Evaluación

y Gestión de la Evidencia• El Plan Anual de Evaluaciones 2013• Gestión de la Evidencia• Encuesta a consultoras

Estrategia Nacional Conocer para IncluirConjunto de acciones orientadas a desarrollar un aprendizaje continuo que busca conectar a la población con

los programas sociales, y la evidencia con el diseño e implementación de las políticas públicas.

Focalización

Padrón General de Hogares (SISFOH)

Registro Nacional de Usuarios de

programas sociales

Seguimiento

Listas de chequeo

Tableros de Control

Sistema de Información Geo-

referenciados

Evaluación

Plan Anual de Evaluaciones

Evaluaciones de impacto

Evaluaciones de desempeño

Estuidios pilotoRevisiones

sistemáticas( Tercerizado a

consultoras independientes)

Gestión de Evidencia

Informe de Recomendaciones

Planes de Mejoramiento Continuo ( En algunos casos tercerizados )

Seguimiento a los planes de

mejoramiento continuo

Vice Ministerio de Políticas y Evaluación Social

Dirección General de Seguimiento y Evaluación

SINADIS

Evidencia

Lineamientos de S,E & GE: Plan Anual de

Evaluaciones MIDIS

Rector de la evaluación y gestión de la evidencia de la política social nacional: Programas sociales otros sectores (GN) y Programas sociales GGRR y GGLL

Marco legalLos requerimientos por evaluaciones independientes se incrementarán con el SINADIS

Ejecutor del S&E de las políticas, planes, programas y proyectos MIDIS

22 evaluaciones en el 2013

Plan Anual de Evaluaciones del MIDIS

• 8 evaluaciones de impacto• Socios estratégicos: MEF,

Banco Mundial y BID• Recursos por S/12,070,393• De los cuales a concurso

S/ 4,026,115 (2013 y 2014)

Evaluaciones de Impacto

• Lideradas por el MIDIS• 14 evaluaciones de

desempeño (proceso, diseño, resultado y específicas)

• Recursos por S/ 1,600,000

Evaluaciones de desempeño y pilotos

Eje Programa Evaluación Montos

Eje 1 y 2 Cuna Más Elaboración de estudios en el marco del rediseño del servicio de cuidado diurno del Programa Nacional Cuna Más.

Estudio de mercado

Eje 1,2 y 3 Juntos

Evaluación específica de la disponibilidad de oferta de servicios de educación y salud en las zonas donde opera Juntos.

Estudio de mercado

Evaluación específica del rol de las madres líderes en la realización de los procesos operativos.

S/. 125,698

Evaluación de procesos respecto de los mecanismos de convocatoria para los procesos de afiliación.

S/. 185,000 (referencial)

Evaluación específica de la capacidad del programa para verificar las corresponsabilidades.

Estudio de mercado

Eje 5 Pensión 65 Evaluación específica respecto del uso de la transferencia económica a los beneficiarios.

S/. 300,000 (referencial)

MCLP Balance del desempeño. S/. 132,738

Montos a Licitar en el 2013

Generación de evidencias

Gestión de evidencias

Toma de decisiones basada en evidencias

Gestión de la EvidenciaNuestro foco no es sólo en la generación de la evidencia, sobretodo es el uso de la evidencia

Intervenciones más eficientes

y efectivas

Viabilidad de las recomendaciones

Intervenciones más eficientes

y efectivas

Elaboración de recomendaciones de la evaluación

• Equipo de evaluadores

• Estándares de calidad de las recomendaciones

• Sistematización de evaluaciones

• Revisiones sistemáticas

Análisis de viabilidad de recomendaciones

• Equipo de gestores y expertos en análisis político, técnico, económico y social

• Revisión de las recomendaciones con el programa evaluado y las autoridades institucionales

Recomendaciones viables y propuesta de mejora, cambio o creación

• Equipo de gestores

• Reporte técnico de la DGSYE con recomendaciones

• Seguimiento de las recomendaciones

Planes de Mejoramiento Continúo

Intervenciones más eficientes

y efectivas

Plan Anual de Evaluaciones

Informe de Evaluación de terceros

Análisis de viabilidad de las recomendaciones e

Informe de Recomendaciones DGSYE

Plan de Mejoramiento Continuo (Programa-

DGSYE-Tercero)Uso de la evidencia

Resultados Esperados

Uso de la evidencia e informaciónRecomendaciones

implementadasMejoras y ajustes realizados

en los programas

Gestión de la evidenciaRecomendaciones viables

basadas en la mejor evidenciaSeguimiento de planes y compromisos de mejora

Generación de EvidenciaEvaluaciones , análisis predictivo y revisiones sistemáticas

Medida de Éxito: Uso de la evidencia

Encuesta sobre experiencia en contrataciones con el EstadoObjetivo de la encuesta:

• Conocer la experiencia de las empresas consultoras y centros de investigación en contrataciones con el Estado peruano en general.

• Detectar los principales problemas enfrentados.

• Identificar oportunidades de mejora.

Número de empresas que participaron: 14

Fecha en las que se aplico la encuesta: Abril - Mayo de 2013

Nota: las respuestas no se refieren necesariamente a experiencias en contrataciones con el MDIS sino que hacen referencia a procesos de contratación con cualquier entidad del Estado.

Experiencia en contrataciones con el Estado¿Alguna vez alguna oficina del Estado le ha solicitado una propuesta técnica/financiera para un estudio de mercado?

¿Cuál ha sido su experiencia respecto a las cotizaciones para estudio de mercado solicitadas por el Estado?

Aspectos positivos mencionados:

• Tiempo adecuado para presentar cotizaciones.• Términos de referencia claros.

Aspectos negativos mencionados:

• Solicitud de mucha información administrativa (formatos especiales, documentación legal, brochures, etc)

• Alto costo de preparar cotizaciones.• Plazos muy cortos • Trato autoritario hacia el proveedor.• No hay incentivos para cotizar.:

• No se premia en el proceso de selección.• Indicios de procesos dirigidos.• No se invita al consultor que cotizó cuando se

lanza el concurso.

Experiencia en contrataciones con el Estado¿Cómo calificaría su experiencia en contrataciones previas con el Estado peruano?

¿Cuáles han sido las principales dificultades encontradas en contrataciones con el Estado peruano (I) ?

• Costos referenciales muy bajos y no alineados a los requerimientos técnicos.

• Poca difusión de las convocatorias.

• Dificultades administrativas para compra de bases.

• Requerimientos que no existen en el mercado y limitan la competencia (ej. PhD en turismo o colegiaturas que no existen)

• Requisitos injustificados que llevan a declarar desierto un proceso

• Exceso de documentación.

• Procesos aparentemente dirigidos.

• TdRs ambiguos, mal hechos, incompletos o sin sustento técnico.

• Demoras en pagos por cambios políticos e institucionales.

• Penalidades injustas o demoras en pago por retraso en la conformidad del servicio (tiempos no imputables al consultor).

• El sistema no valora la calidad de la propuesta técnica y gana el de menor precio.

Aspectos que se pueden mejorar MIDIS• Conocer la oferta existente en el mercado para no poner requisitos que limiten la competencia.

• Mejorar la calidad técnica de los TdRs.

• Simplificación administrativa.

• Incluir más procedimientos de transparencia. Por ejemplo, publicar tablas de calificación, estado del proceso, empresas que están concursando, etc.

• Difusión de procesos por vías distintas al SEACE (correo electrónico, Redes profesionales).

• Incrementar la transparencia. Ej. publicar tablas de calificación, estado del proceso, empresas que están concursando, etc.

• Mejorar la comunicación entre las áreas de negocio que requieren el servicio y las áreas de logística

• Pre-publicar TdRs para opinión a fin de evitar requisitos absurdos.

• Incluir cláusulas que liberen de la penalidad por demora a la consultora por causas no imputables a la misma.

• Evaluar la calidad de las propuestas técnicas y dar mayor puntaje a los que aportan valor al servicio requerido

Aspectos que se pueden mejorar Consultoras

• Conocer el proceso de contrataciones del Estado (Ej. Propuesta no se acepto porque vino en 1 sólo sobre cuando las bases decía 2 sobres, consultora cumplió todas las calificaciones técnicas pero presentó una propuesta económica por arriba del máximo)

• Brindar retro-alimentación al MIDIS (Ej. Pidiendo reuniones).

• Asistir a todos los eventos de capacitación que organice el MIDIS.

• Tomar muy seriamente el estudio de mercado: Muchas empresas no se presentan y este proceso es el que determina el precio.

• Presentar una propuesta técnica sólida.

• Documentación que se presenta debe ser clara siguiendo los requisitos de los TdRs (Ej constancias de trabajo deben especificar fechas exactas y breve descripción y/o mención del puesto, traducciones en español)

Portal web de la Dirección de Seguimiento y Evaluación del MIDIS

http://www.midis.gob.pe/index.php/es/direc-general-de-seguimiento-y-evaluacion/direccion-de-evaluacion-de-politicas-sociales

ANEXOS

1. ¿Alguna vez alguna oficina del Estado le ha solicitado una propuesta técnica/financiera para un estudio de mercado?

2. ¿Cuál ha sido su experiencia respecto a las cotizaciones para estudio de mercado solicitadas por el Estado?

3. ¿Cómo calificaría su experiencia en contrataciones previas con el Estado peruano?

4. ¿Cuáles han sido las principales dificultades encontradas en contrataciones con el Estado peruano?

5. ¿Qué aspectos considera usted que podrían mejorarse para facilitar los procesos de contrataciones con el Estado?

Preguntas

PAE 2013: Evaluaciones de impacto

PAE 2013: Otras evaluaciones (I)

PAE 2013: Otras evaluaciones (II)

Qal

iWar

ma

“Evaluación de impacto del programa Qali

Warma (fase diseño)”

Datos generales: Unidad orgánica o programa social:

Programa Nacional de Alimentación Escolar “Qali Warma”

Objetivos del programa: Programa que brinda un servicio alimentario de calidad, adecuado a los hábitos de consumo locales, cogestionado con la comunidad, sostenible y saludable, para niños y niñas del nivel de educación inicial a partir de los 3 (tres) años de edad y del nivel de educación primaria de la Educación Básica en instituciones educativas públicas.

Eje de la estrategia “Incluir para Crecer” al cual pertenece:

Eje 3: Desarrollo Integral de la Niñez y la Adolescencia

Datos de la evaluación: Rol de la DGSYE: Líder de la evaluación Tipo de evaluación: Evaluación de impacto Objetivo: Determinar el impacto del Programa Qali Warma en niños y

niñas que asisten a instituciones educativas públicas de nivel inicial y primaria

Metodología: Regresión Discontinua o Modelo de Diferencias en Diferencias con Emparejamiento en Cuantiles

¿Qué se mide? Mejora en la ingesta de alimentos (calidad y cantidad) para facilitar las condiciones de aprendizaje de los niños y niñas que asisten a instituciones educativas públicas de nivel inicial y primaria

Presupuesto del programa: S/. 1 069 millones de nuevos soles Costo aproximado de la evaluación:

S/ 1,806,000 (aproximados línea de base)

Fuentes de financiamiento: Banco Mundial Recursos ordinarios del MIDIS

Principales hitos*: Preparación del levantamiento de la línea de base (2013) Informe de línea de base (1er semestre de 2014) Informe final (2do semestre de 2014)

pens

ión

65

Junt

os

Junt

os

“Evaluación de procesos respecto de los mecanismos de convocatoria para los

procesos de afiliación del Programa Nacional de Apoyo Directo a los más Pobres –

JUNTOS” Datos generales: Política, plan, programa o proyecto social:

Programa Nacional de Apoyo Directo a los más Pobres – JUNTOS.

Objetivos del Programa: Contribuir a la reducción de la pobreza y a romper la transmisión intergeneracional de la pobreza extrema, a través de la generación de capital humano en hogares en condiciones de pobreza en corresponsabilidad con el Estado, mediante la entrega de transferencias monetarias condicionadas al uso de servicios de salud, nutrición y educación en los menores de 19 años y madres gestantes, bajo un enfoque de restitución de derechos básicos

Eje de la estrategia “Crecer para Incluir” al cual pertenece:

Eje 1: Nutrición infantil. Eje 2: Desarrollo infantil temprano. Eje 3: Desarrollo integral de la niñez y de la adolescencia. Eje 4: Inclusión Económica.

Unidad orgánica o programa social:

Unidad de Operaciones de Afiliación y Liquidación (UOAL)

Datos de la evaluación: Rol de la DGSYE: Líder de la evaluación Tipo de evaluación: Evaluación de procesos Objetivo de la evaluación: Evaluar si el proceso de afiliación de usuarios del Programa

JUNTOS cumple con la normativa vigente, identificar los factores que limitan la eficacia y eficiencia, y recomendar las acciones pertinentes para mejorar el proceso y sus subprocesos en estos dos aspectos.

Metodología: Verificación del cumplimiento del Manual de Operaciones y sus subprocesos a través de estrategias de recojo de información cualitativa, elaboración de indicadores de resultado para cada sub-proceso y medición de dichos resultados a través de estrategias cuantitativas.

Presupuesto del programa: S/. 1 052 651 213 nuevos soles Costo de la evaluación: Por determinar. Fuentes de financiamiento: Recursos ordinarios. Principales hitos*: Nota metodológica (1er semestre de 2013)

Términos de Referencia (1er semestre de 2013) Levantamiento de información (2do semestre de 2013) Informe Final (2do semestre de 2013)

Junt

os

“Evaluación de la capacidad del programa para

verificar el cumplimiento de corresponsabilidades del Programa Nacional de Apoyo Directo para los Más Pobres - JUNTOS”

Datos generales: Unidad orgánica o programa social:

Programa Nacional de Apoyo Directo para los Más Pobres.

Objetivos del Programa: Ejecutar transferencias directas en beneficio de las familias más pobres de la población, rurales y urbanas. El Programa facilitará a las familias beneficiadas, con su participación y compromiso voluntario, prestaciones de salud, nutrición, de educación e identidad, orientadas a asegurar la salud y nutrición preventiva materno-infantil, la escolaridad sin deserción, así como el registro e identificación.

Eje de la estrategia “Crecer para Incluir” al cual pertenece:

Eje 1: Nutrición infantil. Eje 2: Desarrollo infantil temprano. Eje 3: Desarrollo integral de la niñez y de la adolescencia. Eje 4: Inclusión Económica.

Datos de la evaluación: Rol de la DGSYE: Contraparte técnica Tipo de evaluación: Evaluación específica Objetivo de la evaluación: Identificar y analizar las limitaciones y/o dificultades que

enfrentan los actores involucrados en el proceso de Verificación de Cumplimiento de Corresponsabilidades, medir la tasa real de cumplimiento de corresponsabilidades por parte de los hogares usuarios y la tasa real de verificación de cumplimiento de corresponsabilidades que reportan las Unidades Territoriales, para y de esta manera, proponer las estrategias y medidas correctivas para asegurar una mayor probabilidad de que se reporten tasas que respondan a la realidad.

Metodología: Análisis descriptivo del proceso de verificación de las corresponsabilidades en educación y salud. Se usarán técnicas cuantitativas (encuestas) y cualitativas (entrevistas) para recoger la información.

Presupuesto del programa: S/. 1 052 651 213 nuevos soles) Costo de la evaluación: Por determinar Fuentes de financiamiento: Recursos ordinarios Principales hitos*: Nota metodológica

Términos de Referencia Informe de medición de la tasa de cumplimiento de corresponsabilidad y de la tasa de verificación de cumplimiento de corresponsabilidades Informe de identificación y análisis de limitaciones y/o

FON

IE

MCL

CP