Planeacion de Las Evaluaciones a Programas (1)
20
www.coneval.gob.mx La evaluación de programas sociales y el uso de información Thania de la Garza Navarrete Directora General Adjunta de Evaluación Octubre 2014
-
Upload
adrian-gonzalez-gtz -
Category
Documents
-
view
214 -
download
1
description
Planeacion de Las Evaluaciones a Programas (1)
Transcript of Planeacion de Las Evaluaciones a Programas (1)
www.coneval.gob.mx
La evaluación de programas sociales y el uso de información
Thania de la Garza Navarrete Directora General Adjunta de Evaluación
Octubre 2014
Marco Institucional de la Evaluación en México Constitución Política de los Estados Unidos Mexicanos
Arts. 26 y 134
Ley General de Desarrollo Social
Arts. 72 - 80
Ley de Contabilidad
Gubernamental Art. 79
Ley Federal de Presupuesto y
Responsabilidad Hacendaria
Arts. 110 y 111
Políticas, programas, acciones y
metas sociales
Programas Presupuestales
Entes públicos
Lineamientos Generales de Evaluación CONEVAL- SHCP-SFP
• Matriz de Indicadores • Tipos de evaluación • Seguimiento a recomendaciones • Planeación de las evaluaciones (PAE)
CONAC Norma para establecer el formato para la
difusión de los resultados de las evaluaciones de los recursos federales ministrados a las
entidades federativas
• Elaboración de objetivos estratégicos • Publicación del PAE • Diagnóstico de programa nuevo, ampliación o
modificación • Registro de erogaciones para evaluaciones • Seguimiento a los aspectos susceptibles de mejora • Publicación de las evaluaciones
Resultados: Medir si un programa
resuelve el (los) problema(s) por los que se creó
Seguimiento de Recomendaciones
Evaluación Específica de Desempeño
Planeación
Programas Sectoriales: contribuyen con el Plan Nacional de Desarrollo
Programas presupuestarios: contribuyen con los Programas Sectoriales y Objetivos
Estratégicos
Programas Presupuestarios con Indicadores adecuados en la Matriz de Indicadores
Evaluación
Programa Anual de Evaluación
Evaluación de Consistencia y Resultados
Evaluación de Políticas
Evaluación de Impacto
Evaluación de Procesos e Indicadores
Progresividad y Cobertura
El Sistema de Evaluación del Desempeño de la Política de Desarrollo Social en México
¿Qué es el Programa Anual de Evaluación?
¿Para qué evaluar?
¿Qué se evalúa?
¿Con qué instrumentos se evalúa?
¿Cuándo se evalúa?
Es un instrumento que define:
¿Para qué evaluar?
Mejorar políticas y programas públicos
Tomar mejores decisiones (de operación, diseño,
presupuestales..)
Rendición de Cuentas y Transparencia
¿Toda la información sobre la intervención es pública y está en
la página web?
¿Cuál es el costo unitario de los bienes y servicios que se entregan a la población?
¿Cómo se medirá, con certeza, el cambio en el bienestar que se
pueda atribuir a la intervención?
¿Por qué se decidió esta alternativa de intervención
pública y no otra?
¿Dónde está la población que sufre la problemática, que
será objeto de esta intervención?
¿Existe un plan para el desarrollo del intervención pública de corto, mediano y
largo plazo?
Programa Anual de Evaluación
¿Qué se evalúa?
Programas y Acciones Políticas
Evaluación Estratégica de Protección Social
Evaluación estratégica anexo 10: Igualdad entre
mujeres y hombres
Evaluación Estratégica sobre Mortalidad
Materna en México
Instituciones
Programa Anual de Evaluación
Proceso de integración del Inventario CONEVAL
Identificación de Programas y Acciones
(CONEVAL)
Carga de la información (CONEVAL)
Validación de la información
Integración y carga de la información (CONEVAL)
Difusión en Internet
Se utilizan documentos operativos de los programas, difundidos a través de las páginas de internet
Las entidades federativas validan la información de los programas
Se integra la base de datos y se carga en la plataforma para facilitar el acceso
Consideraciones
Los programas y las acciones son aquellas intervenciones gubernamentales que son responsabilidad de una dependencia o entidad a nivel federal, que cuentan con clave presupuestal y que se encuentran contenidos dentro del Decreto de Presupuesto de Egresos de la Federación (DPEF) correspondiente.
Fuentes de información estatales: Presupuesto de Egresos, Cuenta de la Hacienda Pública, e Informe de
Gobierno
http://web.coneval.gob.mx/Evaluacion/IPFE/
Inventario CONEVAL de Programas y Acciones Estatales de Desarrollo Social
2849 programas y acciones
Programa Anual de Evaluación
¿Qué se espera de la evaluación?
A) Brindar información para el proceso presupuestario
EFIC
IEN
CIA
EN
CO
BERT
URA
¿El p
rogr
ama
mid
e
Resu
ltado
s?
Consejo
Nacional de
Ciencia y
Tecnología
(CONACYT)
S190
Becas de
posgrado y
otras
modalidades
de apoyo a la
calidad
Sí
Opo
rtun
idad
de m
ejor
a
El p
rogr
ama
mid
e su
s
resu
ltado
s
sólo
con
ND
El p
rogr
ama
aún
no
cuen
ta c
on
Mod
erad
o
Hay
resu
ltado
s
posi
tivos
del
Ad
ecua
do
Los
elem
ento
s de
dise
ño d
el
Dest
acad
o
Con
un P
lan
Estr
atég
ico
vinc
ulad
o al
O
port
unid
ad
de M
ejor
a
El p
rogr
ama
no c
uent
a
con
una
91%
Adec
uado
El
Com
pone
nte
y un
a de
la
Opo
rtun
idad
de M
ejor
a
El p
rogr
ama
cuen
ta c
on
inst
rum
ento
s
100%
Dest
acad
o
ND 100%
Consejo
Nacional de
Ciencia y
Tecnología
(CONACYT)
S191
Sistema
Nacional de
Investigador
es
Sí
Opo
rtun
idad
de m
ejor
a
El p
rogr
ama
mid
e su
s
resu
ltado
s
sólo
con
ND
El p
rogr
ama
aún
no
cuen
ta c
on
Adec
uado
Hay
resu
ltado
s
posi
tivos
del
De
stac
ado
Los
elem
ento
s de
dise
ño d
el
Dest
acad
o
El p
rogr
ama
cuen
ta c
on
un P
lan
Opo
rtun
idad
de M
ejor
a
El p
rogr
ama
no c
uent
a
con
una
100%
Adec
uado
El p
rogr
ama
oper
a en
apeg
o a
sus
Opo
rtun
idad
de M
ejor
a
El p
rogr
ama
cuen
ta c
on
inst
rum
ento
s
70%
Dest
acad
o
ND 100%
Consejo
Nacional de
Ciencia y
Tecnología
(CONACYT)
S192
Fortalecimie
nto a nivel
sectorial de
las
capacidades
científicas,
Sí
Mod
erad
o
El p
rogr
ama
mid
e su
s
resu
ltado
s
con
ND
El p
rogr
ama
aún
no
cuen
ta c
on
Mod
erad
o
Hay
resu
ltado
s
posi
tivos
del
Ad
ecua
do
El p
rogr
ama
cuen
ta c
on
un
Dest
acad
o
El p
rogr
ama
cont
ribuy
e a
logr
ar lo
s Ad
ecua
do
El p
rogr
ama
cuen
ta c
on
una
22%
Adec
uado
El p
rogr
ama
cuen
ta c
on
proc
edim
ient
Opo
rtun
idad
de M
ejor
a
La
eval
uaci
ón a
bene
ficia
rios
100%
Dest
acad
o
ND 100%
VALORACIÓN DE LA CONSISTENCIA Y RESULTADOS DE LOS PROGRAMAS 2011-2012
DATOS DEL PROGRAMARESULTADOS DE LA EVALUACIÓN DE CONSISTENCIA Y RESULTADOS (ECR) 2011-2012
(Evaluación externa coordinada por las dependencias con información de gabinete)
Resu
ltado
s de
la
Revi
sión
de
la M
atriz
de In
dica
dore
s pa
ra
Resu
ltado
s (M
IR)
2012
Inci
denc
ia
Dis
trib
utiv
a
Cum
plim
ient
o
Pres
upue
stal
2011
Inst
ituci
ón
Mod
alid
ad
Nom
bre
del P
rogr
ama RESULTADOS
Pres
upue
sto
Ejer
cido
/
Mod
ifica
do
¿Cuá
l es
el ri
gor d
e
la m
edic
ión
de lo
s
resu
ltado
s?Efectos
Atribuibles
(Resultados
de
Evaluaciones
de Impacto
rigurosas
que permiten
tener
Avances en
el logro de
sus Objetivos
(Resultados
derivados de
la medición
de los
Indicadores
de Fin y de
DIS
EÑO
PLAN
EAC
IÓN
Y O
RIEN
TAC
IÓN
A
RESU
LTAD
OS
CO
BERT
URA
Y F
OC
ALIZ
ACIÓ
N
OPE
RAC
IÓN
PERC
EPC
IÓN
DE
LA P
OBL
ACIÓ
N
ATE
ND
IDA
% d
e Av
ance
en
Segu
imie
nto
a la
s
Reco
men
daci
ones
de
Eval
uaci
ones
Ext
erna
s (p
erio
do
2011
-201
2)
Medición de Resultados Resultados
Pobl
ació
n At
endi
da
/ Pob
laci
ón O
bjet
ivo
(PA/
PO)
Valo
raci
ón d
el D
iseñ
o y
Calid
ad d
e la
MIR
201
2
Gra
do d
e
Prog
resi
vida
d
Fuen
te: S
cott,
Joh
n
2008
B) Dar información para la toma de decisiones
Programa Anual de Evaluación
¿Qué se espera de la evaluación?
C) Informar sobre fortalezas, debilidades, amenazas y oportunidades de los programas • Mecanismo de Aspectos Susceptibles de Mejora
D) Resultados para conocer la efectividad de los programas
Programa Abasto Social de Leche
Resultados: Los niños que consumieron leche fortificada presentan menor prevalencia de anemia que los que toman leche sin fortificar (10.7% vs 15.6%).
Programa Hábitat
Resultados: El programa no tuvo impacto en el acceso a agua potable. El programa logró incrementar el acceso a drenaje en 3%. El programa no tuvo impacto en el acceso a electricidad.
Programa de Desarrollo Humano Oportunidades:
Resultados: Disminución de la prevalencia de talla baja en un 11.1% entre 1999 y 2007 para los niños beneficiarios contra un 10% para aquellos que no recibieron el programa en el mismo periodo. El programa ha contribuido a ampliar las vías educativas de los beneficiarios y se ha incrementado la escolarización de los jóvenes, especialmente para los jóvenes indígenas.
http://www.coneval.gob.
mx/Evaluacion/Paginas/
Normatividad/Mecanism
oActualizacion2011.aspx
Diseño
Consistencia y lógica interna de los
programas
Consistencia y Resultados
Diagnóstico de la capacidad
institucional para alcanzar resultados
Procesos
Análisis de los procesos operativos y su contribución al
propósito
Estratégicas
Valoración de las políticas y
estrategias de desarrollo social
Indicadores
Pertinencia y alcance de los
indicadores de un programa
Complementarias
Profundizar sobre aspectos relevantes
del desempeño
Específica de Desempeño
Valoración sintética de la información
del programa en el SED
Impacto
Medir los efectos netos del programa
Diagnóstico de Programas Nuevos
Definir el problema y justificar que es
un problema público
Con qué instrumentos se responden las preguntas de evaluación
El estado actual del problema, su evolución, experiencias de su atención y definir el árbol de problemas
Definir la situación esperada al resolver el problema
Identificar, caracterizar y cuantificar la población potencial y objetivo
Diseñar el tipo de intervención, las etapas, la integración y operación del padrón de beneficiarios, la MIR y estimar el costo operativo del programa
Establecer el monto para iniciar la operación del programa y la partida presupuestal a la que corresponde, (impacto presupuestario del programa)
Origen y justificación de la propuesta
Elementos mínimos del diagnóstico
Identificar y describir el problema
Definir y justificar los
objetivos
Cobertura
Diseño del programa
Presupuesto
Antecedentes
Diagnóstico de programas nuevos Elementos mínimos a considerar en la
elaboración de Diagnósticos de Programas Nuevos
Evaluación de diseño
Evaluación de Consistencia y Resultados
Evaluar la consistencia y orientación a resultados de los programas de desarrollo social con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.
Objetivo General
Evaluar el diseño de los Programas con la finalidad de proveer información que retroalimente su diseño, gestión y resultados.
Objetivo General
Modelo de Términos de Referencia para la Evaluación de Consistencia y Resultados
Modelo de Términos de Referencia para la Evaluación en Materia de Diseño
Evaluación de procesos
¿Los procesos del programa están claramente definidos y contribuyen al logro de sus objetivos?
Elementos
Describir los procesos del programa 1 Identificar los problemas normativos que obstaculizan los procesos
2
Analizar el grado de gestión y articulación de los procesos
3
Analizar las fortalezas y buenas practicas que mejoran la capacidad de operación
4
Modelo de Términos de Referencia para la Evaluación de Procesos
14
Evaluación Específica de Desempeño (EED)
Resultados y Hallazgos
Población y Cobertura
Avances y Aspectos de Mejora
Alineación y presupuesto
Observaciones
Conclusiones
Indicadores
Valoración sintética que refleje el desempeño de los programas y contribuya a la toma de decisiones.
Información adicional
Objetivo
Modelo de Términos de Referencia para la Evaluación Específica de Desempeño
Ficha de Monitoreo Contenido
Descripción del Programa o Acción • Año de inicio (antecedentes) y responde cuál es su objetivo, cómo lo
lleva a cabo y a quién está dirigido.
Resultados • Indicadores de Resultados (2)
• ¿Cuáles son los resultados y cómo los mide?
Cobertura • Información de las poblaciones (Potencial, Objetivo y
Atendida), evolución y análisis de la cobertura.
Análisis del Sector • Relación del programa con el sector: Indicador sectorial, especial o
institucional, datos presupuestarios y análisis del sector.
Evaluación de impacto
¿Cuáles son los efectos NETOS atribuibles al programa?
¿Qué resultados hubieran alcanzado los participantes en la ausencia del programa?
Guion de Análisis de Factibilidad para llevar a cabo una Evaluación de Impacto
Tipo de estudio: Valoración de políticas que se realiza por medio de trabajo de campo y/o de gabinete
Tipos de evaluaciones estratégicas
• Evaluación de Nutrición y Abasto
• Evaluación de Ramo 33
• Evaluación sobre Mortalidad Materna en México
• Evaluación de Protección Social
Evaluación Estratégica sobre Mortalidad Materna
en México
Evaluación estratégica anexo 10: Igualdad entre
mujeres y hombres Evaluación Estratégica de
Protección Social
Evaluaciones Estratégicas
Monitoreo Evaluación
Diagnóstico de la problemática social
Diseño de la Matriz de Indicadores (MIR)
E0
E1
Evaluación de Diseño
Definición de Indicadores para contribuir a objetivos sectoriales
Levantamiento de Línea de Base
Mejora de MIR y Medición de Indicadores
E2
Mejora de MIR y Medición de Indicadores Evaluación de Consistencia y Resultados
E3
Aprobación de indicadores
E4
Implementación de Sistema de Monitoreo
Evaluación de Impacto
Evaluación de Procesos
Eval
uac
ión
Esp
ecíf
ica
de
Des
emp
eño
Fich
a d
e M
on
ito
reo
y E
valu
ació
n
La etapa 0 corresponde al periodo en el que se diseña la estrategia o programa. A partir de la etapa 1, corresponde al año de operación del programa.
Etapas
¿Cuándo se evalúa? Horizonte de Monitoreo y Evaluación
*Los costos presentan grandes variaciones
Desarrollo de evaluaciones CONEVAL (2007-2014)
1,549 Informes de Evaluación
www.coneval.gob.mx
1/ Evaluaciones recibidas al 30 de junio de 2014
TIPOS DE EVALUACIÓN 2007 2008 2009 2010 2011 2012 2013 20141/ TOTAL Costo aproximado
(miles de pesos)
Consistencia y Resultados
106 - - - 141 - - - 247 $300 - $600
Diseño 11 20 26 11 24 5 2 - 99 $100 - $300
Específica de Desempeño
- 131 127 133 - 137 - - 528 $100 - $150
Procesos - - 5 - - 3 3 - 11 $1,000 -$3,000
Impacto 3 6 3 2 1 2 - - 17 ND*
Específicas 6 2 9 - - - - - 17 ND*
Complementarias 2 16 19 9 16 19 - - 81 ND*
Integrales - - - 19 21 10 22 - 72 ND*
Estratégicas 2 1 3 1 2 - 1 - 10 ND*
Fichas M&E - - - - - 258 185 - 443 ND*
Diagnóstico - - - - - - - 24 24 ND*
Usos de la información del SED de la Política Social
Cambios en la Política Programática de Desarrollo Social
2010 1 2011 2 2012 4 2013 5
Tipo de Mejora Programas
Participació
n Relativa Programas 3
Participació
n Relativa Programas
Participació
n Relativa Programas
Participació
n Relativa
Corregir
actividades o
procesos del
programa 19 17% 35 47% 39 38% 39 41%
Modificar apoyos
del programa 22 20% 10 14% 7 12% 3 3%
Reorientar
sustancialmente el
programa 71 63% 26 35% 48 47% 47 50%
Adicionar o
reubicar el
programa - - 3 4% 8 8% 5 5%
Suspender el
programa 1 1% 0 0% 0 0% 0 0%
TOTAL 113 100 % 74 100 % 102 100% 94 100% 1 Con información de los Diagnósticos de las Matrices de Indicadores para Resultados 2008 y 2010.
2 Con información del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el cálculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
marzo de 2012.
3 En el cálculo se incluyen dos programas que concluyeron los compromisos, aunque ya no operaron en 2011.
4 Con información del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el cálculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
reportados en septiembre de 2012 y marzo de 2013.
5 Con información del Sistema de Seguimiento a los Aspectos Susceptibles de Mejora. Para el cálculo se consideraron los aspectos susceptibles de mejora que se atendieron al 100%
reportados a marzo de 2014, correspondinerte al ciclo 2013-2014.
