Diagnóstico de Matrices de Indicadores para Resultados … de...que debe contener la MIR: i) el...
14
Diagnóstico de Matrices de Indicadores para Resultados 2010 Principales Hallazgos Abril 2010
Transcript of Diagnóstico de Matrices de Indicadores para Resultados … de...que debe contener la MIR: i) el...
Diagnóstico de Matrices de
Indicadores para
Resultados 2010
Principales Hallazgos
Abril 2010
Introducción
Contar con programas públicos con objetivos bien identificados, indicadores adecuados
para su seguimiento, y además vinculados a objetivos estratégicos y al Plan Nacional de
Desarrollo (PND) es fundamental para la toma de decisiones enfocadas a disminuir los
efectos de las problemáticas sociales que afectan a la sociedad.
La Matriz de Indicadores para Resultados (MIR) es una herramienta que tiene por objeto
definir y establecer las bases para el monitoreo de los programas presupuestarios, y
permite establecer de forma clara la alineación de los objetivos estratégicos de las
dependencias y de las entidades con el PND y sus programas. Este instrumento es clave
para el proceso de planeación, ya que proporciona una estructura que permite expresar la
información más importante sobre el programa, y facilita el monitoreo y la evaluación de
resultados e impactos.
A partir de lo anterior, y con base en el mejoramiento del proceso de implementación de la
metodología de marco lógico en la Administración Pública Federal, el Consejo Nacional
de Evaluación de la Política de Desarrollo Social (CONEVAL) y la Secretaría de Hacienda
y Crédito Público (SHCP) han impulsado actividades que coadyuvan a un mejor diseño de
la Matriz de Indicadores para Resultados (MIR) de los programas federales como un
mecanismo para incentivar una nueva dinámica organizacional al interior de las
dependencias y de las entidades al vincular las unidades y las áreas responsables de la
planeación, la programación, el presupuesto y la evaluación, con las unidades
administrativas encargadas de los programas presupuestarios, lo que permitirá una mejor
rendición de cuentas y toma de decisiones.
Antecedentes
Como parte del proceso de implementación de la metodología de marco lógico, en marzo
de 2007 se emitieron los Lineamientos Generales para la Evaluación de los Programas
Federales, en los que se establecen las normas y la información que deben contener las
MIR. Asimismo, en julio del mismo año, como parte de los Lineamientos Generales para
el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, el
CONEVAL, en coordinación con la SHCP, publicó la Metodología para la elaboración de
la Matriz de Indicadores de los Programas Presupuestarios de la APF.
Para continuar con la etapa antes mencionada, en 2008 se elaboró el primer diagnóstico
de las matrices, lo que permitió dar cuenta de las oportunidades de mejora que existen en
el diseño de las MIR y en la construcción de sus indicadores.
Actualmente, el Gobierno Federal cuenta con la MIR de aproximadamente 500 programas
presupuestarios de diferentes modalidades, de las cuales, el CONEVAL da seguimiento a
un total de 220 de las clasificaciones presupuestarias S, U, E y B1. La revisión de la
1 Modalidad “S” se refiere a programas sujetos a Reglas de Operación, “U” a Otros Subsidios, “E” a
Prestación de Servicios Públicos y “B” a Provisión de Bienes Públicos
coherencia lógica, del diseño y de la construcción de indicadores lleva consigo grandes
retos, entre ellos, la coordinación con las instancias correspondientes, la identificación de
las posibles mejoras, y la incorporación a los diferentes análisis de las matrices que
surgen de programas nuevos y de aquellos de modalidades que no fueron contempladas
en etapas anteriores.
Las matrices analizadas en este diagnóstico presentan avances respecto a las versiones
2008; sin embargo, es necesario que se continúe con las actividades de capacitación y de
asesoría técnica que son parte del proceso de implementación y de consolidación de la
metodología de marco lógico.
El presente diagnóstico se basó en el análisis de 220 matrices de indicadores de
programas federales con clasificación S, U, E y B, de las cuales, aquéllas de modalidad S
representan el 48.2 %, las U, 23.6% y las E y B, 28.2% conjuntamente.
Cuadro 1: Matrices de Indicadores de Programas Federales
2010 (PASH-Clasificación S, U, E y B)
Dependencia Núm. de MIR
2010
SEP 73
CONACYT 9
IMSS 9
IMSS Oportunidades 1
ISSSTE 19
Previsiones y Aportaciones para los Sistemas de Educación Básica, Normal, Tecnológica y de Adultos
2
SAGARPA 8
SE 13
SEDESOL 20
SEMARNAT 27
SHCP 18
SRA 3
SSA 15
STyPS 3 Fuente: Elaboración propia con base en la información del Portal Aplicativo de la Secretaría de Hacienda (PASH)
Asimismo, se presenta un análisis comparativo considerando únicamente las matrices que
cuentan con versión tanto en 2008 como en 2010 con el objetivo de valorar los avances
que se han desarrollado con el apoyo y la coordinación de las unidades de evaluación de
las coordinadoras de sector, de los programas federales y de las dependencias y las
entidades que norman y que establecen los mecanismos de capacitación y asesoría
técnica en marco lógico.
Como ya se mencionó anteriormente, el estudio realizado incluyó un primer diagnóstico
de las MIR de los programas E y B y de los S y U que por primera vez incorporaron una
versión dentro del PASH. Para una proporción importante de las matrices de programas E
y B, se encontraron principalmente oportunidades de mejora en la identificación de los
objetivos del resumen narrativo, mientras que en los programas S y U de nueva
incorporación se detectaron posibles mejoras en la construcción de indicadores más
claros y relevantes.
Principales Hallazgos 2010
El CONEVAL, con el apoyo de consultores del Instituto Latinoamericano y del Caribe de
Planificación Económica y Social de la Comisión Económica para América Latina y el
Caribe (ILPES–CEPAL), revisó las matrices de indicadores de 220 programas
presupuestarios que se encontraron vigentes hasta el cierre del ejercicio presupuestal.
Para el diagnóstico se determinó una valoración en la que se consideraron los elementos
que debe contener la MIR: i) el cumplimiento de los elementos de la matriz de indicadores
y, ii) la lógica interna del programa (lógica horizontal y vertical de la matriz de
indicadores).
De igual modo, para el análisis de la matriz se consideraron dos rubros en los que es
posible detectar los aspectos que pueden ser mejorados: 1) análisis del diseño y 2)
análisis de los indicadores. En el primero, se valora principalmente la vinculación de los
objetivos de la matriz en relación a los objetivos sectoriales y a la unicidad del Propósito,
así como valorar que los Componentes sean suficientes y necesarios para el alcance del
nivel inmediato superior. Para el segundo aspecto, se considera fundamentalmente que
los indicadores de los diferentes niveles de la MIR permitan monitorear el programa y que
los medios de verificación sean suficientes y necesarios para obtener la información y
comprobar las estimaciones de los indicadores.
De la misma forma que en el análisis realizado para las MIR vigentes en el ejercicio fiscal
2008, las matrices fueron clasificadas en 3 categorías:
• Matrices de Indicadores consistentes (22%); se valida su lógica vertical2 y
horizontal3, con necesidad de cambios menores (marcadas en color verde).
• Matrices de Indicadores parcialmente consistentes (50%): se valida su lógica
vertical pero requieren cambios, principalmente en sus indicadores, para fortalecer
la coherencia de la lógica horizontal (marcadas en color amarillo).
• Matrices de Indicadores con insuficiente consistencia (28%): estas matrices
presentan problemas en la lógica vertical y se ven amenazadas por la indefinición
de los objetivos. En ellas se requieren cambios significativos para fortalecer la
coherencia del diseño (marcadas en color rojo).
2 La “lógica vertical” de un programa exige que exista una relación de causalidad desde las Actividades hasta el Fin, entre los distintos
niveles de objetivos, considerando el cumplimiento de los supuestos asociados a cada nivel: las actividades detalladas son las
necesarias y suficientes para producir y/o entregar cada componente; los componentes son los necesarios y suficientes para lograr el
propósito del programa; si se logra el propósito, ello debería resultar en una contribución significativa al logro del fin.
3 La “lógica horizontal” es la coherencia entre conjunto de Objetivo-Indicadores-Medios de verificación y se resume en lo siguiente: Los medios de verificación identificados son los necesarios y suficientes para obtener los datos requeridos para el cálculo de los
indicadores; los indicadores definidos permiten monitorear el programa y evaluar adecuadamente el logro de los objetivos.
Gráfica 1
Semaforización de la calificación total de las Matrices de Indicadores de los Programas Federales, 2010 (PASH)
(220 MIR de modalidad S, U, E y B)
Fuente: Elaboración propia con base en la información del PASH
La estructura observada en la grafica de semaforización varía al momento de realizar el
desglose y al observar de forma independiente como evolucionaron tanto el diseño de la
matriz de cada programa como los indicadores de resultados. Asimismo, es preciso
señalar que, en general, hubo una mejoría en la calidad de las matrices.
Análisis de Diseño
Un programa bien diseñado, basado en resultados y estableciendo cuál es el efecto
esperado, direcciona las acciones para lograr una buena gestión y el buen ejercicio del
presupuesto, y asegura de esta manera el cumplimiento de lo esperado.
El CONEVAL y la SHCP, con el apoyo de organismos internacionales y consultores
nacionales, con el objetivo de un mejor diseño de las MIR, se han dado a la tarea de
capacitar a los funcionarios públicos de las dependencias que coordinan los programas
presupuestarios con relación al buen diseño y a la construcción de la MIR, además de
monitorear por programas y sectores que el diseño y los indicadores cumplan con las
características técnicas mínimas de calidad en cuanto a sus elementos básicos.
Para el 2010 se observa lo siguiente:
El 38% de las matrices logran la validación en la parte del diseño, al considerar
que cumplen con requerimientos mínimos identificados a través de los siguientes
principios: a) fin-objetivo estratégico; b) propósito-fin; c) propósito único que refleja
resultados, y d) componente necesarios y suficientes. No obstante, es posible que
exista la necesidad de realizar cambios menores para mejorar la calidad;
en el 28% de las matrices (en su mayoría MIR de programas con modalidad S o U
en su primera carga en el PASH) existen oportunidades de mejora en la
identificación del propósito, la vinculación del fin con un objetivo superior y el
planteamiento de actividades y componentes suficientes y necesarios, y
el 34% de las matrices (en su mayoría MIR de programas de modalidad E)
presentó alguna de las siguientes características que pueden ser mejoradas: no se
cuenta con el planteamiento de componentes (bienes y servicios que produce o
entrega) necesarios y suficientes para que el programa alcance su propósito, no
se presenta la descripción de actividades o no se plantean supuestos que sean
ajenos a la operación del programa.
En la gráfica 2 se muestra el desglose de las calificaciones para tener un panorama de
cómo están trabajando los actores para el cumplimiento de lo establecido para una buena
gestión basada en resultados.
Gráfica 2 Semaforización del Diseño de las Matrices de Indicadores para Resultados
(220 MIR de modalidad S, U, E y B)
Fuente: Elaboración propia con base en la información del PASH.
Análisis de los Indicadores
Los indicadores son la base medular para medir el logro de los objetivos de la política
social desde el Plan Nacional de Desarrollo hasta el fin y propósito de cada programa,
además de ser una herramienta fundamental para realizar evaluaciones de resultados e
impacto que permite analizar el comportamiento del presupuesto (programado y ejercido
en relación con el diseño y con la buena o mala operación), así como contribuir a un buen
sistema de rendición de cuentas.
El análisis de los indicadores señala que aún existe un campo de oportunidad para el
mejoramiento de la construcción de los mismos:
El 10% de los 220 programas analizados cuenta con indicadores que son
relevantes en cuanto a la medición de los objetivos planteados, son claros,
coherentes y monitoreables.
En el 34% de las MIR revisadas existen aún posibles mejoras, especialmente en el
planteamiento de los indicadores de resultados y en el establecimiento de medios
de verificación acordes con las variables que conforman las fórmulas de cálculo.
El 56% de las matrices no cuenta con indicadores necesarios y suficientes que
permitan dar seguimiento adecuado al avance del cumplimiento de los objetivos
planteados.
Gráfica 3 Semaforización de los Indicadores de las Matrices de Indicadores para Resultados
(220 MIR de modalidad S, U, E y B)
Fuente: Elaboración propia con base en la información del PASH.
Análisis Comparativo Diagnósticos 2008-2010
El análisis que a continuación se presenta se desarrolló considerando las 111 matrices de
programas presupuestarios de modalidad S y U que cuentan con versión tanto en 2008
como en 2010.
Cuadro 2 Matrices de Indicadores para Resultados con análisis en 2008 y 2010
Dependencia SEP
CO
NA
CYT
IMSS
Op
ort
un
idad
es
SAG
AR
PA
SE
SED
ESO
L
SEM
AR
NA
T
SHC
P
SRA
SSA
STyP
S
TOTA
L
# 32 4 1 8 8 19 15 15 3 5 1 111
Fuente: Elaboración propia con base en la información del PASH
Con respecto al diagnóstico elaborado en 2008, las matrices de indicadores presentan un
avance significativo en cuanto al cumplimiento de la identificación de sus principales
elementos, así como en su lógica interna. A continuación, se presentan los principales
avances en el diseño de las matrices y en el diseño de los indicadores.
La información obtenida indica que existe un mejoramiento sustancial en el diseño de las
matrices de los programas que tuvieron una versión en 2008:
El número de matrices en semaforización verde aumentó de 25 a 44, se mejoró,
principalmente, en la identificación de los objetivos planteados y, en general, en un
planteamiento más adecuado de los indicadores.
Las matrices en semaforización amarilla disminuyeron de un 67% en 2008, a un
51% en 2010.
La cantidad de matrices en semaforización roja en 2008 (19) se redujo casi a la
mitad, lo que mejoró el rubro de cumplimiento.
Gráfica 4 Semaforización de la Calificación Total de los Programas Federales
de modalidad S y U con MIR en 2008 y 2010 (111)
SEMAFORIZACIÓN MIR 2008 SEMAFORIZACIÓN MIR 2010
Fuente: Elaboración propia con base en la información del PASH
Cerca del 40% de los programas mejoraron la calidad de su MIR (11 pasaron de rojo a amarillo y 30 de amarillo a verde).
47% de las matrices permanecieron en el mismo nivel que en 2008; sin embargo una gran parte de las MIR se acercaron a su nivel
inmediato superior.
16% de los programas disminuyeron en la calidad de su MIR y requieren de una mayor labor para regresar al nivel que tenían anteriormente (sólo dos matrices permanecieron con semaforización en rojo en los dos diagnósticos).
Análisis de Diseño
Las recomendaciones de las diferentes instancias que tienen el propósito del
mejoramiento del diseño de las matrices, han influido de manera importante en la
identificación de los objetivos que tiene cada programa federal y en la vinculación
ascendente entre los mismos para la consecución de objetivos jerárquicamente
superiores.
El mejor diseño de las 111 matrices analizadas refleja las acciones conjuntas, primero, al
interior de los programas y segundo, una mayor coordinación entre dependencias y
entidades que han implementado la matriz de indicadores para resultados como un
instrumento encaminado a una gestión por resultados; en el rubro de análisis de diseño,
se observó lo siguiente:
El porcentaje de matrices con semaforización verde aumentó de 41 a 54,
reflejándose en mayor manera con una mejor vinculación entre los objetivos de la
matriz.
De 42 matrices en semaforización amarilla en 2008, se redujo a 32 en 2010; para
estas matrices, aún deben mejorarse rubros ligados a la coherencia de la lógica
horizontal.
El número de matrices con insuficiente consistencia (en semaforización roja)
disminuyó de 2008 a 2010, de 36 a 19.
Gráfica 5 Semaforización del Diseño de los Programas Federales
de modalidad S y U con MIR en 2008 y 2010 (111)
SEMAFORIZACIÓN MIR 2008 SEMAFORIZACIÓN MIR 2010
Fuente: Elaboración propia con base en la información del PASH
Poco más del 40% de las matrices pasaron a un mejor nivel de semaforización (8 pasaron de rojo a amarillo y 24 de amarillo a verde)
34% de las matrices permanecieron en la semaforización con que contaban en 2008
Cerca del 25% de los programas disminuyeron la calidad del diseño de su matriz (5 matrices permanecieron en rojo en los dos diagnósticos)
Análisis de Indicadores
En términos generales, los indicadores de las matrices analizadas mejoraron en cuanto a
su diseño y con respecto a su relación con el objetivo para su seguimiento. Hubo un mejor
planteamiento de los medios de verificación, se presentó relación entre variables con
mayor precisión y aunque existen aún rubros en los que debe presentarse una mayor
relevancia en su planteamiento, se puede mencionar que hubo un avance sustancial que
está sentando la base para un mejor seguimiento de los objetivos para la solución de
problemáticas que afectan a la población en su conjunto.
El porcentaje de MIR con semaforización verde aumentó de 19 a 40, lo que
representa un avance importante en cuanto a la claridad, la relevancia, la
monitoreabilidad y la aportación marginal.
El número de MIR con semaforización amarilla disminuyó de 89 a 57 al presentar
una mejor construcción, un mejor planteamiento de los medios de verificación y
una mayor relación con respecto a lo que pretende medirse.
Cerca del 60% de las MIR que se encontraban con semaforización roja en 2008,
disminuyó a casi 40% en 2010 (26% de las MIR permanecieron en semaforización
roja durante los dos diagnósticos).
Gráfica 6 Semaforización de los Indicadores de los Programas Federales
de modalidad S y U con MIR en 2008 y 2010 (111)
SEMAFORIZACIÓN MIR 2008 SEMAFORIZACIÓN MIR 2010
Fuente: Elaboración propia con base en la información del PASH
Poco más del 40% de los programas mejoraron la calidad de los indicadores contenidos en su MIR (33 pasaron de rojo a amarillo y 7 de amarillo a verde).
37% de las matrices permanecieron en el mismo nivel de semaforización de sus indicadores que en 2008, pero se acercaron a la semaforización superior.
21% de los programas disminuyeron en la calidad de sus indicadores y requieren mejorar su diseño y su alineación con respecto al objetivo que pretenden medir.
Primer Diagnóstico a matrices E y B y nuevas S y U
El CONEVAL realizó un primer diagnóstico a 109 matrices, de las cuales 62 se refieren a
programas de modalidad E o B y 47 a S o U. En su mayoría, las matrices se encuentran
coordinadas por la Secretaría de Educación Pública (41), el Instituto de Seguridad y
Servicios Sociales para los Trabajadores del Estado – ISSSTE (19) y la Secretaría de
Medio Ambiente y Recursos Naturales – SEMARNAT (12).
Programas Modalidad E o B
En el diagnóstico a estas matrices se encontraron principalmente las siguientes situaciones:
Existen matrices que solamente especifican Fin y Propósito (sin Componentes y
Actividades).
La mayoría de las matrices no tienen especificados los medios de verificación.
Gran parte de los programas no establecen indicadores de desempeño y una
proporción importante cuenta con un solo indicador.
No se establecen supuestos y los que se plantean no son suficientes ni
necesarios.
Ninguna de las matrices analizadas tuvo semaforización en color verde, el 58% se
encuentran en rojo y el restante 42% en semaforización amarilla.
Gráfica 7
Semaforización de la Calificación Total de los Programas Federales
de modalidad E y B (62)
Modalidad S o U Nuevas
Para las 47 matrices analizadas, los hallazgos principales coincidieron en lo siguiente:
En general, el planteamiento de los objetivos del Resumen Narrativo necesitan ser
mejorados.
Los indicadores y los medios de verificación son los apartados que requieren un
mayor análisis para su mejoramiento.
En la mayoría de las MIR los supuestos no son planteados como situaciones
ajenas al programa.
Gráfica 8
Semaforización de la Calificación Total de los Programas Federales
de modalidad S y U de primer diagnóstico (47 MIR)
Respecto al análisis de los indicadores de estos programas, se observó que
prácticamente no se plantean indicadores de resultados, se requiere mejorar la claridad
con que se especifica la descripción de las variables que conforman las fórmulas de
cálculo, y en general la mayoría de los indicadores no son presentados en el nivel que
corresponde (gestión en impacto y/o resultados).
Principales Avances y Retos en la implementación de la
Matriz de Indicadores
Avances
Se han identificado avances importantes en la construcción de las matrices,
especialmente en las 111 que cuentan con versiones en 2008 y 2010. Los principales
avances se mencionan a continuación:
I. Las MIR con clasificación S y U en general mejoraron sustancialmente y se
observa que la evolución puede estar ligada a una mayor experiencia en el manejo
de la metodología. Se comienzan a presentar resultados de los procesos de
capacitación.
II. Se ha presentado una mejoría generalizada en el diseño de las MIR; sin embargo
aún es necesario mejorar el planteamiento de los objetivos contenidos en algunas
de ellas.
III. En general, existe una mejor identificación del Propósito, en la mayoría, existe
unicidad y representa un cambio en las condiciones de vida de la población
IV. Menos de la mitad de los programas presupuestarios deben mejorar su alineación
con respecto a objetivos superiores planteados en el Plan Nacional de Desarrollo o
bien, en los Programas Sectoriales.
V. En cuanto a la calidad de las matrices, se cuenta con mejor información que
contribuye a la mejor toma de decisiones y a tener un mejor seguimiento de los
objetivos planteados en cada una de las MIR.
VI. Existe una mejor identificación de los bienes y de los servicios que los programas
otorgan a la población objetivo.
Retos
I. Promover el mejoramiento en el diseño de las matrices de modalidad E y B y
aquéllas de modalidad S y U de nueva construcción.
II. Continuar con el proceso de consolidación de las matrices que han tenido avances
significativos y detectar las oportunidades de mejora en las mismas.
III. Contribuir con un diseño técnicamente riguroso de los indicadores para contar con
un seguimiento pertinente de los objetivos planteados en la matriz.
IV. Impulsar la construcción de indicadores de resultados que efectivamente midan el
impacto de los programas en las condiciones de la población.
V. Promover un mayor compromiso por parte de los funcionarios de alto nivel en la
construcción y en la validación de la matriz de indicadores, en especial con los de
nueva construcción.
VI. Impulsar la implementación gradual y constante en todas sus etapas, reforzando
los vínculos con el Sistema de Evaluación del Desempeño y del Presupuesto
basado Resultados.
VII. Fortalecer la coordinación entre CONEVAL, SHCP y SFP, y especificar con mayor
detalle la utilidad, los alcances y las limitaciones de la matriz de indicadores en el
presupuesto basado en resultados.
![Matrices Inversas. Rango [6pt] Matrices Elementales … · Matrices inversas. Rango. Matrices Elementales Algebra ... En otras palabras, si aplicamos al algoritmo de Gauss-Jordan](https://static.fdocuments.ec/doc/165x107/5ba4349f09d3f2a9218cf32c/matrices-inversas-rango-6pt-matrices-elementales-matrices-inversas-rango.jpg)
![Diagnóstico de Matrices de Indicadores para …...[5] El presente diagnóstico presenta un análisis sobre el diseño y la construcción de las Matrices de Indicadores para Resultados](https://static.fdocuments.ec/doc/165x107/5eaed50accc214470935ec96/diagnstico-de-matrices-de-indicadores-para-5-el-presente-diagnstico-presenta.jpg)
