Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado...

22
Fortalecimiento de las políticas públicas basadas en evidencia JALISCO: PLAN DE CAPACITACIÓN PARA CUATRO HERRAMIENTAS DE MONITOREO Y EVALUACIÓN DE PROGRAMAS PÚBLICOS 1. MARCO DE GASTO DE MEDIANO PLAZO (MGMP) 2. EVALUACIÓN DE LA CALIDAD DE INDICADORES (HECI) 3. EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA) 4. CUADRO DE MANDO GUBERNAMENTAL (CMG) Mayo 2017

Transcript of Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado...

Page 1: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Fortalecimiento de las políticas públicas basadas en evidencia

JALISCO: PLAN DE CAPACITACIÓN PARA CUATRO HERRAMIENTAS

DE MONITOREO Y EVALUACIÓN DE PROGRAMAS PÚBLICOS

1. MARCO DE GASTO DE MEDIANO PLAZO (MGMP)

2. EVALUACIÓN DE LA CALIDAD DE INDICADORES (HECI) 3. EVALUACIÓN DE DATOS PARA SU APERTURA (HEDA)

4. CUADRO DE MANDO GUBERNAMENTAL (CMG)

Mayo 2017

Page 2: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 1

Índice

Índice ................................................................................................................................................................... 1

1 Introducción ................................................................................................................................................ 2

2 Plan de Capacitación: Marco de Gasto de Mediano Plazo ......................................................................... 3

2.1 Descripción de la herramienta ............................................................................................................. 3

2.2 Objetivos de la capacitación ................................................................................................................ 4

2.3 Instituciones participantes................................................................................................................... 4

2.4 Perfil de los participantes .................................................................................................................... 4

2.5 Módulos, metodología y duración de la capacitación ......................................................................... 5

2.6 Requerimientos básicos de información para iniciar entrenamiento ................................................. 6

2.7 Referencias .......................................................................................................................................... 6

2.8 Recursos ............................................................................................................................................... 6

2.9 Planificación de la capacitación ........................................................................................................... 7

3 Plan de Capacitación: Herramienta de Evaluación de la Calidad de Indicadores (HECI) ............................ 8

3.1 Descripción de la herramienta ............................................................................................................. 8

3.2 Objetivos de la capacitación ................................................................................................................ 8

3.3 Instituciones participantes................................................................................................................... 8

3.4 Perfil de los participantes .................................................................................................................... 9

3.5 Módulos, metodología y duración de la capacitación ......................................................................... 9

3.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 11

3.7 Referencias ........................................................................................................................................ 11

3.8 Recursos ............................................................................................................................................. 11

3.9 Planificación de la capacitación ......................................................................................................... 11

4 Plan de Capacitación: Herramienta de Evaluación de Datos para su Apertura (HEDA) ........................... 12

4.1 Descripción de la herramienta ........................................................................................................... 12

4.2 Objetivos de la capacitación .............................................................................................................. 12

4.3 Instituciones participantes................................................................................................................. 12

4.4 Perfil de los participantes .................................................................................................................. 12

4.5 Módulos, metodología y duración de la capacitación ....................................................................... 13

4.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 14

4.7 Referencias ........................................................................................................................................ 14

4.8 Recursos ............................................................................................................................................. 15

4.9 Planificación de la capacitación ......................................................................................................... 15

5 Plan de Capacitación: Cuadro de Mando Gubernamental ....................................................................... 16

5.1 Descripción de la herramienta ........................................................................................................... 16

5.2 Objetivos de la capacitación .............................................................................................................. 16

5.3 Instituciones participantes................................................................................................................. 16

5.4 Perfil de los participantes .................................................................................................................. 17

5.5 Módulos, metodología y duración de la capacitación ....................................................................... 17

5.6 Requerimientos básicos de información para iniciar entrenamiento ............................................... 18

5.7 Referencias ........................................................................................................................................ 19

5.8 Recursos ............................................................................................................................................. 19

5.9 Planificación de la capacitación ......................................................................................................... 19

Page 3: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 2

1 Introducción

Durante la realización del diagnóstico de las acciones, procesos y funciones que llevan adelante diversas

entidades públicas del Estado de Jalisco en el ámbito de Monitoreo y Evaluación (M&E) por parte del equipo del

Banco Mundial (BM) de enero a mayo del 2017, se detectó la necesidad de desarrollar herramientas de M&E

para fortalecer las acciones de monitoreo y evaluación y desarrollar capacitación para su uso adecuado.

Se identificaron bajo el liderazgo de la Subsecretaría de Planeación y Evaluación (Subseplan) y el Instituto de

Información Estadística y Geográfica del Estado de Jalisco (IIEG) cuatro herramientas específicas de M&E, sobre

una propuesta inicial de 14 (Anexo 1). Las herramientas seleccionadas son:

Marco de Gasto de Mediano Plazo (MGMP)

Herramienta de Evaluación de la Calidad de Indicadores (HECI)

Herramienta de Evaluación de Datos para su Apertura (HEDA)

Cuadro de Mando Gubernamental (CMG)

Durante los meses de enero a mayo 2017 el equipo del BM, con la consulta a los equipos técnicos de la Secretaría

de Planeación, Administración y Finanzas (SEPAF), IIEG y del Instituto Nacional de Estadística y Geografía (INEGI),

adaptó y desarrolló nuevas herramientas en estos ámbitos, las que forman la base del plan de capacitación que

se presenta en este documento. A continuación se muestra una tabla resumen de las acciones propuestas para

seguir fortaleciendo la capacidad a nivel del Estado.

Tabla 1. Resumen del Plan de Capacitación propuesto

MGMP HECI HEDA CMG

Instituciones destinatarias

Coordinación General de Gestión Gubernamental y Subsecretaría de Finanzas (Subsefin) (coordinadores técnicos), sectores prioritarios (cabezas de sector), otros sectores definidos.

Subsefin (coordinador), Subseplan, IIEG y sectores clave seleccionados.

SEPAF (Dirección General de Innovación y Gobierno Digital), IIEG (coordinadores). Instituciones clave en generar y administrar datos estadísticos y geográficos, e INEGI.

Subseplan (coordinador), Subsefin e IIEG.

Duración Aproximadamente 1 mes a tiempo parcial (incluye dedicación en sala y trabajo personal)

Aproximadamente 4 días (jornadas de 6 horas) para 15 a 20 indicadores en un sector seleccionado.

Aproximadamente 3 días para evaluar 10 conjuntos de datos.

Aproximadamente 2 meses para organizar datos de programación, ejecución y presupuestación en 20 entidades, y generar reportes iniciales.

Participantes por curso

Entre 5 y 10 personas de 3 a 4 instituciones máximo.

Entre 10 y 15 personas por sector.

15 personas máximo. Entre 10 y 15 personas de las instituciones que realicen acciones de M&E.

Perfil participantes

Funcionarios que trabajan directamente con la gestión presupuestaria, áreas de gestión estratégica, control de gestión, planificación, de evaluación y seguimiento, y Jefes de Programas.

Funcionarios de planeación y seguimiento, responsables de los archivos de datos para construir el indicador.

Funcionarios administradores de bases de datos, y responsables de sistemas de información.

Funcionarios de planeación y seguimiento, además de operadores encargados de concentrar la información estadística y que manejen bases de datos.

Modalidad de Aprendizaje

Presentación, aprender haciendo, revisión de pares, escenarios, casos (juego de roles)

Presentación, autoevaluación asistida, aprender haciendo.

Presentación plenaria, mesas de trabajo, discusión moderada, con relator o guía. Estudio de casos.

Presentación, aprender haciendo.

Recursos Instructor avalado por la Coordinación General de Gestión Gubernamental y Subsefin.

Facilitador avalado por Subsefin y/o Subseplan, sala, proyector, equipo de cómputo con software Nesstar.

Facilitador avalado por IIEG y/o SEPAF. Sala con proyector, equipo de computación para cada mesa de trabajo.

Instructor avalado por Subseplan, sala, proyector, materiales.

Page 4: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 3

2 Plan de Capacitación: Marco de Gasto de Mediano Plazo

2.1 Descripción de la herramienta

El Marco de Gasto de Mediano Plazo (MGMP) es una metodología que permite la presupuestación plurianual

de las instituciones públicas y de la administración pública en general. El MGMP comprende la totalidad del

ingreso y gasto, articulándolo a las prioridades de política. Se desarrolla como parte del proceso de

programación presupuestal anual y actualiza cada año de acuerdo al desarrollo de la economía y la revisión de

las políticas de gobierno. Está diseñado para mejorar el proceso decisorio y debe acompañarse de un

seguimiento de la ejecución y retroalimentación periódica. Implica incrementar el control político del

presupuesto, con mayor foco en la eficiencia institucional y menor espacio para proyectos no prioritarios.

Específicamente el MGMP apunta a los siguientes objetivos:

a) Mejorar la situación macroeconómica y fiscal.

- Contribuir a reducir los déficits, revelando oportunamente la restricción de recursos.

- Adoptar un enfoque más racional para la estabilización y el ajuste.

b) Asignación estratégica de recursos.

- Fortalecer el vínculo entre prioridades políticas y programas gubernamentales.

- Priorizar el impacto de las políticas gubernamentales.

c) Mejorar el desempeño de los programas – eficiencia técnica.

- Aumentar la predictibilidad de los recursos y por tanto mayor autonomía en la programación de

recursos.

- Gestión orientada al desempeño.

- Mayor correspondencia entre programación y ejecución.

Los beneficios de su aplicación incluyen:

Mayor claridad en los objetivos de política.

Mejor asignación inter e intrasectorial de recursos (mejoras en la calidad del gasto).

Mayor disciplina fiscal, al tomar decisiones asignativas que tienen en cuenta las restricciones de

mediano plazo.

Mayor predictibilidad en el presupuesto de las instituciones en el mediano plazo, aumentando la

eficiencia operacional.

Mayor credibilidad en la presupuestación y la planeación.

Para la implementación del MGMP, la asistencia técnica proporcionada por el Banco Mundial desarrolló

lineamientos metodológicos y una planilla en Excel que constituyen la base para la capacitación en esta

herramienta.1 Dichos lineamientos metodológicos y planilla asociada, siguen una serie de etapas generales de

la herramienta.

1 Ver documento “Marco de Gasto de Mediano Plazo: Lineamientos Metodológicos” y el libro guía MGMP (Excel) anexo a dicho documento.

Page 5: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 4

2.2 Objetivos de la capacitación

El objetivo de la capacitación es formar personas clave de instituciones públicas del Estado de Jalisco en la

metodología de MGMP para que en cada institución (y posteriormente sectorialmente, y a nivel estatal

‘agregado’) se puedan manejar conceptos comunes de gestión presupuestaria plurianual, su vínculo con las

prioridades políticas y los programas presupuestarios, y fortalecer la gestión del desempeño y la eficiencia

operacional. Se busca, asimismo, trabajar la consistencia de la información estratégica y operativa, y su reflejo

presupuestario y, por otro lado, la toma de decisiones presupuestarias.

Los egresados de esta capacitación serán funcionarios que tendrán el marco conceptual y las habilidades de

aplicación de la herramienta MGMP. Con ella deberían de poder vincular el presupuesto institucional,

relacionarlo con los objetivos institucionales, sectoriales y estatales, y manejar la disponibilidad presupuestaria

en función de los costos unitarios y la prioridad de los programas y metas institucionales.

2.3 Instituciones participantes

Se sugiere que las capacitaciones sobre esta herramienta sean lideradas por la Coordinación General de Gestión

Gubernamental, con el apoyo de Subsefin. En primer lugar se sugiere que participen entidades correspondientes

a los sectores más prioritarios, como son las Secretarías de Educación, Obras Públicas y Salud, o bien otras cuya

prioridad sea definida por las entidades que lideran su implementación.

Una vez estas entidades se encuentren utilizando la herramienta se puede ir capacitando a otros sectores, y

también a otras entidades de un mismo sector, con el objeto de ir armando MGMP sectoriales (que incluyan

todas las entidades de un sector).

2.4 Perfil de los participantes

Los participantes deben de ser funcionarios que trabajan directamente con la gestión presupuestaria, áreas de

gestión estratégica, áreas de control de gestión, de planificación, de evaluación y seguimiento, y jefes de

programas. Es importante que los jefes de programas (divisiones o áreas) conozcan la herramienta, al menos en

lo que tiene que ver con la relación entre proyectos, los indicadores, los presupuestos asociados, la priorización

de los proyectos y los costos asociados a sus productos.

1 2 873 4 5 6 9 10 11

UbicaciónProgramática

ContextoSectorial

MetasSectoriales

CorrespondenciaEstructura Programática y

Planes Estratégicos

Programas, Componentes,

Indicadores, Metas

PresupuestoProgramático

Detallado

PresupuestoProgramático

Agregado

Metas de ProducciónAnuales

CostosIndicativos Unitarios

PresupuestoPlurianual

EstructuraEconómica del

Presupuesto

Etapa 1 Etapa 2 Etapa 3 Etapa 4

Page 6: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 5

2.5 Módulos, metodología y duración de la capacitación

Se identifican cuatro etapas de capacitación para la herramienta MGMP:

Etapa 1: La primera etapa es la de conocimiento del instrumento, y sus contenidos deben incluir:

a) Por qué se utiliza el MGMP?

b) Beneficios del MGMP

c) Requisitos para la implementación del MGMP

d) Descripción de las etapas y metodología

e) Descripción de la herramienta (Libro guía excel)

Esta primera etapa se puede hacer en 2 - 4 horas, a través de una presentación de un relator o guía.

Etapa 2: La segunda etapa consiste en completar la herramienta con la información requerida, y debe incluir:

- Recopilación de la información estratégica, operativa, presupuestaria necesaria.

- Relleno de las planillas de la herramienta.

Esta segunda etapa ocurre en un momento separado de la primera. Su duración es variable dependiendo del

tamaño de la entidad (cantidad de programas), de la disponibilidad y calidad de información, de la disponibilidad

de recursos humanos para ingresar la información solicitada. Se calcula que como mínimo puede llegar a durar

pocos días, y como máximo podría llegar a durar varias semanas. La mayor parte del tiempo se dedica a recopilar

y rellenar la herramienta, aspecto que debe ser realizado por la propia institución que recibe la capacitación.

Para esta etapa se sugiere el método aprender haciendo, con el apoyo de un guía (o una entidad que conoce la

herramienta, y apoya en momentos puntuales revisando y entregando orientación).

Etapa 3: La tercera etapa es la de revisión de la consistencia de la información, y debe incluir:

- Consistencia de los planes estratégicos.

- Consistencia de los indicadores y metas (podría aquí utilizar también la HECI)

- Consistencia de los programas con los planes estratégicos.

- Consistencia de los programas, componentes, proyectos/actividades, resultados esperados.

- Consistencia de los costos.

- Consistencia de las metas.

Esta tercera etapa ocurre en un momento separado de la segunda etapa, y su duración también será variable,

dependiendo de la calidad de la consistencia de la información. Se calcula que como mínimo puede llegar a

durar un día, y como máximo cinco días hábiles. Para esta etapa, se sugiere también el método de aprender

haciendo con el apoyo de un relator/guía, para revisar temas puntuales (indicadores, metas, planes, resultados,

y su vinculación lógica). Alternativamente, se puede generar una revisión entre pares.

Etapa 4: Finalmente, la cuarta y última etapa es la de uso de la herramienta. Una vez la herramienta ha sido

cargada con información, y verificada su consistencia, se realizaría uno o varios ejercicios basados en uno o

varios escenarios que simulan situaciones reales en el que el participante tenga que tomar decisiones con base

en los planteamientos del escenario.

Esta etapa debería tomar entre uno y dos días, dependiendo de la complejidad del escenario. Se sugiere que en

esta etapa el método sea un juego de roles en el que participen diversos funcionarios de cada institución,

argumentando las diversas posturas (basadas en argumentos reales) a veces contrapuestas de las instituciones

públicas. Un guía/relator debería estar presente o alternativamente pares de instituciones.

Page 7: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 6

Por tanto, en la programación de la capacitación del MGMP debe tenerse en cuenta que la primera y cuarta

etapas pueden ser realizadas de forma conjunta entre varias instituciones, pero las etapas 2 y 3, son más

individuales debido a que atiende a aspectos específicos de cada institución (la etapa 2 depende de la facilidad

con que se dispone de la información, mientras que la etapa 3 depende de la calidad y consistencia de la

información)

La duración total promedio de la capacitación de MGMP puede ser de alrededor de un mes, teniendo en cuenta

que las duraciones de cada etapa son:

Etapa 1 – 2 a 4 horas (teoría)

Etapa 2 – 2 a 10 días (rellenar de información la herramienta)

Etapa 3 – 1 a 5 días (revisión de consistencia de información)

Etapa 4 – 1 a 2 días (aplicación práctica de la herramienta)

2.6 Requerimientos básicos de información para iniciar entrenamiento

Estructura programático presupuestal de la institución principal del sector bajo análisis.

Identificación de los bienes y servicios asociados a los programas presupuestales en la estructura

presupuestal de la institución seleccionada.

Identificación de los proyectos de inversión de la institución seleccionada.

Gasto ejecutado en los dos últimos años fiscales por programa, componente, proyecto y actividad.

Identificación de los principales indicadores de gestión y resultados de la institución seleccionada.

Estructura presupuestal por programas y económica.

Metas de producción para los próximos años.

Indicadores del sistema MIDE que puedan alinearse a los programas presupuestales bajo estudio.

Posición del estado en rankings nacionales relativos a los temas de interés de los programas

presupuestales.

2.7 Referencias

El principal documento de referencia para esta capacitación es el documento “Marco de Gasto de Mediano

Plazo: Lineamientos Metodológicos” y el libro guía MGMP (Excel) anexo a dicho documento, que se preparó

como resultado de la asistencia técnica del Banco Mundial al Estado de Jalisco.

Otros documentos que ofrecen información de interés relacionada con el MGMP son:

http://www.cepal.org/ilpes/panorama/documentos/informe_alejandra_vega1.pdf

http://www.worldbank.org/afr/wps/wp28.pdf (en inglés)

https://www.odi.org/sites/odi.org.uk/files/odi-assets/publications-opinion-files/2157.pdf (en inglés)

2.8 Recursos

No se requieren insumos especiales para esta capacitación. Se requiere un instructor avalado por la

Coordinación General de Gestión Gubernamental y la Subsefin, ambas de la SEPAF; una sala, un proyector,

materiales didácticos y tiempo del personal clave a capacitar.

Se podría desarrollar una comunidad (apoyada en una plataforma colaborativa, por ejemplo, en Sharepoint) en

la que los diversos responsables de gestionar la herramienta MGMP de diferentes instituciones puedan

Page 8: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 7

intercambiar puntos de vista, comentar problemas específicos, guardar y compartir documentación clave,

realizar consultas.

2.9 Planificación de la capacitación

Se sugiere iniciar primero la capacitación en sectores más prioritarios, como son las Secretarías de Educación,

Obras Públicas y Salud. Una vez estas entidades se encuentren utilizando la herramienta se puede ir capacitando

a otros sectores, y también a otras entidades de un mismo sector, con el objeto de ir armando MGMP sectoriales

(que incluyan todas las entidades de un sector). No se recomienda trabajar en grupos grandes, sino más bien

pequeños entre 2 y 4 instituciones por vez.

Page 9: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 8

3 Plan de Capacitación: Herramienta de Evaluación de la Calidad de

Indicadores (HECI)

3.1 Descripción de la herramienta

La Herramienta para la Evaluación de la Calidad de Indicadores (HECI), desarrollada por el equipo técnico del

Banco Mundial, provee un análisis rigoroso de la calidad de los indicadores al realizar una evaluación integral

en tres dimensiones: su formulación, la definición de sus metas y la calidad de los datos que utiliza.

La herramienta tiene como objetivo analizar la formulación de indicadores y metas a través de la utilización de

criterios como CREMA2 y SMART3. Asimismo, la herramienta hace una valoración rápida de las fuentes de

información utilizadas para tal fin. La herramienta se conforma por una batería de preguntas, en las cuales se

evalúan una serie de atributos del indicador.

Existe mucho interés en mejorar la oportunidad y confiabilidad de los indicadores, pero no se ha acompañado

con el desarrollo de herramientas para verificar y mantener su calidad. La HECI es la primera en su tipo al realizar

evaluaciones que incorporan elementos de la calidad de los datos que muchas veces han sido omitidos. En

particular, indicadores de alta calidad evaluados por la HECI permiten informar el presupuesto; conocer el

desempeño de programas y políticas públicas; y, rendir cuentas.

3.2 Objetivos de la capacitación

El objetivo principal es analizar la formulación de indicadores y metas a través de criterios como CREMA y

SMART, y realizar una valoración rápida de las fuentes de información utilizadas. El resultado esperado se asocia

a que la herramienta permita la evaluación integral de indicadores en tres dimensiones:

la formulación de indicadores

la definición de metas

la calidad de las fuentes de información.

También se espera que la herramienta permita contar con indicadores de calidad lo cual facilitará informar el

presupuesto, conocer el desempeño de programas y políticas públicas, rendir cuentas y brindar transparencia.

3.3 Instituciones participantes

Se recomienda capacitación para las siguientes instituciones clave del Sistema de Evaluación del Desempeño y

las acciones generales de monitoreo y evaluación:

Secretaría de Planeación, Administración y Finanzas

Subsecretaría de Finanzas

Subsecretaría de Planeación y Evaluación

2 CREMA: Acrónimo utilizado con mayor frecuencia y que ayuda a establecer indicadores adecuados, de acuerdo a los siguientes parámetros: Claro, Relevante, Económico, Monitoreable, Adecuado. Tanto CREMA como SMART son acrónimos genéricos se utiliza para guiar la formulación de indicadores y sus metas, pero existen también fuentes que manejan otras siglas y que incluyen otros criterios. 3 SMART: Acrónimo utilizado frecuentemente para establecer indicadores adecuados, considerando los siguientes parámetros: Specific (Específico); Measurable (Cuantificable); Achievable (Alcanzable); Relevant (Relevante); y Time bound (Con tiempos definidos).

Page 10: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 9

Instituciones del poder ejecutivo:

Sectores clave seleccionados por las instancias rectoras

También debe involucrarse y capacitarse al Instituto de Información Estadística y Geográfica del Estado de

Jalisco (IIEG), siendo institución clave en la producción y diseminación de información estadística que pueda

contribuir a la programación y planeación.

3.4 Perfil de los participantes

Se solicita la participación de la Subsefin y Subseplan, así como la consulta a IIEG e INEGI; para coordinar el

proceso de implementación, se requiere el siguiente personal:

Responsable de la preparación de las MIR y/o equipo que trabaje directamente en áreas de gestión

estratégica, planificación, evaluación y seguimiento. Es importante que se cuente con personal

directamente vinculado al Sistema de Evaluación del Desempeño y al MIDE, a efectos de lograr alinear

muy bien las cadenas de valor de las MIR.

Responsable de los archivos de datos para construir los indicadores.

Es importante contar con la presencia de ambos perfiles, ya que la HECI es una herramienta integral que evalúa

ambas dimensiones.

3.5 Módulos, metodología y duración de la capacitación

Esta capacitación se divide en seis módulos, descritos abajo.

Módulo 1. Capacitación a facilitadores. Antes de comenzar la capacitación propiamente es necesario entrenar

a facilitadores que brindarán apoyo en el llenado de la herramienta. La capacitación a facilitadores consta de

los módulos 2, 3 y 4 que debe realizarse previamente para que estos puedan asistir en el llenado los días

subsecuentes. Una vez conociendo la herramienta, el facilitador debe promover la reflexión y asegurar que se

tengan los soportes necesarios (documentos, normativa y archivos de información) para su llenado.

Tiempo requerido: aproximadamente 5 horas.

Método: ver siguientes módulos.

Módulo 2. Contexto e introducción a la calidad de indicadores. En este módulo se presenta el contexto sobre

la importancia de la evidencia para guiar el análisis y orientar las políticas y programas públicos, así como la

relevancia de la calidad de los indicadores para tal fin. Se revisan de manera teórica los conceptos para definir

la calidad de un indicador:

- Por qué son importantes los indicadores

- Calidad en la formulación (descripción de los criterios CREMA)

- Calidad en la definición de metas (descripción de los criterios SMART)

- Calidad de las fuentes de información

Tiempo requerido: presentación de 30 minutos a 1 hora.

Método: presentación plenaria con un relator o guía mediante el uso de un formato PowerPoint.

Page 11: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 10

Módulo 3. Presentación de la Herramienta de Evaluación de la Calidad de Indicadores (HECI). En este módulo

se presenta la herramienta por cada una de sus dimensiones cubriendo los siguientes puntos:

- Generalidades de la HECI: objetivo, participantes y material de trabajo.

- Descripción de la HECI: durante este módulo se navega la herramienta haciendo un recorrido rápido

por la batería de preguntas.

- Software Nesstar Publisher 4.0.9: para evaluar las fuentes de información se utiliza el software de

acceso libre Nesstar. El software es una herramienta para la documentación de datos, sin embargo

aquí se utilizará para identificar variables perdidas y fallas en la codificación. Por tal motivo, ésta

será sólo una mirada rápida a dicha herramienta.

Tiempo requerido: presentación de 1 – 1.5 horas.

Método: presentación plenaria con un relator o guía mediante el uso de formato PowerPoint.

Módulo 4. Aplicación de la herramienta en grupo. En esta etapa se completa la herramienta de manera grupal

para un indicador seleccionado. El objetivo de hacer un primer ejemplo en grupo es discutir las preguntas para

mostrar el tipo de reflexión que debe hacerse. El guía deberá ir moderando la discusión y concretar acuerdos

respecto a la calificación otorgada.

Tiempo requerido: depende de la discusión, pero se estima aproximadamente 2 horas para un indicador.

Método: Discusión moderada por un guía o relator.

Módulo 5. Aplicación de la herramienta a sectores clave. Durante este módulo se organizan mesas de trabajo

para aplicar la herramienta de forma simultánea con la ayuda de un facilitador en cada una de las mesas. Se

sugiere que las jornadas de trabajo y las mesas sean organizadas por indicadores prioritarios de las instituciones

a nivel temático/sectorial y no meramente institucional. Esto no es trivial ya que genera un positivo debate en

torno de la contribución de cada dependencia a una meta o resultado sectorial.

Las sesiones a nivel temático se repartirán en dos días continuos de trabajo. Es recomendable contar con dos

días, ya que la información que no se obtenga el primer día podrá ser completada en día subsecuente. En una

sesión de trabajo (de 2 días) se tiene como objetivo completar alrededor de 20 indicadores (dependiendo del

número de mesas, facilitadores, etc.).

Tiempo requerido: 4 días de trabajo por sector para un aproximado de 15 a 20 indicadores.

Método: Mesas de trabajo con facilitador por mesa.

Módulo 6. Consolidación de Resultados y análisis. Finalmente, una vez que se hayan recolectado los resultados

de todas las mesas de todos los sectores participantes, se verifica el llenado correcto de la herramienta y se

agregan los resultados para identificar áreas de oportunidad por cada dimensión (formulación, metas y datos).

Los resultados son presentados en una sesión plenaria a todos los participantes.

Tiempo requerido: presentación de 30 minutos a 1 hora.

Método: presentación plenaria con relator o guía mediante el uso de PowerPoint.

Page 12: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 11

3.6 Requerimientos básicos de información para iniciar entrenamiento

Toda la documentación relativa al indicador (metadatos, normativas, metodologías, etc.) en donde se

especifique la fórmula de cálculo y metas.

Fuente de datos a partir de la cual se construye el indicador (preferentemente en formato cvs). Si por

razones de confidencialidad no es posible compartir o anonimizar los datos, se solicita la estructura o

formato de archivo (encabezados y variables) con los campos vacíos.

Orientación de conceptos básicos de fuentes de información para la construcción de indicadores,

como microdatos y metadatos.

3.7 Referencias

Referencias para los criterios CREMA y SMART

Sohail Amjad (2006). Performance-based Monitoring & Evaluation for Development Outcomes: A

framework for developing countries, Pakistan. Mimeos s/f.

Lawlor, K.B., 2012. Smart goals: How the application of smart goals can contribute to achievement of

student learning outcomes. Developments in Business Simulation and Experiential Learning, 39.

Doran, G. T. (1981). "There's a S.M.A.R.T. Way to Write Management's Goals and Objectives",

Management Review, Vol. 70, Issue 11, pp. 35-36.

Referencias sobre el paquete Nesstar Publisher

Para descargar el software de acceso libre accede al siguiente link: http://www.ihsn.org/

Soporte Nesstar: http://www.nesstar.com/support/help.html

Red Nacional de Metadatos: http://www.inegi.org.mx/RDE/RDE_09/Doctos/RDE_09_Art5.pdf

3.8 Recursos

Además de una sala con proyector, se requiere que para cada mesa de trabajo se tenga un equipo de cómputo

con el software Nesstar previamente descargado e instalado.

3.9 Planificación de la capacitación

La Subsefin y la Subseplan, junto con IIEG, deben liderar el esfuerzo. La capacitación debe ir dirigida en un primer

momento a estas instituciones para que éstas puedan funcionar como facilitadores en la aplicación a sectores

prioritarios y sean estas mismas quienes capaciten al resto de las instituciones. Una vez que la herramienta sea

institucionalizada, el rol de las entidades rectoras será más de coordinación, y las propias entidades podrán

hacer la autoevaluación.

Page 13: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 12

4 Plan de Capacitación: Herramienta de Evaluación de Datos para su

Apertura (HEDA)

4.1 Descripción de la herramienta

La Herramienta de Evaluación de Datos para su Apertura (HEDA) es una herramienta que permite la selección y

la evaluación de los conjuntos de datos estadísticos y geográficos candidatos a la apertura a través de un Portal

de Datos Abiertos. La herramienta se basa en estándares nacionales e internacionales para evaluar y mejorar la

relevancia, el nivel de apertura y la calidad de los conjuntos de datos estadísticos y geográficos que se ponen a

disposición del público. Es en este sentido que la herramienta comprende tres dimensiones para la evaluación:

relevancia, datos abiertos y calidad.

La herramienta tiene como objetivo asegurar que los datos publicados a través del Portal de Datos Abiertos

sean relevantes, de calidad y reutilizables.

Frente a la demanda creciente de Datos Abiertos surge un interés de los gobiernos en ofrecer datos relevantes

y de calidad. La HEDA no tiene el propósito de frenar la publicación de conjuntos de datos, la herramienta está

diseñada para estandarizar un proceso de evaluación que mejore la calidad de los datos abiertos proporcionado

por dependencias de gobiernos. El impacto esperado en el uso de la HEDA incluye:

Certeza de relevancia e impacto de los conjuntos de datos y aplicaciones en la comunidad.

Retroalimentación efectiva por parte de usuarios directos.

Nivel de apertura basado en estándares internacionales.

Escalabilidad en el uso de la HEDA en dependencias a nivel estatal y nacional.

4.2 Objetivos de la capacitación

El objetivo principal es analizar la relevancia, el nivel de apertura y calidad de los conjuntos de datos candidatos

a la apertura en el Portal de Datos Abiertos.

El resultado esperado se asocia a que la herramienta permita seleccionar los conjuntos de datos relevantes, con

un nivel de apertura y calidad aceptable para su publicación. También, el análisis de los datos resulta en la

integración de un plan de mejora, con acciones a corto y mediano plazo validado por las personas involucradas

en el proceso de generación de datos.

4.3 Instituciones participantes

Se recomienda que las instituciones clave en el proceso de selección y evaluación de conjuntos de datos, como

son el IIEG y la SEPAF, se fortalezca aún más en la aplicación de la HEDA. Con base en el manejo de IIEG y de

SEPAF de la HEDA, se recomienda capacitar entidades y dependencias de la Administración pública que generan

y administran datos estadísticos y geográficos.

4.4 Perfil de los participantes

Es importante contar con la presencia de varios perfiles, ya que la HEDA es una herramienta integral que evalúa

dimensiones de calidad técnica y temática. Por tanto, se solicita la participación del siguiente personal:

Page 14: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 13

Técnicos responsables de los datos en las entidades.

Técnicos y profesionales con conocimientos en generación, administración, clasificación y

documentación de datos.

Técnicos con conocimientos en Sistemas de Información Geográfica.

Estadísticos.

Administradores de bases de datos.

Responsables de Tecnologías de la Información.

4.5 Módulos, metodología y duración de la capacitación

Esta capacitación se divide en seis módulos, descritos a continuación.

Módulo 1. Capacitación a facilitadores. Antes de comenzar la capacitación propiamente es necesario entrenar

a facilitadores que brindarán apoyo en el llenado de la herramienta. La capacitación a facilitadores consta de

los módulos 2, 3 y 4 que debe realizarse previamente para que estos puedan asistir en el llenado los días

subsecuentes. Una vez conociendo la herramienta, el facilitador debe promover la reflexión y asegurar que se

tengan los soportes necesarios (documentos, normativa y archivos de información) para su llenado.

Tiempo requerido: aproximadamente 3 horas.

Método: ver siguientes módulos.

Módulo 2. Contexto e introducción a los datos abiertos y buenas prácticas en preparación, publicación y

evaluación de datos abiertos. En este módulo se presenta el contexto de datos abiertos y la importancia de

contar con datos de calidad para satisfacer a la demanda. Se presentan las buenas prácticas y herramientas

nacionales e internacionales.

Tiempo requerido: presentación de 30 minutos a 1 hora.

Método: presentación plenaria con un relator o guía mediante el uso de una presentación en formato

PowerPoint.

Módulo 3. Presentación de la Herramienta de Evaluación de Datos para su Apertura (HEDA). En este módulo

se presenta la herramienta por cada uno de sus cuadros considerando:

- Flujo general de la HEDA.

- Descripción de la HEDA: durante este módulo se navega la herramienta haciendo un recorrido

rápido por la batería de preguntas.

Tiempo requerido: presentación de 1 – 1.5 horas.

Método: presentación plenaria con un relator o guía mediante el uso de un PowerPoint y de la herramienta.

Módulo 4. Aplicación de la herramienta en grupo. En esta etapa se completa la herramienta de manera grupal

para un conjunto de datos seleccionado. El objetivo de hacer un primer ejemplo en grupo es discutir las

preguntas para mostrar el tipo de reflexión que debe hacerse. El guía deberá ir moderando la discusión y

concretar acuerdos respecto a la calificación otorgada.

Tiempo requerido: depende de la discusión, pero se estima 40 minutos por conjunto de datos.

Método: Discusión moderada por un guía o relator.

Page 15: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 14

Módulo 5. Aplicación de la herramienta. Durante este módulo se organizan mesas de trabajo para aplicar la

herramienta de forma simultánea con la ayuda de un facilitador en cada una de las mesas. Se sugiere que las

mesas sean organizadas por instituciones para fomentar el diálogo entre las áreas productoras y

administradoras de datos. Las sesiones de trabajo se pueden repartir en dos días continuos de trabajo. Es

recomendable contar con dos días, para que la información que no pueda obtenerse el primer día pueda ser

completada el segundo día. En estas sesiones de trabajo se analizan las alertas de mejora identificadas durante

la evaluación del conjunto de datos y se definen las acciones correctivas a implementar.

Tiempo requerido: 2 días de trabajo. El tiempo de trabajo cada día se determinará en función del número de

conjuntos identificados como candidatos a la apertura en los inventarios institucionales.

Método: Mesas de trabajo con facilitador por mesa.

Módulo 6. Consolidación de Resultados y análisis. Finalmente, una vez que se hayan recolectado los resultados

de todas las mesas de todos los sectores participantes, se verifica el llenado correcto de la herramienta y se

agregan los resultados para identificar áreas de oportunidad por cada dimensión (formulación, metas y datos).

Los resultados son presentados en una sesión plenaria a todos los participantes. Esta sesión permite identificar

las problemáticas comunes en las diferentes dependencias y así asegurar el desarrollo de estrategias

gubernamentales para fortalecer el proceso de apertura de datos.

Tiempo requerido: presentación de 30 minutos a 1 hora.

Método: presentación plenaria con un relator o guía mediante el uso de PowerPoint.

4.6 Requerimientos básicos de información para iniciar entrenamiento

Identificación del responsable del conjunto de datos.

Inventario institucional de conjuntos de datos.

Toda la documentación relativa al conjunto de datos: metadatos, normativas, metodologías,

estándares, catálogos, diccionarios de datos, evidencias de impacto del conjunto de datos, análisis,

notas de prensa, documentación de aplicaciones, encuestas de satisfacción a usuarios finales.

Datos del conjunto de datos en el formato disponible.

4.7 Referencias

Datos Abiertos

Open Data Handbook. Guide, case studies and resources for government and civil society on the what, why and

how of Open Data. http://opendatahandbook.org/

Buenas prácticas

El Manual de Implementación para el acceso y publicación de DA de la Información Estadística y

Geográfica de Interés Nacional.

http://www.snieg.mx/contenidos/espanol/Normatividad/Normatividad_Vigente/Archivos_NV/Manual

_de_Implementacion_DA_02062015.pdf

Banco Mundial (2012). Guía de auto-diagnóstico de la calidad de registros administrativos a ser utilizados

con fines estadísticos. Estado de Yucatán, México.

Open Data Barometer. http://opendatabarometer.org/

Open Global Data Index. https://index.okfn.org/

Page 16: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 15

Referencias sobre los programas de generación de metadatos

Nesstar –Iniciativa de Documentación de Datos (DDI). Para descargar el software de acceso libre

accede a las siguientes ligas: http://www.ihsn.org/ http://www.nesstar.com/support/help.html

Norma Mexicana Técnica (NMT) para descargar el software de acceso libre accede a la siguiente liga:

http://www.inegi.org.mx/geo/contenidos/metadatos/aplicaciones_conversion.aspx

4.8 Recursos

Además de una sala con proyector, se requiere que para cada mesa de trabajo se tenga un equipo de cómputo

con los manejadores.

4.9 Planificación de la capacitación

SEPAF (Dirección General de Innovación y Gobierno Digital) e IIEG (Unidad de Tecnologías de la Información)

deben liderar el esfuerzo. La capacitación debe ir dirigida en un primer momento a estas instituciones para que

éstas puedan funcionar como facilitadores en la aplicación y sean estas mismas quienes capaciten al resto de

las instituciones. Una vez que la herramienta sea institucionalizada, las propias entidades podrán hacer la

autoevaluación.

Page 17: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 16

5 Plan de Capacitación: Cuadro de Mando Gubernamental

5.1 Descripción de la herramienta

El Cuadro de Mando Gubernamental (CMG) es una aproximación gerencial que sistematiza información

relevante, confiable y oportuna sobre el desempeño de los programas públicos prioritarios. Los objetivos del

cuadro de mando gubernamental son los siguientes:

Alinear recursos para el cumplimiento de metas.

Mejorar la oportunidad de intervención y focalización.

Obtener un diagnóstico rápido para decisiones inmediatas.

Mejorar la transparencia e informar a la ciudadanía los avances en la gestión pública.

En particular, el CMG permite a los rectores de políticas públicas:

Medir de manera regular el desempeño de programas presupuestarios.

Detectar síntomas en el proceso de gestión antes que se conviertan en problemas.

Favorecer la rendición de cuentas de los resultados alcanzados, y

Crear una retroalimentación continua a los directivos de los programas públicos.

5.2 Objetivos de la capacitación

En el caso del CMG, el entrenamiento en Jalisco tiene dos objetivos:

Objetivo 1: Integración de una base de datos que centralice la información necesaria para medir el avance de

los proyectos estratégicos del Gobernador con respecto a sus metas para el cierre de gobierno. Es decir, el

primer paso es crear el CMG a partir de la información disponible.

Objetivo 2: Capacitación de los funcionarios públicos responsables del monitoreo y evaluación de instituciones

clave, en el uso del CMG e interpretación de indicadores relevantes. Revisión de los conceptos de eficiencia,

eficacia, calidad y cobertura para facilitar la toma de decisiones a través de reportes periódicos que se generan

del CMG.

Los resultados esperados son que el CMG brinde un diagnóstico rápido de la situación y que éste permita la

toma rápida de decisiones preventivas y correctivas a los rectores de las políticas públicas. La información

centralizada y los reportes periódicos, permitirán dar un avance detallado al Gobernador respecto al cierre de

los proyectos estratégicos de su administración.

5.3 Instituciones participantes

Las entidades rectoras que deberán participar son:

Subsecretaría de Planeación y Evaluación, como líder de proyecto.

Subsecretaría de Finanzas, por proveer información clave para la programación, planeación y

presupuestación de los proyectos.

Sin embargo, para contar con la información necesaria se requiere la participación de las 20 dependencias que

integran los 98 proyectos estratégicos del Gobernador: Secretaría de Infraestructura y Obra Pública (SIOP),

Secretaría de Salud (SSJ), Secretaría de Desarrollo Rural (SEDER), Secretaría de Innovación, Ciencia y Tecnología

Page 18: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 17

(SICYT), Secretaría de Medio Ambiente y Desarrollo Territorial (SEMADET), Fiscalía General del Estado (FGE),

Secretaría de Planeación, Administración y Finanzas (SEPAF), Secretaría de Turismo (SECTURJAL), Secretaría de

Desarrollo e Integración Social (SEDIS), Secretaría de Cultura (SCJ), Secretaría de Desarrollo Económico

(SEDECO), Secretaría de Educación (SEJ), Secretaría de Movilidad (SEMOV), Sistema para el Desarrollo Integral

de la Familia (DIF), Secretaría de Trabajo y Previsión Social (STyPS), Protección Civil, Instituto Jalisciense de

Ciencias Forenses (IJCF), Contraloría del Estado de Jalisco, Instituto Jalisciense de las Mujeres (IJM) y Secretaría

de Gobierno (SGG).

5.4 Perfil de los participantes

Para el primer objetivo de conformación del CMG, el perfil de los participantes son los responsables de la

Dirección de General de Planeación, dentro de la Subseplan, en particular quienes están encargados de

coordinar y concentrar la información estadística en áreas de planeación, seguimiento y gestión de recursos.

Los participantes deben tener claridad en conceptos como entregable, proyectos, indicadores y metas.

Con el objetivo de obtener la información necesaria para alimentar al CMG, el perfil de aquellas personas para

proveer los requerimientos son funcionarios responsables de las áreas de planeación y administración de las

dependencias. De tal forma se complementa la información de planeación con los costos operativos.

Para el segundo objetivo de capacitación en el uso del CMG, el perfil de los asistentes son aquellos encargados

del seguimiento al avance de programas y proyectos en las dependencias responsables de los proyectos y

programas prioritarios de la actual administración estatal.

5.5 Módulos, metodología y duración de la capacitación

Esta capacitación se divide en tres módulos, que se describen abajo.

Módulo 1. Introducción CMG. En este módulo se presenta el instrumento y se atiende a las siguientes preguntas:

¿Qué es el cuadro de mando gubernamental?

¿De dónde se origina, influencia del control de gestión?

¿Para qué sirve?

¿Qué se requiere para su implementación?

Tiempo requerido: presentación de 1 hora.

Método: presentación.

Módulo 2. Integración del CMG

2.1 Identificación de fuentes

En este módulo se identifican las fuentes de información disponibles para integrar el CMG. Debido a que esto

depende de la coordinación con las 20 dependencias que tiene proyectos estratégicos, esta actividad consume

mucho tiempo y requiere de gran coordinación. Se recomienda establecer plazos concretos para asegurar el

avance. Una vez recopilada la información debe verificarse la calidad de la misma; es decir, además de completa

debe ser consistente en cuanto a sus metas, plazos y presupuesto. Esta fase requiere interacciones constantes

con las dependencias. Los titulares de las dependencias involucradas deberán validar la información en un plazo

asignado para ello. En caso de no haber comentarios se toma como válida la estimación. Una vez validada su

Page 19: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 18

calidad se integrarán las distintas fuentes en una base de datos única. Para ello, se requiere la identificación de

variables llave, utilización de catálogos de beneficiarios y armonización en los distintos campos. De ser posible

áreas informáticas pueden auxiliar en esta fase para potenciar aún más y hacer más visible y amigable la

herramienta.

2.2 Cálculo de índices de eficacia, eficiencia, cobertura e hitos de seguimiento

Una vez integrada y validada la calidad de la información en una base de datos única, se procede al cálculo de

los indicadores de eficiencia, eficacia, cobertura y la sistematización de hitos para el seguimiento de

infraestructura.

2.3 Explorar con las entidades participantes si existen estándares para evaluar la calidad de la oferta de

servicios públicos

Tiempo requerido: la duración dependerá de la disponibilidad y calidad de las fuentes de información, así como

el tiempo que se asigne para la validación pero puede tomar varias semanas.

Método: se sugiere el método aprender haciendo en donde una persona coordine a los participantes para

asegurar la armonización de los archivos de datos.

Módulo 3. Uso del CMG. Una vez integrada y validada la herramienta, se realiza una presentación con ejemplos

reales para mostrar las diferentes funciones. Previo a ello, se realiza un breve entrenamiento con una guía de

los conceptos de productividad (eficacia y eficiencia) y calidad para la interpretación de los mismos. Esta

presentación mostraría también opciones para la elaboración de reportes ejecutivos del CMG.

Tiempo: presentación de 2 horas.

Método: presentación.

5.6 Requerimientos básicos de información para iniciar entrenamiento

Reportes actuales sobre el avance de gasto y de gestión por institución y comparativos.

Estructura de la base de datos del Sistema de Evaluación del Desempeño (SED), listado de variables,

estructura de la base de datos (tablas, campos, clasificadores)

Estructura de la base de datos del MIDE Jalisco, listado de variables, estructura de la base de datos (tablas,

campos, clasificadores)

Reportes que pueden generarse con el SED y MIDE.

Información de las metas de las MIR para cada programa presupuestal.

Información de los avances de las MIR en el SED (mensual, trimestral)

Información sobre el sistema de inversión pública. Información geográfica, inversiones por localidad,

municipio, tipo de proyecto.

Clasificadores (si existen) de tipos de productos y beneficiarios para agregar información.

Información (si existe) sobre calidad de bienes y servicios o grado de satisfacción de beneficiarios.

Reportes sobre avances del PED.

Información de servicios/bienes a entregar, metas, indicadores y fuentes de información de los proyectos

estratégicos.

Page 20: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 19

5.7 Referencias

Kaplan S. Robert David P. Norton, (1996). The Balance Scorecard: Translating Strategy into Action. Harvard

Business School Press, USA; Robert N, Anthony (2003) Management Control Systems. McGraw Hill, USA, y Blanco

Illescas Francisco (1985) El Control como Guía de Gestión empresarial. Ed IMI, España.

Medina Giopp, Alejandro y José Mejía Lira (1993) El Control en la Implementación de la Política Pública. Ed Plaza

y Valdés, México.

Medina Giopp, Alejandro (2005) Gestión por procesos y creación de valor público. Ed, INTEC, República

Dominicana.

Operational Evaluation Department, the World Bank (2004). Monitoring & Evaluation. Some tools, methods and

approaches. Washington, D.C. Para un ejemplo de reporte ciudadano, ver el caso del Tablero de Control

Presidencial en Paraguay en la siguiente liga http://rc.stp.gov.py/

5.8 Recursos

Insumos: sala, proyectos, instructor y guías.

5.9 Planificación de la capacitación

La Subsecretaría de Planeación y Evaluación, particularmente la Dirección General de Planeación, es quien debe

de liderar el esfuerzo y concentrar la información de los proyectos estratégicos del CMG. Lo primero que debe

especificarse es el nivel de detalle con el que se desea trabajar; es decir, si se trabajará con componentes o

entregables. Esto es clave para la recolección de información y para asignar ponderadores a las unidades

mínimas con las cuales se trabaje.

La principal consideración es si la capacitación se limitará a las entidades y dependencias a cargo de los

proyectos estratégicos, o bien si se busca ampliar la cobertura del tablero a otros proyectos. En función del

alcance, se deberán programar los talleres requeridos, así como la capacitación de capacitadores.

La Subsecretaría debe establecer con claridad los conceptos a definir por las demás dependencias como la

descripción del proyecto, los entregables, metas, entre otros.

Page 21: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 1

Anexo 1: Propuesta inicial de herramientas de M&E

Herramientas Descripción básica Alcance

1. Plan estatal de formación en M&E

Preparación del plan de formación sobre monitoreo y evaluación de políticas y programas públicos. Comprende el propósito del plan, la audiencia y perfil del egresado. El currículo académico por sesiones, incluyendo para cada una: objetivo, temas a abordar, dinámica (estudios de caso, ejercicios, presentación, etc.), materiales sugeridos, mecanismos de evaluación. Aspectos de logística: facilitadores, aulas, aplicación de evaluaciones, etc.

Reporte técnico que define el alcance del programa de formación, requerimientos logísticos, y de facilitación. No incluye el desarrollo de los materiales didácticos de cada sesión. Entregable: plan de formación y logística de implementación.

2. Procedimiento para la distribución de cupos de formación en M&E a entidades y dependencias de la administración pública estatal y municipal

Procedimiento para definir el número de funcionarios que corresponde a cada entidad o dependencia, además de municipios, para postular al programa de formación. Definición de criterios de postulantes, así como criterios de estimación del número de postulantes por entidad, sobre criterios monto del gasto público, número de programas presupuestarios y acciones públicas, tales como total de beneficiarios, programas en la agenda de evaluación, etc.

Nota técnica y herramienta en Excel u otro procesador estadístico para la estimación de postulantes y el control de participantes para los primeros dos años de plan de formación en M&E.

3. Convenios de desempeño Es un acuerdo interinstitucional que se establece entre el órgano de coordinación global de M&E en el Estado, con una entidad pública estatal, en donde ésta se compromete públicamente a un nivel de desempeño en la entrega de bienes y servicios, y eventualmente en los resultados a alcanzar. Esta iniciativa puede iniciar con un acuerdo y establecer un plan de expansión.

Se trabajará un borrador de convenio de desempeño con una entidad sobre uno o dos de sus programas prioritarios. Se dejarán los elementos técnicos necesarios para su firma y seguimiento.

4. Documento estándar de Términos de referencia

La contratación de servicios de consultoría de M&E para consultores individuales o firmas, requiere una clara definición de los términos de referencia que determinan el alcance de los servicios. Considera aspectos como el objetivo general y objetivos específicos de los servicios a contratar, alcance, enfoque de la evaluación y actores implicados, metodología, actividades o tareas a realizar. Productos e informes a entregar, duración del servicio, recursos y facilidades a ser provistos por la entidad contratante, costos y remuneraciones entre otros.

Capacitación en elaboración de términos de referencia para la contratación de servicios de consultoría en M/E, y preparación de un modelo estándar. Se considera la normativa estatal para compras y contrataciones de servicios de consultoría. Se incluye los aspectos de supervisión sobre la implementación de los TDR.

5. Matriz para el mapeo de herramientas (MMH) de M&E actualmente utilizadas en el Estado de Jalisco.

Inventario de las herramientas identificadas en el diagnóstico de M&E, que comprende su descripción, uso secuencial, regularidad de su aplicación.

Inventario de las herramientas y análisis de su potencial duplicación, y sugerencias para la mejora de su secuencia durante el ciclo de gestión.

6. Mecanismo de seguimiento de las recomendaciones de las evaluaciones.

Mecanismos de seguimiento de las recomendaciones derivadas de las evaluaciones sobre los avances de CONEVAL y las guías de buenas prácticas para seguimiento de las evaluaciones del Grupo de Evaluación de Naciones Unidas (UNEG)

Preparación de nota técnica que defina los estándares para el seguimiento de las recomendaciones, y los arreglos mínimos organizacionales e institucionales que permitan su implementación.

20

Page 22: Fortalecimiento de las políticas públicas basadas en evidencia Jalisco_Plan... · Está diseñado para mejorar el proceso decisorio y debe acompañarse de un seguimiento de la ejecución

Banco Mundial. Plan capacitación herramientas M&E. Estado de Jalisco, México. | 2

7. Nota técnica para desarrollo de encuestas rápidas de satisfacción de beneficiarios

Diseño e implementación de encuestas rápidas de satisfacción de beneficiarios a través por ejemplo de call center, para estimar a través de un reducido número de preguntas (10<) el grado de satisfacción sobre programas o servicios recibidos por los beneficiarios

Preparación de nota técnica sobre programas prioritarios para la preparación de encuestas rápidas de satisfacción de beneficiarios: Objetivo, metodología y tipo de muestreo, definición cuestionario, equipo técnico y personal requerido, método de colecta (call center, cara-cara...), procesamiento, etc.

8. Evaluación de la calidad de servicios públicos a través de registros administrativos (cumplimiento de estándares)

Aprovechamiento del análisis de los registros administrativos existentes para poder identificar el grado de cumplimiento de estándares en la oferta de servicios en base a ratios extensionistas/productores; docentes/alumnos; enfermeras/doctores; doctores/población, etc.

Reporte que verifica el grado de cumplimiento de los estándares seleccionados de un sector mediante la explotación de sus registros administrativos (preferentemente RRAA evaluados en la asistencia del BM) y recomendación para su expansión.

9. Tableros de control para el monitoreo de programas públicos

Instrumento que permite definir propuestas de reportes periódicos de monitoreo de programas púbicos sobre la base de la información existente de las MIR, sistema de inversión pública, sistemas de información administrativa y financiera, padrones de beneficiarios, entre otros. Se elabora el diseño conceptual y etapas de desarrollo.

Entregable: Diseño conceptual del tablero que genera reportes continuos de monitoreo de programas públicos, sobre la base de la sistematización de información existente y propuesta de reporte de monitoreo con datos reales, indicadores, logros, hallazgos y recomendaciones

10. Metodología de evaluación del desempeño institucional (EDI)

Metodología que permita la evaluación del desempeño a nivel institucional de la gestión pública: objetivo, estrategia, gestión de recursos humanos, M&E, gestión administrativa y financiera, información, y logros, entre otros elementos.

Propuesta de metodología de EDI basado en adaptación de modelos existentes de evaluación del desempeño institucional al contexto de Jalisco.

11. Métodos de evaluación rápida (grupos focales, entrevistas, mini encuestas)

Son evaluaciones de programas que comprende aspectos relevantes de su ciclo de gestión (planeación, programación, presupuestación, implementación, monitoreo, etc.) apoyándose mayoritariamente en información existente del tipo registros administrativos.

Propuesta de metodologías basado en adaptación de evaluaciones rápidas existentes a la realidad de Jalisco.

12. Marco de gasto de mediano plazo

Herramienta de presupuestación plurianual sobre la base de la proyección de bienes y/o servicios a producir en periodos trianuales, su estimación de gasto unitario, bajo la consideración del marco fiscal existente. Esta herramienta define también los indicadores de gestión y resultados que permiten hacer seguimiento al ejercicio presupuestal.

Capacitación sobre modelos de evaluación de marcos de gasto de mediano plazo de nivel sectorial en entidades federativas. Asistencia técnica para sentar las bases de un caso práctico en un sector que pueda expandirse.

13. Costo efectividad y diseños de evaluación de impacto

Capacitación sobre los métodos de evaluación de programas costo efectividad y evaluación de impacto

14. Mecanismos de M&E de la gestión del Poder Judicial

Análisis de eficacia, eficiencia, productividad y apego a legalidad de la gestión del Poder Judicial.

Identificación de mejores prácticas nacionales e internacionales, y recomendación de iniciativas para desarrollar en Jalisco sobre esta base.

21