Gestión Pública con base en resultados - fao.org · i EjEcución y monitorEo Gestión Pública...

1EjEcución y monitorEo

Gestión Pública con base en resultados

Herramientas para el diseño e instrumentación de programas

públicos de desarrollo rural mediante el enfoque del ciclo del proyecto

Evaluación

Diseño

Ejecución y Monitoreo

móDuLo 3

Diagnóstico

Gestión Pública con base en resultados HErramiEntas para EL DisEño E instrumEntación DE programas púbLicos DE DEsarroLLo ruraL mEDiantE EL EnfoquE DEL cicLo DEL proyEcto

2

iEjEcución y monitorEo

Gestión Pública con base en resultados

Herramientas para el diseño e instrumentación de programas

públicos de desarrollo rural mediante el enfoque del ciclo del proyecto

ORGANIZ ACIÓN DE LAS NACIONES UNIDAS PARA LA ALIMENTACIÓN Y LA AGRICULTURA

S a n t i a g o , 2 0 1 4

Evaluación

Diseño

Ejecución y Monitoreo

móDuLo 3

Diagnóstico


ii

Las denominaciones empleadas en este producto informativo y la forma en

que aparecen presentados los datos que contiene no implican, por parte de

la organización de las naciones unidas para la alimentación y la agricultura

(fao), juicio alguno sobre la condición jurídica o nivel de desarrollo de

países, territorios, ciudades o zonas, o de sus autoridades, ni respecto de la

delimitación de sus fronteras o límites. La mención de empresas o productos

de fabricantes en particular, estén o no patentados, no implica que la fao los

apruebe o recomiende de preferencia a otros de naturaleza similar que no se

mencionan.

Las opiniones expresadas en este producto informativo son las de su(s) autor(es),

y no reflejan necesariamente los puntos de vista o políticas de la fao.

isbn 978-92-5-308523-1 (edición impresa)

E-isbn 978-92-5-308524-8 (pDf)

© fao, 2014

La fao fomenta el uso, la reproducción y la difusión del material contenido

en este producto informativo. salvo que se indique lo contrario, se podrá copiar,

descargar e imprimir el material con fines de estudio privado, investigación

y docencia, o para su uso en productos o servicios no comerciales, siempre

que se reconozca de forma adecuada a la fao como la fuente y titular

de los derechos de autor y que ello no implique en modo alguno que la fao

aprueba los puntos de vista, productos o servicios de los usuarios.

todas las solicitudes relativas a la traducción y los derechos de adaptación

así como a la reventa y otros derechos de uso comercial deberán dirigirse a

www.fao.org/contact-us/licence-request o a [email protected].

Los productos de información de la fao están disponibles en el sitio web de la

organización (www.fao.org/publications) y pueden adquirirse mediante solicitud por

correo electrónico a [email protected].

iiiEjEcución y monitorEo

agradecimientos----------------------------------------------------------------------------------------------------------------------- ix

presentación ---------------------------------------------------------------------------------------------------------------------------- xi

introducción --------------------------------------------------------------------------------------------------------------------------- xiii

I. Ejecución y monitoreo de un programa o proyecto -------------------------------------------------------- 1

Capítulo 1 Metodología para la ejecución y monitoreo de un programa o proyecto --------------------------------------- 2

1.1 presupuestación con base en resultados------------------------------------------------------------------------ 3

1.2 reglamentación ------------------------------------------------------------------------------------------------------ 8

1.3 Evaluación de la gestión --------------------------------------------------------------------------------------------15

1.4 monitoreo ------------------------------------------------------------------------------------------------------------ 30

1.5 Evaluación intermedia de desempeño -------------------------------------------------------------------------- 39

Resumen ----------------------------------------------------------------------------------------------------------------------------------- 43

II. Herramientas ----------------------------------------------------------------------------------------------------------------- 45

Herramienta 1 ----------------------------------------------------------------------------------------------------------------------------- 46

caso práctico: términos de referencia para la evaluación de diseño de un programa ----------------------------- 46

Herramienta 2 ----------------------------------------------------------------------------------------------------------------------------- 56

caso práctico: términos de referencia para la evaluación de funcionamiento y operación de un programa ---------------------------------------------------------------------------------------------------------------------- 56

Herramienta 3 ----------------------------------------------------------------------------------------------------------------------------- 65

método muestral para una miniencuesta para la recolección de información para el monitoreo de indicadores ------------------------------------------------------------------------------------------------------------------------ 65

Índice

iii


iv

Herramienta 4 ----------------------------------------------------------------------------------------------------------------------------- 80

método de muestreo para la recolección de información para el monitoreo de la calidad en el servicio y el seguimiento a los apoyos de un programa o proyecto -------------------------------------------------------------------- 80

Herramienta 5 ----------------------------------------------------------------------------------------------------------------------------- 83

cuestionario para el monitoreo de la calidad en el servicio de un programa o proyecto --------------------------- 83

Herramienta 6 ----------------------------------------------------------------------------------------------------------------------------- 86

cuestionario para el monitoreo del seguimiento a los apoyos otorgados por un programa o proyecto ---------- 86

f I G u R a s

Figura 1. ciclo de vida del proyecto: Ejecución y monitoreo ------------------------------------------------------------- 2

Figura 2. Esquema del proceso presupuestario para resultados en méxico ------------------------------------------ 5

Figura 3. De la matriz del marco Lógico a las reglas de operación ----------------------------------------------------- 8

Figura 4. análisis de la asignación de recursos de un programa público --------------------------------------------15

Figura 5. Esquema de monitoreo a partir de la mmL ------------------------------------------------------------------- 30

Figura 6. Espectro de métodos de levantamiento de información ---------------------------------------------------- 38

Figura 7. ruta de la evaluación intermedia de desempeño ------------------------------------------------------------ 40

Figura 8. características del mcDE ----------------------------------------------------------------------------------------- 66

Figura 9. Ejemplo del área y las cinco subáreas de monitoreo ---------------------------------------------------------81

C u a D R o s

Cuadro 1. grupo y modalidades en la estructura programática ---------------------------------------------------------- 4

Cuadro 2. Lineamientos para transitar de la matriz de indicadores para resultados a las reglas de operación de los programas correspondientes ----------------------------------------------------------------- 9

Cuadro 3. temas y preguntas de evaluación de diseño -------------------------------------------------------------------17

Cuadro 4. temas y preguntas de evaluación en el ámbito de planeación -------------------------------------------- 22

Cuadro 5. temas y preguntas de evaluación en el ámbito de la operación ------------------------------------------ 25

Cuadro 6. temas y preguntas de evaluación en el ámbito de monitoreo y evaluación ----------------------------- 27

iv

vEjEcución y monitorEo

Cuadro 7. relación entre los elementos de la matriz del marco lógico y el monitoreo ------------------------------31

Cuadro 8. Ejemplo de indicadores de resultados e impactos ----------------------------------------------------------- 33

Cuadro 9. Ejemplo de indicadores de gestión ----------------------------------------------------------------------------- 33

Cuadro 10. Ejemplo de indicadores que presentan deviación respecto de las metas ------------------------------- 35

Cuadro 11. Ejemplo de indicadores que presentan cumplimiento de las metas -------------------------------------- 35

Cuadro 12. resultados del monitoreo del indicador de fin --------------------------------------------------------------- 36

Cuadro 13. resultados del monitoreo del indicador de propósito ------------------------------------------------------- 37

Cuadro 14. resultados del monitoreo del indicador de componente --------------------------------------------------- 37

Cuadro 15. región y cantidad de municipios de muestratlán ------------------------------------------------------------ 67

Cuadro 16. solicitudes aprobadas por región de muestratlán y suma acumulada ----------------------------------- 68

Cuadro 17. resultados del Escenario 1 --------------------------------------------------------------------------------------- 77

Cuadro 18. resultados del paso 2 --------------------------------------------------------------------------------------------- 77

Cuadro 19. resultados del paso 4 ----------------------------------------------------------------------------------------------78

Cuadro 20. Lqas para el cálculo del tamaño de muestra óptimo para un nivel de confianza del 95% --------- 82

v


vi

s I G l a s

CoNEVal consejo nacional de Evaluación de la política de Desarrollo social

fao organización de las naciones unidas para la alimentación y la agricultura

GpR gestión para resultados

IM intervalo de muestreo

MCDE muestreo de conglomerados en Dos Etapas

MMl matriz del marco Lógico

PbR presupuesto basado en resultados

saGaRPa secretaría de agricultura, ganadería, Desarrollo rural, pesca y alimentación

sIMER sistema de monitoreo y Evaluación para resultados

uE unión Europea

vi

viiEjEcución y monitorEo

vii


viii

ixEjEcución y monitorEo

Agradecimientos

por más de diez años, la organización de las naciones unidas para la alimentación y la agricultura (fao), a través

de proyectos continuos de evaluación y análisis de políticas rurales, ha brindado asistencia técnica a la secretaría

de agricultura, ganadería, Desarrollo rural, pesca y alimentación (sagarpa) de méxico, en materia de evaluación

de programas de fomento productivo agropecuario, pesquero, acuícola y de desarrollo rural. En el marco de esta

cooperación, se han desarrollado de manera conjunta herramientas metodológicas para la gestión de las distintas fases

de un programa: diagnóstico sectorial, diseño, implementación y evaluación. Este documento recoge las experiencias

obtenidas a raíz de los proyectos para que puedan ser replicadas o referenciadas por actores vinculados a la gerencia

de programas o proyectos con características similares.

En el desarrollo de los proyectos destacaron las contribuciones de los siguientes funcionarios de la sagarpa: arturo

Enciso serrano, Ernesto Ezequiel abraham tarrab, Horacio santoyo, josé de jesús romo santos, josé correa,

juan carlos Vargas moreno, Lucía rosas ortíz, miguel Ángel López arreguín, omar anaya mandujano, alan Kristian

Hernández, pablo Hernández alarcón; patricia Valtierra carrillo, claudia gabriela Valadez romero, roberto cedeño,

rogelio carmona León; Eduardo benitez paulín; josé merced tulais López y silvia urbina Hinojosa.

una mención especial para Verónica gutiérrez macías, jaime clemente Hernández y renato olvera nevarez (in

memoriam).

La dirección y coordinación técnica de esta publicación estuvo a cargo de alfredo gonzález cambero, quien dirigiera el

proyecto entre 2007 y 2012, y salomón salcedo baca, líder técnico de los proyectos y oficial principal de políticas de

la oficina regional para américa Latina y el caribe de la fao. En su elaboración participaron ana Harumi Hayashida

carrillo e ina salas casasola, ambas consultoras de la fao. para la sistematización de cada uno de los cuatro módulos

que conforman este compendio de herramientas se contó con la colaboración de integrantes de los proyectos, quienes

aportaron sus conocimientos y experiencias en cada una de las fases que comprende un proyecto. En particular, se

hace un reconocimiento a isabel madrid pérez, ruth mendoza ortinez, mariana ortega ramírez y alejandro Dávila

topete quienes colaboraron en la construcción del árbol de alternativas para la sustentabilidad de los recursos naturales.

finalmente, se agradece la dirección operacional de los proyectos a la oficina de la representación de la fao en

méxico.

ix


x

xiEjEcución y monitorEo

Presentación

a partir de la mesa redonda de marrakech en 2004, la comunidad internacional respaldó cinco compromisos

específicos relacionados para mejorar la eficacia de la ayuda para el desarrollo1, sintetizados en el concepto de “gestión

con base en resultados”. Esto implica que desde el inicio de cualquier iniciativa, proyecto o programa se tomen en

cuenta los resultados esperados y la forma de lograrlos. asimismo, la implementación, el monitoreo de los avances,

así como la posterior evaluación deben considerar cuáles son los resultados esperados que se plantearon al inicio de

dicho proceso.

Existe, por tanto, un gran reto de los países en desarrollo para operar desde una nueva visión. Esto significa romper

con viejas costumbres y patrones en la forma de gestionar el ciclo del proyecto, cambiando de un enfoque de atención

a la demanda a un proceso de planificación para el logro de resultados concretos y anticipados desde un inicio. si bien

no existe un camino único, ya que cada país, cada sector y cada proyecto presentan situaciones particulares, existen

experiencias y buenas prácticas que pueden ser sistematizadas y compartidas.

La elaboración de un conjunto de herramientas para la gestión pública con base en resultados responde a la necesidad

de romper con esquemas inerciales de operación de los programas públicos de desarrollo en la mayoría de los países,

los cuales no contemplan la eficiencia y eficacia en el logro de resultados. La ausencia de dicho enfoque implica que

se gasten recursos sustanciales sin un horizonte de término para la solución de los problemas que las intervenciones

públicas pretenden resolver.

El presente documento recoge las experiencias obtenidas a raíz del proyecto de Evaluación y análisis de políticas

rurales llevado a cabo por la organización de las naciones unidas para la alimentación y la agricultura (fao) y

la secretaría de agricultura, ganadería, Desarrollo rural, pesca y alimentación (sagarpa) de méxico durante la

implementación del enfoque de “gestión con base en resultados” en sus diferentes programas. al respecto, el consejo

nacional de Evaluación de la política de Desarrollo social de méxico ha otorgado, en cuatro ocasiones, reconocimiento

a la sagarpa por sus buenas prácticas en el desarrollo, ejecución y evaluación de políticas públicas en el sector agro-

rural desde 2007, dando un importante paso para mejorar sus programas y orientarlos hacia el buen desempeño e

impacto en el sector.

En este sentido, el documento “gestión pública con base en resultados: Herramientas para el diseño e instrumentación

de programas públicos de desarrollo rural mediante el enfoque del ciclo del proyecto” incluye las cuatros fases del ciclo

de vida de un proyecto o programa. El primer módulo comprende las herramientas metodológicas para llevar a cabo

un diagnóstico sectorial, el cual se constituye en el primer paso que justifica la intervención al permitir la identificación

de un problema, el dimensionamiento del mismo, la identificación y cuantificación de la población o área potencial, y

la estratificación de la población potencial.

El segundo módulo muestra el procedimiento y las herramientas metodológicas para el diseño de un programa o

proyecto, el cual será sintetizado en la matriz del marco Lógico. En este módulo se muestra la metodología para llevar a

cabo el análisis de objetivos, el análisis de alternativas, la construcción de indicadores de desempeño, la identificación

1 Los principios de la gestión con base en resultados acordados en 2004 durante la segunda mesa redonda sobre gestión para resultados de Desarrollo son: 1) centrar el diálogo en los resultados en todas las fases del proceso de desarrollo; 2) alinear la programación, el monitoreo y la evaluación con los resultados; 3) mantener la medición y la información sencillas; 4) gestionar para, no por, resultados; y 5) usar la información de resultados para aprender y para la toma de decisiones.


xii

de los medios de verificación, la identificación de los riesgos y supuestos, y el levantamiento de información contrafactual

para el desarrollo de la línea base de los indicadores de desempeño del programa o proyecto.

El tercer módulo brinda los elementos metodológicos para la implementación de un programa o proyecto que, bajo

el enfoque de resultados, debe incluir un sistema de monitoreo y evaluación acorde con su diseño a través de la

presupuestación, la reglamentación, la evaluación del diseño en su primer periodo de ejecución, la evaluación de

procesos y el monitoreo del programa o proyecto.

El cuarto módulo se compone de los elementos metodológicos para evaluar los resultados arrojados por el programa

o proyecto como efecto de su operación a través del diseño de la evaluación de resultados e impactos. Esto es, se

presenta la metodología para llevar a cabo una evaluación de impacto de un programa o proyecto.

cada módulo se estructura con capítulos que incluyen una parte teórica, un capítulo sobre la experiencia del proyecto

referido, y se complementa con la sistematización de las herramientas metodológicas para una buena comprensión de

los módulos.

salomón salcedo Baca alfredo González Cambero

oficial principal de políticas Director del proyecto (2007-2012)

xiiiEjEcución y monitorEo

Introducción

El establecimiento de objetivos o resultados esperados de la política pública tiene lugar al momento de diseñar los

programas o proyectos que instrumentarán la política pública. sin embargo, no importa cuán bien diseñado se encuentre

un programa o proyecto, ello no es suficiente para lograr los resultados que se buscan. En ese sentido, un buen diseño

del programa o proyecto es una condición necesaria que se ve complementada con la correcta implementación del

mismo para el logro de los resultados e impactos buscados.

no obstante, es común observar que la implementación de un programa o proyecto no siempre es la idónea,

presentándose áreas de oportunidad de diversa índole. por ejemplo, la presupuestación de los programas o proyectos

se realiza, por lo general, de manera inercial o histórica, con base en ajustes al presupuesto del ejercicio anterior, pero

sin considerar las dimensiones del problema que se desea resolver ni el tamaño de la población objetivo a la que se

desea atender, así como tampoco el horizonte de término del programa o proyecto, el cual de acuerdo a las buenas

prácticas debe terminar al resolver la situación que le dio origen. también es común observar que la reglamentación

de un programa o proyecto diverge de su diseño, lo cual no contribuye al logro de los resultados que se buscan con la

implementación de dicho programa.

Dado lo anterior, el conjunto integrado de herramientas de este módulo comprende los elementos técnicos que deben

ser considerados para la elaboración de las reglas de operación de un programa o proyecto, de manera que el diseño de

éste se vea reflejado en la normatividad con la que opere. asimismo, este módulo presenta los elementos metodológicos

para la evaluación de diseño y de procesos, la cual retroalimenta al diseño y operación del programa o proyecto.

En cuanto al monitoreo de las metas de un programa o proyecto, éste es de suma importancia para apoyar la toma

de decisiones en la operación de un programa. El monitoreo se basa en una colección sistemática de información y

análisis de la misma a medida que se ejecuta el programa o proyecto, y tiene como propósito contribuir a mantener bajo

control la instrumentación, identificando aspectos que requieran de medidas correctivas. Es decir, el monitoreo es una

función interna de la gestión del programa o proyecto. Este módulo comprende también los aspectos metodológicos

para el monitoreo de los indicadores de un programa o proyecto.


xivviii


Ejecución y monitoreo deun programao proyecto

I

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4


2

Capítulo 1Metodología para la ejecución y monitoreo de un programao proyecto

El presente capítulo presenta las metodologías que guían el proceso de ejecución y monitoreo durante las fases de presupuestación, reglamentación, evaluación de diseño, evaluación de procesos y monitoreo del programa o proyecto.

La ejecución de un programa o proyecto es la tercera fase del ciclo en la cual el diseño se convierte en acciones concretas y tangibles.

fIGuRa 1. cicLo DE ViDa DEL proyEcto: EjECuCIóN y MoNItoREo

3. Ejecución y Monitoreo

2. Diseño

1. Diagnóstico4. Evaluación

Este capítulo comprende cinco secciones. La primera sección constituye una guía de cómo orientar la estimación de recursos monetarios de manera coherente con el logro de resultados (objetivos del proyecto) y, con ello, asegurar la congruencia entre lo planificado y lo presupuestado. En la segunda sección se presenta una guía para establecer las reglas de operación que precisan el marco normativo para la forma de operar de un programa o proyecto, lo que permite una aplicación eficiente y eficaz de los recursos que son asignados a dicho programa o proyecto. La tercera sección contiene la metodología para evaluar el diseño de un programa o proyecto a partir del análisis de la consistencia


entre las partes que lo integran, así como que el diseño se encuentre reflejado en las reglas de operación; también en esta sección se presenta una guía metodológica para el diseño de la evaluación de procesos. La cuarta sección trata sobre el monitoreo del avance del programa o proyecto con respecto a lo originalmente planeado, utilizando para ello indicadores de desempeño y de gestión. por último, en la quinta sección se abordan los elementos necesarios para llevar a cabo una evaluación intermedia de desempeño.

1.1 Presupuestación con base en resultados

La presupuestación con base en el enfoque de gestión para resultados (gpr) consiste en asignar los recursos financieros de un programa o proyecto centrándose en los objetivos o resultados2 que se buscan lograr con la intervención. Es decir, es el proceso mediante el cual se establece una vinculación directa entre los objetivos deseados con el presupuesto público para el financiamiento de las acciones del programa o proyecto. El enfoque de resultados está presente en todos los procesos y fases de la gestión.

En el marco del enfoque de resultados es muy importante que los gobiernos vinculen los presupuestos de los programas de desarrollo con sus resultados. Este proceso puede tardar años para su efectiva implementación, pero existen países en américa Latina y el caribe que ya están comenzando a aplicar el principio de gpr en el proceso de gestión del gasto público, como es el caso de méxico, chile, perú y trinidad y tobago. a continuación se muestran las herramientas que han aplicado méxico y chile para transitar hacia un enfoque de gpr.

1.1.1 Sistema de presupuestación adoptado en MéxicoEl método utilizado en méxico para la asignación de recursos es el presupuesto basado en resultados (pbr), el cual se define como el conjunto de actividades y herramientas que permiten que las decisiones involucradas en el presupuesto incorporen sistemáticamente consideraciones sobre los resultados obtenidos y esperados en la aplicación de los recursos públicos, y que motiven a las dependencias y entidades públicas a lograrlos con el objeto de mejorar la calidad del gasto público federal y la rendición de cuentas.

El pbr pretende, por su parte, que el centro de atención y la toma de decisiones se mantengan siempre en los resultados esperados durante todas las etapas del proceso presupuestario: planeación, programación, presupuestación, ejercicio y control, seguimiento, evaluación y rendición de cuentas3.

De esta forma, la planeación del pbr se enfoca en la definición y establecimiento, de forma clara y sencilla, de los objetivos y resultados que prevén alcanzar los programas de desarrollo a los que se asignan recursos públicos presupuestarios. Estos objetivos, a su vez, se vinculan con los objetivos estratégicos de las dependencias y entidades públicas federales y con el plan nacional de Desarrollo del país.

En la asignación de los recursos presupuestarios se consideran tanto los objetivos y los resultados esperados, como el nivel efectivamente alcanzado para los programas que se ejecutan. En ese sentido, en la presupuestación se establece una estructura programática que permita organizar la asignación de los recursos conforme a la clasificación de los programas o proyectos, o bien de actividades específicas (cuadro 1).

2 un resultado de desarrollo es el producto, efecto o impacto de una intervención de desarrollo.

3 “Directrices generales para avanzar hacia el presupuesto basado en resultados y el sistema de evaluación de desempeño”, anexo 1 del oficio circular 307-a.-1593 publicado por la secretaría de Hacienda y crédito público y de la función pública, 2007. méxico.


4

CuaDRo 1. grupo y moDaLiDaDEs En La Estructura programÁtica

Grupo Modalidades

Programas federales• Programassujetosareglasdeoperación

• Otrosprogramasdesubsidios.

Proyectos de inversión • Proyectosdeinversión.

Actividades específicas

• Prestacióndeserviciospúblicos

• Produccióndebienespúblicos

• Planeación,formulación,implementaciónseguimientoyevaluación de las políticas públicas

• Actividadesdepromociónyfomento

• Regulaciónysupervisión

• Actividadesdeapoyoalprocesopresupuestarioyparamejorar la eficiencia institucional

• Actividadesdeapoyoalafunciónpúblicaymejoramientodela gestión

• Gastofederalizado

• Otrasactividadesrelevantes

• Obligacionesdecumplimientoderesoluciónjurisdiccional

• Pensionesyjubilaciones

• Aportacionesestatutarias.

Esta estructura programática obliga, además, al diseño de la matriz de indicadores para resultados (o matriz del marco lógico) con el objeto de alinear el fin, el propósito, los componentes y las actividades que integran un programa o proyecto, así como los indicadores, medios de verificación, y riesgos y supuestos para cada nivel de objetivos de dicho programa o proyecto. Los indicadores son utilizados para la evaluación del logro de los objetivos y son a su vez un referente para el monitoreo del desempeño del programa.

una vez definidos los objetivos y resultados, y presupuestado el gasto, corresponde ejecutar los programas y ejercer el presupuesto. En el ejercicio y control del presupuesto se establece una dinámica organizacional al interior de las dependencias y entidades públicas vinculando las unidades y áreas responsables de la planeación, programación, presupuesto y evaluación con las unidades responsables encargadas de la ejecución de los programas. Esto permite tomar decisiones y acciones para asegurar resultados en los programas o proyectos, garantizando una mejor calidad del gasto público.

por lo que al seguimiento y evaluación de los programas se refiere, se establece el sistema de monitoreo y Evaluación para resultados (simEr). El simEr permite la retroalimentación, la cual se deriva del seguimiento a los indicadores y


los resultados de las evaluaciones, a partir de lo cual se generan elementos de juicio para la toma de decisiones. De esa forma, con base en la evaluación de desempeño de los programas y proyectos, se conocen los resultados de la aplicación de los recursos públicos, así como el impacto social, generándose los medios para la rendición de cuentas (figura 2).

fIGuRa 2. EsquEma DEL procEso prEsupuEstario para rEsuLtaDos En méxico

Planeación

Presupuesto

Ejercicio y control

seguimiento

Evaluación

Rendición de cuentas

Programación

•Alineación con el Plan Nacional de Desarrollo y sus programas

•Objetivos estratégicos de las dependencias y entidades

•Elaboración y autorización de estructuras programáticas

•Definición de programas presupuestarios

•Elaboración de matriz de indicadores

•Generación de los indicadores estratégicos y de gestión

•Asignaciones presupuestarias con base a resultados

•Mejora en la gestión y calidad del gasto público

•Informes de resultados

•Monitoreo de indicadores

•Compromiso para resultados y de mejoramiento de la gestión

•Cuenta Pública de Resultados

R

e

s

u

l

t

a

d

o

s

Fuente: Directrices generales para avanzar hacia el presupuesto basado en resultados y el sistema de evaluación de desempeño. Anexo 1 del Oficio Circular 307-A.-1593. Secretaría de Hacienda y Crédito Público de México.


6

1.1.2 Sistema de presupuestación adoptado en ChileLa oficina del presupuesto nacional del ministerio de finanzas de chile ha creado e introducido un conjunto de herramientas diseñadas para mejorar el análisis del presupuesto y para hacerlo más transparente4.

El sistema adoptado en chile incluye las siguientes herramientas:

• Indicadores de desempeño. La finalidad de los indicadores es proveer de información sobre el desempeño de los programas o proyectos y, en ese sentido, contribuir al análisis sobre el cual se basa la preparación del presupuesto y su discusión en el congreso nacional; por ello, cada año la Ley de presupuestos chilena es acompañada de un conjunto de indicadores de desempeño con sus correspondientes metas y nivel de cumplimiento, los cuales son utilizados por el congreso nacional para la preparación del presupuesto del próximo periodo.

• Evaluaciones de los programas. Varias son las líneas de evaluación que incluye la evaluación de los programas y proyectos de desarrollo, entre ellas: desempeño de los programas, impacto de las intervenciones y la revisión integral del gasto. Las evaluaciones se realizan de manera independiente y se basan en la metodología del marco lógico.

• fondo competitivo financiero o de licitación de programas públicos con un formato estándar para presentar programas públicos para financiamiento, mediante el cual los ministerios elaboran sus propuestas de presupuesto, la cual incluye a los programas nuevos, así como reformulaciones sustantivas de programas existentes. El formato requiere que se incluya un conjunto de antecedentes relevantes para analizar la necesidad y pertinencia de la iniciativa presentada por los ministerios.

• Programas de mejoramiento de gestión. Estos son programas de incentivos que vinculan el cumplimiento de los objetivos de los programas a un incentivo de carácter monetario para los funcionarios encargados de la ejecución del programa o proyecto. El incentivo corresponde a un incremento del 3% en las remuneraciones de los funcionarios, siempre que la institución en la que se desempeñen haya alcanzado un grado de cumplimiento igual o superior al 90% de los objetivos anuales comprometidos, o de un 1.5% si dicho cumplimiento fuese inferior del 90% pero igual o superior al 75%.

• Informes integrales de gestión. a todas las agencias del sector público se les exige que preparen un informe integral de gestión ante el congreso. Dichos informes tienen el objeto de apoyar el proceso de evaluación de la implementación financiera y la gestión del presupuesto llevada a cabo por la oficina del presupuesto nacional durante el primer semestre de cada año. Los informes integrales de gestión también se usan en la evaluación de la gestión financiera de los servicios públicos por parte de los subcomités del presupuesto.

1.1.3 Elcírculovirtuosodelaplaneación,presupuestaciónyevaluación

tanto en méxico como en chile se ha implementado una serie de reformas presupuestarias que buscan vincular la aplicación de los recursos públicos, mediante los programas o proyectos, con los resultados obtenidos y esperados. En ambos países se reconoce que la presupuestación es un proceso que permea las fases de planeación y evaluación, por lo que se promueve la consistencia entre la asignación de los recursos y los resultados esperados a través de diversas herramientas como es el uso de marcos lógicos en la planeación, y el desarrollo de estrategias operativas y presupuestos anuales sujetos al desempeño, así como evaluaciones de impacto y desempeño para retroalimentar el proceso presupuestario. En síntesis, se busca vincular los procesos de planeación y evaluación con la presupuestación y los resultados de los programas y proyectos.

4 oEcD, banco mundial. buenas prácticas recientemente identificadas de gestión para resultados de desarrollo. Libro de consulta. pp. 17.


sin embargo, cabe señalar que la sola existencia de estas herramientas no es suficiente para su aplicación. En un estudio comparativo realizado por la organización de las naciones unidas para la alimentación y la agricultura (fao) acerca las políticas agropecuarias y rurales en el contexto internacional, se analizaron las políticas para el sector agropecuario y rural de brasil, chile, Estados unidos, méxico, nueva Zelanda y la unión Europea; y en el caso particular de méxico, se encontró que el proceso de gestión de las políticas y programas públicos está sujeto a un conjunto de factores que limitan la posibilidad de retroalimentar los procesos de formulación e implementación, incluyendo la asignación de recursos públicos. Entre los aprendizajes identificados a través del análisis realizado se tienen los siguientes:

• Existe una falta de una conciencia entre los funcionarios públicos sobre la importancia que tiene la evaluación de los programas y proyectos en la orientación hacia resultados de la política pública. Entre los funcionarios públicos la evaluación se percibe como un proceso de auditoría que se orienta a calificar el desempeño de sus funciones administrativas, por lo que se pone mayor énfasis en demostrar la aplicación de los recursos y no en el logro de los objetivos de los programas o proyectos mediante la aplicación de dichos recursos.

• otro elemento es el desconocimiento que muestran los operadores de los programas sobre los problemas, desde sus causas, que pretenden resolver los programas y proyectos, por lo que el fin último de la evaluación no es percibido con claridad.

• por lo que se refiere a las metas de corto y largo plazo, éstas no tienen una definición clara. además, a menudo las metas se determinan con base en la tendencia histórica que muestra la experiencia en la ejecución de programas, más que en los resultados objetivo que se pretenden, por lo que se pierde el enfoque de gestión por resultados, convirtiéndose la asignación de recursos en un fin y no en un medio para lograr resultados.

• El mercado de evaluadores es aún incipiente, por lo que por lo general los evaluadores que se contratan para la prestación del servicio de evaluación no cuentan con el perfil técnico requerido, tanto en cuanto a la capacidad técnica como a la experiencia para satisfacer las necesidades de una evaluación.

• Es común el empleo de indicadores que no reflejan el impacto o el cambio que se busca con la aplicación de los recursos públicos mediante los programas, como por “el volumen de recursos aplicados en relación con lo programado”.

no sólo en méxico, sino en otros países de Latinoamérica como chile y brasil, existen evidencias que demuestran que existe una asociación insuficiente entre el proceso de evaluación y la planeación y presupuestación de programas. Es por ello que, para que la evaluación sea útil en el cumplimiento de objetivos y para mejorar la asignación de recursos, resulta indispensable que ésta se encuentre vinculada con la planeación y la presupuestación.

Existen también otras experiencias como las de la unión Europea (uE) y nueva Zelanda de las que se pueden derivar algunas lecciones. por ejemplo, en el caso de la unión Europea, destaca el mecanismo de control de calidad de las evaluaciones. El marco normativo establece el requerimiento de que la asignación de los recursos a los diferentes programas esté respaldada por evaluaciones ex-ante para conocer el impacto esperado. De igual forma existe la obligatoriedad para la realización de evaluaciones ex-post. Los resultados de las evaluaciones son públicos y se encuentran en la página de internet de la uE, con lo que se busca transparencia y legitimidad. además, en la unión Europea la desviación de propósitos se ha tratado de evitar con la aplicación de un pertinente sistema de sanciones, reforzado con flujos de información al contribuyente a través de la página de internet.

respecto a la experiencia de nueva Zelanda, se hace una evaluación al término del periodo fiscal con el reporte anual el cual, además de arrojar elementos que permiten conocer los resultados concretos respecto del programa implementado, permite la reorientación de acciones en caso de que el cumplimiento de los objetivo no sea el esperado. también en nueva Zelanda se tiene un sistema de incentivos y sanciones, el cual cumple un papel determinante en el éxito de la implementación de la política sectorial5.

5 fao-sagarpa. 2012. Las políticas agropecuarias y rurales en el contexto internacional: un análisis comparativo.


8

En conclusión, para que el sistema presupuestario funcione en plena concordancia con los resultados esperados de un determinado programa público, éste debe descansar en un marco normativo dinámico que reconozca a los actores estratégicos de cada programa y cuya colaboración incida en el éxito de su implementación. Los actores pueden ser públicos o privados, así como organizaciones de la sociedad civil, de productores o de empresas. Es importante que se fomente la coordinación entre todos los actores bajo el liderazgo del ministerio responsable, y de éste con la entidad encargada de elaborar los presupuestos. además, se requiere de un sistema de sanciones e incentivos, que promueva actitudes favorables hacia el cumplimiento de los objetivos de los programas y proyectos, y para lo cual se requiere prestar atención a la evaluación y sus resultados.

pa r a m Á s i n f o r m a c i ó n :

fao-saGaRPa (2012). las políticas agropecuarias y rurales en el contexto internacional: un análisis comparativo. méxico.

oECD y Banco Mundial. Buenas prácticas recientemente identificadas de gestión para resultados de desarrollo. primera edición.

sHCP de México. anexo 1 del oficio Circular 307-a.-1593. Directrices generales para avanzar hacia el presupuesto basado en resultados y el sistema de evaluación de desempeño.

1.2 Reglamentación

Las reglas de operación de los programas o proyectos son un conjunto de disposiciones normativas que precisan la forma de operarlos con el fin de asegurar una aplicación eficiente y eficaz de los recursos que son asignados a los mismos. La normatividad que rige un programa o proyecto deberá ser consistente con la información que al respecto se encuentra resumida en la matriz del marco Lógico (mmL) y que debió haber sido generada durante la fase de diseño de dicho programa. Es decir, de la mmL se desprende la información sobre la cual se construyen las reglas de operación (figura 3).

Resumen narrativo

IndicadoresMedios de

VerificaciónSupuestos

Fin

Propósito

Componentes

Actividades

fIGuRa 3. DE La matriZ DEL marco Lógico a Las rEgLas DE opEración

REGLAS DE OPERACIÓN


Las reglas bajo las cuales opera un programa o proyecto varían de acuerdo al objetivo que se pretende alcanzar, la población objetivo a la que se desea llegar, las características de los bienes y servicios que otorga el programa, la coordinación interinstitucional de la que depende la ejecución del programa, y el tipo y periodicidad de la evaluación que se tenga contemplada para el programa o proyecto, entre otras disposiciones que se aplican para el caso particular de cada intervención. no obstante; cualesquiera que sean los lineamientos, éstos deben mantener una congruencia con el proceso de diagnóstico y diseño, como lo señala el principio de alineación del enfoque de gpr. a continuación se describe el proceso de vinculación de la matriz del marco Lógico con los programas presupuestarios (cuadro 2).

Apartados en las Reglas de Operación

Contenido generalVínculo con la Matriz del

Marco Lógico

Introducción

problemática específica que se atiende con la operación del programa o proyecto. Dicha problemática deberá ser coincidente con la identificada mediante el diagnóstico que es llevado a cabo como parte previa al diseño del programa o proyecto. para ello la introducción debe contener información mediante la cual se puedan responder las siguientes preguntas sin ambigüedad:¿por qué existe el programa?¿para qué se creó el programa?¿cuál es la población potencial; es decir aquélla que padece el problema identificado y es por tanto elegible para el programa o proyecto?

• La problemática específica que se atiende con la operación del programa deberá coincidir con la descrita mediante la metodología del marco lógico, utilizando como referente el Árbol de problemas; es decir, es aquélla que utiliza el programa para la identificación del problema, de manera que se puedan contestar las preguntas sobre la pertinencia del programa o proyecto.

Objetivo General

Establece el fin o intención del programa en términos de su impacto económico o social, y que se logra a partir de la implementación de un conjunto de programas.

• Establece el fin en la matriz del marco Lógico.

• Debe alinearse con los objetivos derivados del proceso de planeación nacional, así como estar asociado a uno o más indicadores y metas.

• a partir del fin deberá ser posible inferir el problema identificado y al cual el programa contribuye a solucionar mediante su ejecución.

CuaDRo 2. LinEamiEntos para transitar DE La matriZ DE inDicaDorEs para rEsuLtaDos a Las rEgLas DE opEración DE Los programas

corrEsponDiEntEs


10



Marco Lógico

Objetivo EspecíficoEnunciado que establece el propósito que se desea alcanzar con el programa.

• El objetivo específico del programa deberá coincidir con el registrado en resumen narrativo a nivel de propósito en la matriz del marco Lógico.

• a partir del propósito deberá ser posible inferir el problema identificado y el cual el programa soluciona mediante su ejecución.

CoberturaÁmbito geográfico de aplicación del programa: nacional, regional o estatal.

Debe ser consistente con la información descrita sobre la problemática identificada mediante la metodología del marco Lógico en el sentido del ámbito geográfico en donde se circunscribe la población o área afectada por el problema.

Población objetivo o área de enfoque

• Especifica las características de la población o área de enfoque6 a la que va dirigido el programa, entendiéndose por población a las organizaciones, personas, etc.

• cuando se trata de personas, se recomienda especificar las principales características sociodemográficas de manera que sea posible establecer criterios para el reconocimiento de la población objetivo.

• La población objetivo puede corresponder a la población potencial en su totalidad o bien ser un subconjunto de ésta cuando se establecen criterios de focalización.

Esta población objetivo (o área de enfoque) deberá ser consistente con la identificada a nivel de propósito en el marco Lógico, especificando claramente a quién va dirigido el programa; es decir, sobre quién se pretende incidir en términos de cambio de la situación actual a la situación deseada.

Requisitos de elegibilidad

• son las condiciones que deberán cumplir los solicitantes para tener acceso a los beneficios del programa.

se debe poner atención en que los requisitos de elegibilidad sean congruentes con las características socioeconómicas de la población

6 El área de enfoque se refiere a superficies focalizadas; por ejemplo, en aspectos de recursos naturales, el problema lo presentan áreas o superficies y no las personas.




Marco Lógico

• En primer lugar, para ser elegible se requiere ser un elemento del conjunto de la población potencial.

• En segundo lugar, en caso de haberse hecho una focalización, para ser elegible se requiere pertenecer al conjunto de la población objetivo.

potencial que se identificó en el análisis de problemas llevada a cabo como parte de la metodología del marco lógico. Verificar esta concordancia permite asegurar que no se excluye a la población que realmente requiere del apoyo.

Procedimiento de selección de beneficiarios

• La selección de los beneficiarios se debe realizar dentro del grupo de la población potencial que se identificó en el diagnóstico utilizado para la identificación del problema; o bien dentro del grupo de la población objetivo que se haya focalizado.

• Los criterios de selección deben ser claros y objetivos.

• Los criterios de selección deben ser acordes con las características socioeconómicas de la población potencial u objetivo en caso de que se haya hecho una focalización.

no aplica.

Características de los bienes y servicios

otorgados por el programa o proyecto

• se deben definir los diferentes componentes de apoyo que se otorgan, en efectivo o en especie, señalando montos o unidades a entregar por beneficiario potencial.

• se presentan de manera simple y esquemática, clasificando los tipos, los montos y las condiciones de su otorgamiento.

• En caso de segmentación de la población objetivo, las características de los bienes y servicios se deben establecer para cada segmento en caso de haber diferenciación.

corresponden a los componentes de la matriz del marco Lógico.


12



Marco Lógico

Derechos, obligaciones y sanciones aplicables a la población potencialmente

beneficiaria

• se describen las facultades y compromisos que se adquieren al obtener los beneficios que ofrece el programa o proyecto.

• se establecen las sanciones que se aplicarán en caso de incumplimiento de las obligaciones acordadas por la población que acepta los beneficios del programa o proyecto.

no aplica.

Ejecutores e instancia normativa

• se establecen los operadores del programa o proyecto, siendo éstos los ejecutores.

• se identifica el área responsable de la ejecución del programa o proyecto, siendo ésta la instancia normativa.

• se señala la dependencia o entidad gubernamental a la que le corresponde la definición de los aspectos que regulan la ejecución del programa.

no aplica.

Coordinación institucional

• se establecen los mecanismos de coordinación necesarios para garantizar que los programas y acciones no se contrapongan, afecten o presenten duplicidades con otros programas o acciones públicas.

• La coordinación involucra a los gobiernos de los distintos niveles (federal, estatal o provincial y municipal).

si la coordinación institucional es vital para la ejecución del programa o proyecto, ésta deberá corresponder a la indicada en los riesgos y supuestos establecidos en la matriz del marco Lógico, en el sentido de que se asume que existe viabilidad de la coordinación interinstitucional para la implementación del programa o proyecto.

Operación

• se establece el proceso para la operación del programa. En esta fase se describen cronológicamente las etapas que se deben seguir en la ejecución del programa, identificando a los actores y tiempos para cada una de las etapas de ejecución del programa.

corresponde a las actividades en el resumen narrativo para producir los componentes. La información sobre la operación del programa o proyecto deberá ser consistente con las principales actividades identificadas en la matriz del marco Lógico.




Marco Lógico

• se describen de manera clara y precisa los pasos que se siguen desde el ingreso de la solicitud del posible beneficiario hasta la recepción del apoyo por parte de éste y, en su caso, la entrega de reportes sobre el seguimiento a los bienes y servicios recibidos.

• adicionalmente, se incluyen los informes que deben hacer las instancias encargadas en la ejecución, tales como:•avances físico-financieros,•acta de entrega-recepción,•cierre del ejercicio y•recursos no devengados.

corresponde a las actividades en el resumen narrativo para producir los componentes. La información sobre la operación del programa o proyecto deberá ser consistente con las principales actividades identificadas en la matriz del marco Lógico.

Auditoría, control y seguimiento

se establecen los mecanismos de revisión y supervisión de los recursos públicos que maneja el programa o proyecto.

corresponde al monitoreo del desempeño del programa o proyecto y para lo cual se utilizan los indicadores y las metas establecidas para evaluar el avance en la consecución de los objetivos.

Evaluación

• comprende los ámbitos de la evaluación formativa (de procesos o gestión) y la evaluación sumativa (de resultados e impactos).

• se establecen los alcances de la evaluación del programa o proyecto en cuanto al logro de los objetivos, la cual puede ser:•Evaluación interna: Diseñada

e implementada por la instancia ejecutora para monitorear el desempeño del programa. se incluyen indicadores específicos de tal manera que sea posible evaluar la consecución de las metas y el cumplimiento de los objetivos.

• Los elementos centrales de la evaluación del programa o proyecto están dados por los indicadores y metas de éstos correspondientes a los diferentes niveles del resumen narrativo de la matriz del marco Lógico.

• Los indicadores para los niveles de fin y propósito se utilizan para la evaluación sumativa.

• Los indicadores para los niveles de componentes y actividades se utilizan para la evaluación formativa.


14



Marco Lógico

•Evaluación externa: también diseñada para determinar el logro de metas y objetivos en términos del desempeño del programa o proyecto, se diferencia de la evaluación interna al ser realizada de manera independiente por instancias especializadas externas al programa o proyecto con el objeto de aportar externalidad a los resultados de la evaluación.

Transparencia y rendición de cuentas

se establece la obligatoriedad de hacer del conocimiento público la información sobre el desempeño del programa o proyecto y para lo cual se pueden especificar actividades de:

Difusión: consistente en divulgar información detallada del programa, tales como el avance físico-financiero (montos y beneficiarios).

Contraloría social: consistente en el conjunto de acciones que realiza la ciudadanía, de manera individual u organizada, para participar activamente en la vigilancia y control de las acciones de gobierno; en este caso, referidas a la operación y resultados del programa o proyecto.

no aplica.

Quejas y denuncias

se establecen mecanismos a través de los cuales la ciudadanía puede presentar quejas y denuncias o notificar de posibles incumplimientos, convirtiéndose en supervisores del avance en el cumplimiento de los objetivos del programa.

no aplica.

Fuente: Elaboración propia a partir del documento elaborado por el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) de México.



Consejo Nacional de Evaluación de la Política de Desarrollo social. lineamientos para establecer las reglas de operación de los programas. méxico.

1.3 Evaluación de la gestión

si bien la evaluación de un programa corresponde a la cuarta etapa del ciclo del proyecto, durante la implementación de un programa resulta conveniente evaluar ciertos aspectos del programa o proyecto de manera que los resultados de dicha evaluación permitan, con oportunidad, aportar elementos de juicio sobre la marcha del programa y su encaminamiento hacia los resultados que se busca lograr. En ese sentido, la evaluación de la gestión comprende la evaluación de diseño y la evaluación de procesos.

La evaluación carecería de valor si sus resultados no se insumen en la toma de decisiones del programa o proyecto, como por ejemplo en el rediseño del programa o en la introducción de cambios en los procesos del programa o proyecto que lo vuelvan más eficiente. En ese sentido, es de importancia evaluar si se tienen establecidos los procedimientos para que los hallazgos de las evaluaciones se insuman en la toma de decisiones para el mejoramiento del programa.

Es importante tomar en cuenta la relación que existe entre los resultados e impactos del programa y la gestión del mismo. por lo tanto, a lo largo del análisis de los temas de evaluación de procesos es necesario establecer tal correspondencia en el sentido de si la gestión está contribuyendo al logro de los resultados y objetivos del programa. El diagrama que se muestra a continuación muestra la relación entre eficiencia y eficacia en la gestión de un programa, y la forma de articular la evaluación de impactos con la evaluación de gestión (figura 4).

• .fIGuRa 4. anÁLisis DE La asignación DE rEcursos DE un programa púbLico

Fuente: FAO-SAGARPA, 2007. Lineamientos metodológicos para la evaluación de la gestión de programas públicos derivados de la sistematización de la experiencia de evaluación de Alianza para el Campo.

Evaluación Impactos

Evaluación Gestión

Recursos escasos(presupuesto,humanos,físicos,tiempo)

Bienes o servicios(losproductosdelprograma)

Objetivos del Programa(satisfaccióndenecesidades)

Transformar los recursos en bienes públicos al menor costo posible:

EFICIENCIA

Que los bienes públicos producidos satisfagan

las necesidades:

EFICACIA


16

1.3.1 Evaluación del diseñoLa evaluación del diseño de un programa o proyecto es un instrumento que permite la valoración y reflexión sobre el diseño de una intervención para verificar si los elementos del diseño se comportan de acuerdo a lo esperado. por lo tanto, esta evaluación se efectúa antes o inmediatamente después de la implementación del programa. con la evaluación del diseño se espera que como resultado del análisis de la consistencia interna surja una serie de propuestas que permitan mejorar un programa o proyecto; o, en su caso, corroborar la pertinencia del diseño del programa para el fin que fue creado. además, se busca confirmar la consistencia de la lógica interna del diseño verificando, entre otras cosas, la relación horizontal y la relación vertical de la matriz del marco Lógico del proyecto de manera que éstas sean coherentes con respecto a lo que se quiere lograr y con respecto a cómo han de medirse dichos logros.

un programa existe porque existe un problema, por lo que se hace necesaria la presencia de dicho programa para resolver dicha problemática. En ese sentido, la primera de las evaluaciones en realizarse es la que corresponde al diseño del programa o proyecto, en la cual uno de los primeros temas de evaluación en abordarse es el de la justificación del programa o proyecto; es decir, si existe y si se ha identificado y diagnosticado el problema que el programa o proyecto atiende y busca resolver. Esto, que pareciera ser obvio, es en realidad de suma importancia, ya que es común observar programas que se encuentran operando de manera inercial o por “costumbre presupuestaria”. una vez identificado el problema que atiende el programa, es también importante determinar si éste se encuentra correctamente diagnosticado y, por lo tanto, dimensionado, ya sea a través de algún estudio o diagnóstico que identifique las relaciones causa-efecto en torno a la problemática identificada. preguntas como las que se sugieren en el cuadro 3 permiten conformar los temas de evaluación que corresponden a la justificación del programa o proyecto.

también como parte del diseño ha de evaluarse la consistencia interna de dicho diseño; es decir, si éste está correctamente estructurado y si presenta, en forma ordenada y sintética, los principales elementos del diseño. para ello, debe analizarse si los objetivos del programa se encuentran formulados en forma clara y si éstos expresan la situación que se desea lograr en la población objetivo o área de enfoque sobre la que actúa el programa o proyecto.

cuando el programa cuenta con un marco lógico, se procede entonces a verificar la lógica vertical, valorando si en cada nivel de objetivos del resumen narrativo (actividades, componentes, propósito y fin) se satisfacen las condiciones necesarias y suficientes para lograr el objetivo del nivel superior siguiente de acuerdo a la teoría del cambio. por su parte, el análisis de la lógica horizontal consiste en evaluar si los indicadores planteados son los idóneos para medir el logro de los objetivos del programa o proyecto, y si se han identificado los medios de verificación necesarios y suficientes para obtener los datos requeridos para el cálculo de tales indicadores. En la evaluación de las lógicas vertical y horizontal es importante referirse a la metodología del marco lógico.

En aquellas situaciones en las cuales el programa no cuente con un marco lógico, es buena idea reconstruir dicho marco para contar con una herramienta de análisis. a partir de inferencias sobre la jerarquía de los objetivos y los efectos de los instrumentos de apoyo utilizados por el programa es posible arribar a un marco lógico a partir del cual se pueda valorar la consistencia interna del diseño del programa; es decir, hacer una reconstrucción de la mmL.

En caso de que el programa contemple focalizar su atención, resulta pertinente determinar si se ha definido y cuantificado la población objetivo, así como el método y los criterios para dicha focalización. Es importante tener en mente que la población objetivo deberá ser un subconjunto de la población potencial, el cual puede ser incluyente de dicha población potencial, pero nunca fuera de la definición de esta. La focalización debe, además, hacerse a partir de criterios técnicos claros qué expliquen dicha focalización, pues cuando ésta no es incluyente de toda la población potencial, y por lo tanto elegible, es necesario justificar por qué cierta población elegible queda excluida de los beneficios del programa o proyecto. En ese sentido, los criterios de focalización son también objeto de evaluación.

adicionalmente, dado que el programa que se evalúa forma parte, por lo general, de una política pública más amplia, es conveniente evaluar las relaciones que pudieran existir entre el programa y otros programas o proyectos relacionados con el mismo sector con el fin de determinar si existen relaciones de complementariedad, duplicidad o contraposición entre ellos.6

6


una vez evaluada la consistencia interna del programa o proyecto, es también necesario evaluar la relación que guarda el programa o proyecto con la política pública que da contexto al programa. En ese sentido, se analiza en qué medida los objetivos del programa que se evalúa contribuyen al logro de objetivos superiores o estratégicos, tales como aquéllos establecidos en un programa sectorial o en un programa nacional de desarrollo. El cuadro 3 presenta, de manera resumida, los temas básicos de evaluación y algunas preguntas ejemplificadoras de la evaluación de diseño.

Temas de evaluación Preguntas de evaluación

justificación de la creación del programa o proyecto

¿cuál es el problema que busca resolver el programa; es decir, el problema que justifica la creación del programa?

¿se encuentra el problema correctamente diagnosticado y dimensionado?

¿se identifica y cuantifica a la población (que presenta el problema) potencial?

¿Es el problema relevante en el marco de las prioridades de desarrollo?

consistencia interna del programa o proyecto

¿El programa o proyecto atiende a la problemática detectada mediante el diagnóstico?

¿Es válida la lógica interna del diseño, tanto vertical como horizontalmente?

¿De acuerdo con la teoría del cambio es posible determinar el cómo y por qué en el resumen narrativo del marco lógico del programa o proyecto?

¿Los bienes y servicios que entrega el programa son los necesarios y suficientes para la solución del problema identificado, así como de sus causas?

¿Las acciones del programa o proyecto recaen sobre una población y/o área de enfoque específica al problema?

contribución del programa a objetivos superiores

¿contribuye, y cómo, el programa a objetivos superiores o estratégicos?

¿Es clara la inserción y contribución del programa al impulso de los objetivos de la política sectorial?

población potencial y objetivo del programa

¿Está identificada y cuantificada la población potencial?

¿La población potencial corresponde a aquélla que presenta el problema que justifica la creación del programa?

¿Está definida y cuantificada la población objetivo?

relación con otros programas y proyectos

¿se identifican relaciones de complementariedad con otros programas o proyectos en el contexto del problema que atiende el programa?

¿se identifican relaciones de duplicidad con otros programas o proyectos?

¿se identifican relaciones de contraposición con otros programas o proyectos en el contexto del problema que atiende el programa?

¿se prevé llevar a cabo acciones sinérgicas con otros programas?

CuaDRo 3. tEmas y prEguntas DE EVaLuación DE DisEño


18

Cómo elaborar una evaluación de diseño

El primer paso consiste en determinar los objetivos de la evaluación. En una evaluación de diseño los puntos centrales que deben valorarse son:

• La identificación clara del problema de desarrollo que justifica la existencia del programa o proyecto.

• La contribución del programa o proyecto a los objetivos superiores de desarrollo en el marco de las políticas públicas, por ejemplo a la estrategia sectorial o nacional.

• La lógica interna de la matriz del marco Lógico (vertical, horizontal y diagonal) del programa o proyecto.

• La correspondencia entre el diseño y la normatividad (reglas de operación) del programa o proyecto.

• La relación con otros programas o proyectos para determinar posibles duplicidades o complementariedad entre ellos.

una vez establecidos los objetivos de la evaluación, se determina la metodología, lo que incluye el establecimiento de criterios eje que guiarán la evaluación y los métodos para la obtención de la información que sustentará el análisis, tales como la revisión de información documental, entrevistas a actores relevantes con el programa o proyecto en cuestión, grupos focales u observación directa.


Consejo Nacional de Evaluación de la Política de Desarrollo social. Modelo de términos de Referencia para la Evaluación de Diseño. méxico. méxico.

European Commission, Europeaid office. (2004). aid delivery methods: Project cycle management guide-lines. bruselas, bélgica.

united Nations Development Group (2011). Results based management handbook: Harmonizing RBM concepts and approaches for improved development results at country level.

united Nations Development Programme (2009). Handbook on planning, monitoring and evaluation for development results. new york.

1.3.2 Evaluación de procesosademás de un buen diseño, es necesario que el programa o proyecto opere correctamente para garantizar el cumplimiento de las metas y el logro de los objetivos. Dicho análisis tiene por objeto conocer a fondo la manera en que se ejecutan los procesos a fin de emitir recomendaciones orientadas a incrementar la eficiencia de la operación y eficacia de los procesos de los programas para que conduzcan al logro del propósito. por lo tanto, la evaluación de procesos se centra en el análisis de la forma y medida en que la implementación de un programa incide o impacta en el cumplimiento de sus objetivos desde la perspectiva del funcionamiento y organización de su dinámica operativa. En específico, mediante esta evaluación se realiza una descripción analítica de la operación del proyecto, detectando los problemas que obstaculizan los procesos y determinando soluciones para llevar a cabo enmiendas a la normatividad del programa o proyecto con el objeto de subsanar las áreas de oportunidad en la gestión del mismo.


también, la evaluación de procesos valora si la operatividad del programa o proyecto se llevan a cabo de manera eficaz e identifica las fortalezas y las buenas prácticas que potencian la efectividad de la operación de dicho programa. En términos generales, la evaluación debe permitir determinar si cada proceso: i) se lleva a cabo de manera eficiente; es decir, si se evita el despilfarro de recursos; ii) se articula correctamente con los demás procesos, y iii) se lleva a cabo de manera eficaz; es decir, si su realización contribuye al cumplimiento de los objetivos previstos, tanto para cada proceso como para el programa en su conjunto.

por todo lo anterior, es importante que en la definición del objetivo general de cualquier evaluación de procesos se tome en cuenta que el fin último de ésta es encontrar cursos de acción, mediante la readecuación de los instrumentos normativos, que permitan lograr los resultados del programa o proyecto de manera eficiente y eficaz, resolviendo así el problema para el cual fue diseñado. En ese sentido, la evaluación es una herramienta estratégica para adquirir y construir conocimiento, para retroalimentar la toma de decisiones y para fomentar el aprendizaje institucional. Es así que la evaluación de procesos comprende como principales componentes7 los siguientes:

• Descripción de la operación del proyecto. comprende una descripción general que incluye la descripción de las condiciones políticas, culturales y financieras de la operación; las instituciones u organizaciones que intervienen en la operación; la coordinación interinstitucional; y los recursos humanos, financieros y de infraestructura con los que cuenta el proyecto.

• Descripción de los procesos. consiste en describir uno a uno los procesos operativos que integran el proyecto. se describe el contexto en el que se desarrollan, sus insumos, sus productos y los actores involucrados.

• Identificación y clasificación de los procesos. Los procesos pueden ser clasificados de acuerdo a su función. por ejemplo: planeación, difusión, selección de beneficiarios, producción y distribución de los bienes o servicios, seguimiento de los bienes y servicios otorgados, seguimiento a beneficiarios, monitoreo y supervisión, etc.

• análisis de los atributos de los procesos. se analizan los atributos de cada proceso en términos de eficacia (cumplimiento de las metas asociadas a los procesos) y suficiencia (elementos mínimos para la generación de productos).

• análisis global de la operación. Es la valoración global de la operación del programa o proyecto. se analizan las causas por las cuales ciertos procesos conducen de manera insuficiente al logro del propósito. asimismo, se analizan las áreas de oportunidad para mejorar la operación del programa o proyecto, así como las buenas prácticas o fortalezas.

El desarrollo de estos temas de evaluación requiere que el evaluador se apoye en información primaria, la cual puede ser recabada en campo a través de la observación directa, encuestas o entrevistas a los actores involucrados, y de información secundaria, como documentos normativos, informes de avance, sistemas de información y evaluaciones previas, entre otras fuentes de información.

Cómorealizarunaevaluacióndeprocesos

para realizar una evaluación de procesos se establece, en primer lugar, el objetivo y alcance de la evaluación, seguido de la definición de los temas y preguntas de evaluación, los lineamientos metodológicos y los aspectos generales a considerar en la evaluación.

7 En la experiencia mexicana de evaluación, estos componentes son los establecidos por el consejo nacional de Evaluación de la política de Desarrollo social (conEVaL) en sus términos de referencia para la Evaluación de procesos.


20

1.3.3 Definición de objetivos y alcance de la evaluaciónEn la primera fase del diseño de una evaluación de procesos es necesario definir claramente: a) los objetivos, b) el enfoque, y c) el alcance de la misma.

a)Objetivos

objetivo general: De manera habitual, la evaluación de procesos tiene como objetivo incrementar la eficiencia y eficacia de la operación de un programa o proyecto. para ello, en el objetivo general se deberá especificar el qué, el mediante y el para qué de la evaluación de procesos. Es importante que dichos elementos del objetivo queden claramente especificados, pues de su desarrollo posterior emanarán los resultados, los lineamientos metodológicos y las recomendaciones.

objetivos específicos: Del objetivo general se desprenden los objetivos específicos de la evaluación de la gestión o procesos. Es importante que los objetivos específicos sean los suficientes y necesarios para el logro del objetivo general, por lo que debe cuidarse la pertinencia y relevancia de los objetivos específicos en el contexto del objetivo general. Dada la naturaleza de la evaluación de procesos, por lo general los objetivos específicos comprenden aspectos de la evaluación que tienen que ver con los siguientes ejes de análisis:

• El mapeo de los procesos. una de las funciones de la evaluación de procesos es la del diagnóstico del arreglo institucional y la manera en que operan los distintos procesos y mecanismos de interacción entre instancias, así como valorar los recursos físicos y materiales disponibles para cada actividad, entre otros aspectos. Ello permite detectar áreas de oportunidad para mejorar la gestión de un programa dentro del conjunto de las actividades que se realizan.

• análisis de los mecanismos causales. otra función de la evaluación es la de valorar la eficacia de las alternativas para lograr la situación deseada mediante la instrumentación del programa o proyecto. Establecer la causalidad de efectos permite emitir recomendaciones precisas y dirigidas a corregir de raíz el problema de desarrollo que el programa o proyecto pretende resolver y no únicamente a paliar los síntomas de dicho problema. El empleo de la teoría del cambio es útil en el análisis de los mecanismos causales.

• Implementación de aspectos clave del diseño. otro de los objetivos específicos de la evaluación lo constituye la valoración de la implementación de los elementos clave del diseño; por ejemplo, la valoración de la cobertura en términos de la población efectivamente atendida por el programa versus la población objetivo definida, la provisión de los bienes y servicios para producir los componentes. etc.

Es importante que los objetivos, tanto el general como los específicos, estén planteados como tales; es decir, como situaciones alcanzadas y no como acciones o actividades de evaluación.

b)Enfoque de la evaluación

Las evaluaciones son de utilidad y logran sus objetivos en la medida en que se constituyen en insumos para la toma de decisiones de los distintos agentes involucrados en la gestión de los programas o proyectos. para lograr lo anterior, es necesario que en el diseño de la evaluación se consideren los siguientes aspectos de enfoque:

• Utilidad práctica. La evaluación debe derivar en recomendaciones y propuestas concretas, relevantes y viables de implantar en un contexto específico. grandes ideas pero fuera del contexto específico de aplicación carecen de utilidad.

• Oportunidad. una excelente evaluación sería de poca utilidad si sus resultados se conocen a destiempo, por eso debe establecerse un flujo de entregas de resultados de acuerdo con los distintos objetivos planteados de acuerdo a la factibilidad de los recursos de que se dispone para la evaluación, tanto financieros como en materia


de tiempo. así, en el curso de la evaluación es pertinente presentar hallazgos parciales y recomendaciones preliminares que permitan la toma de decisiones de manera oportuna.

• Enfoque participativo. un aspecto relevante a prever en el diseño de la evaluación es el carácter o enfoque participativo en su realización. Esto es, debe considerar el involucramiento de las instancias operativas y normativas de los programas a evaluar. Dicha participación inicia con la definición conjunta de los temas a ser evaluados y continúa a lo largo del proceso con la retroalimentación periódica entre evaluadores y actores relevantes del programa o proyecto evaluado. El enfoque participativo permite que se incluyan los temas de evaluación que son de interés de los involucrados y, por lo tanto, de utilidad para los usuarios de la evaluación. Es muy importante, sin embargo, preservar la autonomía de criterio del evaluador a pesar del acercamiento necesario que se tenga con los ejecutores del programa o proyecto.

• Rigor metodológico. sea el método cuantitativo o el cualitativo o métodos mixtos, es importante que la metodología seguida para la evaluación sea del más alto rigor, ya que ello permitirá arribar a resultados confiables y creíbles.

c)Alcance de la evaluación

uno de los elementos a considerar en la definición del alcance de la evaluación de procesos es la necesidad de establecer los grados de libertad para el análisis. Esto es, debe delimitarse desde el diseño de la evaluación si:

• se realiza una evaluación que toma como dado el diseño y normatividad que rige al programa y, por tanto, se evalúa el apego de las acciones efectivamente realizadas con lo establecido en estos elementos; o bien,

• se realiza una evaluación en dónde se incluyen como ejes de análisis el diseño y la normatividad del programa, y se evalúa su pertinencia para la atención a los fines previstos. En este caso, la evaluación puede contener elementos de análisis económico, de políticas públicas y análisis organizacional, ya que se cuenta con mayores grados de libertad para el ámbito de la evaluación.

1.3.4 Definición de los temas de evaluación

acotar y delimitar de manera precisa los temas de evaluación es esencial para evitar la dispersión de esfuerzos y la dilución de la efectividad de la evaluación. En la definición de los temas es importante considerar la motivación inicial que detona el proceso de evaluación y los objetivos que para ésta se han planteado. Las respuestas a la pregunta “¿para qué hacer una evaluación de la procesos?” permiten iniciar el proceso de delimitación de los temas de análisis.

a continuación se presentan los rubros básicos de los procesos para la definición y organización de los temas de la evaluación de procesos. a partir de los procesos identificados se apuntan los temas de evaluación que, por lo general, corresponden a cada parte de los procesos relativos a la gestión de un programa o proyecto.

a)Planeación

La planeación es una etapa del proceso administrativo que permite establecer procedimientos y recursos para llevar a cabo las acciones necesarias para obtener los resultados buscados de acuerdo a los objetivos planteados en el diseño del programa o proyecto.

En el ámbito de la evaluación de la planeación, en primera instancia, es necesario determinar la existencia de procesos de planeación y, a partir de su existencia, identificar aspectos que puedan ser sujetos de evaluación y que permitan arribar a información útil para la toma de decisiones en materia de planeación del programa o proyecto. En ese sentido, se valora si el programa o proyecto cuenta con algún esquema de planeación que le permita orientar sus acciones hacia los resultados que se busca obtener. Dicho de otra forma, se busca determinar si el programa se apoya, para su


22

ejecución, en planes y/o programas de trabajo que contengan estrategias claras de implementación y que conduzcan al logro de los objetivos que se quieren lograr.

Entre los elementos que la planeación debe contemplar se encuentra un plan de cobertura; es decir, una estrategia operativa que permita al programa o proyecto atender a la población objetivo. además, la planeación debe contemplar cómo se le dará seguimiento al desempeño del programa. En ese sentido, se evalúa si el plan estratégico y el programa de trabajo contemplan metas e indicadores, y si las metas son adecuadas en el sentido de que éstas sean alcanzables o que no hayan sido acomodadas para ser alcanzadas sin el esfuerzo requerido.

también, dado que en la planeación para la ejecución de un programa participan diferentes actores, es importante evaluar la idoneidad del arreglo institucional sobre el cual descansa el programa. por ejemplo, la pertinencia y relevancia de los actores encargados de realizar la planeación, así como las responsabilidades asignadas a estos, es algo que debe valorarse.

por lo que a la asignación de recursos se refiere, debe analizarse la manera en que se lleva a cabo el proceso de presupuestación del programa o proyecto, teniendo en mente su orientación hacia resultados, para lo cual es importante que el presupuesto sea suficiente para atender la problemática de acuerdo a su dimensión y al tamaño de la población objetivo que se haya determinado. En ese sentido, el objetivo de la evaluación de la asignación de recursos es determinar si desde la planeación se prevé que los recursos se dirijan o focalicen de acuerdo con los objetivos y prioridades establecidos por el programa o proyecto.

finalmente, otro aspecto importante de evaluación en el ámbito de la planeación es la reglamentación del programa o proyecto. En este respecto, se analiza si la normatividad del programa constituye el instrumento que permite asegurar que los elementos clave del diseño se ejecuten de manera tal que se logren los objetivos del programa de una manera eficiente y eficaz. para ello, es necesario también valorar si en la reglamentación del programa se identifican los elementos centrales del diseño y si se establecen los procedimientos y mecanismos pertinentes de manera que el cumplimiento de la normatividad garantice que los elementos clave del diseño se instrumenten de modo que todas las acciones realizadas contribuyan al logro de los objetivos. El cuadro 4 presenta, de manera resumida, los temas básicos de evaluación y algunas preguntas ejemplificadoras de evaluación en el ámbito de la planeación.


arreglo institucional

¿quiénes son los actores responsables de la planeación?

¿cuál es la pertinencia y relevancia de los actores y la división de responsabilidades en la planeación del programa?

asignación de recursos

¿cuáles son los criterios con base en los que se asignan los recursos del programa o proyecto?

¿Están claramente definidos los criterios de asignación de recursos en el sentido de que éstos sean los suficientes y necesarios tanto para la operación como para el logro de los objetivos, o se definen con base en su comportamiento histórico?

¿La asignación de recursos está orientada por la dimensión del problema y sus causas; es decir, es consistente con los objetivos que se busca lograr?

¿Los montos presupuestados son congruentes con el logro de los objetivos y metas establecidas?

¿se toma en cuenta el costo de oportunidad de los recursos al ser estos asignados?

CuaDRo 4. tEmas y prEguntas DE EVaLuación En EL Ámbito DE pLanEación



metas e indicadores

¿se definen metas para el logro de los objetivos del programa o proyecto?

¿se establecen indicadores pertinentes y relevantes para monitorear el avance del programa y evaluar sus resultados e impacto?

¿se establecen líneas de base o mediciones referenciales de los indicadores para efectos de monitoreo y posterior evaluación?

reglamentación del programa

¿Es posible identificar en la reglamentación del programa los elementos clave del diseño de éste; es decir, el marco lógico del programa se ve reflejado en la normatividad del programa o proyecto?

¿se encuentran normados los indicadores y las metas del programa?

¿La normatividad del programa es congruente con el enfoque de resultados del programa?

¿Es la normatividad del programa congruente con las características socioeconómicas de la población objetivo?

¿Existen y están claramente definidos los criterios de elegibilidad de los beneficiarios potenciales del programa?

¿Existen y están claramente establecidos los criterios de selección de beneficiarios?

¿Los criterios de elegibilidad y selección de beneficiarios son consistentes con las características socioeconómicas de la población objetivo?

¿se prevén acciones de seguimiento a los apoyos otorgados por el programa?

¿La normatividad que rige al programa prevé la modificación del programa o proyecto en función de los resultados de las evaluaciones?

planeación estratégica

¿se cuenta con un plan estratégico de implementación del programa?

De existir, ¿el plan estratégico especifica los recursos financieros, materiales y humanos destinados a la operación del programa, así como su disponibilidad?

De existir, ¿el plan estratégico y programa de trabajo contemplan la supervisión y seguimiento de los apoyos otorgados por el programa?

¿se cuenta con un plan estratégico para la implementación del programa o proyecto en el que se especifique un plan de cobertura de la población objetivo o área de enfoque; metas de corto, mediano y largo plazo; y monitoreo de resultados?

De existir, ¿la planeación del programa está orientada hacia el logro de los resultados del mismo?

¿se elaboran planes de trabajo para las diferentes etapas de la instrumentación del programa?

De existir, ¿los planes de trabajo contienen los elementos necesarios que de seguirse aseguren el logro de los resultados esperados del programa?

¿Existen y se cumplen flujogramas claros?


24

b)Operación

En el ámbito de la operación, la evaluación busca determinar si el programa se está ejecutando de modo tal que conduzca al logro de los resultados esperados; es decir, si la implementación responde al diseño. para ello, se realiza una revisión de las diferentes fases del circuito operativo, desde la difusión del programa, la recepción de las solicitudes, hasta la selección de los beneficiarios y la entrega de los apoyos. La evaluación de la operación debe tener como referente la normatividad del programa, ya que la reglamentación de la operación tiene por objeto asegurar que el programa o proyecto se implemente de manera tal que se asegure el logro de los resultados previstos.

a menos que se trate de un programa muy pequeño, se espera que en la operación de un programa o proyecto participen varios actores e instancias. por ello es importante evaluar el arreglo institucional como parte de la operación. En primer lugar, cabría preguntarse si se han creado las instancias operativas previstas en la normatividad del programa o proyecto y, de ser así, cuál es la pertinencia y relevancia de los actores, y la división de responsabilidades en la operación del programa o proyecto, así como valorar si los distintos actores se articulan para lograr los objetivos esperados. Es común que entre los actores que participan en la ejecución de un programa se presente conflictos en lo que debería ser el ámbito de colaboración, lo que hace pertinente que se evalúe el nivel de colaboración o conflicto entre las instancias implementadoras del programa ya que de ello depende, en gran medida, el éxito de su implementación.

por su parte, el proceso de selección de beneficiarios para acceder a los bienes y servicios que otorga un programa constituye un tema central de la operación, ya que de ello depende, en gran medida ,que los recursos se utilicen para los fines que fueron previstos y, por tanto, que se logren los impactos deseados. al respecto, es necesario valorar si existen criterios de selección de beneficiarios claramente establecidos, así como los procedimientos para llevar a cabo la evaluación de las solicitudes (o de los solicitantes) a fin de determinar su elegibilidad y el nivel de prioridad con respecto a los demás solicitantes. Es importante también evaluar si el proceso de selección de beneficiarios es transparente.

asimismo, es importante valorar el proceso de entrega de bienes, servicios o recursos que provee el programa. Lo anterior a fin de determinar la oportunidad en el servicio, la calidad de los productos entregados, y la consistencia entre la oferta del programa y lo que realmente reciben los beneficiarios, entre otros aspectos.

En cuanto a la toma de decisiones, es importante, entre otras cosas, valorar los mecanismos existentes para incluir los hallazgos de las evaluaciones como insumo para la toma de decisiones sobre la orientación e implementación del programa.

otro aspecto importante en la evaluación tiene que ver con valorar si, como parte de la ejecución del programa, se lleva a cabo el registro y sistematización de la información que genera el programa en cada una de sus etapas de operación, desde el proceso de difusión hasta la entrega y seguimiento de los apoyos entregados, de manera que la información sistematizada sea suficiente en cantidad, calidad y oportunidad para retroalimentar los procesos. Dicha información también debería ser útil para monitorear las metas y, por ende, el logro de los objetivos del programa.

La evaluación de la operación del programa incluye también analizar la capacidad operativa de éste, tanto en cuanto a la suficiencia de los recursos humanos como materiales. por ello, en el análisis de la organización prevista para la ejecución de un programa o proyecto es importante evaluar la capacidad real de operación de las distintas unidades responsables, valorando para ello la pertinencia y suficiencia de los recursos humanos, financieros y materiales con los que realmente se dispone para la ejecución de las distintas actividades del programa o proyecto. respecto a los recursos humanos, debe evaluarse la correspondencia del perfil con las tareas a realizar y la suficiencia de personal en número. Es importante determinar el tiempo que cada agente realmente destina a las actividades relacionadas con el programa, sin olvidar que en muchos casos los operadores y funcionarios llevan a cabo otras tareas. Este análisis debe permitir determinar si la plantilla de personal destinada a la operación del programa permite cumplir con los objetivos del mismo. La capacidad de operación está también determinada por los recursos materiales disponibles, por ejemplo, si el equipo informático y de oficina con que se cuenta es suficiente para realizar las actividades, entre otros aspectos. Los rubros a ser analizados en este tema deben ser específicos a las necesidades del programa evaluado.


En suma, con la evaluación de procesos se desea saber si la ejecución del programa se llevan a cabo con eficiencia y eficacia por los operadores en los diferentes eslabones de la cadena en la toma de decisiones o circuito operativo de la gestión. En este sentido, la evaluación de la operación debe derivar en recomendaciones concretas y viables sobre acciones de mejora a realizar en los procesos operativos o aspectos de los mismos que se traduzcan en mayor eficiencia y que permitan mejorar las posibilidades de impacto del programa. por lo tanto, se espera detectar áreas de oportunidad en procesos relevantes que al implementarse se traduzcan en una reducción de los tiempos de repuesta a los usuarios del programa o proyecto, una disminución de costos operativos, un estricto cumplimiento con la normatividad del programa y una mejor atención a los usuarios o población objetivo del mismo. El cuadro 5 presenta, de manera resumida, los temas básicos de evaluación y algunas preguntas ejemplificadoras de evaluación en el ámbito de la operación.


arreglo institucional

¿Es congruente con el diseño del programa?

¿se han creado las instancias operativas previstas en la normatividad?

¿cuál es la pertinencia y relevancia de los actores y la división de responsabilidades en la operación del programa?

¿Es clara la distribución de atribuciones entre las instancias que participan en la operación del programa?

¿Existe capacidad institucional para llevar a cabo las tareas encomendadas?

¿Las distintas áreas responsables se articulan para lograr los objetivos del programa?

¿cuál es el nivel de colaboración o conflicto entre las instancias implementadoras?

¿El programa se ejecuta de acuerdo con la normatividad del mismo?

¿Los procesos de ejecución del programa se llevan a cabo con eficiencia y eficacia por los operadores en los diferentes eslabones de la toma de decisiones (recepción de solicitudes, dictaminación de solicitudes, mecanismos de entrega de los apoyos a los beneficiarios, etc.) para lograr los objetivos propuestos?

¿Existen esquemas de incentivos para fomentar el aprendizaje institucional?

capacidades instaladas

¿El equipo informático y de oficina con que se cuenta es suficiente para realizar las actividades operativas del programa o proyecto?

¿cuenta el programa con los recursos materiales suficientes en cantidad y calidad para llevar a cabo la implementación del programa de manera eficiente?

¿cuenta el programa con el personal calificado para llevar a cabo las tareas de implementación?

Economía de los procesos¿Los procesos para alcanzar los objetivos mediante la asignación de recursos se llevan a cabo al menor costo posible; es decir, la gestión es eficiente?

CuaDRo 5. tEmas y prEguntas DE EVaLuación En EL Ámbito DE La opEración


26


toma de decisiones

¿Existen los mecanismos para incluir los hallazgos de las evaluaciones como insumo para la toma de decisiones sobre la orientación e implementación del programa?

¿se emplean para la toma de decisiones los criterios establecidos en el diseño y planeación del programa?

Difusión

¿se lleva a cabo un proceso de difusión del programa?

¿Los medios empleados para la difusión del programa son pertinentes dadas las características de la población objetivo?

¿La información que se difunde sobre el programa es suficiente para que la población objetivo conozca los beneficios del programa y la manera de acceder a éste?

Ventanillas

¿La ubicación de las ventanillas de atención es conocida por la población objetivo?

¿La ubicación y horarios de las ventanillas de atención permiten una cobertura equitativa desde la perspectiva de género?

¿Los trámites a realizar y documentos a entregar para acceder al programa están estandarizados?

¿Las ventanillas de atención cuentan con los recursos materiales y humanos necesarios para llevar a cabo sus tareas?

Entrega de los bienes y servicios

¿Existen procedimientos y plazos claros para la entrega de los bienes y servicios del programa?

¿La entrega de productos se realiza conforme a lo establecido en la normatividad?

¿La información a los beneficiarios es clara y oportuna?

¿Los mecanismos y tiempos de entrega son pertinentes dadas las características socioeconómicas de los beneficiarios?

generación y sistematización de información

¿se cuenta con sistemas de información que permitan la integración de padrones de beneficiarios?

¿Existe y se actualiza continuamente un padrón de beneficiarios?

¿El programa colecta información que permita monitorear y evaluar su desempeño?

¿El programa colecta información sobre las características socioeconómicas de los beneficiarios que permita parearlos con no beneficiarios para efectos de evaluación de resultados e impactos?

¿El programa sistematiza la información que se genera con el programa para efectos de monitoreo y evaluación?

¿La información está disponible para los tomadores de decisiones en todos los niveles de responsabilidad del programa?


c)Monitoreo y evaluación

En un esquema de operación por resultados es indispensable prever la realización de tareas de seguimiento al logro de los objetivos del programa o proyecto. para ello es necesario contar con sistemas de monitoreo y evaluación que permitan recabar información relevante sobre la marcha del programa en cuanto a su gestión y resultados. sin embargo, la sola existencia de la información no es suficiente para dar seguimiento al desempeño de un programa, para ello es necesario que sus ejecutores utilicen, oportunamente, la información generada para identificar problemas emergentes e introducir medidas correctivas que mejoren la eficiencia y eficacia del programa, y contribuyan al logro de los resultados esperados.

En cuanto a la evaluación de resultados e impactos, que aborda el módulo iV, ésta constituye el proceso final de la gestión y busca conocer, explicar y valorar los resultados e impactos alcanzados por el programa o proyecto. En ese sentido, la evaluación tiene como fin brindar elementos de juicio para la toma de decisiones, aportando recomendaciones para mejorar el desempeño futuro del programa. al respecto es necesario determinar si están previstos procesos de evaluación periódica del programa y si se llevan a cabo acciones para el levantamiento de información con fines de monitoreo y evaluación. De igual importancia es evaluar si las bases de datos, resultado de dichos levantamientos, se encuentran sistematizadas tanto para el monitoreo como para la evaluación de resultados e impactos. El cuadro 6 presenta, de manera resumida, los temas básicos de evaluación y algunas preguntas ejemplificadoras de evaluación en el ámbito de monitoreo y evaluación.


monitoreo y evaluación

¿Están previstos los mecanismos para el monitoreo de la operación y del ejercicio de los recursos?

¿se utiliza la información generada y sistematizada para monitorear el programa?

¿Están previstos procesos de evaluación periódica del programa?

¿se tienen previstos recursos para llevar a cabo la evaluación?

¿se llevan a cabo acciones para el levantamiento de información con fines de evaluación?

¿se cuenta con bases de datos sistematizadas para la medición de impactos?

¿se utiliza la información generada y sistematizada para evaluar el programa?

¿Están establecidos los procedimientos para que los hallazgos de las evaluaciones se insuman en la toma de decisiones para el mejoramiento del programa?

CuaDRo 6. tEmas y prEguntas DE EVaLuación En EL Ámbito DE monitorEo y EVaLuación


28

1.3.5 Aspectos metodológicos de la evaluación de la gestión

En esta sección se presentan algunas opciones metodológicas para la evaluación de la gestión. El desarrollo de instrumentos metodológicos para la evaluación de la gestión depende de los objetivos y alcance que para ésta se establezcan. El tiempo requerido y el presupuesto disponible para llevarla a cabo también son elementos a considerar al establecer la metodología que se seguirá para la evaluación.

1.3.5.1 levantamiento de información

En esta sección se presentan algunas opciones para recabar información relevante para llevar a cabo la evaluación de la gestión de un programa o proyecto.

a)Información documental

La información documental y el análisis de la misma es parte importante de la evaluación de la gestión. Las áreas de evaluación, como por ejemplo el diseño y la planeación de un programa o proyecto, dependen enteramente de la disponibilidad de información documental. En ese sentido, es central el acopio y revisión de diversos documentos tales como planes nacionales y estatales de desarrollo, programas sectoriales, planes de trabajo de los programas o proyectos, manuales y reglas de operación, estructura orgánica y funcional de las entidades que operan los programas o proyectos, presupuesto, manuales de organización y de procedimientos, minutas de reuniones de trabajo de las distintas instancias que participan en el programa o proyecto que se evalúa, y evaluaciones externas e internas, entre otros documentos de interés para la evaluación. con base en la información contenida en dichos documentos es posible caracterizar la gestión de un programa o proyecto y detectar las áreas de oportunidad que existan. sin embargo, por lo general, la información documental presenta el “deber ser” de la gestión y los procesos de los programas, por lo que resulta conveniente complementarla con información de la “realidad operativa”.

b)Información obtenida mediante encuestas

cuando la información documental no es suficiente o se desea complementar con información levantada de fuentes primarias, se deben diseñar instrumentos ad hoc para la colecta de información relevante para la evaluación. para ello se diseña un cuestionario a la medida con base en los criterios, enfoque y alcance de la evaluación que se definan. La confianza que dan los datos duros debe, sin embargo, ponderarse por el costo de levantar una encuesta y el tiempo que lleva realizarla.

i) encuestas a beneficiarios

una forma de abordar la obtención de información para la evaluación de la gestión es mediante la aplicación de cuestionarios. por ejemplo, para obtener información sobre la percepción de los beneficiarios de un programa o proyecto con respecto a su satisfacción se elabora un cuestionario en el que mediante preguntas instrumentales se indague sobre temas eje tales como la calidad y oportunidad de la atención, la calidad y pertinencia de los bienes y servicios otorgados por el programa, la claridad en la información brindada por los operadores del programa o proyecto, etc. Este instrumento permite obtener información tanto cuantitativa como cualitativa para la construcción de indicadores.

ii) encuestas a funcionarios y otros actores relacionados con el programa

Los funcionarios y actores relacionados con la operación del programa o proyecto son también una fuente importante de información para la evaluación. Es por eso que la elaboración de cuestionarios dirigidos a los actores que participan en la gestión del programa es un importante paso metodológico en el proceso de acopio de información. Es recomendable


considerar la inclusión de preguntas dirigidas a personal de los distintos niveles en la escala jerárquica del programa o proyecto, ya que ello permite contar con elementos para establecer la funcionalidad de las líneas de mando y la claridad de las líneas de acción, tanto en cuanto a lo planeado como a lo que en la práctica sucede.

Es importante instrumentar el cuestionario de manera que permita obtener información cuantitativa para la elaboración de indicadores de gestión, tales como costos de operación, tiempo transcurrido entre una solicitud y su dictamen, ejercicio presupuestal, etc. De otro lado, es importante tener en mente que la información cualitativa que se recabe mediante las entrevistas y encuestas a funcionarios del programa se basa en opiniones y percepciones, por lo que contiene un importante margen de subjetividad y, posiblemente, sesgo. a fin de reducir esta subjetividad y obtener datos de naturaleza factual, se recomienda el empleo de un instrumento adicional, la compilación de información verificable, que se describe a continuación.

iii) Compilación de información verificable

La finalidad de este instrumento es recabar datos duros sobre la gestión del programa o proyecto de manera que brinden al evaluador información verificable para complementar o contrastar la información cualitativa provista por los actores de los programas entrevistados o encuestados, la cual en su mayor parte es cualitativa y basada en su percepción. El instrumento de compilación de información verificable se compone de campos que capturan información factual relacionada con la gestión del proyecto con la idea de verificar si los procesos que se llevan a cabo están orientados hacia el logro de los resultados. por ejemplo, de una muestra de beneficiarios se registran los datos de las variables que definen a la población objetivo para analizar si efectivamente se está atendiendo a la población que se haya focalizado. otro dato que interesaría conocer es el relacionado con los tiempos de entrega de los apoyos que otorga el programa, ya que la oportunidad de dicha entrega puede ser crítica para el logro de los resultados.

Entre los temas eje que dan forma al instrumento de compilación de información verificable se encuentran los criterios para la asignación de recursos del programa o proyecto. Estos criterios pueden referirse a las variables sobre las características de la población objetivo (nivel de ingreso, nivel de marginalidad, grupo etario, etc.), las prioridades de desarrollo en el cual se enmarca el programa o proyecto (plan nacional de desarrollo, plan sectorial de desarrollo, etc.), la actividad productiva prioritaria y eslabón prioritario de la cadena productiva, etc. asimismo, otros temas de interés relacionados con el programa son la publicación de convocatoria para beneficiarios, la fecha de apertura de ventanillas de atención a solicitantes, las fechas de entrega de los apoyos del programa, los recursos ejercidos por el programa, y la información registrada en sistemas informáticos que dé cuenta de la operación.

c)Guías para entrevistas abiertas

Es importante prever en la evaluación de la gestión la realización de entrevistas a actores clave. para ello se sugiere el desarrollo de guías de entrevistas para cada tema de evaluación. su objetivo es orientar al evaluador en las entrevistas que realice para captar la información más relevante relacionada con la gestión del programa o proyecto. Los temas contemplados en las guías de entrevista deben guardar una estrecha relación con los ejes temáticos de la evaluación, por lo que es importante generar una guía de entrevista para cada tipo de actor involucrado en la operación del programa o proyecto, lo cual permitirá identificar información en los distintos niveles de responsabilidad y ubicar, si fuera el caso, las áreas de oportunidad en los diferentes procesos.


fao-saGaRPa. términos de referencia para la Evaluación de Procesos de los Programas federales de saGaRPa. méxico.



30

1.4 Monitoreo

El monitoreo de un programa o proyecto permite contar con información de carácter cualitativo y cuantitativo, mediante la medición y reporte oportuno de los indicadores contenidos en la matriz del marco Lógico (mmL) del programa, a fin de que se puedan hacer valoraciones y tomar decisiones respecto del cumplimiento de las metas conducentes al logro de los resultados e impactos propuestos.

De acuerdo con el ciclo del proyecto, el monitoreo se realiza a intervalos durante la etapa de ejecución. En ese sentido, el monitoreo, a diferencia de la evaluación de resultados e impactos que mide los logros del programa, permite conocer el logro de las metas de los programas en plazos pre-establecidos. En ese sentido, el monitoreo permite contestar, para cada nivel de objetivos de la mmL, preguntas tales como: ¿se están logrando las metas en el tiempo programado? ¿qué tendencia señalan los indicadores en cuanto al logro de resultados e impactos de los programas? ¿qué ámbitos de la gestión presentan áreas de mejora para revertir desviaciones en el cumplimiento de las metas? por lo tanto, el propósito de realizar el monitoreo de un programa o proyecto es medir y analizar su desempeño de manera frecuente a fin de asegurar que la gestión del programa esté rindiendo los resultados esperados.

Dado lo anterior, por un lado la matriz del marco Lógico del programa o proyecto, que contiene los objetivos, los indicadores y las metas de dicho programa y, por otro, la línea de base, que representa las mediciones basales de los indicadores de desempeño, constituyen los elementos esenciales de partida para el monitoreo de los indicadores, tanto de gestión como de resultados de un programa o proyecto. En ese sentido, en la matriz del marco Lógico se encuentra determinado lo que el programa o proyecto debería lograr a partir de su implementación (figura 5 y cuadro 7) tanto en lo que a resultados e impactos se refiere (propósito y fin) como a la gestión del programa o proyecto (componentes y actividades).

fIGuRa 5. EsquEma DE monitorEo a partir DE La mmL

Fuente: SAGARPA. 2009. Términos de referencia para el monitoreo de programas. Documento interno.

REfERENtEs

MoNItoREo• ¿Se están logrando las METAS en el tiempo programado?• ¿Se está por buen camino para el logro de los resultados esperados?

INDICaDoREs

fIN

PRoPósIto

CoMPoNENtEs Meta Programación avance

MMl

Desviación

Período t1

MEtas y fRECuENCIa DE MEDICIóN DE INDICaDoREs

Período t2Período t3 Período t4

t0 t4

Meta

Meta

Meta

Meta

línea de base Período t0


Elemento de la MML Actividad de monitoreo Puntos a considerar

indicador de propósito del proyecto

¿Hasta qué punto se ha logrado el propósito del proyecto de acuerdo con el avance del mismo?

al implementar el monitoreo, es necesario aclarar los logros a mediano plazo, así como el objetivo global.

indicadores de componentes

¿Hasta qué punto se han logrado los componentes de acuerdo con el avance del proyecto?

Ídem.

supuestos¿Existen cambios en los factores externos que afecten el avance del proyecto?

El monitoreo de factores externos requiere de la asignación de roles.

actividades

programación

¿se están desarrollando las actividades para lograr los componentes de acuerdo al plan?

Desglosar las actividades y aclarar la programación y la asignación de roles.

componentes¿Ha producido la actividad los componentes esperados?

necesidad de aclarar qué es lo que se debe lograr (componentes) por medio de las actividades.

persona a cargo

En casos en donde existan problemas con relación al avance de las actividades y logro de los componentes, el método de retroalimentación y toma de decisiones podrá requerir de una aclaración.

necesidad de aclarar la asignación de roles y autoridad entre las personas involucradas en las actividades.

Fuente: Oficina de Evaluación y Monitoreo Post-Proyecto. División de Planificación y Evaluación. Agencia de Cooperación Internacional de Japón.

Los supuestos son factores externos que, como se mencionó en el módulo ii, tal vez imposibiliten la ejecución del siguiente nivel en el resumen narrativo. por lo tanto, cuando se realiza el monitoreo de los supuestos se debe tomar en cuenta el manejo del riesgo. al considerar el manejo del riesgo se debe prestar especial atención a los supuestos "importantes", especialmente sus "posibilidades de ocurrencia y el "grado y tipo de impacto".

CuaDRo 7. rELación EntrE Los ELEmEntos DE La matriZ DEL marco Lógico y EL monitorEo


32

Cómorealizarelmonitoreo

En este apartado se presenta un conjunto de líneas metodológicas para el monitoreo de programas públicos, las cuales corresponden a:

- Definición de objetivos del monitoreo

- Ámbitos y temporalidad del monitoreo

- Viabilidad del monitoreo

- pasos a seguir en el monitoreo

- reporte de resultados

- fuentes de información

a)Objetivos del monitoreo

antes de iniciar con el monitoreo de un programa o proyecto es necesario tener claridad sobre por qué habría de llevarse éste a cabo. En ese sentido, deben establecerse el objetivo general y los objetivos específicos del monitoreo. por ejemplo, el objetivo general puede ser retroalimentar la gestión del programa o proyecto mediante la medición y reporte oportuno del estado que guardan los indicadores de la matriz del marco Lógico de dicho programa o proyecto a fin de que se realicen las valoraciones correspondientes y, en su caso, se tomen las medidas correctivas correspondientes respecto del cumplimiento de las metas de manera que ello conduzca al logro de los resultados e impactos esperados. por su parte, los objetivos específicos pueden estar referidos a: determinar el avance y cumplimiento de metas mediante la medición de indicadores selectos de gestión y resultados, y la referenciación correspondiente de dichos indicadores con aquéllos calculados con la información de línea de base.

b)Ámbitos y temporalidad del monitoreo

La medición del desempeño de los programas se realiza sobre la base de los indicadores de la matriz del marco Lógico al nivel de fin, propósito, componentes y actividades. La gama de indicadores comprende, por lo tanto, las siguientes categorías:

i) Indicadores de impacto

incluye los indicadores establecidos para el fin en la matriz del marco Lógico del programa o proyecto.

ii) Indicadores de resultados

incluye los indicadores establecidos para el propósito especificados en la matriz del marco Lógico del programa o proyecto.

iii) Indicadores de gestión

comprende los indicadores especificados para los componentes y actividades en la matriz del marco Lógico del programa o proyecto. Este tipo de indicadores se refiere, por lo general, a la entrega de bienes y servicios, así como al ejercicio de los recursos financieros del programa.


iv) Indicadores de cobertura

contempla los indicadores de cobertura del programa o proyecto; es decir, del avance físico y financiero. Estos indicadores son de utilidad para el análisis de factibilidad del monitoreo mismo de impactos de un programa o proyecto.

El cuadro 8 presenta un ejemplo de los indicadores de impacto y resultados a monitorearse. por su parte, el cuadro 9 presenta indicadores de gestión como ejemplo.

Nivel de objetivo Indicador Frecuencia de medición

finporcentaje de variación en el incremento en el ingreso neto de los productores rurales.

anual

propósito

porcentaje de incremento en el valor de los bienes de capital de las unidades de producción rural.

semestral

Nivel de objetivo Indicador Frecuencia de medición

componente

porcentaje de unidades de producción rural que disponen de maquinaria y equipo para la producción agropecuaria.

trimestral

actividadporcentaje de proyectos de mecanización agrícola aprobados.

mensual

actividadporcentaje de proyectos de mecanización ganadera aprobados.

mensual

c)Viabilidad del monitoreo

antes de llevar a cabo el monitoreo de los indicadores de resultados e impactos, deberá evaluarse la factibilidad de llevarlo a cabo, lo cual consiste en realizar un análisis de la cobertura del programa o proyecto sobre la población

CuaDRo 8. EjEmpLo DE inDicaDorEs DE rEsuLtaDos E impactos

CuaDRo 9. EjEmpLo DE inDicaDorEs DE gEstión


34

objetivo. Ello es importante porque de no tenerse una cobertura significativa no podría esperarse que se registren cambios en los valores de los indicadores de base debido al efecto del programa. En ese sentido, la cobertura del programa constituye una condición necesaria para que se puedan observar los resultados. para considerar viable el monitoreo, por lo tanto, se sugiere que por lo menos se tenga un 10% de cobertura del programa o proyecto con respecto de la población objetivo establecida. El análisis de cobertura se hace obteniendo la proporción que representa el número acumulado de beneficiarios desde el inicio de operación del programa respecto del tamaño de la población objetivo.

otra condición necesaria, complementaria a la de la cobertura, para la valoración de la factibilidad del monitoreo, es la del avance en el ejercicio financiero. Es decir, además de la cobertura, para que se puedan esperar los efectos o resultados de un programa es necesario que éste haya entregado los productos o servicios (apoyos) a la población objetivo a la que se dirigen. En ese sentido, deberá valorarse también el grado de ejercicio de los recursos financieros. se recomienda efectuar el monitoreo cuando el ejercicio acumulado sea de por lo menos el 70% de lo programado.

d)Pasos a seguir en el monitoreo

En caso de que la valoración sobre la factibilidad del monitoreo resulte positiva, deberán entonces tomarse en cuenta los siguientes pasos de lo que se considera la “ruta crítica” del monitoreo, los cuales se describen a continuación.

i) seleccionar y medir los indicadores clave

Deberá focalizarse el monitoreo sobre aquellos indicadores que resulten ser prioritarios en términos de claridad, relevancia y pertinencia para dar cuenta del avance del programa o proyecto. un indicador es claro cuando ofrece información inequívoca sobre el desempeño de un programa, de manera que permite al tomador de decisiones formarse una idea clara sobre la tendencia del programa en el logro de sus objetivos. por su parte, el indicador es relevante cuando éste presenta información clave sobre el desempeño del programa y permite la toma de decisiones. por último, el indicador es pertinente cuando éste efectivamente mide lo que los objetivos del programa o proyecto establecen. De esta forma, los tomadores de decisiones podrán contar con información sucinta y sustancial sobre el desempeño que a la fecha del monitoreo haya tenido el programa o proyecto en cuestión.

ii) determinar el cumplimiento de metas

para determinar el cumplimiento de metas es necesario obtener el valor de los indicadores al momento de dicha determinación y valorar el avance teniendo como referente los indicadores de base. al respecto pueden encontrarse varios escenarios. a continuación se presentan dos de ellos a manera de ejemplos.

Escenario 1: Desviación en el cumplimiento de la meta

En el cuadro 10 se muestran dos indicadores, uno de los cuales presenta una desviación respecto de lo programado, mientras que los otros se encuentran dentro de un rango aceptable.


CuaDRo 10. EjEmpLo DE inDicaDorEs quE prEsEntan DEsViación rEspEcto DE Las mEtas

Nivel de objetivo Indicador Meta en el

año T0+1

Valoralcanzadode la meta Semáforo

componente


30% al 1er trimestre

5% •actividad

porcentaje de proyectos de mecanización agrícola aprobados.


29% •actividad

porcentaje de proyectos de mecanización ganadera aprobados.


31% •De acuerdo al ejemplo presentado en el cuadro 10, resulta irrelevante realizar el monitoreo para el indicador de propósito y, por ende, de fin, pues las condiciones necesarias para observar cambios en estos indicadores, que son la cobertura y la entrega de los apoyos, no se cumplen ya que si bien el proceso de aprobación de proyectos está en línea con la meta establecida trimestral, la maquinaria y equipo sólo ha sido recibida por el 5% de las unidades de producción para el mismo trimestre. En otras palabras, el desvío del indicador del componente da indicios de que no se obtendrían, al momento del monitoreo, resultados al nivel de propósito (incremento en el valor de los bienes de capital de las unidades de producción) y fin (incremento en el ingreso neto de los productores rurales).

Escenario 2: Cumplimiento de metas

En el cuadro 11 se presenta un ejemplo en el cual los indicadores para la medición de resultados propuestos presentan un nivel importante de avance en su cumplimiento respecto de lo programado. En casos como éste, el avance en las metas indica que el monitoreo es factible de realizar, pues los valores registrados dan indicios de que es posible que se tengan resultados a nivel de componente, propósito y fin, por lo que resulta conveniente medir, mediante los indicadores, el nivel de avance en los resultados del programa o proyecto.

Nivel de objetivo Indicador Meta en el

año T0+1

Valoralcanzadode la meta Semáforo

componente


30% acumulado al 2do semestre

27% •actividad

porcentaje de proyectos de mecanización agrícola aprobados.


30% •actividad

porcentaje de proyectos de mecanización ganadera aprobados.


20% •

CuaDRo 11. EjEmpLo DE inDicaDorEs quE prEsEntan cumpLimiEnto DE Las mEtas


36

e)Reporte de resultados

Los resultados de la medición de los indicadores se registran en un sistema informático que para el efecto se haya construido a efectos de potenciar el empleo de los resultados del monitoreo. Es deseable que dicho sistema comprenda un mecanismo de semaforización sobre el estatus que guarda cada indicador.

Dada la jerarquía de los objetivos, es deseable que el sistema de monitoreo discrimine la información que reporta por nivel de responsabilidad del usuario de la información. El director del programa o proyecto, por ejemplo, querrá saber cómo se comportan los indicadores de todo el nivel del resumen narrativo, desde las actividades hasta el fin. sin embargo, un tomador de decisiones de más alto nivel estaría interesado solo en los indicadores de propósito y fin, mientras que para los operadores de programa o proyecto encargados de la entrega de los bienes y servicios que ofrece el programa o proyecto la información pertinente es aquélla de los indicadores relacionados con las actividades.

cuando el desarrollo de un sistema no sea posible, deberá por lo menos generarse un reporte o informe ejecutivo escrito, en el cual se presente a los tomadores de decisiones el comportamiento de los indicadores y, en su caso, las explicaciones de las causas y efectos de los desvíos en las metas. a continuación se presentan algunos ejemplos de tarjetas que resultan útiles para el reporte del monitoreo de indicadores (cuadros 12, 13 y 14).

Indicador(Fin) Tipo de indicador Meta para el año T0+1

Valor el año T0+1 Semáforo

porcentaje de variación en el incremento en el ingreso neto de los productores rurales.

Eficacia20% al primer

año del programa

0.5% •Causas evidentes del desvío:

80% de los proyectos de mecanización apoyados fueron abandonados por los beneficiarios.

Efectos:

Las unidades económicas rurales apoyadas no lograrán incrementar su productividad e ingresos.

Interpretación:

•Laaltamortalidaddelosproyectoshadeterminadoquelasunidadeseconómicasruralesnoincrementenelvalor de sus activos, pese a la eficiencia en la entrega de los apoyos.

•Decontinuarcondichatendenciaseponeenriesgoellogrodelametadeincrementarelingresoen20%parael primer año del programa.

CuaDRo 12. rEsuLtaDos DEL monitorEo DEL inDicaDor DE fin


CuaDRo 13. rEsuLtaDos DEL monitorEo DEL inDicaDor DE propósito

Indicador(Propósito) Tipo de indicador Meta para el año T0+1


porcentaje de incremento en el valor de los bienes de capital de las unidades de producción rural.

Eficacia

80% al segundo

semestre del año t0+1

98% •

Causas evidentes del desvío:ninguna.

Efectos:no se han generado efectos evidentes.

Interpretación:

•Sehanotorgadolosapoyosentiempoyforma,lograndoeficaciaadministrativaperonosehalogradogenerarel resultado esperado. Ello se relaciona con el abandono de los proyectos apoyados.

•DecontinuarcondichatendenciaseponeenriesgoellogrodelPropósitoydelFin.

Indicador(Componente) Meta para el año T0+1



30% acumulado al 1er trimestre

5% •

Causas evidentes del desvío:Definición muy amplia de la población objetivo.

Efectos:se tendrá un avance poco significativo en el apoyo a los productores, máximo del 10% del total de la

población objetivo.

Interpretación:

•Alserdemasiadaamplialadefinicióndelapoblaciónobjetivoseponeenriesgolametadecobertura.

•Decontinuarcondichatendenciasolamentesellegaríaacubrircomomáximoel10%delapoblaciónobjetivo,lo cual incidiría de forma directa en el logro de los resultados e impactos esperados pese a cumplir con las metas de las actividades.

CuaDRo 14. rEsuLtaDos DEL monitorEo DEL inDicaDor DE componEntE


38

f)Fuentes de información

Las fuentes de información básicas para el monitoreo de los programas comprenden, entre otras, las siguientes:

i) Información documental

La información documental mínima requerida para llevar a cabo el monitoreo incluye la siguiente:

• matriz del marco Lógico del programa o proyecto (contiene la especificación de los indicadores y su frecuencia de medición).

• información de avance físico-financiero del programa o proyecto.

• cualquier otro tipo de información documental que contenga datos para el cálculo de indicadores y determinación de metas, tales como documentos de dictaminación de solicitudes, actas de entrega-recepción de apoyos del programa o proyecto, etc.

ii) Información de campo

Esta información proviene de la aplicación de encuestas en campo para obtener datos para el cálculo de los indicadores que se monitorean.

En general existe un amplio espectro de métodos de recolección de información, tanto formales como informales, que comúnmente se utilizan para el monitoreo de programas. La figura 6 presenta un espectro de instrumentos para la recolección de información, dependiendo de la formalidad que se quiera adoptar al respecto.

fIGuRa 6. EspEctro DE métoDos DE LEVantamiEnto DE información

Fuente: Adaptado de Morra y Rist (2009).

Métodos informales/menos estructurales

Métodos formales/más estructurados

Conversaciones con personas interesadas

Entrevistas comunitarias

Visitas de

campo

Revisión de documentos

oficiales (información de gestión y

administrativa)

Entrevistas a informantes

clave

Observación de participantes

Grupos de enfoque

Observación directa

Encuestas y miniencuestas

Encuestas levantadas

una sola vez

Encuestas de panel

Censos

Experimentos de campo



Global Donor Platform for Rural Development, fao and the World Bank (2008). tracking results in agriculture and rural development in less-than-ideal conditions: a sourcebook of indicators for monitoring and evaluation.

Kusek, j. Z. y R. C. Rist (2004). ten steps to a Results Based Monitoring and Evaluation system. a Handbook for Development practitioners. the World bank, Washington.

Mackay, Keith (2007). Cómo crear sistemas de seguimiento y evaluación que contribuyan a un buen gobierno. grupo independiente de Evaluación. El banco mundial.

Morra, l. G. y R. C. Rist (2009). the Road to results: Designing and conducting effective development evaluations. the World bank publications. Washington, D.c.

oECD and the World Bank. Buenas prácticas recientemente identificadas de gestión para resultados de desarrollo. primera edición.

Programa de las Naciones unidas para el Desarrollo. oficina de Evaluación (2002). Manual de seguimiento y evaluación de resultados. new york.

the World Bank (2007). How to build M&E systems to support better government. Washington, D.c.


1.5 Evaluación intermedia de desempeño

El monitoreo permite contar con datos duros sobre el comportamiento de los indicadores de un programa o proyecto. sin embargo, el mero conocimiento del valor del indicador y su relación con la metas para dicho indicador en un determinado momento no es suficiente para emitir valoraciones sobre el desempeño del programa o proyecto durante su implementación. por lo tanto, resulta de interés complementar el monitoreo con una evaluación intermedia de desempeño de manera que, por un lado, el monitoreo nos diga qué y cuánto y, por otro lado, la evaluación intermedia de desempeño nos diga por qué. En ese sentido, la evaluación intermedia de desempeño permite contestar preguntas tales como: ¿se están logrando los resultados en el tiempo programado? ¿cuáles son las razones o factores que determinan el grado observado en el cumplimiento de las metas? ¿qué ámbitos de la gestión presentan áreas de mejora para revertir desviaciones en los indicadores estratégicos? ¿se puede concluir que el programa o proyecto se encuentra en la ruta correcta para el logro de sus resultados e impactos; es decir, de continuar con el actual ritmo de cumplimiento de metas, se espera que el programa logre los objetivos para el que fue diseñado e instrumentado?

a)Objetivo de la evaluación

La evaluación intermedia de desempeño tiene como objetivo retroalimentar la gestión de un programa o proyecto mediante la valoración del cumplimiento de sus metas, tanto de resultados como de la gestión misma (figura 7), de manera que se emitan, cuando así sea pertinente, recomendaciones para la instrumentación de medidas correctivas que reviertan las desviaciones, cuando éstas las haya, en el cumplimiento de metas para asegurar el logro de los objetivos de los programas. La evaluación intermedia de desempeño está orientada, pues, a proveer a los tomadores de decisiones con información sobre avances en los resultados en el sentido de si el programa o proyecto ha alcanzado, mediante su implementación, las metas establecidas y si éstas son conducentes al logro de los resultados e impactos esperados.


40

fIGuRa 7. ruta DE La EVaLuación intErmEDia DE DEsEmpEño

Dado que la evaluación intermedia de desempeño brinda la oportunidad de contar con elementos de juicio para la toma de decisiones en el sentido de introducir medidas correctivas cuando se tenga un incumplimiento de las metas del programa o proyecto, la valoración que se haga deberá llevar a explicar el por qué del grado de cumplimiento de las metas, así como del avance en los resultados cuando éstos se tengan. Dicha explicación deberá, por lo tanto, identificar los factores que determinan el nivel de desempeño encontrado del programa o proyecto hasta el momento de la realización del monitoreo. además, es importante que la evaluación presente con oportunidad la información resultante de la misma, con el objeto de que se permita instrumentar medidas correctivas que conlleven a los tomadores de decisiones a asegurar el logro de los objetivos propuestos por el programa o proyecto.

b)Ámbitos de evaluación

i) Gestión

En términos de gestión, se evalúa la efectividad y la calidad en la entrega de los bienes y servicios que otorga el programa o proyecto, así como la eficiencia en el ejercicio de los recursos aplicados. En ese sentido, mediante la evaluación debería ser posible contestar preguntas tales como ¿cuál es el grado de cumplimiento de las metas fijadas en la mmL del programa o proyecto respecto de la provisión de los componentes a los beneficiarios del programa o proyecto?

Fuente: SAGARPA. 2010. Términos de referencia para la evaluación específica de desempeño. Documento interno.

actividades

Situación existente Transformación deseada

Si no hay avances en la Gestión

Componentes(Bienes y servicios)

Propósito(Resultados)

fin(Impactos)

No se logran los resultados

e impactos

Proceso operativo(apertura de ventanilla,

calificación de proyectos, etc.)

Ejercicio de recursospresupuestarios en tiempo

y forma

Procesos de calidadseguimiento a

los apoyos

Entrega de apoyos:subsidios

Entrega de servicios:asistencia técnica

Coberturade la población objetivo

Capitalización

Mayorproductividad

Mayoresingresos


además, como ya se mencionaba, una condición necesaria para que el programa o proyecto logre sus objetivos consiste en que éstos lleguen a la población que presenta el problema de desarrollo que dio origen al programa. En ese sentido, las siguientes preguntas de evaluación podrían ser apropiadas:

• ¿En qué medida el programa o proyecto está cubriendo (atendiendo con sus bienes y servicios) a la población que se propuso atender (población objetivo)?

• ¿La cobertura observada de la población objetivo permite alcanzar la meta establecida en la mmL para el ejercicio correspondiente al monitoreo?

• ¿La cobertura observada de la población objetivo permite avizorar que se cubrirá a toda la población objetivo al final del programa o proyecto?

• ¿En qué zonas del país se concentró la atención del programa o proyecto?

• ¿En qué estratos de la población objetivo se concentró la atención del programa o proyecto?

• ¿Existe correspondencia entre la población atendida y los estratos de población objetivo considerados como prioritarios en la gestión del programa o proyecto?

Las buenas prácticas en la gestión de un programa o proyecto incluyen también, entre otras cosas, el uso de evaluaciones y, por supuesto, de las recomendaciones derivadas de éstas para apoyar la toma de decisiones en el programa o proyecto. En ese sentido, en caso de que al programa o proyecto se le hayan realizado evaluaciones de diseño y/o de funcionamiento y operación, es importante valorar cuáles de las recomendaciones efectuadas por dichas evaluaciones se han instrumentado y, de ser el caso, qué factores determinaron que no se hayan instrumentado. Es posible que algunas de las recomendaciones de dichas evaluaciones no sean pertinentes o de utilidad, por lo que habría que analizar cuáles son los principales aspectos de mejora que se derivan de anteriores evaluaciones y cuáles de la actual deberían tomarse en cuenta en el corto plazo para asegurar el logro de los resultados e impactos del programa o proyecto.

ii) Resultados

Las metas establecidas en la mmL del programa o proyecto establecen los resultados intermedios que se deben alcanzar, tanto en cuanto a resultados como a impactos, durante la implementación del mismo. El logro de dichas metas da cuenta del avance en la solución del problema que dio pie a la creación de dicho programa (diseño e implementación). En ese sentido, como parte de la evaluación intermedia de desempeño, es de interés poder contestar preguntas de evaluación que tengan que ver con el grado de cumplimiento de las metas de los indicadores definidos en la mmL del programa o proyecto al nivel de propósito y fin.

iii) seguimiento a los bienes y servicios otorgados

Dado que el óptimo aprovechamiento de los bienes y servicios otorgados por el programa o proyecto es de vital importancia para el logro de los resultados esperados, el seguimiento a los apoyos permite enriquecer la evaluación intermedia de desempeño dado que aporta información sobre la permanencia de los bienes otorgados en manos de los beneficiarios y/o la efectividad en el uso de los mismos. En este respecto, algunas de las preguntas básicas que deberían contestarse mediante este ámbito de la evaluación, son las siguientes:

• ¿Los beneficiarios conservan los bienes otorgados por el programa o proyecto?

• ¿cuál es la tasa de sobrevivencia de los bienes otorgados?

• ¿cuál es el grado de aprovechamiento (uso o sub-uso) de los bienes y servicios otorgados por el programa o proyecto?

• De ser el caso, ¿a qué se debe el no uso o sub-uso de los bienes y servicios por parte de los beneficiarios


42

para el seguimiento a los bienes y servicios otorgados por el programa o proyecto se requiere de información de campo. La herramienta 1 presenta la metodología para llevar a cabo mini-encuestas para tal efecto.

c)Fuentes de información

Las fuentes de información básicas para la evaluación intermedia de desempeño comprenden, entre otras, las siguientes:

• mmL del programa o proyecto, ya que ésta contiene los indicadores de desempeño.

• resultados del monitoreo del programa o proyecto con la información sobre el cumplimiento de metas.

• Datos de cobertura del programa o proyecto.

• información financiera, tanto en cuanto a lo programado como a lo realizado.

• resultados y recomendaciones de evaluaciones previas del programa o proyecto, en particular las correspondientes a diseño, y a funcionamiento y operación, cuando éstas hayan sido realizadas.

• información resultante de entrevistas a operadores del programa o proyecto, así como a otros actores vinculados con la gestión del mismo, a fin de conocer sus percepciones y perspectivas.

• información de campo que para el efecto se haya realizado con el propósito de verificar el uso de los bienes y servicios otorgados por el programa, así como de encuestas a beneficiarios sobre la calidad en el servicio del programa o proyecto.

finalmente, en lo referente a la información sobre la calidad en el servicio del programa o proyecto, es de utilidad contar con información mediante la cual se pueda contestar preguntas como las siguientes:

• ¿cómo se valora el trato recibido por el beneficiario a lo largo del proceso de solicitud de los apoyos?

• De acuerdo a las necesidades de los beneficiarios, ¿fue razonable el tiempo transcurrido entre la solicitud y la entrega de los apoyos?

• ¿qué porcentaje de beneficiarios están satisfechos con el servicio que otorga el área responsable del programa o proyecto?

• ¿cuál es la razón beneficio/costo del trámite de los apoyos desde el punto de vista de los beneficiarios?

• ¿Los apoyos recibidos satisfacen las especificaciones de las necesidades reales sentidas por los beneficiarios?


Morra, l. G. y R. C. Rist (2009). the Road to results. Designing and conducting effective development evaluations” the World bank publications. Washington, D.c.

Mokate (2003). Convirtiendo el monstruo en aliado: la evaluación como herramienta de la gerencia social, inDEs – biD.

Programa de las Naciones unidas para el Desarrollo. oficina de Evaluación (2002). Manual de seguimiento y evaluación de resultados. new york.



R e s u m e nLa ejecución es propiamente la etapa en la que se pone en marcha el programa o proyecto formulado en las etapas anteriores de diagnóstico y diseño. Es decir, se realizan las actividades que conllevan al logro de los componentes y que, a su vez, conducen al cumplimiento del propósito en el periodo de tiempo establecido.

Las primeras acciones que se deben desarrollar en esta etapa son la presupuestación y el establecimiento de normas o reglas de operación que regulan la conducción del proyecto. La presupuestación es la asignación de los recursos monetarios que permiten la realización de actividades, la cual debe hacerse de manera congruente con el logro de resultados esperados (siguiendo el enfoque de gestión para resultados), y no a partir de la asignación de recursos basados en prácticas convencionales. Las reglas de operación, por su parte, precisan la forma de operar del programa o proyecto, lo que permite aplicar eficientemente los recursos asignados.

por otro lado, y con el objeto de reducir la diferencia entre lo planificado y lo implementado, es necesario llevar a cabo actividades de monitoreo y evaluación. Durante la ejecución, se realizan dos tipos de evaluación, de diseño y de pro-cesos. La evaluación de diseño analiza la coherencia entre las partes que integran el programa o proyecto, asegurando la lógica vertical y horizontal de la matriz del marco Lógico de dicho programa. por su parte, la evaluación de procesos analiza la operación del proyecto. ambas evaluaciones tienen como propósito identificar áreas de oportunidad, ya sea en el diseño o en la operación para emitir recomendaciones sobre las enmiendas pertinentes que conduzcan al logro del propósito del programa o proyecto. En este mismo contexto, el monitoreo es una verificación continua del progreso de un programa o proyecto durante su implementación y la información surgida del monitoreo es un insumo importante para la evaluación.


44


Herramientas4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4

II


46

HERRaMIENta 1

Caso práctico: Términos de referencia para la evaluación de diseño de un programa

El presente caso de estudio utiliza información de la experiencia y herramientas desarrolladas por el proyecto de Evaluación y análisis de políticas de la fao en el marco del convenio de asistencia técnica con la secretaría de agricultura, ganadería, Desarrollo rural, pesca y alimentación (sagarpa) de méxico.

se presentan a continuación los términos de referencia para la evaluación de diseño del programa para la subvención de bienes de capital para la producción agropecuaria8. Los términos de referencia se basaron en los lineamientos generales emitidos por el consejo nacional de Evaluación de la política de Desarrollo social (conEVaL) para la evaluación de programas federales en méxico. Dado que el objetivo de este capítulo no es mostrar cómo se elaboran unos términos de referencia, los apartados en este capítulo presentan solamente los objetivos de la evaluación, el enfoque metodológico y las preguntas específicas de evaluación, las cuales se encuentran agrupadas en torno a los siguientes temas de evaluación: i) identificación del problema de desarrollo que atiende el programa, ii) contribución del programa a objetivos estratégicos superiores, iii) análisis de la lógica interna de la matriz de indicadores, iv) Definición y cuantificación de la población potencial y objetivo, v) correspondencia entre el diseño del programa y sus reglas de operación, y vi) relación del programa con otros programas que convergen en la atención del sector agropecuario.

1.1 Objetivo general de evaluación

La evaluación del programa tiene como objetivo general aportar propuestas para mejorar el diseño del programa para la subvención de bienes de capital para la producción agropecuaria mediante el análisis de su consistencia interna, a fin de hacer de éste un instrumento de política pública más eficiente y eficaz en la atención de la problemática a la cual se dirige.

1.1.1 Objetivos específicospor su parte, la evaluación del programa tiene como objetivos específicos:

a) Definición del problema de desarrollo valorada para contar con elementos que mejoren su formulación y fortalezcan la justificación del programa que lo atiende.

b) contribución del programa a los objetivos de desarrollo de orden superior analizada para determinar el grado de su alineamiento con los objetivos de nivel sectorial y nacional.

c) matriz del marco Lógico del programa evaluada en lo relativo a la formulación de los objetivos y la validación de su lógica interna en sus dimensiones vertical y horizontal.

d) Definición de la población potencial y objetivo del programa analizada y, en su caso, propuestas orientadas a mejorar su delimitación.

e) correspondencia entre el diseño y la normatividad del programa evaluada y, en su caso, recomendaciones planteadas para su mejora de manera que ello contribuya al logro de los resultados esperados.

f) relación del programa con otros programas valorada para contar con propuestas orientadas a fortalecer su articulación.

8 con fines de abreviación, en esta sección se hace referencia al programa para la subvención de bienes de capital para la producción agropecuaria utilizando el vocablo programa.


1.2 Enfoque metodológico

El enfoque general de la evaluación está definido por los siguientes elementos fundamentales:

1.2.1 Análisisconvisióndepolíticapública,quevaloreenqué medida el Programa posee una orientación hacia resultados

Este elemento del enfoque se refiere a que la evaluación se orientará a valorar si en el diseño del programa para la subvención de bienes de capital para la producción agropecuaria se contemplan objetivos, indicadores y metas que permitan medir la calidad del gasto y el grado en que se alcanzan los resultados e impactos previstos.

De esta manera, la evaluación se realizará a través del análisis de la matriz del marco Lógico (mmL) del programa que fue elaborada por el ministerio de agricultura y ganadería, la cual presenta en forma resumida los elementos esenciales del diseño. así, la evaluación se orientará a verificar si se cumple la lógica interna de la mmL mediante un análisis de la formulación de los objetivos, y de la lógica vertical y horizontal.

1.2.2 Carácter analítico de la evaluaciónLa evaluación tendrá un carácter analítico, lo que significa que cada tema del diseño que sea abordado se analice con rigurosidad a fin de obtener elementos de información robustos que soporten las propuestas de mejoras.

1.2.3 Oportunidad de los resultados de la evaluaciónLa oportunidad de los resultados reviste una importancia fundamental, ya que la presentación en tiempo de los productos de la evaluación hará posible su aprovechamiento pleno por parte del ministerio de agricultura y ganadería. En relación con este aspecto, la evaluación aportará propuestas para mejorar el diseño y adecuar la normatividad del programa.

1.2.4 Carácter práctico de las recomendacionesLa evaluación generará elementos de información y análisis que permitan retroalimentar la toma de decisiones de los funcionarios encargados del programa. para tal efecto, las recomendaciones contenidas en el informe de evaluación serán relevantes, concretas y factibles de instrumentarse; asimismo, las recomendaciones indicarán con claridad el qué, el cómo, y el para qué de los cambios propuestos.

1.3 Temas y preguntas de evaluación

La evaluación del programa se orientará a analizar la congruencia interna de su diseño e identificar posibles áreas de mejora, con el fin de formular recomendaciones que permitan fortalecer y hacer de dicho programa un instrumento de intervención pública más efectivo en el impulso del desarrollo en el sector rural. En ese sentido, la evaluación comprenderá los siguientes temas de evaluación:

1. identificación del problema de desarrollo que atiende el programa.

2. contribución del programa a objetivos estratégicos superiores.


48

3. análisis de la lógica interna de la matriz del marco Lógico del programa:

a) resumen narrativob) Lógica verticalc) Lógica horizontald) supuestos

4. Definición y cuantificación de la población potencial y objetivo.

5. correspondencia entre el diseño del programa y las reglas de operación.

6. relación del programa con otros programas que convergen en la atención del sector agropecuario.

En los siguientes apartados se plantea el propósito de cada uno de estos temas de evaluación y se presenta un conjunto de preguntas clave cuya finalidad es orientar el proceso de evaluación.

Las preguntas planteadas en cada tema de evaluación deberán responderse mediante una argumentación sólida, presentando la evidencia documental correspondiente y realizando un análisis que sustente la respuesta respectiva. asimismo, cada pregunta deberá responderse en forma binaria (Sí o No), con excepción de aquéllas que se encuentran marcadas con un asterisco y que están formuladas para responder de manera abierta. El sentido afirmativo o negativo de la respuesta dependerá del sustento evidencial que se presente.

al final de los términos de referencia se presenta una serie de notas que amplían la definición de algunos términos o frases señaladas en las preguntas de evaluación.

1.3.1 Identificación del problema de desarrollo que atiende el Programa

Este tema de la evaluación concierne a la identificación y definición del problema que se busca atender mediante la ejecución del programa, y si para ello se ha utilizado algún estudio o diagnóstico que identifique las relaciones causa-efecto en torno a la problemática planteada.

para desarrollar el análisis de este tema se considerarán las siguientes preguntas:

1. ¿El problema al cual se dirige el programa está correctamente identificado9?

2. ¿El problema al cual se dirige el programa se encuentra claramente definido10?

3. ¿El problema que se pretende resolver es relevante; es decir, su importancia es tal que justifica la existencia del programa?

1.3.2 Contribución del Programa a los objetivos estratégicos superiores

En relación con este tema se analiza en qué medida los objetivos del programa evaluado contribuyen al logro de los objetivos estratégicos planteados por el ministerio de agricultura y ganadería y a los objetivos del plan nacional de Desarrollo.

9 El problema al cual se dirige el programa está correctamente identificado cuando se señalan con precisión las causas o factores que lo originan y además se establecen claramente los efectos que genera dicho problema.

10 El problema al cual se dirige el programa se encuentra claramente definido cuando se encuentra redactado en forma clara y concisa.


La evaluación de este tema considerará las siguientes preguntas básicas:

4. ¿a qué objetivo u objetivos nacionales del plan nacional de Desarrollo se encuentran vinculados los objetivos estratégicos del ministerio de agricultura y ganadería?*

5. ¿a qué objetivo u objetivos estratégicos del ministerio de agricultura y ganadería contribuyen los objetivos del programa?*

1.3.3 Análisisdelalógicainternadelamatrizdelmarcológicodel Programa

al abordar este tema se pretende verificar si la matriz del marco Lógico del programa está correctamente estructurada y si presenta, en forma ordenada y sintética, los principales elementos del diseño. para ello, debe analizarse si los objetivos del programa se encuentran formulados en forma clara y si se cumple la lógica interna de la matriz en sus dimensiones vertical y horizontal.

La evaluación de la lógica vertical de la matriz del marco Lógico consiste en valorar si en cada nivel de objetivos del resumen narrativo (actividades, componentes, propósito y fin) se satisfacen las condiciones necesarias y suficientes para lograr el objetivo del nivel superior siguiente.

El análisis de la lógica horizontal, por su parte, consiste en evaluar si los indicadores planteados son los idóneos para medir el logro de los objetivos del programa, y si se han identificado los medios de verificación necesarios y suficientes para obtener los datos requeridos para el cálculo de tales indicadores.

asimismo, como parte de este tema se desarrollará un análisis de los supuestos incluidos en la matriz de indicadores valorando su formulación y la incidencia de su cumplimiento en el logro de los objetivos.

para desarrollar el análisis en este apartado se dará respuesta a las preguntas de evaluación que se presentan a continuación.

a)Resumen narrativo

6. En la definición del fin del programa, ¿se indican claramente el qué, el mediante y el cómo se contribuye a lograr el objetivo de orden superior planteado?

7. ¿El enunciado del propósito se encuentra formulado de tal manera que resulta claro que existe un solo objetivo del programa a ese nivel?

8. ¿El objetivo del programa, a nivel de propósito, corresponde a la solución del problema central identificado11?

9. ¿En la definición del propósito se hace referencia a la población objetivo que se busca atender mediante el programa?

10. ¿El propósito del programa se encuentra formulado como un estado ya alcanzado?

11. ¿Los componentes se enuncian de tal manera que indican con precisión el tipo de productos terminados o servicios proporcionados por el programa?

12. ¿Los componentes del programa se encuentran expresados en términos de una situación ya alcanzada?

11 El objetivo del programa, a nivel de propósito, corresponde a la solución del problema identificado si constituye una descripción clara acerca de la situación futura que se alcanzaría cuando se resuelva el problema central señalado en el árbol de problemas.


50

13. ¿Las actividades están definidas con claridad y contienen información suficiente sobre las tareas o acciones que desarrolla el programa?

b)Lógica vertical del resumen narrativo

14. ¿Las actividades incluidas en la matriz de indicadores son necesarias12, en términos cuantitativos y cualitativos, para generar los componentes del programa?

15. ¿El conjunto de actividades contempladas en la matriz de indicadores son suficientes13, en términos cuantitativos y cualitativos, para producir cada uno de los componentes?

16. ¿Los componentes definidos en la matriz de indicadores son necesarios14, en términos cuantitativos y cualitativos, para lograr el propósito?

17. ¿El conjunto de componentes definidos en la matriz de indicadores son suficientes15, en términos cuantitativos y cualitativos, para el logro del propósito?

18. ¿Es claro y lógico que alcanzar el propósito del programa contribuye al logro del fin?

19. considerando el análisis realizado en este apartado, ¿se valida la lógica vertical de la matriz del marco Lógico del programa? si no es así, proponer y justificar los cambios que deben hacerse en la mmL para asegurar su lógica vertical.

c)Lógicahorizontaldeloscuatronivelesdelresumennarrativo

i) Fin

20. ¿El programa cuenta con indicadores pertinentes16 para medir el logro de su objetivo a nivel de fin?

21. ¿Los indicadores planteados para medir el logro del fin establecen metas y plazos específicos?

22. para medir el logro del fin, ¿el programa tiene identificados medios de verificación pertinentes, confiables y económicos17?

23. ¿El programa contempla el levantamiento de una línea de base para los indicadores de fin?

ii) Propósito

24. En el nivel de propósito, ¿el programa cuenta con los indicadores pertinentes18 para medir el cumplimiento del objetivo planteado?

12 se considera que las actividades son necesarias para producir cada uno de los componentes si no existe ninguna actividad que sea redundante; es decir, si la realización de cada una de ellas representa una aportación en la generación de alguno de los componentes.

13 se considera que el conjunto de actividades son suficientes si no hace falta incluir en la matriz de indicadores alguna actividad que sea relevante para producir los componentes.

14 se considera que los componentes son necesarios para el logro del propósito si no existe ningún componente que sea redundante; esto es, si la generación de cada uno de ellos contribuye a alcanzar el propósito.

15 se considera que el conjunto de componentes son suficientes si no hace falta incluir en la matriz de indicadores algún componente adicional que sea relevante para lograr el propósito.

16 Los indicadores correspondientes al fin son pertinentes cuando se expresan utilizando variables que miden en forma objetiva en qué grado el programa contribuye al logro del objetivo de orden superior planteado.

17 se considera que los medios de verificación son pertinentes cuando constituyen fuentes de información que proporcionan los datos necesarios y suficientes para calcular el indicador correspondiente. Los medios de verificación se consideran confiables si proporcionan información precisa y susceptible de ser constatada. asimismo, los medios de verificación son económicos si proveen la información requerida a un costo razonable.

18 Los indicadores definidos para el propósito son pertinentes si se expresan a través de variables que permiten medir en forma objetiva el grado en el cual el programa consigue generar los resultados e impactos directos de su ejecución.


25. ¿Los indicadores planteados para medir el avance del propósito contemplan metas y plazos específicos?

26. para calcular los indicadores del propósito, ¿el programa ha identificado medios de verificación pertinentes, confiables y económicos?

27. ¿El programa ha establecido una línea de base para los indicadores de propósito?

iii) Componentes

28. ¿El programa cuenta con los indicadores pertinentes19 para medir el cumplimiento de sus objetivos a nivel de componentes?

29. ¿Los indicadores planteados para determinar en qué medida el programa logra producir sus componentes contemplan metas y plazos específicos?

30. para obtener los datos que permitan calcular los indicadores de los componentes, ¿el programa ha identificado medios de verificación pertinentes, confiables y económicos?

31. En aquellos casos en los cuales se plantean indicadores para medir los efectos del programa a nivel de componentes, ¿se ha establecido una línea de base para realizar la medición de los impactos?

iv) actividades

32. ¿El programa cuenta con los indicadores pertinentes20 para medir el avance en la realización de sus actividades?

33. ¿El programa ha definido metas y plazos específicos para los indicadores correspondientes a actividades?

34. ¿se encuentran identificados los medios de verificación pertinentes, confiables y económicos para calcular los indicadores de las actividades?

35. considerando el análisis realizado en este apartado, ¿la lógica horizontal de la matriz de indicadores se valida en su totalidad? si no es así, proponer y justificar los cambios que deben hacerse a la matriz del marco Lógico para asegurar su lógica horizontal.

d)Supuestos de los cuatro niveles del resumen narrativo

i) actividades

36. ¿Los supuestos planteados para el nivel de actividades son relevantes21; es decir, corresponden a situaciones o acontecimientos intrínsecos que condicionan el logro del siguiente nivel de objetivos?

37. ¿Los riesgos incorporados como supuestos para las actividades tienen una fuente externa al programa que escapa al control de su gestión?

38. ¿Los supuestos establecidos son pertinentes22 en términos de la probabilidad de ocurrencia del riesgo al cual hacen referencia?

19 Los indicadores correspondientes a los componentes son pertinentes si se encuentran definidos mediante variables que miden en forma objetiva en qué grado el programa logra producir los bienes y servicios que tiene previsto generar.

20 Los indicadores definidos para el nivel de actividades son pertinentes cuando se expresan a través de variables que permiten medir en forma objetiva el avance de las acciones que realiza el programa.

21 Los supuestos planteados para el nivel de las actividades son relevantes si éstos señalan condiciones inherentes a ellas. además los supuestos deben cumplirse para que las acciones del programa puedan llevarse a cabo conforme a lo previsto en el diseño.

22 un supuesto es pertinente si la probabilidad de que ocurra el riesgo externo al cual se hace referencia se ubica en un nivel razonable, tal que amerite ser considerado. En este sentido, si la ocurrencia del riesgo fuese improbable no habría razón para incluir el supuesto, y si fuese demasiado alta entonces se trataría de un supuesto fatal que obligaría a replantear el diseño del programa.


52

39. ¿Los supuestos se encuentran formulados en forma positiva; es decir, como condiciones que deben cumplirse?

ii) Componentes

40. ¿Los supuestos planteados para el nivel de componentes son relevantes23; es decir, corresponden a situaciones o acontecimientos que condicionan el logro del siguiente nivel de objetivos?

41. ¿Los riesgos incorporados como supuestos para los componentes tienen una fuente externa al programa que escapa al control de su gestión?

42. ¿Los supuestos establecidos son pertinentes en términos de la probabilidad de ocurrencia del riesgo al cual hacen referencia?


iii) Propósito

44. ¿Los supuestos planteados para el nivel de propósito son relevantes24; es decir, corresponden a situaciones o acontecimientos intrínsecos que condicionan el logro del siguiente nivel de objetivos?

45. ¿Los riesgos incorporados como supuestos para el propósito tienen una fuente externa al programa que escapa al control de su gestión?



iv) Fin

48. ¿Los supuestos planteados para el nivel de fin son relevantes25; es decir, corresponden a situaciones o acontecimientos intrínsecos que condicionan la sostenibilidad de los beneficios generados por el programa?

49. ¿Los riesgos incorporados como supuestos para el fin tienen una fuente externa al programa que escapa al control de su gestión?



1.3.4 Definición y cuantificación de la población potencial y objetivo

mediante la evaluación de este tema se busca determinar si el programa ha definido y cuantificado la población potencial y la población objetivo a la cual se dirige, lo cual permitirá saber si este contempla focalizar sus acciones en aquella población que considera prioritaria de atender.

23 Los supuestos formulados para el nivel de los componentes son relevantes si se refieren a condiciones inherentes a ellos y, por ende, éstos tienen que cumplirse para que se produzcan los bienes y servicios del programa conforme a lo previsto en su diseño, una vez que se han realizado las actividades.

24 Los supuestos planteados para el propósito son relevantes si señalan condiciones que son inherentes a él y, por lo tanto, éstos tienen que satisfacerse para que el programa logre ese objetivo; es decir, los supuestos son pertinentes cuando se relacionan con eventos externos cuya presencia incide en la magnitud de los resultados directos que busca el programa.

25 Los supuestos establecidos para el nivel de fin son relevantes si constituyen hipótesis referidas a condiciones necesarias para que el programa consiga de manera efectiva su contribución al cumplimiento del objetivo de orden superior considerado.


La población potencial se compone de todos aquellos productores o unidades de producción rural que presentan el problema que el programa se propone resolver.

La población objetivo, por su parte, es un subconjunto de la población potencial26, y se integra por aquellos productores que el programa ha definido como prioritarios y planea atenderlos en un período de tiempo determinado.

para realizar el análisis de este tema se dará respuesta a las siguientes preguntas:

52. ¿El programa cuenta con una definición de su población potencial basada en criterios técnicos claros27?

53. ¿La población definida como población potencial es la correcta; es decir, corresponde a la población que presenta el problema cuya solución pretende lograr el programa?

54. ¿El programa ha cuantificado a su población potencial considerando los criterios técnicos que se utilizaron en su definición?

55. ¿El programa ha definido a su población objetivo con base en criterios técnicos claros28?

56. ¿La población definida como población objetivo es la correcta; es decir, corresponde a la población a la cual debe dirigirse el programa para el logro de sus objetivos?

57. ¿El programa ha cuantificado a su población objetivo considerando los criterios técnicos utilizados en su definición?

1.3.5 Correspondencia entre el diseño del Programa y las reglas de operación

La evaluación de este tema tiene por objeto analizar si las reglas de operación del programa constituyen el instrumento normativo que permite asegurar que los elementos clave de su diseño se ejecuten de manera tal que se logren los objetivos de una manera eficiente y eficaz.

para orientar el análisis de este apartado se considerarán las siguientes preguntas de evaluación.

58. ¿Las reglas de operación establecen los procedimientos y mecanismos pertinentes29 que aseguren la realización de las actividades contempladas en el diseño del programa, de modo que se logren sus objetivos?

59. ¿Los procedimientos de selección planteados en las reglas de operación para determinar el tipo de beneficiarios y/o proyectos de inversión que serán apoyados garantizan que el programa realmente atienda a su población objetivo y alcance sus objetivos?

60. ¿Las reglas de operación del programa contienen elementos normativos que establezcan, como parte de la operación, el seguimiento a los apoyos otorgados para asegurar que el uso de éstos resulte en el logro de los objetivos?

26 De acuerdo con esta definición, se tiene que en algunos casos la población objetivo puede corresponder a la totalidad de la población potencial.

27 para dar respuesta a esta pregunta se valorará si en el diseño del programa se define a la población potencial utilizando variables explícitas de carácter técnico, económico y/o social que aseguren que dicho programa se oriente hacia aquellos productores que enfrentan el problema de desarrollo previamente identificado.

28 para dar respuesta a esta pregunta se analizará si el programa ha utilizado variables de carácter técnico, económico y/o social que efectivamente permitan delimitar aquella parte de la población potencial que se considera prioritaria de ser atendida en el corto y mediano plazo, de modo que se logren los objetivos planteados y se maximicen los impactos de los subsidios.

29 para dar respuesta a esta pregunta se valorará si en las reglas de operación se encuentran definidos ciertos mecanismos cuya función sea garantizar que la dependencia encargada del programa desarrolle todas las actividades contenidas en el diseño, a fin de alcanzar los resultados esperados. En este sentido, se analizará en qué medida el cumplimiento de la normatividad del programa garantiza que los elementos centrales de su diseño se instrumenten cabalmente, de modo que todas las acciones realizadas contribuyan al logro de los objetivos.


54

61. ¿Las reglas de operación contienen elementos normativos que aseguren el monitoreo y evaluación del avance y logro de los objetivos del programa?

1.3.6 Relación del Programa con otros programas

con la evaluación en este tema se busca valorar la vinculación del programa para la subvención de bienes de capital para la producción agropecuaria con otros programas públicos orientados al desarrollo rural ejecutados por el ministerio de agricultura y otras dependencias gubernamentales relacionadas con el sector agropecuario, con el fin de determinar si existen relaciones de complementariedad, duplicidad, contraposición y/o competencia entre ellos. En relación con este tema, se dará respuesta a las siguientes preguntas:

62. considerando el diseño del programa evaluado, ¿con cuáles programas de la administración pública y con qué elementos del diseño de éstos existe complementariedad y/o sinergia?*

63. considerando el diseño del programa evaluado, ¿con cuáles programas de la administración pública y con qué elementos del diseño de éstos existe duplicidad?*

64. considerando el diseño del programa evaluado, ¿con cuáles programas de la administración pública y con qué elementos del diseño de éstos existe contraposición’30?*

65. considerando el diseño del programa evaluado, ¿con cuáles programas de la administración pública y con qué elementos del diseño de éstos existe competencia31?*

1.4 Fuentes de información

a continuación se señalan las principales fuentes de información que como mínimo deberán ser consultadas para la evaluación del diseño del programa.

1.4.1 Información documental

a)Documentos de política sectorial

• plan nacional de Desarrollo

• programa sectorial del ministerio de agricultura y ganadería

b)Documentos normativos

• Ley de desarrollo rural del país

• reglas de operación del programa

• anexo técnico de ejecución del programa

30 se considera que existe contraposición entre dos o más programas públicos cuando los bienes y/o servicios que entregan a una misma población objetivo tienen efectos encontrados o generan incentivos opuestos.

31 se considera que existe una relación de competencia entre dos o más programas públicos que atienden a una misma población objetivo cuando entregan el mismo tipo de apoyos estableciendo condiciones diferentes a los beneficiarios que acceden a los apoyos. Esas condiciones pueden diferir en relación con el grado de flexibilidad de los requisitos para el acceso al programa, el porcentaje de la subvención y/o el monto máximo de apoyo para los proyectos.


• Lineamientos generales para la evaluación de programas de la administración pública

• Decreto de presupuesto de egresos del gobierno nacional

c)Documentos sobre el diseño del Programa

• matriz del marco Lógico del programa para la subvención de bienes de capital para la producción agropecuaria

• Árbol de problemas del programa

• Árbol de objetivos del programa

• Árbol de alternativas del programa

1.4.2 Entrevistas a funcionarios y otros actores relacionados con el Programa

para complementar la información recabada a través de fuentes documentales, se llevarán a cabo entrevistas y reuniones de trabajo con los funcionarios responsables del programa y otros actores relacionados con el mismo. para tal efecto, el equipo evaluador elaborará un cuestionario y/o guía de entrevistas que permita obtener la información relevante para la evaluación del programa.


56

HERRaMIENta 2

Caso práctico: Términos de referencia para la evaluación de funcionamiento y operación de un programa

El caso de estudio aquí presentado se deriva de la experiencia y herramientas desarrolladas por el proyecto de Evaluación y análisis de políticas de la fao en el marco del convenio de asistencia técnica con la secretaría de agricultura, ganadería, Desarrollo rural, pesca y alimentación (sagarpa) de méxico.

En este capítulo se presentan los términos de referencia para la evaluación de funcionamiento y operación del programa para la subvención de bienes de capital para la producción agropecuaria32. Los términos de referencia se basaron en los lineamientos generales emitidos por el consejo nacional de Evaluación de la política de Desarrollo social (conEVaL) para la evaluación de programas federales en méxico. Los apartados en este capítulo presentan los objetivos de la evaluación, el enfoque metodológico y las preguntas específicas de evaluación, las cuales se encuentran agrupadas en torno a los siguientes temas de evaluación: i) arreglo institucional para la operación del programa, ii) proceso de presupuestación del programa, iii) planeación de la operación del programa, iv) articulación de la operación del programa con otros programas federales, v) atención de la población objetivo, vi) Dictaminación de solicitudes y proyectos, vii) orientación de los recursos del programa, viii) cumplimiento del proceso operativo, ix) seguimiento de los apoyos, x) monitoreo de la gestión del programa, xi) sistematización de la información generada por el programa, xii) transparencia y rendición de cuentas, xiii) calidad en el servicio, xiv) incorporación de mejoras en la gestión del programa, xv) Valoración global del funcionamiento y operación del programa.

2.1 Objetivo general de evaluación

2.1.1 Objetivo general

La evaluación del programa tiene como objetivo general aportar propuestas para mejorar el funcionamiento y la operación del programa para la subvención de bienes de capital para la producción agropecuaria mediante el análisis de los principales procesos de su ejecución, a fin de hacer de éste un instrumento de política pública más eficiente y eficaz en la atención de la problemática a la cual se dirige.

2.1.2 Objetivos específicos

por su parte, la evaluación del programa tiene como objetivos específicos:

a) arreglo institucional analizado en cuanto a su funcionalidad y pertinencia para la operación del programa.

b) procesos de planeación, asignación de recursos y seguimiento de los apoyos evaluados y retroalimentados mediante propuestas para elevar la eficiencia y eficacia de la gestión del programa.

c) focalización y cobertura de la población objetivo del programa analizadas y, en su caso, propuestas orientadas a lograr que los recursos otorgados efectivamente lleguen a aquellos productores que se desea atender.

d) Disponibilidad y uso de sistemas de información del programa evaluados para contar con elementos de mejora que contribuyan al monitoreo de la gestión del programa.

32 con fines de abreviación, en esta sección se hace referencia al programa para la subvención de bienes de capital para la producción agropecuaria utilizando el vocablo programa.


2.2 Enfoque metodológico

El enfoque general de la evaluación está definido por los siguientes elementos fundamentales:

2.2.1 Orientación del Programa hacia resultados

Este elemento del enfoque se refiere a que la evaluación se orientará a determinar si el programa para la subvención de bienes de capital para la producción agropecuaria se apoya en una planeación y una gestión basadas en resultados. Lo anterior implica valorar si la operación del programa se lleva a cabo de manera eficiente y eficaz, y si ésta es conducente al logro de los resultados esperados. Es decir, se busca determinar si las distintas etapas del circuito operativo, que van desde la difusión del programa hasta la entrega y seguimiento de los apoyos, se desarrollan en congruencia con el logro de los objetivos planteados.

para evaluar el funcionamiento y la operación del programa se realizarán visitas a una muestra de estados para desarrollar trabajo de campo que permita obtener información directa sobre los procesos de ejecución.

2.2.2 Carácter analítico de la evaluación

El contenido de la evaluación tendrá un carácter eminentemente analítico. Es decir, el análisis a desarrollar buscará identificar los factores y causas últimas que explican los procesos y fenómenos observados en relación con cada uno de los temas de evaluación. Ello significa que cada tema abordado será analizado con rigurosidad a fin de obtener elementos de información robustos que soporten las propuestas de mejora formuladas.

2.2.3 Oportunidad de los resultados de la evaluación

La oportunidad de los resultados reviste una importancia fundamental, ya que la presentación en tiempo de los productos de la evaluación hará posible su aprovechamiento pleno por parte del ministerio de agricultura y ganadería. En relación con este aspecto, la evaluación aportará propuestas para mejorar la gestión y adecuar la normatividad del programa.

2.2.4 Carácter práctico de las recomendaciones

La evaluación generará elementos de información y análisis que permitan retroalimentar la toma de decisiones de los funcionarios encargados del programa. para tal efecto, las recomendaciones contenidas en el informe de evaluación serán relevantes, concretas y factibles de instrumentarse; asimismo, las recomendaciones indicarán con claridad el qué, el cómo, y el para qué de los cambios propuestos.

2.3 Temas de evaluación

La evaluación del funcionamiento y operación del programa tiene como propósito aportar elementos que permitan retroalimentar su ejecución con el objeto de mejorar la eficacia y eficiencia de las distintas etapas que integran el circuito operativo del mismo. para ello, la evaluación busca determinar si el programa se está ejecutando de modo tal que conduzca al logro de los resultados esperados, y pretende identificar áreas de mejora en ese proceso de ejecución.


58

a continuación se presentan los temas que serán abordados en la evaluación y, para cada uno de ellos, se plantea un conjunto de preguntas de evaluación que constituyen una base mínima para orientar el desarrollo del análisis.

2.3.1 Arreglo institucional para la operación del Programa

se valorarán las instancias que están previstas en la normatividad del programa, en relación con sus tareas, responsabilidades y atribuciones; y se contrastará, en la práctica, si asumen sus funciones y atribuciones establecidas en las reglas de operación.

1. ¿El diseño e implementación del programa para la subvención de bienes de capital para la producción agropecuaria fueron acompañados de un proceso de reestructuración de las instancias y unidades responsables al interior del ministerio de agricultura y ganadería para asegurar que su funcionamiento responda a la lógica y objetivos del nuevo programa?

2. ¿En qué medida las atribuciones de los distintos órganos e instancias ejecutoras del programa, definidas en el reglamento interno del ministerio, siguen siendo pertinentes y mantienen congruencia con las actividades del nuevo programa?

3. ¿Existe al interior del ministerio de agricultura y ganadería y en las dependencias ejecutoras una unidad responsable, designada formalmente, que conduzca el programa de manera articulada con las distintas áreas técnicas involucradas y que sea responsable del logro de los objetivos y resultados del programa?

4. ¿En la normatividad aplicable se establecen los elementos mínimos necesarios sobre las responsabilidades y atribuciones de cada uno de los órganos de decisión que intervienen en la instrumentación del programa de modo que su funcionamiento sea conducente al logro de los resultados esperados?

5. ¿Las instancias que participan en la operación del programa en los estados/departamentos/regiones tienen la capacidad institucional requerida, en términos de los recursos materiales y humanos con que cuentan, para la implementación eficiente y eficaz del programa?

6. ¿En qué medida las oficinas del ministerio de agricultura en los estados/departamentos/regiones realizan la función de interlocución del ministerio ante los gobiernos Estatales/Departamentales/regionales, a efecto de definir las prioridades de inversión y la consecuente distribución de los recursos del programa?

2.3.2 Proceso de presupuestación del Programa

se analizará la manera en que se lleva a cabo el proceso de presupuestación del programa y su orientación hacia resultados. En este sentido, se busca determinar si el proceso de programación de los recursos del programa, en el cual intervienen distintos actores institucionales, se realiza atendiendo la problemática identificada.

7. Durante el proceso de presupuestación del programa, ¿las definiciones que toman las distintas dependencias participantes (ministerio de agricultura, ministerio de Hacienda, cámara de Diputados) se encuentran alineadas, en el sentido de que todas ellas respondan al logro de los mismos resultados esperados?

8. ¿con base en qué tipo de criterios y consideraciones técnicas realiza la cámara de Diputados la presupuestación del programa en el presupuesto nacional y en qué medida esos criterios son pertinentes para atender las prioridades de desarrollo del medio rural?


2.3.3 Planeación de la operación del Programa

con relación a este tema se valora si el programa ha desarrollado y utiliza algún sistema de planeación para su ejecución, y si ésta se orienta hacia resultados. En particular, se analiza si existen planes de trabajo y se revisa su pertinencia valorando si contienen estrategias claras que orienten la gestión del programa hacia el logro de sus objetivos.

9. ¿El programa cuenta con, y utiliza, algún plan de trabajo que contenga las estrategias y los instrumentos adecuados para orientar su gestión hacia el logro de resultados?

10. ¿La distribución de los recursos del programa se lleva a cabo atendiendo los objetivos y metas previamente establecidos?

11. ¿El programa cuenta con algún manual de procedimientos, guía operativa y/o lineamientos de operación cuyo uso permita orientar adecuadamente su ejecución?

12. ¿se llevaron a cabo procesos participativos de planeación del programa, tanto en el nivel central como en el ámbito de los gobiernos locales?

2.3.4 Articulación de la operación del Programa con otros programas federales

se analizará si la ejecución del programa se lleva a cabo en forma articulada con otros programas públicos, tanto del ministerio de agricultura y ganadería como de otras dependencias del gobierno. De esta manera, se indagará en qué medida los responsables de la ejecución del programa se apoyan en algún esquema de coordinación de acciones con los operadores de otros programas para asegurar la vinculación y complementariedad entre los distintos instrumentos de la política pública nacional para el campo.

13. ¿Las actividades del programa para la subvención de bienes de capital para la producción agropecuaria se ejecutan en forma articulada con las acciones de otros programas agropecuarios, especialmente cuando se trata de proyectos estratégicos?

En particular:

a. ¿su realización se concibe como parte de un plan integral de impulso al desarrollo de las actividades productivas en el medio rural?

b. ¿La aprobación de los proyectos apoyados por el programa, objeto de esta evaluación, considera como un criterio relevante que las inversiones a desarrollar contemplen apoyos complementarios que potencien sus impactos, tales como capacitación, asistencia técnica, sanidad e inocuidad provistos por otros programas?

14. En el actual marco normativo, ¿se contempla que el programa debe articularse con otros instrumentos de desarrollo del medio rural, particularmente en aquellos casos en los cuales existe potencial para lograr complementariedad y sinergias entre ellos?

2.3.5 Atención de la población objetivo

El propósito de este tema es valorar si el programa cuenta con una estrategia operativa que le permita atender a aquella población que ha definido como su población objetivo, así como analizar los avances logrados al respecto.


60

Los aspectos clave que se analizan en este apartado son la focalización y la cobertura del programa. El análisis de la focalización se orienta a determinar si el programa está dirigiendo sus recursos hacia la población potencial que considera prioritaria y/o estratégica, en la lógica de obtener los resultados esperados y la maximización del impacto de los subsidios. El análisis de la cobertura, por su parte, tiene por objeto valorar en qué grado o proporción el programa consigue atender a su población objetivo, también desde el enfoque de los resultados esperados.

15. con base en el análisis de las características de la población atendida por el programa, ¿se puede afirmar que los beneficiarios que están recibiendo los apoyos pertenecen a su población objetivo? Esto es, ¿el programa realmente está llegando a la población que desea atender?

16. ¿Las áreas responsables de la ejecución del programa cuentan con (y utilizan) alguna estrategia operativa de corto y mediano plazo para asegurar que los recursos otorgados efectivamente se estén canalizando hacia la población objetivo?

17. considerando la información sobre la población atendida por el programa, ¿es adecuado el avance en la cobertura de la población objetivo en función de los objetivos y metas del programa?

18. ¿Las variables y rangos utilizados en las reglas de operación para definir los estratos de productores y los porcentajes de apoyo del programa, para cada subsector de actividad (agricultura y ganadería), son los adecuados para asegurar que los subsidios realmente lleguen a la población objetivo?

2.3.6 Dictaminación de solicitudes y proyectos

mediante el análisis de este tema se valorará la existencia, uso y pertinencia de criterios técnicos para dictaminar la viabilidad de las solicitudes y proyectos presentados. En este sentido, se busca determinar si para la operación del programa evaluado se encuentran definidos y se utilizan procedimientos estandarizados y pertinentes que garanticen la selección de aquellas solicitudes y proyectos viables que prometen los mayores impactos y representan una contribución efectiva al logro de los objetivos del programa.

19. ¿La selección de solicitudes y proyectos apoyados por el programa se realiza en apego a las prioridades definidas en términos del tipo de bienes de capital estratégicos que se han establecido como prioritarios?

20. ¿Existen y se utilizan criterios técnicos estandarizados y pertinentes para dictaminar los proyectos de impacto nacional o regional, de modo que se elijan aquellos que tienen una mayor contribución al logro de los resultados esperados del programa?

2.3.7 Orientación de los recursos del Programa

considerando la información disponible sobre los avances en la operación, se identificarán cuáles son las principales áreas de atención del programa en términos de cadenas agroalimentarias, regiones prioritarias (según grado de marginación) y tipo de productores apoyados. adicionalmente, se valorará la distribución de los recursos del programa en función de los siguientes criterios:

i) atención a organizaciones de productores versus productores individuales.

ii) recursos destinados a producción primaria versus recursos para poscosecha y transformación.

iii) recursos destinados a la atención de grupos prioritarios (jóvenes, mujeres, indígenas, adultos mayores y/o discapacitados).


21. ¿La orientación que se observa de los recursos del programa, en términos de cadenas productivas, regiones, estratos de productores y tipo de inversiones apoyadas, es la adecuada para el logro de los resultados esperados?

2.3.8 Cumplimiento del proceso operativo

con relación a este tema se realizará una valoración sobre el cumplimiento de aquellos elementos clave establecidos en el presupuesto nacional y en las reglas de operación, cuya observancia contribuye a que el programa alcance los resultados esperados. En ese sentido, se analizará en qué medida los recursos son asignados y entregados con oportunidad, atendiendo los plazos previstos en la normatividad correspondiente. asimismo, se evaluará si el tipo de bienes proporcionados a los beneficiarios posee las características estipuladas en la normatividad, y si tales apoyos son entregados de manera oportuna según los plazos contemplados en las reglas de operación y considerando las necesidades del ciclo productivo de las actividades apoyadas.

22. ¿se considera que el desarrollo de las distintas fases del circuito operativo, desde la difusión del programa hasta la entrega de los recursos a los beneficiarios, se realiza según los tiempos establecidos en la normatividad aplicable y con la calidad requerida para que dicho programa cumpla con sus objetivos?

23. ¿El circuito operativo se lleva a cabo con la oportunidad que demanda el ciclo de desarrollo de las actividades productivas apoyadas?

24. ¿La entrega de los recursos al programa, así como el inicio de su ejercicio, se realizó en forma oportuna acorde a los tiempos requeridos para entregar oportunamente los apoyos a los productores?

25. ¿Las instancias ejecutoras elaboran, de manera oportuna y con la calidad esperada, informes de avance físico-financiero e informes del cierre de ejercicio del programa?

2.3.9 Seguimiento de los apoyos

El objetivo al analizar este tema es evaluar si el programa tiene contemplado utilizar mecanismos que le permitan valorar en qué medida los apoyos entregados son conservados, aplicados y/o utilizados adecuadamente por los beneficiarios, de manera que ello contribuya a lograr los objetivos de mediano y largo plazo.

26. ¿La normatividad del programa contempla que las instancias ejecutoras del mismo deben realizar un seguimiento de los proyectos apoyados, en la lógica de que ello permita la consecución de los resultados esperados?

27. ¿se requiere de modificaciones al marco normativo actual para permitir y asegurar que las unidades responsables de la ejecución del programa lleven a cabo el seguimiento de los apoyos entregados de manera que ello contribuya al logro de los objetivos del programa?

2.3.10 Monitoreo de la gestión del Programa

El propósito de evaluación de este tema es valorar en qué medida se registra y utiliza información relevante generada por el programa para dar seguimiento a la gestión del mismo. para ello, se indagará si los ejecutores del programa aprovechan, en forma oportuna, la información generada para identificar problemas emergentes e introducir medidas correctivas que mejoren la eficiencia y eficacia del programa y contribuyan al logro de los resultados esperados.


62

28. ¿Los responsables de la instrumentación del programa llevan a cabo un monitoreo de los indicadores de desempeño a fin de constatar oportunamente el grado de avance que registra la gestión del programa?

29. De ser el caso, ¿el monitoreo de los indicadores de gestión arroja información útil que realmente esté siendo aprovechada por los operadores del programa para introducir medidas correctivas que mejoren su eficiencia y eficacia?

2.3.11 SistematizacióndelainformacióngeneradaporelPrograma

En relación con este tema se valorará si el programa lleva a cabo el registro y sistematización de la información que genera el programa en cada una de sus etapas de la operación, desde el proceso de difusión hasta la entrega y seguimiento de los apoyos entregados, de manera que la información sistematizada sea suficiente en cantidad, calidad y oportunidad para retroalimentar la gestión.

30. ¿Existe algún sistema informático que se utilice para registrar de manera sistematizada la información del programa?

31. tomando en cuenta las características del sistema utilizado (en caso de existir) en relación con el tipo de campos y variables que contiene, la flexibilidad de su diseño y su funcionalidad, ¿se considera que constituye un sistema idóneo para registrar y aprovechar cabalmente la información sobre la gestión del programa?

32. ¿En qué medida los funcionarios del ministerio de agricultura y ganadería utilizan en la práctica la información que se registra en el sistema informático para retroalimentar la gestión del programa?

2.3.12 Transparencia y rendición de cuentas

Esta sección tiene como objetivo retroalimentar el proceso de gestión aportando elementos para que el programa cuente con un sistema de rendición de cuentas mediante el cual se den a conocer al público los resultados alcanzados y se mejore la transparencia de dicha gestión. asimismo, se valorará en qué medida se satisfacen los mecanismos de transparencia contenidos en las reglas de operación tales como, publicación de resultados en forma desagregada (según género, grupo de edad, región, etc.) y cumplimiento de los topes presupuestales, entre otros.

33. ¿cuenta el ministerio de agricultura y ganadería con un sistema de rendición de cuentas mediante el cual se den a conocer al público los resultados del programa para la subvención de bienes de capital para la producción agropecuaria?

34. En caso de que existan y se utilicen mecanismos de difusión, ¿son éstos eficientes y eficaces para dar a conocer los resultados del programa?

35. ¿Las instancias responsables del programa cuentan con mecanismos de transparencia sobre la gestión del mismo que funcionen eficazmente, de modo que toda la información relevante que se genera se encuentre accesible para todos los posibles actores interesados?

2.3.13 Calidad en el servicio

se analizará si el programa ha desarrollado y utiliza algún mecanismo que permita conocer cuál es la opinión que tienen los beneficiarios en relación con el acceso a los subsidios, la difusión, la atención a su solicitud de información,


la realización de trámites en ventanilla, el trato recibido al plantear problemas y quejas, la oportunidad de la notificación del dictamen de su solicitud y entrega del apoyo, y sobre el cumplimiento de los mecanismos de transparencia de la ejecución del programa, entre otros aspectos relevantes de la gestión y operación del mismo. adicionalmente, para complementar y dar contexto a la información proporcionada por los beneficiarios del programa sobre la calidad en el servicio, también se considerará la opinión de los operadores de los apoyos y de otros actores relacionados.

36. ¿Las instancias encargadas del programa utilizan algún instrumento que se considere adecuado para medir el grado de satisfacción de los usuarios de los apoyos?

37. En caso de no contar con un instrumento de medición sobre la satisfacción de los usuarios, ¿qué tipo de variables y escalas de medida deben considerarse para su diseño?

2.3.14 Incorporación de mejoras en la gestión del Programa

con relación a este tema se valorará en qué medida resulta factible rescatar lecciones aprendidas sobre buenas prácticas de gestión derivadas de la ejecución de los programas de inversión física impulsados en años anteriores por el ministerio de agricultura y ganadería.

38. ¿qué tipo de prácticas de gestión, que probaron su efectividad en la ejecución de los programas de apoyo a bienes de capital implementados por el ministerio de agricultura y ganadería en años recientes, pueden replicarse con éxito en la operación del programa para la subvención de bienes de capital para la producción agropecuaria?

39. ¿qué áreas de mejora se identifican en la gestión actual del programa cuya atención permitiría incrementar su eficiencia y eficacia?

2.3.15 Valoración global del funcionamiento y operación del Programa

con base en el análisis desarrollado sobre cada uno de los temas concernientes a la ejecución del programa, en este apartado se realizará una valoración de conjunto sobre su funcionamiento y operación a fin de determinar si su instrumentación se está llevando a cabo de una manera integral y con la eficiencia y eficacia requeridas para el logro de los resultados esperados.

2.4 Fuentes de información

a continuación se señalan las principales fuentes de información que como mínimo deberán ser consultadas para la evaluación del funcionamiento y la operación del programa.

2.4.1 Información documental

a)Documentos de política sectorial

•plan nacional de Desarrollo

•programa sectorial del ministerio de agricultura y ganadería


64

b)Documentos normativos

•Ley de desarrollo rural del país

•reglas de operación del programa

•anexos técnicos de ejecución del programa

•Decreto de presupuesto de egresos del gobierno nacional

c)Documentos sobre el diseño del Programa

•matriz del marco Lógico del programa para la subvención de bienes de capital para la producción agropecuaria

•resultados de la evaluación de diseño del programa para la subvención de bienes de capital para la producción agropecuaria

d)Evaluaciones de programas anteriores

• informes de evaluación de procesos de programas similares recientes

e)Bases de datos

se consultarán aquellas bases de datos del programa que sean proporcionadas por el ministerio de agricultura y ganadería, tales como listado de beneficiarios del programa, relación de proyectos apoyados, montos de presupuesto asignado y ejercido, e informes de avance físico-financiero, entre otras.

2.4.2 Entrevistas a funcionarios y otros actores relacionados con la operación del Programa

para complementar la información recabada a través de fuentes documentales, se llevarán a cabo entrevistas y reuniones de trabajo con los funcionarios responsables del programa y otros actores relacionados con su ejecución. para tal efecto, el equipo evaluador elaborará un cuestionario y/o guía de entrevistas que permita obtener la información relevante para la evaluación del programa.


HERRaMIENta 3

Método muestral para una miniencuesta para la recolección de información para el monitoreo de indicadores

considerando las restricciones de tiempo y recursos que tenga el programa o proyecto para la realización del monitoreo de indicadores, se sugiere utilizar una miniencuesta, la cual tiene, entre otras ventajas, las siguientes:

•La miniencuesta permite enfocarse en temas definidos y acotados por los indicadores de desempeño seleccionados para tal efecto.

•El tamaño de la muestra de una miniencuesta es pequeña respecto de otro tipo de encuestas. Dependiendo del método de muestreo el número de unidades a encuestar puede variar en un rango de entre 70 a 210 unidades de observación.

•La miniencuesta es flexible en cuanto al método de muestreo, permitiendo utilizar un método informal a conveniencia o un método de muestreo probabilístico33. La decisión varía en función de los recursos financieros y del tiempo con que se cuenta.

•La miniencuesta es un método de recolección de información de bajo costo que permite generar información cuantitativa. además, es un instrumento práctico que permite una recolección rápida y exhaustiva de la información requerida para el monitoreo.

no obstante, se debe también tener noción de algunas limitaciones del instrumento, entre las que se pueden señalar las siguientes:

•Los resultados tienden a ser menos generalizables que los obtenidos de muestras más grandes; sin embargo, dicha situación se puede reducir utilizando un método probabilístico de muestreo que permita tener certeza del error estadístico que ésta conlleva.

•En algunos casos la muestra pequeña puede implicar la pérdida de información de grupos específicos, situación que también puede ser prevenida con la definición de un método de muestreo adecuado.

•La credibilidad siempre resulta un problema de las miniencuestas, a pesar de la confiabilidad de su muestra. usualmente los tomadores de decisiones pueden llegar a pensar que con una muestra pequeña no se puede generalizar, por ello se torna relevante asegurar la consistencia interna de la muestra y comunicarla. al respecto de esta limitante, el considerar un método de muestreo probabilístico para la miniencuesta aporta mayor credibilidad por parte de cualquier usuario del monitoreo que si se eligen métodos informales de muestreo.

3.1 Método de muestreo

El método de muestreo sugerido para una miniencuesta es el de Muestreo de Conglomerados en dos Etapas (mcDE). La justificación de la selección de este método tiene origen en las ventajas que ofrece, las cuales son:

•provee una solución confiable, que es práctica y de bajo costo, en relación a otros métodos de muestreo simple, para enfrentar situaciones en las que los beneficiarios de la intervención están dispersos geográficamente.

•facilita la selección probabilística de usuarios cuando no existe una lista confiable de los beneficiarios de la intervención.

33 Es importante establecer que el seleccionar un método de muestreo probabilístico no es un sinónimo de un tamaño grande de muestra.


66

•El método permite simplificar el proceso de levantamiento de encuestas y, por lo tanto, reduce el tiempo requerido para ello y los costos.

El mcDE parte del principio de que es posible estratificar la población a encuestar desde sus propias características o de forma geográfica. La característica principal del mcDE es que se debe implementar, como lo menciona el nombre, en dos etapas en las que se pueden combinar métodos simples de muestreo probabilístico y métodos de muestreo no probabilísticos. Existe un mcDE que será aprovechado por sus ventajas y que se denomina mcDE 30x7. Este método fue diseñado e implementado para medir resultados como cobertura y calidad de los servicios con un 95% de confianza de la muestra conformada por 210 observaciones34 (figura 8).

La mecánica que se sigue para implementar el mcDE 30x7 es definir estratos o grupos geográficos (selección que puede realizarse de forma aleatoria o a conveniencia) y en cada uno de estos estratos geográficos se debe aplicar un muestreo simple para seleccionar la cantidad de casos a encuestar. una vez seleccionados los estratos se aplica un muestreo simple al interior de cada estrato para seleccionar las unidades a encuestar. En esta lógica, el tamaño de la muestra está determinado por el número 30x7, cuyo significado son las etapas y la cantidad de unidades a observarse después de aplicado el muestreo. por ejemplo, 30x7 significa que una vez definidos 30 estratos (regiones, municipios, localidades, zonas geográficas, cuadras, etc.) se deben seleccionar aleatoriamente 7 unidades para encuestar en cada uno, lo cual da un tamaño de muestra de 210 observaciones.

a continuación se presenta un ejemplo del procedimiento para realizar dicho muestreo.

34 como referencia se puede establecer que para una población de 100,000 observaciones un muestreo simple arroja una muestra de 398 observaciones.

fIGuRa 8. caractErÍsticas DEL mcDE

• Estratrificar la población a encuestar con base en características o por zonas geográficas.

• Combinación métodos probabilísticos y no probabilísticos.

• Definir estratos geográficos según región o municipio.

• si no existen 30 regiones variar la relación para asegurar 210 observaciones.

• unidades a seleccionar en cada región: solicitudes recibidas.

•MCDE 30x7

• Confianza del 90% al 95% en poblaciones grandes.

• tamaño de muestra 210 observaciones.

• Variaciones (7x30, 66x3, etc.) que aseguren tamaño de muestra al obtenido con el 30x7

• El método se aplica en dos etapas.

• 1ra etapa: estratificación geográfica.

• 2da etapa: selección de unidades de observación al interior de los estratos geográficos.


3.2 Ejemplificación del procedimiento a seguir para el muestreo durante el monitoreo

3.2.1 Primera etapa: Definiendo las regiones o municipios que se visitarán

mediante un ejemplo, a continuación se presentan los pasos a seguir para la determinación de la muestra para una miniencuesta mediante el método mcDE.

Paso 1. Preparación del marco muestral

para preparar el marco muestral se debe preparar un listado in extenso de las regiones y de las solicitudes que fueron aprobadas en cada una de ellas. Las solicitudes aprobadas son aquéllas dictaminadas como positivas y de las cuales se puede verificar que los apoyos fueron efectivamente entregados. El listado de solicitudes aprobadas en este caso es igual al número de beneficiarios del programa o proyecto.

En este paso no es necesario ordenar de forma ascendente o descendente el listado de regiones o de solicitudes. De hecho, es preferible que este listado se encuentre registrado de forma aleatoria en una hoja de cálculo, o en su caso que se encuentre ordenado conforme la distribución geográfica; es decir, por región.

suGERENCIa: Cuando no se tengan más de 30 regiones como unidad geográfica mínima sugerida se puede intentar conformar el marco muestral obteniendo la informacióndelassolicitudesrelacionadaconmunicipios.Ellopermitiráampliarlas posibilidades de elección de los clústeres geográficos que se deben seleccionar en estaprimeraetapadelmuestreo.

Enelejemplo,losdatoscorrespondenaunpaísficticiodenominadoMuestratlán,enelqueexisten20regionesy46municipios(Cuadro15)

Región Cantidad de municipios Región Cantidad de municipios

región 1 4 región 11 2










total de municipios 46

CuaDRo 15. rEgión y cantiDaD DE municipios DE muEstratLÁn


68

Paso 2. Cálculo de la cantidad acumulada de solicitudes

En el orden en que están registrados los datos se debe calcular la suma acumulada de solicitudes aprobadas en cada una de las regiones de la entidad federativa donde se realizará el monitoreo. adicionalmente se debe definir el rango de valores o distancia entre los valores de la suma acumulada.

por ejemplo, en el cuadro 16, se muestra la suma acumulada de las solicitudes aprobadas y los rangos entre los valores de dicha suma para el estado de muestratlán.

Región solicitudes aprobadas % suma acumulada de solicitudes aprobadas Rango

1 270 10% 270 0 270

2 129 5% 399 271 399

3 305 11% 704 400 704

4 73 3% 777 705 777

5 59 2% 836 778 836

6 83 3% 919 837 919

7 77 3% 996 920 996

8 92 3% 1,088 997 1,088

9 343 12% 1,431 1,089 1,431

10 258 9% 1,689 1,432 1,689

11 210 8% 1,899 1,690 1,899

12 57 2% 1,956 1,900 1,956

13 204 7% 2,160 1,957 2,160

14 21 1% 2,181 2,161 2,181

15 100 4% 2,281 2,182 2,281

16 74 3% 2,355 2,282 2,355

17 315 11% 2,670 2,356 2,670

18 5 0% 2,675 2,671 2,675

19 62 2% 2,737 2,676 2,737

20 37 1% 2,774 2,738 2,774

total 2,774 100%

CuaDRo 16. soLicituDEs aprobaDas por rEgión DE muEstratLÁn y suma acumuLaDa


Paso 3. Calcular el Intervalo de Muestreo (IM)

para calcular el im es necesario dividir la cantidad total de solicitudes aprobadas (beneficiarios) entre la cantidad de regiones o municipios que se determine visitar. En el caso del mcDE 30x7 la cantidad de unidades territoriales a visitar es de 30. sin embargo, como se dijo antes, esta cantidad puede variar en función de la combinación de entidades territoriales a visitar y la cantidad de cuestionarios a aplicar para asegurar un tamaño de muestra de aproximadamente 210 unidades a encuestar (resultado del tamaño de muestra aplicando el mcDE 30x7). Esta última decisión, a su vez, puede variar en función de:

•La disponibilidad de información más detallada a nivel municipal (lo cual incrementaría la posibilidad de unidades territoriales a visitar)

•La disponibilidad de recursos para abarcar más cantidad de territorio

•La afluencia de solicitudes por región/municipio.

En función de lo anterior se perfilan los siguientes tres escenarios:

1. no se cuentan con más de 30 regiones y existen restricciones presupuestales.

2. no se cuentan con más de 30 regiones y existen recursos suficientes.

3. se obtuvo información municipal y se puede abarcar mayores estratos territoriales.

Escenario 1

asumiendo que en muestratlán no se cuenta con información con mayor detalle que por región, se invierte la relación 30x7 a 7x30; es decir 7 regiones y 30 unidades a encuestar en cada uno. con base en lo anterior se calcula el intervalo de muestreo (im) dividiendo la cantidad de solicitudes aprobadas (2,774) entre las 7 visitas definidas, lo cual da un resultado de 396.29.

El im es utilizado en este momento como una referencia para elegir de forma aleatoria35 un número entre 0 y 396 (es decir, entre 0 y el resultado de im obtenido), con el cual se elegirá el primer clúster o región a visitar.

35 para seleccionar un número aleatorio no se recomienda hacerlo mentalmente, pues ello implica cierto sesgo. para reducir la posibilidad de dicho sesgo se sugiere utilizar una tabla de números aleatorios (ver anexo 1) o en su caso un generador automático de dichos números. una posibilidad es usar la herramienta que contiene Excel o bien buscar un generador en internet, para lo cual se sugieren las siguientes páginas Web: http://www.random.org/ o http://nosetup.org/php_on_line/numero_aleatorio_2

cantidad total de beneficiarios

cantidad de regiones/municipios a visitarIM =

IM (MCDE 30x7) =cantidad total de beneficiarios

30


70

Escenario 2

asumiendo que muestratlán se cuenta con los recursos suficientes para abarcar una mayor cantidad de regiones, se selecciona una cantidad de 10 regiones para visitar. Dicha decisión se basa en que existen 10 regiones que concentran el 80% de las solicitudes aprobadas (cuadro 16). con dicha información se calcula el im y se selecciona un número aleatorio dentro de un rango entre 0 y el im = 277.

Escenario 3

asumiendo que en muestratlán se logra obtener información detallada a nivel municipal, ampliándose las opciones de elección de clústeres o unidades territoriales de 20 regiones a 46 municipios. En ese caso se opta por la regla del mcDE 30x7; es decir, se decide mantener la decisión de visitar 30 municipios y encuestar a 7 unidades en cada municipio. con dicha decisión se realiza el mismo procedimiento para calcular el im y se selecciona un número aleatorio de un rango entre 0 y el im = 92.

Paso 4. Con base en el IM calcular los datos que permitirán seleccionar los clústeres (región/municipios a visitar)

para calcular los datos que permitirán seleccionar el resto de clústeres es necesario sumar el número aleatorio seleccionado (primer clúster seleccionado) al im. Esto se calcula hasta que se agote la última opción de cantidad de región/municipios a visitar. continuando con los tres escenarios del ejemplo se tiene:

Elegir un número aleatorio que se encuentre entre 0 y 396.29

Número aleatorio (Na) = 174

IM (MCDE 10x20) =2,774

10

= 277.40 Na = 201

IM (MCDE 30x7) =2,774

30

= 92.47 Na = 67

IM (MCDE 7x30) =2,774

7

= 396.29


Escenario 1

Región a B C

clúster 1 174

clúster 2 174 396.29 570

clúster 3 570 396.29 967

clúster 4 967 396.29 1,363

clúster 5 1,363 396.29 1,759

clúster 6 1,759 396.29 2,155

clúster 7 2,155 396.29 2,552

Escenario 2

Región a B C

clúster 1 201

clúster 2 201 277.40 478

clúster 3 478 277.40 756

clúster 4 756 277.40 1,033

clúster 5 1,033 277.40 1,311

clúster 6 1,311 277.40 1,588

clúster 7 1,588 277.40 1,865

clúster 8 1,865 277.40 2,143

clúster 9 2,143 277.40 2,420

clúster 10 2,420 277.40 2,698

Número aleartorio elegido

a + B = C174 + 396 = 570

IM


72

Escenario 3

Municipio a B C

clúster 1 67.00

clúster 2 67.00 92.47 159.47

clúster 3 159.47 92.47 251.93

clúster 4 251.93 92.47 344.40

clúster 5 344.40 92.47 436.87

clúster 6 436.87 92.47 529.33

clúster 7 529.33 92.47 621.80

clúster 8 621.80 92.47 714.27

clúster 9 714.27 92.47 806.73

clúster 10 806.73 92.47 899.20

clúster 11 899.20 92.47 991.67

clúster 12 991.67 92.47 1,084.13

clúster 13 1,084.13 92.47 1,176.60

clúster 14 1,176.60 92.47 1,269.07

clúster 15 1,269.07 92.47 1,361.53

clúster 16 1,361.53 92.47 1,454.00

clúster 17 1,454.00 92.47 1,546.47

clúster 18 1,546.47 92.47 1,638.93

clúster 19 1,638.93 92.47 1,731.40

clúster 20 1,731.40 92.47 1,823.87

clúster 21 1,823.87 92.47 1,916.33

clúster 22 1,916.33 92.47 2,008.80

clúster 23 2,008.80 92.47 2,101.27

clúster 24 2,101.27 92.47 2,193.73

clúster 25 2,193.73 92.47 2,286.20

clúster 26 2,286.20 92.47 2,378.67

clúster 27 2,378.67 92.47 2,471.13

clúster 28 2,471.13 92.47 2,563.60

clúster 29 2,563.60 92.47 2,656.07

clúster 30 2,656.07 92.47 2,748.53


Paso 5. seleccionar las regiones/municipios a visitar

con base en los cálculos realizados en el paso 4 se eligen las regiones o municipios a visitar. para ello se debe considerar la lista de región/municipio definida en el cuadro 16 y se deben elegir aquéllos en los que el número de la columna c caiga dentro de los rangos definidos en el cuadro 16.

siguiendo con los escenarios del ejemplo se logran las siguientes selecciones:

Escenario 1: (7x30)

Región solicitudes aprobadas % suma

acumulada RangoColumna C

calculada en el paso 4

Clúster elegido

Cantidad de unidades a encuestar

1 270 10% 270 0 270 174 1 30

2 129 5% 399 271 399

3 305 11% 704 400 704 570 2 30

4 73 3% 777 705 777

5 59 2% 836 778 836

6 83 3% 919 837 919

7 77 3% 996 920 996 967 3 30

8 92 3% 1,088 997 1,088

9 343 12% 1,431 1,089 1,431 1,363 4 30

10 258 9% 1,689 1,432 1,689

11 210 8% 1,899 1,690 1,899 1,759 5 30

12 57 2% 1,956 1,900 1,956

13 204 7% 2,160 1,957 2,160 2,155 6 30

14 21 1% 2,181 2,161 2,181

15 100 4% 2,281 2,182 2,281

16 74 3% 2,355 2,282 2,355

17 315 11% 2,670 2,356 2,670 2,552 7 30

18 5 0% 2,675 2,671 2,675

19 62 2% 2,737 2,676 2,737

20 37 1% 2,774 2,738 2,774

total 2,774 100% 210

se selecciona la región o municipio en el que el valor de C calculado en el paso 4 cae dentro del rango


74

Escenario 2: (10x21)

Región solicitudes aprobadas % suma

acumulada Rango Clúster elegido


1 270 10% 270 0 270 1 21

2 129 5% 399 271 399

3 305 11% 704 400 704 2 21

4 73 3% 777 705 777 3 21

5 59 2% 836 778 836

6 83 3% 919 837 919

7 77 3% 996 920 996

8 92 3% 1,088 997 1,088 4 21

9 343 12% 1,431 1,089 1,431 5 21

10 258 9% 1,689 1,432 1,689 6 21

11 210 8% 1,899 1,690 1,899 7 21

12 57 2% 1,956 1,900 1,956

13 204 7% 2,160 1,957 2,160 8 21

14 21 1% 2,181 2,161 2,181

15 100 4% 2,281 2,182 2,281

16 74 3% 2,355 2,282 2,355 9 21

17 315 11% 2,670 2,356 2,670

18 5 0% 2,675 2,671 2,675

19 62 2% 2,737 2,676 2,737 10 21

20 37 1% 2,774 2,738 2,774

total 2,774 100% 210

Escenario 3: (30x7)

Municipio solicitudes aprobadas suma acumulada Rango Clúster

elegido


1 134 134.00 0.00 134.00 1 7

2 125 259.00 135.00 259.00 2,3 14

3 10 269.00 260.00 269.00

4 32 301.00 270.00 301.00

6 95 396.00 302.00 396.00 4 7



elegido


7 24 420.00 397.00 420.00

8 1 421.00 421.00 421.00

9 63 484.00 422.00 484.00 5 7

10 24 508.00 485.00 508.00

11 25 533.00 509.00 533.00 6 7

12 64 597.00 534.00 597.00

13 2 599.00 598.00 599.00

14 113 712.00 600.00 712.00 7 7

15 91 803.00 713.00 803.00 8 7

16 27 830.00 804.00 830.00 9 7

17 76 906.00 831.00 906.00 10 7

18 92 998.00 907.00 998.00 11 7

19 116 1,114.00 999.00 1,114.00 12 7

20 19 1,133.00 1,115.00 1,133.00

21 4 1,137.00 1,134.00 1,137.00

22 342 1,479.00 1,138.00 1,479.00 13,14,15,16 28

23 29 1,508.00 1,480.00 1,508.00

24 39 1,547.00 1,509.00 1,547.00 17 7

25 18 1,565.00 1,548.00 1,565.00

26 95 1,660.00 1,566.00 1,660.00 18 7

27 199 1,859.00 1,661.00 1,859.00 19,20 14

28 10 1,869.00 1,860.00 1,869.00

29 53 1,922.00 1,870.00 1,922.00 21 7

30 51 1,973.00 1,923.00 1,973.00

31 18 1,991.00 1,974.00 1,991.00

32 75 2,066.00 1,992.00 2,066.00 22 7

33 73 2,139.00 2,067.00 2,139.00 23 7

34 77 2,216.00 2,140.00 2,216.00 24 7

35 11 2,227.00 2,217.00 2,227.00

36 38 2,265.00 2,228.00 2,265.00

37 4 2,269.00 2,266.00 2,269.00

38 66 2,335.00 2,270.00 2,335.00 25 7


76


elegido


39 3 2,338.00 2,336.00 2,338.00

40 1 2,339.00 2,339.00 2,339.00

41 288 2,627.00 2,340.00 2,627.00 26,27,28 21

42 5 2,632.00 2,628.00 2,632.00

43 100 2,732.00 2,633.00 2,732.00 29 7

44 42 2,774.00 2,733.00 2,774.00 30 7

total 2,774 210

NótEsE que las regiones/municipios elegidos mediante esta primera etapa del muestreo son aquéllos que concentran la mayor cantidad de solicitudes aprobadas enMuestratlán.

VERIfICaCIóN: Para probar que no se tuvieron errores en el cálculo de la selección de clústeres mediante el método de selección probabilística proporcional descrito enelejemplo,sedebesumarelIMalasumafinalcalculadaenelPaso4.Siexistieransuficientes observaciones en el marco muestral para seleccionar más clústeres que losdesignados,existeentoncesunerrorenelprocedimientoydeberevisarse.

3.2.2 Segunda etapa: Definiendo las unidades a encuestar en cada región seleccionada

una vez seleccionadas las regiones o municipios a visitar (por medio de la primera etapa del muestreo) se proceder con la segunda etapa. En la segunda etapa se seleccionan, en cada región o municipio, las unidades a encuestar.

para llegar a dicha selección se sigue el método de muestreo simple sistemático. En este caso, el procedimiento se facilita pues el tamaño de muestra ya está definido y es de 30 unidades muestrales por región en el primer escenario del ejemplo; 21 unidades a encuestar por región en el segundo escenario y 7 unidades a encuestar por municipio en el tercer escenario del ejemplo.

a continuación se plantean los pasos sugeridos para realizar la selección de las unidades a encuestar en el primer escenario.

Paso 1

se enlistan los beneficiarios apoyados por cada región enlistada. En el ejemplo (Escenario 1) la cantidad de beneficiarios se reduce de 2,774 a 1,724 según el cuadro 17:


Región seleccionada

solicitudes aprobadas (beneficiarios) Clúster Cantidad de unidades a

encuestar

1 270 1 30

3 305 2 30

7 77 3 30

9 343 4 30

11 210 5 30

13 204 6 30

17 315 7 30

total 1,724 210

Paso 2

con dicha lista se puede calcular un número de referencia, k, que resulta de dividir la cantidad final de beneficiarios en cada región/municipios seleccionados entre la cantidad total de cuestionarios a levantar en dicha unidad territorial. En el ejemplo se obtienen los siguientes números k (cuadro 18) para las siete regiones seleccionadas.

Región seleccionada

solicitudes aprobadas (beneficiarios) Clúster Cantidad de unidades a

encuestar k

1 270 1 30 9

3 305 2 30 10

7 77 3 30 3

9 343 4 30 11

11 210 5 30 7

13 204 6 30 7

17 315 7 30 11

total 1,724 210

Paso 3

se debe seleccionar un número aleatorio, i, para cada región/municipio seleccionado, que caiga entre 0 y k (k=11 para el caso de la región 9). para ello se sugiere utilizar los medios electrónicos o la tabla sugeridas en el apartado 4.1 en el paso 3. para continuar con el ejemplo, y acotando al caso específico de la cuarta región seleccionada, se selecciona aleatoriamente el número i=6, que cae entre 0 y k=11 para el caso de la región 9.

Paso 4

con base en dicho número se puede calcular el número de observaciones (unidades a encuestar) en la región 9 sumando i+k y generando 30 iteraciones (por el número de cuestionarios a aplicar en dicha región). En el cuadro 19 se muestra el resultado.

CuaDRo 17. rEsuLtaDos DEL EscEnario 1

CuaDRo 18. rEsuLtaDos DEL paso 2


78

Región 9

Cuestionarios a aplicar i k unidad a encuestar

elegida

1 6

2 6 11 17

3 17 11 28

4 28 11 39

5 39 11 50

6 50 11 61

7 61 11 72

8 72 11 83

9 83 11 94

10 94 11 105

11 105 11 116

12 116 11 127

13 127 11 138

14 138 11 149

15 149 11 160

16 160 11 171

17 171 11 182

18 182 11 193

19 193 11 204

20 204 11 215

21 215 11 226

22 226 11 237

23 237 11 248

24 248 11 259

25 259 11 270

26 270 11 281

27 281 11 292

28 292 11 303

29 303 11 314

30 314 11 325

CuaDRo 19. rEsuLtaDos DEL paso 4


Paso 5

De la lista de solicitudes aprobadas correspondientes a la región 9, elegir aquéllas que corresponden con la columna de unidad elegida en el paso 4 para aplicar el cuestionario para el cálculo de indicadores.

Paso 6

repetir los pasos 1 a 5 para cada región o municipio seleccionado en la primera etapa del muestreo y aplicar el cuestionario para el cálculo de indicadores.


80

HERRaMIENta 4

Método de muestreo para la recolección de información para el monitoreo de la calidad en el servicio y el seguimiento a los apoyos de un programa o proyecto

El método de muestreo sugerido para el monitoreo de la calidad en el servicio y seguimiento a los apoyos de un programa o proyecto es el muestreo por Lotes del control de calidad (Lqas). El método Lqas fue desarrollado originalmente como una técnica del área de control de calidad de la producción en la industria debido a que los fabricantes estaban interesados en determinar si un lote de bienes cumplía con un estándar de calidad mínima requerida. así, en lugar de revisar todos los productos de un lote de producción, se toma una muestra y de acuerdo al resultado se decide si se acepta o rechaza el lote completo. La ventaja de este muestreo es que la muestra seleccionada de cada lote es pequeña, de tal manera que se reducen los costos al monitorear la calidad.

Lqas es un método que combina dos técnicas estadísticas estándar: muestreo estratificado para la colección de datos y pruebas de hipótesis unilaterales para el análisis de datos. Los principios de muestreo son universales, de tal manera que para el caso específico del monitoreo (a la calidad en el servicio y el seguimiento a los apoyos) de un programa o proyecto, la aplicación de esta metodología puede proveer de toda la información relevante que se requiere con las siguientes ventajas:

•por ser una variante de muestreo estratificado aleatorio permite llegar a conclusiones utilizando muestras pequeñas;

•permite identifica (y medir) áreas que requieren de acciones correctivas;

•permite inferir para la población en conjunto;

•El método se considera una “herramienta de retroalimentación” que provee información para la toma de decisiones dirigidas a mejorar el servicio de los programas.

4.1 Aplicación del LQAS

En general, para el Lqas el primer paso consiste en dividir la población en estudio en áreas geográficas de monitoreo (localidades, municipios, regiones, etc.) denominadas lotes. Después de la definición de las áreas de monitoreo o lotes, se conforma el marco muestral del cual se toma una muestra de tamaño n utilizando el muestreo aleatorio simple dentro de cada área de monitoreo a encuestar. finalmente, los resultados de cada lote pueden ser combinados en un estimador global del área total estudio, ponderando los resultados de cada área de monitoreo con el tamaño de su población para obtener un promedio total.

Paso 1. Definir las áreas de monitoreo

El primer paso para aplicar el Lqas es definir las áreas de monitoreo. aquí es crucial considerar el área al mínimo nivel administrativo posible para el cual los resultados se puedan usar en la toma de decisiones. cabe señalar que entre más bajo el nivel de administración sea habrá mayor número de áreas de supervisión y el tamaño de muestra aumentará, con lo que el beneficio original del Lqas se elimina. por lo anterior, es importante señalar que el tamaño de muestra se compromete en tanto aumentan las áreas de monitoreo. sin embargo, es importante que las áreas de supervisión cubran la totalidad del área geográfica de interés.


Paso 2. Identificación del marco muestral y cálculo de la muestra

una vez que se definieron las áreas de monitoreo se deberá enlistar a toda la población de las áreas de monitoreo, ya que el Lqas requiere de una muestra aleatoria de tamaño n de cada una de ellas.

Es importante contar con un estimado de la población en estudio, así como un listado para tomar de allí la muestra aleatoria de tamaño n.

El tamaño de muestra se calcula con base en tablas del Lqas, en el que se especifica el nivel de confianza requerido. Las tablas utilizadas para este caso se encuentran en el cuadro 20.

4.2 Aplicación de LQAS para el monitoreo de la calidad en el servicio y el seguimiento a los apoyos de un programa o proyecto

Paso 1. Definir las áreas de monitoreo

El Lqas requiere de la definición de subáreas de monitoreo (estratos geográficos) que sin traslaparse cubran la totalidad del área geográfica a monitorear. El número mínimo de subáreas de monitoreo debe ser de cinco, por lo que el área de interés a monitorearse deberá dividirse en cinco subáreas o regiones sin traslaparse (figura 9).

así, el área a monitorear quedará dividida en cinco subáreas de monitoreo que no se traslapen, como en la figura 9.36

36 La división al interior de las subáreas puede corresponder a la división municipal, de localidades u otro tipo de unidad administrativa.

fIGuRa 9. EjEmpLo DEL ÁrEa y Las cinco subÁrEas DE monitorEo36


82

Paso 2. Identificación del marco muestral y cálculo de la muestra

una vez conformadas las cinco áreas de monitoreo (sin traslapes) se procede a integrar el marco muestral, el cual estará dado por el listado de beneficiarios.

una vez obtenida la lista de beneficiarios se separan en las cinco subáreas de monitoreo que le correspondan.

posteriormente se calcula el tamaño de muestra para cada subárea, el cual estará dado por el nivel de confianza requerido (se sugiere fijarlo al 95%). De acuerdo a tablas Lqas (cuadro 20), el tamaño de muestra n en cada área de monitoreo será de 19. así, el tamaño total de la muestra será de 95; es decir, cinco subáreas de monitoreo con 19 elementos cada una.

una vez que se tiene el tamaño de muestra para cada subárea de monitoreo, 19 en este caso, se aplica el muestreo aleatorio simple en para definir quién será la unidad a encuestar. para obtener la muestra a entrevistar se realiza lo siguiente:

•El listado de beneficiarios del programa o proyecto se divide en las cinco subáreas de monitoreo.

•se ordenan los nombres de manera ascendente por apellido paterno a todos los integrantes de cada subárea de monitoreo y se numeran; es decir, se tendrán cinco particiones del listado total y cada una de éstas particiones estará ordenada y numerada de manera ascendente por apellido paterno.

•se calculan 19 números aleatorios para cada subárea y se toman las unidades que correspondan a cada número aleatorio en cada subárea de monitoreo.

•al final se tendrán 19 elementos, seleccionados de manera aleatoria, por cada una de las cinco subáreas de monitoreo, haciendo un total de 95 elementos.

Errores alfa y beta ≤10% para todas las reglas de decisión

Cobertura

Muestra20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% 75% 80% 85% 90% 95%

12 1 1 2 2 3 4 5 5 6 7 7 8 8 9 10 11

13 1 1 2 3 3 4 5 6 6 7 8 8 9 10 11 11

14 1 1 2 3 4 4 5 6 7 8 8 9 10 11 11 12

15 1 2 2 3 4 5 6 6 7 8 9 10 10 11 12 13

16 1 2 2 3 4 5 6 7 8 9 9 10 11 12 13 14

17 1 2 2 3 4 5 6 7 8 9 10 11 12 13 14 15

18 1 2 2 3 5 6 7 8 9 10 11 11 12 13 14 16

19 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

20 1 2 3 4 5 6 7 8 9 11 12 13 14 15 16 17

21 1 2 3 4 5 6 8 9 10 11 12 13 14 16 17 18

Fuente: FAO-SAGARPA. 2010. Instrumentos metodológicos para el monitoreo y la evaluación del desempeño. Documento interno de trabajo.

CuaDRo 20. Lqas para EL cÁLcuLo DEL tamaño DE muEstra óptimo para un niVEL DE confianZa DEL 95%


HERRaMIENta 5

Cuestionario para el monitoreo de la calidad en el servicio de un programa o proyecto

I. Difusión del programa

1. ¿Cómo se enteró de la existencia del programa?

Marque con una X la respuesta que corresponda

radio (1)___ televisión (2)___ periódico (3)___

oficina del gobierno (4)___

organización a la que pertenece (5) ___

otro (6) _________________________

2. En la ventanilla le proporcionaron información sobre el programa

sí: (1) no: (0)

si la respuesta es no, pase a la pregunta 4.

3. ¿la información que le proporcionaron sobre el programa fue suficiente para conocer los tipos de apoyo que otorga el programa?

sí: (0)___ no: (1)___

sí: (0)___ no: (1)___

1/ pregunte si la respuesta fue “sí” en la pregunta 2.2/ pregunte para cada uno de los programas en los que haya habido respuesta en la pregunta 1.

II. solicitud de apoyos

4. ¿Cuánto tiempo pasó entre la entrega de su solitud y/o documentación y la recepción del apoyo del programa?

Indique el mes y el año en que solicitó y recibió el apoyo

solicitó el apoyo:

mes __________ año:______

recibió el apoyo:

mes_________ año______


84

5. ¿fue sencillo el llenado de la solicitud de apoyos del programa?

asigne un valor del 1 al 10: 1 si está en completo desacuerdo y 10 si está en completo acuerdo

(1)___ (2)___ (3)___ (4)___ (5) ___ (6)___ (7)___

(8)___ (9)___ (10) ___

6. ¿fue sencillo el trámite de su solicitud de apoyos del programa?

asigne un valor del 1 al 10: 1 si está en completo desacuerdo y 10 si está en completo acuerdo

(1)___ (2)___ (3)___ (4)___ (5) ___ (6)___ (7)___

(8)___ (9)___ (10) ___

III. Dictaminación de solicitudes

7. ¿le solicitaron alguna gratificación (propina) para tramitar la solicitud o entregarle el apoyo del programa?

1 Marque con una X la respuesta que corresponda

sí: (1)___ no: (0)___

8. ¿Conocía usted los criterios utilizados para la dictaminación de las solicitudes de apoyos del programa?

1 Marque con una X la respuesta que corresponda

sí: (1)___ no: (0)___

9. ¿Cuánto tiempo pasó entre la entrega de su solitud y la notificación sobre el resultado del apoyo del programa?

Indique el mes y el año en que solicitó y recibió el resultado

Entregó la solicitud en:

mes_________ año:______

recibió el resultado:

mes__________ año______


IV. Calificación de los actores

10. En general ¿cómo lo trató el personal que le atendió cuando entregó su solicitud de apoyo del programa?


mal: (0)____ regular: (1)____ bien: (2)____ Excelente: (3)____

11. ¿Existe un buzón de quejas y sugerencias en la ventanilla donde entregó su solicitud de apoyo del programa?


no: (0)___ sí: (1)___ no sabe:____

V. Calificación de los apoyos

12. ¿le fue entregado con oportunidad el apoyo que le otorgó el programa?


sí: (1)___ no: (0)___

13. ¿El tipo de apoyo recibido del apoyo del programa es acorde a lo que usted necesita?


sí: (1)___ no: (0)___

14. El monto recibido del apoyo del programa es suficiente a lo que usted necesita?


sí: (1)___ no: (0)___

VI. Calificación de lealtad

15. ¿Recomendaría usted a otras personas solicitar apoyos del programa?


sí: (1)___ no: (0)___


86

HERRaMIENta 6

Cuestionario para el monitoreo del seguimiento a los apoyos otorgados por un programa o proyecto

1. encuestador: con información del expediente1 del beneficiario registre la siguiente información sobre los apoyos recibidos del programa.

tipos de apoyo(Componentes de apoyo)2

Especifique el concepto del apoyo recibido3

infraestructura productiva

maquinaria y equipo

material vegetativo, especies zootécnicas y acuícolas

Equipamiento

Notas: 1/ Estos datos se obtienen del expediente de solicitud del beneficiario.2/ Los tipos de apoyo corresponden a los componentes considerados en las reglas de operación del programa.3/ anote el concepto específico de apoyo de acuerdo con lo otorgado y lo señalado en el expediente del beneficiario. Este es el apoyo al que se busca darle seguimiento en campo.

2. ¿Recibió usted el apoyo solicitado del programa?


sí: (1) no: (0)

3. ¿El apoyo que recibió corresponde a lo que usted solicitó del programa?


sí: (1) no: (0)

4. ¿Recibió en el tiempo establecido o conforme a lo prometido el apoyo que le entregaron del programa?


sí: (1) no: (0)


5. ¿Conserva usted el apoyo que le otorgó el programa?

tipos de apoyo(Componentes de apoyo)1

Concepto específico del apoyo2Marque con una X la respuesta que

corresponda

infraestructura productiva sí: (1) no: (0)

maquinaria y equipo sí: (1) no: (0)


sí: (1) no: (0)

investigación, validación y transferencia tecnológica

sí: (1) no: (0)

asistencia técnica y capacitación sí: (1) no: (0)

sanidad e inocuidad sí: (1) no: (0)

Desarrollo de mercados sí: (1) no: (0)

recursos biogenéticos y biodiversidad

sí: (1) no: (0)

reconversión productiva sí: (1) no: (0)

acuicultura y pesca sí: (1) no: (0)

Equipamiento sí: (1) no: (0)

Difusión sí: (1) no: (0)

gastos operativos sí: (1) no: (0)

1/ Los tipos de apoyo corresponden a los componentes considerados en las reglas de operación del programa.2/ corresponde al concepto de apoyo especificado en la última columna de la pregunta 1.

6. ¿a qué se debe que no conserva el apoyo que le otorgó el programa1?

tipos de apoyo(Componentes de

apoyo)2

Concepto específico del apoyo3:

Vendió el apoyo:El apoyo

falleció4 o se destruyó5:

se lo robaron:otras razones(especifique):


sí:(1)

no:(0)

sí:(1)

no:(0)

sí:(1)

no:(0)

maquinaria y equipo sí:(1)

no:(0)

sí:(1)

no:(0)

sí:(1)

no:(0)


sí:(1)

no: (0)

sí:(1)

no: (0)

sí:(1)

no: (0)

1/ pregunte por los apoyos recibidos para los cuales se marcó la opción “no” en la pregunta 5.2/ Los tipos de apoyo corresponden a los componentes considerados en las reglas de operación del programa.3/ corresponde al concepto de apoyo especificado en la última columna de la pregunta 1.4/ En el caso de animales o material vegetativo. incluye también cuando el beneficiario utilizó el apoyo para consumo en el hogar.5/ En casos fortuitos como sismos, incendios, huracanes, etc.


88

7. ¿opera usted el apoyo que recibió del programa1?

tipos de apoyo(Componentes de

apoyo)

Concepto específico del

apoyo2:

Marque con una X la respuesta

que corresponda:

¿a qué capacidad usa usted el apoyo

otorgado?(marque con una

x la respuesta que corresponda):

Conserva los activos, pero no los usa

porque3…


sí:(1)

no:(0)

25% 50%

75% 100%

maquinaria y equipo sí:(1)

no:(0)

25% 50%

75% 100%


sí:(1)

no: (0)

25% 50%

75% 100%

1/ pregunte por los apoyos recibidos para los cuales se marcó la opción “sí” en la pregunta 5. 2/ corresponde al concepto de apoyo especificado en la última columna de la pregunta 1.3/ anote la respuesta que le dé el entrevistado.


90

Gestión Pública con base en resultados - fao.org · i EjEcución y monitorEo Gestión Pública...

Documents

Transcript of Gestión Pública con base en resultados - fao.org · i EjEcución y monitorEo Gestión Pública...