DIRECTRICES BÁSICAS PARA LA EVALUACIÓN DE POLÍTICAS ... · Directrices básicas para la...
42
DIRECTRICES BÁSICAS PARA LA EVALUACIÓN DE POLÍTICAS PÚBLICAS DE LA AUDITORÍA SUPERIOR DE LA FEDERACIÓN Abril 2018
Transcript of DIRECTRICES BÁSICAS PARA LA EVALUACIÓN DE POLÍTICAS ... · Directrices básicas para la...
DIRECTRICES BÁSICAS PARA LA EVALUACIÓN
DE POLÍTICAS PÚBLICAS DE LA AUDITORÍA
SUPERIOR DE LA FEDERACIÓN
Abril 2018
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
1
Índice
Introducción ………………………………………………………………….………………………………………………………………2
1. Antecedentes ………………………………………………………………………………………………..………………………..3
2. Conceptualización y ciclo de las políticas públicas ….………………………………………………………………..5
3. Metodología de la ASF para la evaluación de políticas públicas …………………………….……………….12
4. Planeación de las evaluaciones de políticas públicas ………………………………………………………………22
5. Desarrollo de la evaluación de políticas públicas …………………………………………………………………….25
6. Productos de difusión de los resultados de la evaluación de políticas públicas …………….………….30
7. Expediente de la evaluación de políticas públicas …………………………………………………………………..32
8. Premiación de las evaluaciones de políticas públicas ……………………………………………………………..35
Referencias ……………………………………………………………………………………………………………………..…………..37
ANEXO 1: Formato sugerido para la abducción de la evaluación ………………………………….……..…………38
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
2
Introducción
Con el propósito de contribuir a la sección “Centro de Conocimiento”, que forma parte del sitio Web
colaborativo del Comité de Creación de Conocimientos y Servicios de Conocimiento (KSC, por sus
siglas en inglés) y de la Iniciativa para el Desarrollo de la INTOSAI (IDI, por sus siglas en inglés), se
presentan las “Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior
de la Federación”, para dar a conocer a las Entidades Fiscalizadoras Superiores (EFS) un ejemplo de
buenas prácticas en el contexto de la fiscalización superior en México.
Estas directrices son un documento guía en el que se explica brevemente qué es y cómo se aplica la
“Praxiología Metodología para la Evaluación de Políticas Públicas”, que es un documento normativo
interno que contiene los criterios generales para la valoración de las intervenciones gubernamenta-
les.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
3
1. Antecedentes
Las políticas públicas son decisiones de Estado que involucran recursos públicos para atender pro-
blemas específicos. Evaluar una política pública significa, en este sentido, analizar, reflexionar y va-
lorar si las determinaciones tomadas han tenido como resultado, efectivamente, la atención del
problema que las justifica.1/
La Auditoría Superior de la Federación (ASF) tiene entre sus facultades verificar el cumplimiento de
los objetivos contenidos en las políticas y programas gubernamentales, valorar el desempeño ade-
cuado de las entidades que ejercen recursos públicos federales y comprobar el correcto manejo del
ingreso y el egreso públicos. Para ello, la ASF se ha apoyado, fundamentalmente, en las auditorías
de desempeño.
Además, en la Ley de Fiscalización y Rendición de Cuentas de la Federación se establece que, para
la fiscalización de la Cuenta Pública, la ASF tendrá la atribución de elaborar estudios e investigacio-
nes relacionadas con las materias de su competencia, tales como las evaluaciones de políticas pú-
blicas. Éstas son valoraciones objetivas sobre la pertinencia y efectividad de los programas, proyec-
tos, políticas y acciones gubernamentales2/ para atender una problemática específica, en el contexto
de los objetivos y metas nacionales y sectoriales; su propósito es emitir una opinión sobre la solidez,
consistencia, eficiencia y eficacia de una política pública, a fin de identificar, bajo criterios válidos y
confiables, las razones de su éxito o fracaso, sus fortalezas y debilidades, y los aspectos susceptibles
de mejora, considerando para ello el análisis de la definición del problema público; el diseño de la
política pública para atenderlo; la implementación, y los resultados obtenidos.
1/ Auditoría Superior de la Federación. (2014). Praxiologia Metodología para la Evaluación de las Políticas Públicas. México, pág. 7. 2/ En la ASF, el concepto de política pública es muy amplio y no existe un esquema único para definir sus características concretas; ésta
puede ser entendida en un rango que va desde un programa estratégico específico estrictamente focalizado, hasta líneas de pla-neación nacional.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
4
Las evaluaciones que realiza la ASF representan los productos de mayor profundidad en la labor de
fiscalización y aspiran a la más alta calidad; cada una de ellas es la concreción de años de auditorías
de desempeño a temas específicos.
En 2005, surgió la idea de incorporar “metaevaluaciones” a la fiscalización superior, las cuales con-
sistieron en una síntesis de la información descriptiva y valorativa de las revisiones de la ASF sobre
la gestión del sector público, nutrida con los datos proporcionados por las entidades fiscalizadas,
con el propósito de identificar fallas y proponer acciones para potenciar las fortalezas de las políticas
evaluadas. Estos documentos se denominaron “Separatas”, ya que no formaban parte de ningún
tomo sectorial del Informe del Resultado de la Fiscalización Superior.
En 2012, en el documento “Conclusiones y Recomendaciones para la Auditoria Superior de la Fede-
ración”, de la Cuenta Pública 2010, la Cámara de Diputados emitió una recomendación para imple-
mentar el enfoque de evaluación de políticas públicas en la fiscalización superior. Ese mismo año se
integraron ocho equipos de trabajo de alto rendimiento, expertos en temáticas particulares, con el
fin de planear, ejecutar y publicar la primera edición de evaluaciones de políticas públicas.
La aceptación de estos documentos fue tan favorable, que el 29 de abril de 2013 se incorporó en el
Reglamento Interior de la ASF, como parte de la estructura orgánica, a la Dirección de Evaluación a
las Políticas Públicas, adscrita a la Auditoría Especial de Desempeño, como responsable de garantizar
el rigor metodológico prescrito por las ciencias sociales.
En agosto de 2013 se emitió la primera versión de la Metodología para la Evaluación de Políticas
Públicas, con el objetivo de establecer los elementos normativos y metodológicos de las evaluacio-
nes, y, en septiembre de 2014, se publicó una versión mejorada, denominada Praxiología-Metodo-
logía, con un énfasis en emitir conclusiones operativas.
A 2018, se han publicado 46 evaluaciones de políticas públicas y se encuentran en ejecución 8.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
5
2. Conceptualización y ciclo de las políticas públicas
Las políticas públicas son el conjunto de objetivos, decisiones y acciones que lleva a cabo un go-
bierno para solucionar los problemas que, en un momento y lugar determinados, los ciudadanos y
el propio gobierno consideran prioritarios.
Desde este punto de vista, las políticas públicas se pueden entender como un proceso que se inicia
cuando un gobierno o un directivo público detecta la existencia de un problema que, por su impor-
tancia, merece su atención y termina con la evaluación de los resultados que han tenido las acciones
emprendidas para eliminar, mitigar o variar ese problema.3/
De acuerdo con Mauricio Merino, las políticas públicas “han de ser decisiones tomadas por los ór-
ganos ejecutivos o representativos del Estado –y no por los particulares–, con el propósito explícito
de modificar el statu quo en un sentido determinado, mediante el uso de los recursos normativos,
presupuestarios y humanos con los que cuenta el sector público y en un horizonte temporal razona-
blemente definido”.4/
3/ Merino, M. La importancia de la ética en el análisis de las políticas públicas, en Revista del CLAD, Reforma y Democracia, núm.
41, junio de 2008. 4/ Bañon y Carrillo. (1997). La Nueva Administración Pública. Madrid: Editorial Alianza, p. 281.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
6
Siempre hay tres tipos de decisiones presentes en una política pública:
a) Decisiones técnicas
Sobre el problema: ¿cuál es la situación?, ¿por qué la situación es un problema? y ¿por qué
ese problema debe ser atendido desde el ámbito público?
Sobre sus atributos: ¿cuáles son las variables del problema sobre las que puedo intervenir?,
¿cuál es la población afectada? y ¿cuál es su delimitación territorial y temporal?
Sobre la solución: ¿cuál es la situación deseable? y ¿cómo atiende el problema público esa
situación deseable?
Sobre los instrumentos de política: ¿qué instrumentos se utilizarán?, ¿qué acciones se lle-
varán a cabo?, ¿qué productos se generarán? y ¿qué resultados se alcanzarán?
b) Decisión política
Sobre los instrumentos de atención: tipo de política pública (reglamentaría, distributiva, re-
distributiva o constitutiva).5/
Sobre la viabilidad y factibilidad de contar con la cooperación de los grupos de poder y los
actores involucrados.
Sobre las institucionales que van a operar la política pública.
Sobre la distribución de los recursos materiales, financieros y humanos disponibles.
c) Decisión ética
Sobre la elección de los valores que se van a priorizar; lo que nos causa conflicto es la jerar-
quía que se les otorga: eficiencia, democracia, justicia, libertad, seguridad, gobernabilidad,
sustentabilidad, etcétera.
De acuerdo con la lógica de los recursos limitados para abordar la totalidad de los problemas de la
sociedad, Harold Laswell propuso como objeto de estudio a las políticas públicas, al comprender
que sus orientaciones, características y particularidades evidenciarían los aspectos que habrían de
explicar la eficacia y eficiencia de los gobiernos –o su ausencia–.6/
5/ Políticas reglamentarias: dictan normas autoritarias que afectan el comportamiento de los subordinados; limitan las libertades
individuales de los afectados y sus intereses se transforman por decreto. Políticas distributivas: se concede una autorización a casos particulares especialmente designados; permisos, derechos que la au-toridad otorga caso por caso. El afectado se beneficia con una excepción a la regla, gracias a un favor unilateral del Estado porque satisface ciertas condiciones. Políticas redistributivas: dictan criterios que dan acceso a ventajas; este acceso no se otorga a casos o sujetos designados especial-mente, sino a clases de casos o de sujetos. El estado manipula los criterios generales; no designa individualmente a los beneficiarios o a los perjudicados. Políticas constitutivas: se definen las reglas sobre las normas o acerca del poder.
6/ Lerner, D. y Lasswell, H. D. (1951). The Policy Orientation, en The Policy SClences. EUA: Stanford Universitv Press, pp. 3-15.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
7
Las políticas públicas deben considerarse como:
Un conjunto de acciones (o inacciones) que encubren una teoría del cambio social.
Un conjunto de acciones (o inacciones) que conforman un sistema.
El estudio de las políticas públicas se consideró como una disciplina capaz de dotar de mayor racio-
nalidad e inteligencia al proceso de toma de decisiones en el sector público, así como de perfeccio-
nar la ejecución práctica de las políticas.
A partir de entonces, surgieron distintos métodos de aproximación al objeto de estudio, sin que a
la fecha exista un procedimiento único o acabado; sin embargo, para su análisis práctico, existe un
acuerdo generalizado, respecto de concebir a las políticas como un proceso de decisión y acción
integrado por cuatro etapas básicas: a) definición del problema; b) diseño; c) implementación; y
d) evaluación.
Estas son las etapas que retomó la ASF para la Praxiología Metodología para la Evaluación de Políti-
cas Públicas, ya que derivado de su análisis, los evaluadores pueden emitir sugerencias útiles a los
tomadores de decisiones, a fin de mejorar la operación y el desempeño de las políticas evaluadas.
Definición del problema público
La definición del problema público es el proceso mediante el cual un problema previamente selec-
cionado del universo de problemas sociales es estudiado, explorado, organizado, cuantificado y de-
limitado por la autoridad, en términos de sus probables causas, componentes y consecuencias, a
efecto de: persuadir sobre la relevancia de su atención e identificar medidas efectivas de acción. Su
definición es cualitativa (consiste en señalar las características y atributos del fenómeno reconocido
como problema público), y cuantitativa (habla de la magnitud y gravedad del problema público, en
términos de quiénes y cuántos son los que presentan el problema).
Políticas distributivas: se concede una autorización a casos particulares especialmente designados; permisos, derechos que la au-toridad otorga caso por caso. El afectado se beneficia con una excepción a la regla, gracias a un favor unilateral del Estado porque satisface ciertas condiciones. Políticas redistributivas: dictan criterios que dan acceso a ventajas; este acceso no se otorga a casos o sujetos designados especial-mente, sino a clases de casos o de sujetos. El estado manipula los criterios generales; no designa individualmente a los beneficiarios o a los perjudicados. Políticas constitutivas: se definen las reglas sobre las normas o acerca del poder.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
8
Definir un problema no es sólo describir una situación, sino determinar el por qué y cómo es que se
encuentran en esa condición, y qué efectos tiene. Los problemas sociales son complejos y multifac-
toriales; lo que para unos representa una causa, componente o consecuencia del problema, para
otros no lo es. Además, no se cuenta con los recursos necesarios para atenderlos en su totalidad.
En este sentido, entender el alcance y la complejidad de un problema es esencial para diagnosticar
cuáles son las diferentes opciones de acción. Por ello, la definición del problema es una etapa de-
terminante del éxito o fracaso de las políticas, al ser el referente principal de todo su desarrollo.
Diseño de la política pública
Los pasos fundamentales que un diseñador de programas habría de seguir para la formulación de
las alternativas de política pública, conforme a las características del problema, son las siguientes:
Identificar alternativas de acción.
Seleccionar las alternativas que sean más viables y factibles, en términos técnicos (¿se
cuenta con los recursos necesarios para abordar la alternativa?), prácticos (¿los beneficios
de la alternativa son mayores a los costos en comparación con el resto?) y políticos (¿la
alternativa es aceptada por grupos de interés?, ¿no se contrapone a normas, leyes, culturas
e intereses?).
Proyectar resultados y efectos tanto esperados como no esperados: crear modelos y for-
mular escenarios optimistas y adversos.
Comparar alternativas.
Decidir la alternativa con mayor viabilidad y factibilidad.
Diseñar el programa de acción (decisión).
El diseño de la política es el curso de acción determinado por el Estado de manera explícita, especí-
fica y oportuna para resolver problemas públicos relevantes, mediante los recursos a su alcance,
con viabilidad y factibilidad.
Este diseño se integra por los elementos que se detallan en el esquema siguiente.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
9
ELEMENTOS DEL DISEÑO DE UNA POLÍTICA PÚBLICA
FUENTE: Elaborado por la Auditoría Superior de la Federación.
El programa de acción consiste en las modificaciones legales; la emisión de nuevos marcos jurídicos;
el otorgamiento de facultades, responsabilidades y atribuciones a instancias gubernamentales exis-
tentes; la creación de nuevas instituciones; la formulación de objetivos, estrategias, líneas de acción,
indicadores y metas; la asignación de presupuesto; la definición del tipo y características de apoyos
por otorgar (efectivo, especie, servicios, etc.), así como la periodicidad y los mecanismos para en-
tregarlos a quienes presentan el problema, y la definición de mecanismos de rendición de cuentas
y de evaluación, que permitan y sustenten la implementación de una política pública enfocada en
solucionar un problema público.
Superestructura legal que
sustenta jurídicamente las
acciones que realizan los
ejecutores de una política
pública.
Diseño normativo
Conjunto de mandatos,
atribuciones, responsabili-
dades y objetivos que le
corresponden a los ejecu-
tores de la política pública.
Diseño institucional
Ordenación racional y sis-
temática de las acciones
realizadas para transfor-
mar la realidad económica,
social, política y cultural
del país.
Diseño programático
Mandato de lo que se
quiere hacer para resol-
ver un problema con los
recursos disponibles.
Diseño presupuestal
Descripción de cómo se
realiza la intervención;
son los procedimientos
que se siguen en cada fase
para abordar el problema
en el sentido previsto.
Diseño metodológico
Mecanismos para que los
ejecutores de la política
consoliden y den a conocer
información de su gestión
financiera y cumplimiento
de sus objetivos y metas.
Diseño de rendición
de cuentas
Mecanismos establecidos
para evaluar los resultados
de una política pública y
retroalimentar el proceso
de toma de decisiones.
Diseño de evaluación
ELEMENTOS DE
UNA POLÍTICA
PÚBLICA
Programa de acción
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
10
Implementación de la política pública
Es la traducción del diseño en medidas específicas para atender el problema público, y debe consi-
derar los aspectos organizacionales siguientes:
Factores materiales: capacidad operativa, infraestructura y tecnología para la ejecución de
las políticas.
Factores humanos: capacidades, habilidades e intereses del personal.
Factores presupuestales: suficiencia de recursos para la ejecución de las políticas.
Factores políticos: acuerdos de tipo político con sindicatos y organizaciones nacionales e
internacionales, entre otros.
Un buen diseño de las políticas públicas, como resultado de una adecuada definición del problema,
es indispensable para lograr los cambios esperados, pero no es suficiente si los medios identificados
para ello no corresponden tanto con la definición y el diseño como con las características propias
del entorno y de los responsables de ejecutarlas.
De acuerdo con Mauricio Merino, existen cuatro factores que pueden obstaculizar que un buen
diseño de política pública cumpla con sus objetivos:
a) objetivos contrapuestos a los intereses y a los valores de los identificados como respon-
sables de llevarlas a cabo;
b) procedimientos muy complejos para las capacidades de esos agentes;
c) requerimientos que excedan la disponibilidad de los recursos humanos o económicos
de las organizaciones que integran los agentes; y
d) actividades no compatibles –o ajenas por completo- a las rutinas ya establecidas, esa
política enfrentará más dificultades durante su implementación.
Evaluación de la política pública
La evaluación es la última fase del proceso de la política pública y, puesto que el proceso es cíclico,
puede considerarse también la primera. El análisis de los resultados conduce a una revisión del es-
tado del problema que puede dar lugar a una nueva política, a la continuación de la existente o a la
terminación de la misma.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
11
La evaluación de políticas no es un simple instrumento técnico, es también un mecanismo político
de primer orden. En los sistemas democráticos, el gobierno tiene que rendir cuenta de sus actos,
explicar sus decisiones a los ciudadanos, presentar los logros alcanzados y legitimar, con resultados,
sus decisiones.
Las tres razones para que la evaluación sea parte intrínseca del gobierno democrático son que añade
información al inventario de conocimiento que se requiere para la acción pública; desarrolla capa-
cidades analíticas en las dependencias promoviendo una cultura de aprendizaje, y fortalece la ren-
dición de cuentas. 7/
7/ Chelimsky, E. (2006), The Purposes of Evaluation in a Democratic Society. En I. F. Shaw, J. C. Greene, & M. M. Mark, The Sage
Handbook of Evaluation, London: Sage, pp. 33-55.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
12
3. Metodología de la ASF para la evaluación de
políticas públicas
La evaluación de políticas públicas se define como la valoración de la acción emprendida por los
poderes públicos para abordar un problema de la agenda pública; pone el énfasis en los efectos
reales de la acción gubernamental.
El concepto de evaluación es multívoco, pero todas las acepciones tienen un hilo conductor: pro-
porcionar evidencias suficientes, pertinentes, competentes y relevantes del grado con que la imple-
mentación de una política pública ha conseguido los fines que se proponía cumplir y del grado en
que ha producido otras consecuencias colaterales. Podría decirse que la evaluación es el plantea-
miento crítico, desde el punto de vista de las ciencias sociales, del estado que guarda una política
pública y del grado en que el principio de máximo beneficio social ha operado. 8/
La estructura general de las evaluaciones realizadas por la AED comprende la evaluación de la defi-
nición del problema público al cual el Estado busca dar atención; el diseño de la política definida
para atender la problemática; la implementación, y los resultados.
8/ Salcedo Roberto. (2011). Evaluación de Políticas Públicas. México: Editorial Siglo veintiuno editores, p. 23.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
13
3.1. Evaluación de la definición del problema público
El objetivo de esta evaluación es determinar el modo y grado en que el gobierno identificó las ca-
racterísticas cualitativas y cuantitativas del fenómeno reconocido como problema público.
Al realizar la indagación, el evaluador podrá consultar las fuentes de información siguientes:
Diagnósticos elaborados ex profeso por los responsables de la política pública.
Diagnósticos/ exposición de motivos / evaluaciones elaborados por centros públicos de
investigación: centros de estudio de la H. Cámara de Diputados; institutos de evaluación
como EL Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) o el
Instituto Nacional para la Evaluación de la Educación (INEE), entre otros.
Diagnósticos/ exposiciones de motivos / evaluaciones elaborados por instituciones no
gubernamentales (ONU, OCDE, CEPAL, etc.).
Documentos de planeación nacional y sectorial.
Considerandos de tratados internacionales, leyes, decretos, etcétera.
Sistemas de indicadores.
INEGI, para referencias sobre las condiciones de la población mexicana.
Al evaluar la definición del problema público, en un primer momento, se debe conocer su historia y
las variables que comprende para responder a las siguientes preguntas:
¿Se sabe cuál es el problema y en qué consiste?
¿Quiénes son los afectados? ¿Cuántos son? ¿Qué características presentan?
¿Cuál es la magnitud del daño?
¿Es un problema aislado? ¿Resulta de otros problemas? ¿Ocasiona otros problemas?
¿En qué medida se puede modificar y atender las variables del problema? No se pueden
realizar acciones eficaces y eficientes si de antemano el problema seleccionado no tiene
solución.
¿En qué medida es posible atenderlo considerando los recursos disponibles?
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
14
En un segundo momento, se debe indagar si la definición oficial actual permite saber:
¿Qué se busca resolver (aspectos por modificar)?
¿Cómo resolverlo (variables causales por atender)?
¿El problema está claramente definido en todas sus partes, tanto cualitativa como
cuantitativa?
¿La definición incluye parámetros cuantitativos que permitan al responsable de la política
pública tomar decisiones sustentadas sobre el estado del problema público?
¿La definición está soportada y validada con los instrumentos de medición apropiados?
Para este análisis, se proponen tres reglas básicas.
a) Durante la evaluación, cada fase de la política pública se debe analizar a la luz de la defini-
ción del problema público.
b) El evaluador debe evitar la tentación de ser él mismo quien defina el problema; su trabajo
es evaluar el modo y grado en que el responsable de la política pública lo ha definido. El
evaluador sólo puede evaluar la conceptualización oficial.
c) Este ejercicio de evaluación es el primero en desarrollarse y el último en concluirse.
3.2. Evaluación del diseño de la política pública
A partir de la definición explícita del problema, se comienza a dilucidar el diseño de la política pública
entendido como:
a) la generación de un programa de acción;
b) la construcción de una argumentación clara sobre los propósitos que busca cumplir su
puesta en marcha, y
c) el análisis de las restricciones que deberán ser consideradas.
El diseño de la política pública se integra por los elementos siguientes: normativo, institucional-
organizacional, programático-presupuestal, metodológico, de rendición de cuentas y de evaluación.
El objetivo de la evaluación es determinar la congruencia entre el diseño de la política y los compo-
nentes del problema, y realizar un diagnóstico integral de los elementos que influyen en el cumpli-
miento de los objetivos y metas propuestos para avanzar en la solución del problema.
Cada uno de los componentes del diseño deberá analizarse individualmente; posteriormente, se
deberá construir una conclusión integral.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
15
3.2.1. Diseño normativo
El objetivo de evaluar el diseño normativo es determinar los aspectos o componentes del problema
que fueron considerados en el marco jurídico y su pertinencia para atender el problema público.
Con la evaluación del diseño normativo se busca comprender:
¿Cuáles son las obligaciones normativas del Estado, respecto al abordaje del problema?
¿Son congruentes/pertinentes para abordar el problema y sus componentes, de tal forma
que permitan atenderlo, administrarlo o resolverlo?
¿A quiénes involucra? ¿Quiénes son los responsables de atenderlo?
¿La evolución del diseño normativo ha correspondido con la evolución del problema
definido?
3.2.2. Diseño institucional-organizacional
El objetivo de evaluar este diseño es identificar el universo de actores, mandatos, atribuciones y
objetivos, ámbito de actuación y la manera en que intervienen (esquema operativo actual); deter-
minar si existen duplicidades en sus funciones y precisar en qué consisten; comprender la evolución
de la estructura organizacional y las causas de los cambios ocurridos, y verificar su correspondencia
con el diseño jurídico y las variables del problema público.
Con la evaluación del diseño institucional-organizacional se busca comprender:
¿Quiénes son los responsables específicos de operar la política pública?
¿Qué atribuciones tienen? ¿Son adecuadas y suficientes para abordar la totalidad de los
componentes del problema definido?
¿Las instituciones responsables fueron creadas específicamente para abordar el problema
público?
En caso de ser actores previamente existentes, ¿fueron modificadas sus atribuciones para
abordar el problema pertinentemente?
Si las responsabilidades sufrieron modificaciones durante el periodo de la evaluación, ¿fue-
ron congruentes con la evolución del problema definido?
¿Están bien delimitadas las atribuciones o existe duplicidad de funciones? ¿En qué sentido
y cómo podría afectar esas duplicidades la atención del problema?
¿El diseño institucional corresponde con el diseño normativo? ¿En qué aspectos si y en qué
aspectos no? ¿Cómo podría afectar la atención del problema?
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
16
3.2.3. Diseño programático
La evaluación de este diseño tiene como propósito identificar los ejes, objetivos, estrategias, líneas
de acción, metas e indicadores que establecen la forma de conducción del gobierno para solucionar
un problema público, así como determinar su correspondencia respecto de los diseños jurídico e
institucional-organizacional.
Con su evaluación se busca determinar:
¿Las prioridades establecidas (objetivos, metas, estrategias, líneas de acción) corresponden
con las características del problema definido?
¿Se establece un plan de acción claro y preciso, o es ambicioso, ambiguo, etc.? ¿Cómo po-
dría limitar a los operadores en la atención del problema definido?
¿Se abordan todos los componentes del problema? ¿Se incluyen nuevos componentes?
¿El plan de acción es acorde o se contrapone a los preceptos normativos e institucionales
establecidos? ¿Cómo podría afectar la atención del problema definido?
3.2.4. Diseño presupuestario
Su evaluación tiene como objetivo analizar la evolución del monto de recursos presupuestados y
ejercidos en la política pública evaluada a lo largo del periodo de análisis, a efecto de identificar la
proporción del presupuesto que se destinó a resolver el problema y sus variaciones significativas en
el tiempo (precios constantes).
Con la evaluación del diseño presupuestal se busca responder a las cuestiones siguientes:
¿Fueron destinados recursos específicos para poner en marcha el plan de acción
establecido?
¿Se presupuestaron y ejercieron recursos para atender la totalidad de los componentes del
problema?
¿Existen diagnósticos que permitan determinar cuántos recursos (humanos, materiales y
financieros) serían necesarios para la atención del problema?
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
17
3.2.5. Diseño metodológico
El objetivo de evaluar el diseño metodológico (también denominado operativo) es identificar los
procesos establecidos para atender de manera coherente el problema público; este análisis incluye
identificar el flujograma de operación de los programas de acción, a fin de determinar si los medios
seleccionados para la entrega de subsidios y apoyos (bienes y servicios públicos) son pertinentes y
adecuados, considerando las características de quienes presentan el problema.
Con este análisis se busca comprender:
¿Si se cuenta con la definición y cuantificación de quiénes presentan el problema y requie-
ren recibir los beneficios (población potencial)?
¿Existe una delimitación y cuantificación de quiénes se pretende que reciban los beneficios
de la intervención? (población objetivo)
¿Hay precisión en la definición de las características de quiénes serán beneficiarios y los
requisitos a cumplir? ¿Se conoce la ubicación geográfica y la delimitación de su área de
influencia?
¿Se cuenta con la justificación del tipo de beneficio que requieren los beneficiarios y la pe-
riodicidad de su entrega?
¿Se encuentran definidos los medios y procedimientos para hacerle llegar los beneficios?
¿Se define el cambio que se pretende lograr en la situación de los beneficiarios, con aquello
que se les proporcionará, respecto de la problemática que presentan?
¿Se establecen mecanismos suficientes y adecuados para medir el cambio?
3.2.6. Diseño de rendición de cuentas
El objetivo de evaluar el diseño de rendición de cuentas es determinar si las entidades fiscalizadas
ponen a disposición de la ciudadanía la información necesaria para conocer las actividades y accio-
nes realizadas, y los avances logrados en la solución del problema público. Para ello, se analiza la
disponibilidad y calidad de las fuentes de información.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
18
Con la evaluación de este diseño se desea responder las preguntas siguientes:
¿Cómo se reportan los avances en la operación de la política pública?
¿Cómo se reportan los avances en la atención del problema?
¿Son adecuados esos datos para conocer con precisión los cambios en la situación proble-
mática y el avance logrado hacia el escenario deseado?
3.2.7. Diseño de la evaluación
El diseño de evaluación se analiza con el objeto de determinar si existen mecanismos suficientes y
adecuados para valorar la pertinencia y efectividad de una política pública. Es una revisión crítica a
las evaluaciones previamente realizadas a la política pública, para identificar los hallazgos y suge-
rencias que se hayan publicado al respecto en diversas líneas de investigación.
Con esta evaluación se busca comprender si se cuenta con información oportuna, confiable, vali-
dada por quienes la integran, sistematizada, pertinente y actualizada, para dar seguimiento de ma-
nera permanente a la política pública.
Conclusión integral
Se proponen cuatro reglas básicas para emitir una opinión sobre el diseño.
a) La evaluación del diseño de la política pública no se trata de un ejercicio de identificación y
transcripción, debe ir acompañado del análisis sobre su correspondencia con el problema
público y su pertinencia para abordarlo.
b) Es necesario realizar el análisis histórico del diseño para identificar cambios relevantes en
correspondencia con la evolución de la definición del problema y determinar el momento
en que inicia el diseño actual de la política pública.
c) La evaluación del diseño se realiza en tres pasos: i. que sea congruente con el problema;
ii. Que los componentes del diseño sean coherentes entre sí, y iii. que sea viable y factible
en el campo de ejecución.
d) Primero se estudian los componentes del diseño por separado; después se evalúan en su
conjunto.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
19
3.3. Evaluación de la implementación de la política pública
La evaluación de la implementación se refiere al análisis del conjunto de actividades, procesos, mé-
todos y medidas programadas como necesarias para lograr los cambios esperados, con el objetivo
de conocer la forma en que se ha efectuado la gestión gubernamental para verificar si ésta ha co-
rrespondido con lo planteado en el diseño; evaluar la eficiencia con la que se puso en práctica la
política pública, e identificar los factores que incidieron en su desarrollo.
Los componentes de la evaluación de la implementación son el análisis de congruencia de la gestión
gubernamental y la medición de la eficiencia.
1.3.1. Análisis de la congruencia de la gestión gubernamental
El propósito de este análisis es valorar la operación de la política pública y los productos generados
(bienes y/o servicios otorgados). Los aspectos por evaluar en este componente son:
Congruencia de la implementación para abordar las variables del problema público.
Correspondencia de la implementación con la teoría del cambio (qué hace y para
qué lo hace –objetivos de mediano y largo plazo–).
Consistencia de la implementación con el diseño de la política pública.
1.3.2. Medición de la eficiencia
Tiene como propósito analizar la forma en la que se generó el producto. Los aspectos a evaluar son:
Otorgamiento del bien o servicio: determinar qué producto entregó el gobierno
(bien, servicio o apoyo); con qué calidad y oportunidad lo hizo, y, en su caso, cómo
documentó la entrega de esos productos.
Calidad del bien o servicio: evaluar la satisfacción de los ciudadanos respecto de los
bienes, servicios o apoyos otorgados.
Cobertura del bien o servicio: analizar la cobertura de atención de las acciones rea-
lizadas por medio de la política pública.
Competencia de los actores: determinar quiénes entregaron el bien o servicio. En
muchos casos, la normativa permite que sean terceros especializados u organiza-
ciones intermedias o el propio servicio público el que entregue directamente los
bienes y servicios.
Costo-Eficiencia: identificar el monto total de recursos presupuestales asignados a
la política pública, a fin de determinar qué cantidad se aplicó en la operación y qué
cantidad se destinó directamente a los beneficiarios.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
20
Existen tres reglas básicas para evaluar la implementación de una política pública.
b) Evaluar la implementación de las políticas públicas implica valorar la actuación-gestión-ope-
ración de la política pública.
c) No implica solamente identificar el producto (dato duro, cuantitativo), sino también cómo
se generó ese producto (aspecto operativo, cualitativo, de gestión) y si fue la manera más
adecuada y eficiente.
d) El producto es distinto del resultado.
3.4. Evaluación de los resultados de la política pública
Esta evaluación tiene como propósito identificar los hallazgos sobre la evolución del problema pú-
blico y explicar las causas de los cambios observados en su comportamiento.
Asimismo, se busca determinar la imputabilidad de los resultados obtenidos a la política pública o,
en su caso, la falta de información oficial que ayude a realizar evaluaciones de impacto, y su corres-
pondencia con lo esperado.
Al identificar los posibles factores causales de los resultados observados, el evaluador deberá con-
siderar como elemento central del análisis las características y hallazgos de la política en estudio,
determinadas en etapas previas de la evaluación: las particularidades de la definición del problema
establecido; la congruencia o incongruencia del diseño planteado; así como la congruencia o limi-
tantes de la implementación identificados.
Los aspectos que se deben valorar, respecto de los resultados de la política pública se enlistan a
continuación.
a) Consistencia con el diseño de la política pública.
b) Correspondencia con la teoría del cambio (objetivos de mediano y largo plazo).
c) Determinar el cumplimiento de los objetivos previstos y el grado de atención del problema.
d) Identificar la evolución de la variable en el periodo de estudio, con base en datos
provenientes de:
Registros de las dependencias responsables de la política;
datos estadísticos nacionales;
información proporcionada por los beneficiarios, y
diagnósticos y evaluaciones de organismos internacionales.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
21
La falta de información oficial disponible deberá señalarse como una limitante para la evaluación de
la eficacia, así como una deficiencia de la política pública en revisión.
En dicho caso, el evaluador deberá recurrir a la generación de estimaciones de elaboración propia
o por parte de terceros especializados, o bien, consultar datos resultantes de evaluaciones previas,
respecto del tema en cuestión, realizadas por centros de estudios especializados.
Existen cinco reglas básicas para la evaluación de los resultados de la política pública.
a) La evaluación del resultado se centra en el análisis de la teoría del cambio (objetivos de
mediano y largo plazo).
b) En principio, se utiliza información oficial generada por los responsables, señalando su uti-
lidad, pertinencia, relevancia, suficiencia y competencia. En su caso, se señalan deficiencias
y se consultan fuentes alternas.
c) Se determina congruencia o incongruencia con lo esperado (escenario deseable).
d) Se analiza la posibilidad o imposibilidad de determinar el resultado efectivamente logrado.
e) Se identifican explicaciones causales de los resultados:
factores externos (contextuales prevalecientes) y
factores internos (debilidades y fortalezas de la definición del problema, diseño e im-
plementación).
Estas directrices representan una síntesis de los elementos normativos y metodológicos de la eva-
luación de políticas públicas en la ASF. Sin embargo, es importante señalar que no hay formatos
preestablecidos para la integración de los informes, ya que dependerán del objeto por evaluar y la
estructura e hilos conductores que el grupo de trabajo considere más pertinentes, dentro de su
lógica argumentativa.
A continuación se exponen los procesos establecidos en la normativa interna para llevar a cabo la
planeación, ejecución y difusión de las evaluaciones de políticas públicas, integrar el expediente de
la evaluación y premiar a los grupos evaluadores que hayan realizado un trabajo sobresaliente.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
22
4. Planeación de las evaluaciones de políticas
públicas
El proceso de planeación se divide en dos: la genérica y la específica. La primera es un proceso en el
que se identifican las políticas públicas que podrían ser objeto de evaluación, con motivo de la fis-
calización de cada Cuenta Pública, y la específica es la elaboración de un protocolo, en el que se
describe de manera ordenada el proceso de investigación que se autorizó ejecutar.
4.1. Planeación genérica
En la planeación de la evaluación, los grupos deben revisar las auditorías de desempeño relaciona-
das con el tema por evaluar, a fin de determinar el grado de experiencia adquirida en su fiscalización
(al menos tres años); realizar la heurística y hermenéutica, para identificar e interpretar las fuentes
primarias y secundarias de información que sean de calidad y pertinentes para planear y ejecutar
las evaluaciones; definir correctamente los objetos y sujetos por evaluar, y elaborar las
antepropuestas y propuestas de evaluación de política pública, las cuales se someten a considera-
ción del Auditor Especial de Desempeño (AED), y a la aprobación del Auditor Superior de la
Federación (ASF).
4.2. Planeación específica: el protocolo
El protocolo es una guía flexible que describe, de la manera más adecuada, el proceso de investiga-
ción que prevé ejecutar. Describe de manera sistemática los elementos por desarrollar para generar
un texto académico o científico.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
23
4.2.1. Objetivo
La finalidad del protocolo es comunicar, ya que el proyecto de investigación sirve para dar a conocer
los planes de investigación de su autor, y planificar, debido a que es un plan de acción que se detalla
paso por paso. También representa un compromiso entre las partes con la institución para realizar
el trabajo.
4.2.2. Estructura y características
El protocolo se compone de la estructura siguiente:
i. Definición del alcance temporal
ii. Definición del alcance temático
• Análisis preliminar del diseño de la política
• Heurística
iii. Abducción de la evaluación
iv. Perfil del grupo evaluador
v. Bibliografía (fuentes de información utilizadas)
Las características del protocolo son las siguientes:
a) No hay formatos preestablecidos para su formulación, ni para sus esquemas y matrices.
b) Los formatos dependerán del objeto por evaluar y la información que el grupo necesite.
c) Su extensión no excederá las 80 páginas.
d) Es necesario que la versión final del documento sea redactada por un sólo integrante del
equipo para mantener coherencia y consistencia en la redacción.
4.2.3. Consideraciones para su elaboración
Para la definición del alcance temporal y el problema público, el grupo evaluador expondrá su com-
prensión histórica del desarrollo del objeto de la evaluación, por lo que deberá incluir las principales
decisiones del Estado en torno al asunto y los cambios importantes en la legislación y en el estado
de las cosas. Asimismo, deberá utilizar el método histórico retrospectivo, hasta el punto en el que
se dé un cambio en las decisiones del Estado para atender el problema.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
24
Con el fin de determinar la definición conceptual del problema público, se deberán de apoyar en
glosarios de términos oficiales, diccionarios autorizados y en artículos de enciclopedias especializa-
das; posteriormente, identificarán el problema en el contexto estricto de la política pública.
En cuanto a la definición del alcance temático de la evaluación, se deberá de realizar el análisis pre-
liminar del diseño de la política pública, también se identificarán los aspectos sustantivos en los que
se enfocará la evaluación, incluyendo una definición de la teoría del cambio (qué hace la política
pública y para qué lo hace –objetivos de mediano y largo plazo–), que se usarán como hilos conduc-
tores para plantear preguntas de investigación relevantes y útiles.
Con la técnica de la heurística se determinará la definición del alcance temático de la evaluación.
En ningún caso, el grupo evaluador debe vaciar en el protocolo el contenido de los múltiples diag-
nósticos e informes, sino describir su contenido, identificar si el conjunto de la información presen-
tada es útil, pertinente, relevante, competente y suficiente para la evaluación.
En la abducción de la evaluación, se debe plantear los métodos y técnicas que se aplicarán para lo
que se quiere revisar.
Los grupos deben tener experiencia y conocimientos sobre un determinado tema, así como del tipo
de riesgo de mayor impacto que representa la implementación de la política pública, con el propó-
sito de proporcionar una perspectiva estratégica.
El grupo evaluador debe recurrir a fuentes de información confiables. La finalidad no es tener infor-
mación abundante, sino información de buena calidad.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
25
5. Desarrollo de la evaluación de políticas públicas
Este apartado incluye la notificación de inicio de los trabajos de la evaluación y del personal comi-
sionado para ello, así como los subprocesos de ejecución del Proyecto de Informe de Evaluación de
Políticas Públicas (PIEPP) y el Informe de Evaluación de Políticas Públicas (IEPP), los cuales tienen el
mismo contenido, pero se presentan en distintas etapas: el primero tiene el propósito de presentar
los resultados y hallazgos de la evaluación de la políticas pública, para comprobar los objetivos, pre-
guntas clave e hipótesis planteados en la abducción; posteriormente, este se presenta en la reunión
con los entes para la exposición de resultados finales. El segundo, se integra una vez que se aprobó
el PIEPP, e incluye las consideraciones de los entes evaluados.
5.1. Notificación de inicio de la Evaluación de Política Pública
Una vez autorizado el protocolo de investigación por el Comité Técnico de Revisión (CTR) de la
Auditoría Especial de Desempeño (integrado por el Auditor Especial de Desempeño y sus tres ase-
sores), el grupo evaluador debe realizar una reunión para notificar a los entes el inicio de los trabajos
de fiscalización, y presentar al personal comisionado, así como exponer el objetivo y alcances de la
revisión.
5.2. Informe de evaluación
5.2.1 Objetivo
El IEPP es un documento técnico que tiene como objeto presentar los resultados-hallazgos de la
evaluación. La abducción es el referente principal, por lo que se convierte en el vínculo entre el
protocolo y el informe final.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
26
5.2.2. Estructura y características
Los requisitos básicos de los informes de evaluación de políticas públicas son los siguientes.
Definición del problema público.
Diseño de la política pública.
Implementación de la política pública.
Resultados de la política pública.
Consideraciones finales y prospectiva.
Las características del informe son las siguientes.
a) Los apartados como parte del contenido del informe no son limitativos. Se deben considerar
los aspectos específicos de cada apartado conforme a lo descrito en la Praxiología Metodo-
logía, así como las particularidades de cada política pública y su respectiva evaluación.
b) Siempre debe tomarse en cuenta el lector al que se dirigirá el documento. En este caso es
tanto para el ciudadano común (inexperto en el tema), como para el responsable de la po-
lítica pública (experto en el tema). Por lo tanto, la redacción y el lenguaje por utilizar deben
ser simples y a la vez certeros.
c) La información contenida en el documento no son únicamente los resultados de la evalua-
ción, sino también opiniones, posturas, valoraciones y juicios sobre dichos resultados.
d) El informe debe culminar en un ejercicio discursivo sobre la eficacia/eficiencia de la política
pública para lograr sus propósitos y las modificaciones que se requerirían para su mejora.
e) Los resultados de las evaluaciones de políticas públicas no implican acciones vinculatorias,
serán sugerencias.
f) La versión definitiva del IEPP se deberá enviar a revisiones de estilo, técnica-normativa y
jurídica.
5.2.3. Consideraciones para su elaboración
En la definición del problema, se debe plantear el razonamiento sobre la suficiencia y pertinencia
de la definición del problema generada por el gobierno para medir y evaluar adecuadamente su
evolución.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
27
En el diseño de la política pública, se deberá indicar si está estructurado para resolver, controlar o
aminorar las causas del problema, sus consecuencias o ambos.
En la implementación de la política pública, se integrará el análisis de la operación, incluyendo in-
formación sobre qué bienes o servicios se han proporcionado, a qué sectores de la población se han
dirigido, en qué cantidad y con qué calidad y eficiencia se realizaron y se añade una opinión sobre
las fortalezas y limitaciones de la misma, así como su correspondencia tanto con el diseño generado
como con el problema público definido.
En los resultados, se describirá el pronunciamiento sobre la pertinencia de la política pública para
cumplir con los propósitos que justificaron su origen e implementación; el análisis de los cambios
generados por la política, respecto del cumplimiento de las metas y objetivos planteados y del grado
de atención del problema.
Las consideraciones finales y prospectiva deberán reflejar una postura institucional que, con base
en lo asentado a lo largo del documento, comunique al lector un mensaje respecto de la pertinencia
del diseño, operación, resultados y efectos de la política, en términos del alcance de la evaluación,
y en perspectiva del problema público que le dio origen.
5.3. Resumen de evaluación
El Resumen de Evaluación (RE) es el documento que contiene una exposición de lo sustancial del
IEPP. Se refiere a un epítome de los aspectos relevantes de la revisión practicada; sintetiza los men-
sajes del IEPP y expone los argumentos que sustentan las conclusiones finales.
5.4. Revisión del PIEPP, IEPP y resumen de la evaluación
Para asegurar la calidad y oportunidad de los productos, al concluir cada uno de ellos, éstos deben
ser revisados, como se detalla a continuación.
5.4.1. Revisión interna y por el CTR de la AED
En primera instancia, los productos deben ser supervisados por el subdirector y después por el di-
rector del área a la que están adscritos los grupos evaluadores, los cuales revisarán la concisión,
precisión y objetividad de los argumentos presentados, como expertos temáticos y, por otra, por la
Dirección de Evaluación a las Políticas Públicas para que se cumpla con la Praxiología Metodología.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
28
Posteriormente, los documentos se someten a revisión del Comité Interno de Revisión (CIR) y, una
vez aprobados por el director general, deben remitirse al CTR de la AED para sus consideraciones y
aprobación.
El CTR es un cuerpo colegiado que tiene como propósito analizar, debatir y mejorar el contenido del
PIEPP, del IEPP y del resumen de la evaluación, documentos que se presentan para su aprobación
(el PIEPP se presenta una vez que ha sido aprobado por el CIR y el director general, y el IEPP y el RE,
cuando ha sido mostrado al ente y se han incluido sus consideraciones).
Los productos serán calificados de acuerdo con los parámetros siguientes: segunda vuelta, aprobada
con salvedades, con indicaciones de perfeccionamiento, con mención, paradigmática, obra maestra
y obra de arte.
En caso de que el CTR no apruebe el PIEPP, el grupo no podrá realizar la reunión con los entes para
la presentación de resultados finales de los trabajos de evaluación de las políticas públicas, y deberá
volver a someterlo a revisión, a la brevedad posible, con las sugerencias y correcciones sugeridas
para su aprobación.
5.4.2 Revisión técnica y normativa, jurídica y de estilo
Una vez que el grupo evaluador integró el informe con las sugerencias y correcciones que procedie-
ron del CTR, lo somete a revisión técnica y normativa, jurídica y de estilo.
Revisión técnica y normativa
El Grupo Técnico (GT) es el encargado de realizar esta revisión, en la que verifica que el IEPP cumpla
con el diseño y contenido que se establece en la Praxiología Metodología para la Evaluación de Po-
líticas Públicas, a fin de lograr su mejora continua.
Revisión jurídica
Las direcciones generales solicitarán a la Consultoría Jurídica de la AED la asesoría en los aspectos
legales de los IEPP, como la interpretación y fundamentación jurídica; aplicación de términos y con-
ceptos jurídicos; denominación, definición, determinación e identificación conforme a la normativa
aplicable; identificación de los elementos para la aplicación de la normativa, y congruencia jurídica
de los informes.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
29
Revisión de estilo
La Dirección General de Informes y Seguimiento (DGIS) realiza la revisión de los aspectos sintácticos,
ortográficos y de estilo de los IEPP, sólo en caso de que se lo soliciten los directores generales.
Asimismo, para fortalecer la calidad del Informe, los grupos deben adoptar los preceptos de la
norma culta de México en la elaboración de informes de evaluación de políticas públicas.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
30
6. Productos de difusión de los resultados de la
evaluación de políticas públicas
La ASF ejecuta estrategias de comunicación para difundir su naturaleza y funciones, dada la falta de
conocimiento por parte de amplios sectores de la población sobre los procesos de fiscalización su-
perior, o sobre su naturaleza y alcance real, lo que hace necesario crear campañas de divulgación
utilizando diversos medios y modalidades, con el fin de alcanzar la más amplia difusión y contribuir
así a la formación de opinión en la sociedad, por medio de mensajes claros, coherentes y que refle-
jen la posición institucional.
Una de las funciones principales de la evaluación de las políticas públicas es la de difundir pública-
mente sus conclusiones. Para ello, se elabora una presentación gráfica y textos para redes sociales,
el informe de interés ciudadano y los materiales para la comparecencia, como se detalla a continua-
ción.
6.1. Presentación gráfica y textos para las redes sociales
En la AED, la presentación gráfica se considera de la mayor importancia, al juzgar que su trabajo
debe servir no únicamente para los expertos e interesados de manera directa en el campo de la
fiscalización y la rendición de cuentas, sino para que la sociedad, mediante los medios idóneos, co-
nozca de manera clara y precisa los resultados de las evaluaciones, usando gráficas e imágenes que
faciliten la comprensión de los conceptos y los hallazgos. La exposición de las evaluaciones debe
contener la información suficiente, competente, pertinente y relevante para sustentar las conside-
raciones finales y sugerencias emitidas.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
31
La presentación gráfica será la base para el diseño de publicaciones en las redes sociales: Twitter,
Facebook, Blog y YouTube. El grupo evaluador hará el ejercicio de adaptar los mensajes de la pre-
sentación gráfica, de acuerdo con las características de las publicaciones en las redes sociales, ya
que se construyen con base en las consideraciones finales, sugerencias y el resumen de evaluación,
y debe ser consistente con la presentación gráfica.
6.2. Informe de interés ciudadano
El informe tiene como propósito comunicar a los ciudadanos interesados los resultados del IEPP y
deben reflejar la naturaleza técnica, rigurosa y objetiva del trabajo que realiza la ASF, debido a que
estos materiales están pensados para su difusión al público interesado no especializado.
6.3 Materiales para la comparecencia
Los materiales para la comparecencia se elaboran una vez que se han presentado el Informe General
Ejecutivo del Resultado de la Fiscalización Superior de la Cuenta Pública y los informes individuales;
son el conjunto de documentos que se deben recopilar o elaborar para preparar la información que
permita a los servidores públicos de la ASF responder los cuestionamientos de los legisladores en
las comparecencias ante la Comisión de Vigilancia de la Auditoría Superior de la Federación de la
Cámara de Diputados (CVASF).
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
32
7. Expediente de la evaluación de política pública
El grupo evaluador debe integrar el expediente de evaluación de políticas, que en lo sucesivo tam-
bién se denominara “expediente de evaluación”, en el que se sustente la evidencia documental de
todo el proceso.
El expediente constituye un instrumento imprescindible, que recopila la información de la evalua-
ción, así como los resultados de los métodos y técnicas que se aplicaron. Debe tener el soporte
documental con las características de la evidencia suficiente, competente, pertinente y relevante
de los hallazgos de la evaluación.
Las principales políticas para la integración del expediente son:
los grupos evaluadores deben elaborar cédulas analíticas de trabajo con claridad, pulcritud
y exactitud;
los expedientes de evaluación deben cumplir con la colocación de los índices para la pronta
localización de la información en el expediente y pueden prescindir de los cruces y marcas,
sólo los incluirá cuando el grupo evaluador lo considere necesario, de acuerdo con su expe-
riencia para identificar y relacionar la documentación soporte;
el grupo evaluador es responsable de los papeles de trabajo, los cuales pueden contener
datos reservados o confidenciales, por lo que debe mantenerse absoluta discreción;
los papeles de trabajo pueden contener información útil para varios ejercicios, por lo que
pueden ser almacenados en medios electrónicos, y
los grupos evaluadores deben utilizar e integrar en el expediente los formatos en materia
de evaluación de políticas públicas establecidos en el sistema de control de documentos
(SCD) de la intranet institucional.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
33
La correcta integración del expediente de evaluación asegura que la revisión se realizó adecuada-
mente. Por ello, los papeles de trabajo contenidos en dicho expediente deben cumplir los requisitos
siguientes:
ser completos, exactos, claros, limpios, comprensibles y técnicamente elaborados;
ser detallados, para que de su lectura el supervisor o cualquier otro ajeno a la evaluación esté
en posibilidades de fundamentar las conclusiones y proponer medidas, y
ser legibles y ordenados, y estar organizados adecuadamente para determinar su valor como
evidencia.
Por cada evaluación, se debe integrar un expediente con el soporte documental de los resultados
obtenidos en el desarrollo de la revisión.
Los legajos del expediente de evaluación deben señalar en la parte superior derecha de la carátula
el tipo de información que contienen, reservada o confidencial.
Cada legajo que integre el expediente de evaluación debe incluir lo siguiente.
a) Carátula de identificación con el nombre de la dirección general responsable de la evaluación,
el tipo, número y nombre de la evaluación, así como la Cuenta Pública del ejercicio al que co-
rresponde, y deberá ir pegada como portada en cada legajo para su identificación.
b) El índice general del expediente de evaluación de políticas públicas señala el contenido del le-
gajo, con el número de folio donde empieza cada documento, así como los nombres y las firmas
de los servidores públicos que lo elaboraron, supervisaron y aprobaron.
c) Los índices de los papeles de trabajo deben contener el número de páginas que los integran y
se consigna preferentemente con bicolor rojo o tinta roja.
d) El índice general del expediente de evaluación sólo se incluirá en el primer legajo, mientras que
el índice particular se deberá incorporar en cada uno de los legajos.
e) Toda la documentación que integre el expediente deberá estar foliada y ordenada de manera
independiente y conforme al índice que especifique su contenido y folio consecutivo.
f) Las fojas que contengan información en anverso y reverso se deben foliar en ambos lados en
el ángulo superior derecho por seguridad de la información.
g) Para conformar e integrar expedientes, se deben utilizar fólderes, broches y postes. Se debe
evitar el uso de carpetas de argollas y objetos metálicos, como clips y grapas.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
34
El contenido del Índice General del Expediente de Evaluación de Políticas Públicas es el siguiente:
Planeación de las evaluaciones de política pública
a) Planeación genérica
b) Planeación especifica
Elaboración del Protocolo
Desarrollo de la evaluación de política pública
a) Notificación de inicio de la evaluación de política pública
b) Elaboración del Informe de evaluación de política pública
Proyecto de Informe de evaluación de política pública (PIEPP)
Informe de evaluación de política pública (IEPP)
c) Elaboración del resumen de evaluación
d) Presentación de resultados finales de los trabajos de evaluación de las políticas públicas
e) Elaboración de los productos de difusión de los resultados de la evaluación de políticas pú-
blicas
Presentación Gráfica y en las redes sociales
Informe de interés ciudadano
Materiales para la comparecencia
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
35
8. Premiación de las evaluaciones de políticas
públicas
La premiación de las evaluaciones de políticas públicas, se fundamenta en el marco de la política de
calidad de la Auditoría Superior de la Federación (ASF) que establece revisar la Cuenta Pública con
observancia de la ley, de acuerdo con los valores institucionales, con el fin permanente de mejorar
la calidad, el valor y el beneficio de los trabajos de fiscalización para informar el resultado de la
revisión a la H. Cámara de Diputados y contribuir a la mejora de la gestión gubernamental.
8.1 Políticas para la premiación de auditorías
a) La premiación de las evaluaciones de las políticas públicas será anual, después de la en-
trega del Informe del Resultado de la Fiscalización Superior de la Cuenta Pública a la Cá-
mara de Diputados.
b) Se reconocerá a todo el equipo que participó en la evaluación; sin embargo, mediante
acuerdo de los mandos medios y la conformidad del equipo, se podrán excluir del reco-
nocimiento a aquellos cuya participación en el trabajo fue insatisfactoria.
c) Se seleccionarán las tres mejores evaluaciones de la AED para determinar cuáles serán
las de primer, segundo y tercer lugar.
d) Los criterios para valorar las evaluaciones serán cuantitativos y cualitativos:
En la cuantitativa, se determinará por el promedio de sugerencias técnicas
aceptadas, editoriales y legales realizadas por el Grupo Técnico; por la DGIS, y por
la Unidad de Asuntos Jurídicos (UAJ) o por el responsable jurídico en la AED, en cada
informe de evaluación.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
36
En la cualitativa, se miden los aspectos siguientes: la calificación asignada por el CTR
al protocolo, al PIEPP y a la presentación gráfica, así como la eficiencia de los
procesos mediante la conclusión en tiempo de los productos concluidos (protocolo,
PIEPP e IEPP); si la evaluación formó parte del Informe General y si se correspondió
con una de las áreas clave con riesgo identificadas en la fiscalización de la Cuenta
Pública, y los comentarios de la UEC.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
37
Referencias
Auditoría Especial de Desempeño. (2014). Praxiologia Metodología para la Evaluación de las Polí-
ticas Públicas. México: Auditoría Superior de la Federación, pp. 7-291.
Bañon y Carrillo. (1997). La Nueva Administración Pública. Madrid: Editorial Alianza, p. 281.
Chelimsky, E. (2006). The Purposes of Evaluation in a Democratic Society. En Shaw I. F., J. C. Greene,
y Mark M. M. The Sage Handbook of Evaluation. London: Sage, pp. 33-55.
Lerner, D. y Lasswell, H. D. (1951). The Policy Orientation, en The Policy SClences. California:
Stanford Universitv Press, pp. 3-15.
Merino, M. La importancia de la ética en el análisis de las políticas públicas, en Revista del CLAD,
Reforma y Democracia, núm. 41, junio de 2008.
Pacheco J. F. (2010). Metaevaluación en sistemas nacionales de inversión pública. Francia: Organi-
zación de las Naciones Unidas, p. 15.
Salcedo, R. (2011). Evaluación de Políticas Públicas. México: Editorial Siglo Veintiuno editores, p.
23.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
38
ANEXO 1: Formato sugerido para la abducción de la evaluación
MATRIZ DE ABDUCCIÓN DE LA EVALUACIÓN DE LA POLÍTICA DE __________________________________
Teoría del Cambio de la política pública
¿Qué hace?
¿Para qué lo hace?
- Objetivo de mediano plazo:
- Objetivo de largo plazo:
Objetivo General de la evaluación:
Hipótesis General de la evaluación:
Alcance Temporal de la evaluación:
Alcance administrativo de la evaluación
Entes evaluados:
Programas presupuestarios:
Alcance temático
Objetivos Preguntas Hipótesis Métodos de prueba
de la hipótesis Componentes gene-rales de la evaluación
Componentes es-pecíficos de la
evaluación
1) Definición del problema pú-blico
Problema público (enunciarlo)
Determinar que los entes responsables de la política pública hayan definido los elementos concep-tuales y materiales del problema pú-blico.
Los que el grupo eva-luador determine, con base en la infor-mación y los recur-sos disponibles.
¿El problema público está claramente de-finido en términos conceptuales y ma-teriales?
El Gobierno Federal cuenta con informa-ción cualitativa y cuantitativa para de-finir claramente el problema público; sin embargo, ésta se encuentra dispersa, por lo que no existe un diagnóstico inte-gral sobre sus causas y efectos.
Los que el grupo evaluador deter-
mine, con base en la información y los
recursos disponi-bles.
2) Diseño de la política pública
Normativo Analizar si el diseño normativo fue consis-tente con el pro-blema público y sus factores causales y si se corresponde con el diseño normativo.
¿El diseño normativo fue consistente con el problema público y sus factores causa-les?
El diseño normativo no fue consistente con el problema pú-blico y sus factores causales
Institucional-or-ganizacional
Analizar si los entes públicos responsa-bles de ejecutar la política cuentan con atribuciones, funcio-nes y unidades admi-nistrativas para aten-der el problema pú-blico y sus causas, y si se corresponde con el diseño normativo.
¿El Gobierno Federal cuenta con las unida-des administrativas suficientes, de acuerdo con la mag-nitud y gravedad del problema público?
¿Las instituciones responsables de operar la política pú-blica cuentan con las atribuciones sufi-cientes para atender las causas del pro-blema público?
El Gobierno Federal cuenta con las unida-des administrativas suficientes, de acuerdo con la mag-nitud y gravedad del problema público.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
39
Alcance temático
Objetivos Preguntas Hipótesis Métodos de prueba
de la hipótesis Componentes gene-rales de la evaluación
Componentes es-pecíficos de la
evaluación
Programático Determinar si los ob-jetivos, estrategias, lí-neas de acción y me-tas comprometidos en los documentos de planeación de me-diano plazo corres-pondieron con el pro-blema público y sus causas, y si se corres-ponde con el diseño normativo e institu-cional-organizacio-nal.
¿Los objetivos, estra-tegias, líneas de ac-ción y metas defini-das en los documen-tos de planeación de mediano plazo co-rrespondieron con el problema público y sus causas?
Los objetivos, estra-tegias, líneas de ac-ción y metas defini-dos en los documen-tos de planeación de mediano plazo co-rrespondieron con el problema público y sus causas
Presupuestario Analizar si la asigna-ción de los recursos a la política pública ha sido consistente con la magnitud y grave-dad del problema pú-blico que se pretende resolver, y si se co-rresponde con el di-seño normativo, ins-titucional-organiza-cional y programá-tico.
¿La asignación de los recursos a la política pública fue consis-tente con la magni-tud y gravedad del problema público que se pretende re-sol-ver?
La asignación de los re-cursos a la política pública no fue con-sistente con la mag-nitud y gravedad del problema público que se pretende re-solver.
Metodológico-operativo
Evaluar si el diseño de la política pública res-ponde y es coherente con la concepción del problema público y con las características de quiénes presentan el problema, y si se corresponde con el diseño normativo, institucional-organi-zacional y programá-tico-presupuestario.
Respecto de cada uno de los compo-nentes o etapas para la operación de la política pública:
¿Es posible identifi-car su objetivo; po-blación potencial y objetivo; ámbito geográfico de ac-ción; tipo de apoyo o servicio que otorga?
¿Cómo se entrega y recibe ese producto?
¿Los programas rela-cionados para imple-mentarlo, y los acto-res es relevantes?
¿Se puede identificar el la teoría del cam-bio?
¿Cómo se vinculan los componentes o etapas de la política pública (acciones es-pecíficas para la pro-visión de bienes y servicios) para lograr atender las causas del problema pú-blico y, finalmente, en conjunto cómo contribuyen en la so-lución del problema?
En la política pública no se tiene identifi-cada la población po-tencial y objetivo, por lo que los subsi-dios no están focali-zados para atender el problema público.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
40
Alcance temático
Objetivos Preguntas Hipótesis Métodos de prueba
de la hipótesis Componentes gene-rales de la evaluación
Componentes es-pecíficos de la
evaluación
De rendición de cuentas y de eva-luación
Evaluar si el diseño de la política pública considera esquemas de rendición de cuen-tas y de evaluación que permitan dispo-ner de los resultados y avances de los res-ponsables de la polí-tica pública respecto del cumplimiento de los objetivos y metas contenidos en el di-seño programático, para dar atención al problema y los facto-res causales que ori-ginaron la interven-ción del estado, y si se corresponde con el diseño normativo, institucional-organi-zacional y programá-tico-presupuestario.
¿El diseño de la polí-tica pública consi-dera es-quemas de rendición de cuentas y de evaluación que permiten disponer de los resultados y avances de los res-ponsables de la polí-tica pública respecto del cumplimiento de los objetivos y metas contenidos en el di-seño programático?
La información con-tenida en los docu-mentos de rendición de cuentas y de eva-luación no per-mite conocer en qué me-dida los resultados reportados ha contri-buido a atender el problema público y el cumplimiento de los objetivos y metas de la política pública.
3) Implementa-ción de la polí-tica pública
Hilos conductores relacionados con las acciones espe-cíficas que realiza el gobierno (pro-visión de bienes y servicios públi-cos).
a. Analizar si la ges-tión gubernamen-tal: - fue congruen-
tes para abor-dar las causas determinadas del problema público.
- correspondió con acciones programadas.
- fue consistente con el diseño de la política pública.
b. Medir la eficien-cia de la política pública en térmi-nos del: - otorgamiento
del bien o servi-cio
- calidad del bien o servicio
- cobertura del bien o servicio
- competencia de los actores
- costo-eficiencia
Las preguntas se rea-lizarán en función de la operación de la política pública y los productos genera-dos (bienes o servi-cios proporciona-dos).
Las hipótesis se for-mularán en función de la operación de la política pública y los productos generados (bienes o servicios proporcionados).
4) Resultados de la política pú-blica
Hilos conductores relacionados con la teoría del cam-bio de mediano plazo.
Evaluar los resultados relacionados con la atención del pro-blema público, y su imputabilidad a la in-tervención guberna-mental.
Las preguntas se rea-lizarán en función de los resultados de la política pública (teo-ría del cambio) para la atención del pro-blema si cumplió con sus objetivos.
Las hipótesis se plan-tearán en función de los resultados de la política pública (teo-ría del cambio) en la atención del pro-blema y si cumplió con sus objetivos.
Directrices básicas para la evaluación de políticas públicas de la Auditoría Superior de la Federación
41
Alcance temático
Objetivos Preguntas Hipótesis Métodos de prueba
de la hipótesis Componentes gene-rales de la evaluación
Componentes es-pecíficos de la
evaluación
5) Prospectiva de la política pú-blica
Hilos conductores relacionados con la teoría del cam-bio.
Valorar si las condi-ciones actuales del diseño, la implemen-tación y los resulta-dos de la política pú-blica han sido las óp-timas para atender el problema públicos y sus causas, e identifi-car los elementos de éxito para reprodu-cirlos, y los de fracaso para prevenir-los.
Además, en este apartado se determi-nan las áreas de oportunidad para for-talecer a las depen-dencias e institucio-nes y que les permi-tan mejorar la polí-tica pública del Es-tado Federal.
Las preguntas se rea-lizarán en función de si las condiciones ac-tuales del diseño, la implementación y los resultados de la política pública han sido las óptimas para atender el problema públicos y sus cau-sas, así como identi-ficar los elementos de éxito para repro-ducirlos, y los de fra-caso para prevenir-los.
Las hipótesis se plan-tearán en función de si las condiciones ac-tuales del diseño, la implementación y los resultados de la polí-tica pública han sido las óptimas para atender el problema públicos y sus causas, así como identificar los elementos de éxito para re-produ-cirlos, y los de fra-caso para prevenir-los.
