INFORME DE AUDITORÍA DE GESTION … de auditorÍa de gestion “programa de mejoramiento del...
43
INFORME DE AUDITORÍA DE GESTION “PROGRAMA DE MEJORAMIENTO DEL SISTEMA EDUCATIVO (PROMSE) - SUBPROGRAMA I - MEJORAMIENTO DE LA CALIDAD Y EQUIDAD DE LA EDUCACIÓN” CONVENIO DE PRÉSTAMO BID Nº 1345/OC-AR al 31/12/08 Departamento de Control de Operaciones de Crédito Público y Sustentabilidad Gerencia de Control de la Deuda Pública Auditoría General de la Nación
Transcript of INFORME DE AUDITORÍA DE GESTION … de auditorÍa de gestion “programa de mejoramiento del...
INFORME DE AUDITORÍA DE GESTION
“PROGRAMA DE MEJORAMIENTO DEL SISTEMA EDUCATIVO (PROMSE) - SUBPROGRAMA I - MEJORAMIENTO DE LA CALIDAD
Y EQUIDAD DE LA EDUCACIÓN”
CONVENIO DE PRÉSTAMO BID Nº 1345/OC-AR al 31/12/08
Departamento de Control de Operaciones de Crédito Público y Sustentabilidad
Gerencia de Control de la Deuda Pública
Auditoría General de la Nación
2
INDICE
A. OBJETO .......................................................................................................................................................................4
B. ALCANCE...................................................................................................................................................................4 B.1 EJECUCIÓN DEL TRABAJO DE AUDITORÍA................................................................................................................... 4 B.2 ENFOQUE DEL TRABAJO DE AUDITORÍA..................................................................................................................... 5 B.3. PROCEDIMIENTOS ESPECÍFICOS APLICADOS Y DOCUMENTACIÓN RELEVANTE.................................................. 7 B.4 LIMITACIONES................................................................................................................................................................. 9
C. ACLARACIONES PREVIAS ..............................................................................................................................10 C.1. EL SUBPROGRAMA I DEL PROMSE ......................................................................................................................... 10 C.2. CRONOLOGÍA DE HECHOS RELEVANTES.................................................................................................................. 18
D. OBSERVACIONES ................................................................................................................................................19 D.1. ANÁLISIS DE LA GESTIÓN DE LA DEUDA................................................................................................................. 19 D.2. SEGUIMIENTO Y MONITOREO .................................................................................................................................... 20 D.3. ASIGNACIÓN DE BECAS.............................................................................................................................................. 25
E. RECOMENDACIONES ........................................................................................................................................30 E.1. ANÁLISIS DE LA GESTIÓN DE LA DEUDA.................................................................................................................. 30 E.2. SEGUIMIENTO Y MONITOREO..................................................................................................................................... 31 E.3. A SIGNACIÓN DE BECAS............................................................................................................................................... 32
F. DESCARGO DEL ORGANIS MO ......................................................................................................................33
G. CONCLUSIONES GENERALES .......................................................................................................................34
H. ANEXOS ....................................................................................................................................................................36 ANEXO H.1. DOCUMENTACION EVALUADA: ....................................................................................................... 36 ANEXO H.2. ACTIVIDAD CRITICA “ANÁLISIS DE LA GESTIÓN DE LA DEUDA”................................................... 39
3
GLOSARIO
“BID”: Banco Interamericano de Desarrollo. También referido como “Banco” en ocasiones
en las que se transcribe documentación,.
“Contrato”: Contrato suscripto el 20 de noviembre de 2003.
“Contrato Modificatorio”: Contrato suscripto el 22 de junio de 2004.
“Programa”: Ver PROMSE
“Subprograma”: Subprograma I del PROMSE.
DGUFI: Dirección General - Unidad de Financiamiento Internacional.
DINIECE: Dirección Nacional de Información Evaluación de la Calidad Educativa.
DNPC: Dirección Nacional de Políticas Compensatorias. A partir de 2008, Dirección
Nacional de Políticas Socioeducativas.
EGB: Educación General Básica.
INDEC: Instituto Nacional de Estadística y Censos.
MECyT: Ministerio de Educación.
MPFIPyS: Ministerio de Planificación Federal, Inversión Pública y Servicios.
PNBE: Programa Nacional de Becas Estudiantiles.
PROMEDU: Programa de Apoyo a la Política de Mejoramiento de la Equidad Educativa.
PROMSE: Programa de Mejoramiento del Sistema Educativo.
ROE: Reglamento Operativo Específico.
ROG: Reglamento Operativo General.
ROP: Reglamento Operativo Particular.
SISM: Sistema de Seguimiento y Monitoreo.
SSCA: Subsecretaría de Coordinación Administrativa.
TIC: Tecnologías de la Información y Comunicaciones.
UCPyPFE: Unidad de Coordinación de Programas y Proyectos con Financiamiento Externo.
UEC: Unidad Ejecutora Central.
UEJ: Unidad Ejecutora Jurisdiccional.
UFI: Ver DGUFI.
4
INFORME DE AUDITORÍA
Al Sr. Subsecretario de Coordinación Administrativa del Ministerio de Educación
Arq. Daniel IGLESIAS
C/C al Sr. Ministro de Educación de la Nación
Lic. Juan Carlos TEDESCO
En uso de las facultades conferidas por el artículo 118 de la Ley N° 24.156 la AUDITORÍA
GENERAL DE LA NACIÓN procedió a efectuar una auditoría de gestión en el ámbito de
Ministerio de Educación de la Nación, con el objeto que se detalla en el apartado A.
A. OBJETO
La AUDITORÍA GENERAL DE LA NACIÓN (en su carácter de Auditor Externo
Independiente) procedió a efectuar una auditoría de gestión del “Programa de Mejoramiento
del Sistema Educativo (PROMSE) – Subprograma I ‘Mejoramiento de la Calidad y Equidad
de la Educación””, parcialmente financiado con el préstamo BID 1345/OC-AR del Banco
Interamericano de Desarrollo.
B. ALCANCE
B.1 Ejecución del Trabajo de Auditoría
El examen fue realizado de acuerdo con las Normas de Auditoría Externa (NAE),1 aprobadas
por la AUDITORÍA GENERAL DE LA NACIÓN mediante la Resolución N° 145/93, dictada
1 Específicamente de los puntos IV-a 1 y IV-a 2 (“Auditoria de Economía y Eficiencia” y “Auditoria de Eficacia”, respectivamente).
5
en virtud de las facultades conferidas por el artículo 119, inciso d) de la Ley N°.24.156,
habiéndose aplicado los procedimientos que se detallan en el punto C.3.
El período auditado es el comprendido entre el 20 de noviembre de 2003 hasta el 31 de
diciembre de 2008. Las tareas de campo se desarrollaron entre el 19 de agosto de 2008 y el 13
de marzo de 2009.
B.2 Enfoque del Trabajo de Auditoría
Se seleccionaron tres actividades críticas de interés, por significatividad y materialidad, no
siendo el propósito de esta auditoría abordar temas técnicos pedagógicos. La primera de ellas
fue el “Análisis de la Gestión de la Deuda”, que refiere al financiamiento que genera
endeudamiento público mediante la porción del préstamo BID 1345/OC-AR destinado al
Subprograma I. El objetivo de la auditoría se orientó a analizar si la ejecución global fue
eficaz y si se ajustó a la programación prevista de la deuda pública suscripta, habiéndose
verificado una significativa reducción del monto originalmente asignado.
La segunda área seleccionada, “Seguimiento y Monitoreo”, fue elegida en virtud de la
importancia que reviste la acción de “control” para la administración de cualquier
organización, en particular, por la significatividad de ese rol dentro del Subprograma I, por
complejidad y alcance. Se analizó si el Subprograma cuenta con un adecuado marco analítico
para controlar, contrastar y evaluar su gestión, y si se determinan los riesgos asociados a la
oportunidad en la adopción de medidas correctivas para garantizar su gestión eficaz. Los
procedimientos aplicados se centraron en verificar la existencia de un marco evaluativo
adecuado, analizar su eficacia, como así también la de la gestión en su conjunto.
La tercera y última de las actividades críticas abarcadas consistió en el análisis de la
“Asignación de Becas”, correspondiente a la Línea de Acción del mismo nombre, cuya
6
finalidad es estimular la permanencia, promoción y egreso de la escolarización obligatoria a
partir de la asignación de 350.000 becas anuales, cifra posteriormente elevada a 500.000, de
entre $400 y $600 pesos para alumnos en riesgo de abandonar el sistema educativo. No sólo
se trata de uno de los mecanismos más intensamente utilizados a los efectos de aumentar los
niveles de retención, sino que, además, es el que más recursos demanda. Se analizó el grado
de complejidad de su funcionamiento tanto por los procedimientos –lo que implicó más de un
cambio metodológico durante el transcurso de la gestión–, como por la gran cantidad de
actores involucrados, con lógicos riesgos a nivel de incentivos y coordinación de tareas.
Debido a esto y a su alta materialidad –constituye la Línea de Acción de mayor presupuesto
asignado–, la auditoría se propuso por objetivo analizar la eficacia de la Línea de Acción, así
como las posibilidades del Subprograma para monitorear su funcionamiento. En la siguiente
Tabla se presenta un resumen de las áreas de auditoría seleccionadas:
Tabla N° 1 “Matriz de Áreas de Auditoría seleccionadas”
Actividad Crítica Observaciones preliminares
Riesgo Motivo de elección
Análisis de la gestión de la deuda
Disminución del monto asignado. Probable sub- ejecución.
Incumplimiento de objetivos y aumento de deuda.
Significatividad
Seguimento y monitoreo
Debilidad del marco analítico de control.
Inexistencia o falta de oportunidad de medidas correctivas
Significatividad
Asignación de becas
Complejidad de procedimientos y cantidad de actores.
Incentivos adversos y coordinación inadecuada.
Materialidad
Fuente: elaboración propia en base a tareas de planificación de auditoría
En función de dichas actividades críticas, el trabajo de auditoría se abordó bajo una
metodología de preguntas principales y preguntas subordinadas de segundo y tercer nivel.
Todas y cada una de las preguntas se orientan a la obtención de una respuesta que pueda ser
contestada por “sí” o por “no”. A su vez, para cada una de las preguntas de tercer nivel se
definieron “criterios”, normas o parámetros para juzgar si un conjunto de evidencias deriva en
una respuesta positiva o negativa. A los efectos de evitar sesgos, éstos se establecieron con
anterioridad a la realización de las pruebas analíticas, procedimentales y documentales
correspondientes. Se basaron en la letra de la documentación vinculante para el Subprograma
(normativa, contratos, convenios, reglamentos), en procedimientos que cumplan con los
7
mínimos requisitos de adecuación a normas de control interno, y en criterios generalmente
aceptados.
El trabajo de auditoría se elaboró en base a preguntas de primer, segundo y tercer nivel, que
mantienen entre sí criterios y evidencias consistentes.
B.3. Procedimientos Específicos Aplicados y Documentación Relevante
En función del enfoque explicado precedentemente, y de las áreas temáticas en las que se
estructuró el trabajo de auditoría, los procedimientos aplicados fueron los siguientes:
Cualitativos
• Entrevistas realizadas a los siguientes funcionarios vinculados al Subprograma:
- Coordinadora Ejecutiva del Subprograma.
- Coordinadora del Programa Nacional de Becas Estudiantiles.
- Responsable del Área de Gestión de Becas.
- Responsable del Área de Gestión del Programa Nacional de Becas Estudiantiles.
- Jefa del Área de Seguimiento y Monitoreo.
- Jefe del Área Técnica
Cuantitativos
• Triangulación de información entre reportes de la UEC, DINIECE e informes relativos al
sistema educativo solicitados al INDEC.
• Triangulación de información entre informes realizados por UNESCO, Universidad de
Tres de Febrero y DINIECE, provistos por la DGUFI.
• Análisis cuantitativo de cantidad de becas pagadas a partir de los mayores contables.
• Cálculo de curva teórica de ejecución y contraste con curva real de ejecución.
• Cálculo de comisiones de compromiso del Subprograma.
8
• Análisis de los Estados Financieros del Subprograma I correspondientes a los períodos
2004-2007.
• Cálculo del total ejecutado para la asignación de becas en base a la información contable
provista por el Subprograma.
Cuali-cuantitativos
• Análisis de los documentos contractuales y programáticos (Contrato, Contrato
Modificatorio, Reglamento Operativo General, Reglamento Operativo Particular,
Reglamentos Operativos Específicos y Anexos).
• Análisis de los Informes Semestrales presentados por la UEC correspondientes a los
períodos primer semestre de 2005 al primer semestre de 2008.
• Análisis de los Planes Operativos Anuales presentados por la UEC de los períodos 2004 a
2008.
• Análisis de documentación relativa al diseño evaluativo (Marco Lógico, Marco Lógico
modificado, Línea de Base, Informe Final de la Evaluación de Resultados).
• Consulta y revisión de observaciones y recomendaciones vertidas en las Auditorias
Financieras realizadas por la AGN (Ejercicios 2004 a 2007).
• Consulta y revisión de los Estados de Cuenta y Tablas de Amortización, contenidos en las
bases del Sistema de Gestión de la Deuda Pública (SIGADE) del Ministerio de
Economía.
A continuación se expone la documentación considerada relevante:
• Contrato (Convenio de Préstamo)
• Contrato Modificatorio
• Reglamento Operativo General (ROG)
• Reglamento Operativo Particular (ROP)
• Marco Lógico
• Marco Lógico Modificado (última versión del “Marco Lógico”)
• Línea de Base
9
• Evaluación de Resultados – PROMSE Corte Evaluativo Final
• Programa Operativo Anual” (POA)
Para un detalle acerca de estos documentos, su alcance y relevancia véase Anexo G.1.
B.4 Limitaciones
Al momento de cierre de trabajos de campo, no estaban aún disponibles los Estados
Financieros al 31/12/2008, por lo que las conclusiones y afirmaciones relativas a la ejecución
del Préstamo –como parte del análisis del área de auditoría “Análisis de la Gestión de la
Deuda”–, alcanzan al 31/07/2008.
Debido a limitaciones del Programa Nacional de Becas Estudiantiles – ejecutor de la Línea de
Acción “Asignación de Becas” - para otorgar adecuada accesibilidad al equipo de auditoría al
sistema de administración de datos de la gestión de becas “Afrodita”, y a los efectos de
analizar el grado de cumplimiento de los objetivos de dicha línea de acción en términos de
resultados e impacto, nos hemos basado en los siguientes informes provistos y avalados por la
DGUFI:
• UNESCO – Instituto Internacional de Planeamiento de la Educación. “Becas estudiantiles
y costos de oportunidad del nivel medio en la Argentina”, por Alejandro Morduchowicz.
Buenos Aires, junio de 2007.
• UNESCO – Instituto Internacional de Planeamiento de la Educación. “Criterios de
selección y evolución del Programa Nacional de Becas de la Argentina”. Alejandro
Morduchowicz (coordinador). Buenos Aires, julio de 2007.
• UNESCO – Instituto Internacional de Planeamiento de la Educación. “Impacto
Distributivo y costo-beneficio de las becas del nivel medio en Argentina”, por Alejandro
Morduchowicz. Buenos Aires, julio de 2007.
10
• Centro de Investigaciones de Estadística Aplicada – Universidad Nacional de Tres de
Febrero. “Evaluación de Impacto del Programa Nacional de Becas Estudiantiles”. Tres de
Febrero, octubre de 2007.
• DINIECE. “Orientaciones para las políticas de becas estudiantiles. Revisión de estudios y
evaluaciones sobre programas implementados por el Ministerio de Educación de la
Nación”. Adriana Serulnikov (coordinadora). Buenos Aires, noviembre de 2008.
C. ACLARACIONES PREVIAS
C.1. El Subprograma I del PROMSE
El 20 de noviembre de 2003 se suscribe el Contrato de Préstamo N° 1345/OC-AR entre el
Ministro de Economía y Producción y el representante del BID, mediante el cual se acuerda la
financiación del PROGRAMA DE MEJORAMIENTO DEL SISTEMA EDUCATIVO
(PROMSE), previendo su finalización el 20 de noviembre de 2008. El 22 de junio de 2004 se
celebró el Contrato Modificatorio N° 1 al Contrato de Préstamo N° 1345/OC-AR.
A partir de esa modificación, el Programa se dividió en dos Subprogramas: el Subprograma I,
“Mejoramiento de la Calidad y Equidad de la Educación”, a cargo del Ministerio de
Educación, Ciencia y Tecnología, y objeto de esta auditoría; y el Subprograma II, “Expansión
de la Infraestructura Escolar”, orientado fundamentalmente al financiamiento de nueva
infraestructura educativa, a cargo del Ministerio de Planificación Federal, Inversión Pública y
Servicios. Para ambos Subprogramas se previó su finalización original hacia fines de 2008,
pero en el caso del Subprograma I, se prorrogó el plazo de ejecución por 6 meses (hasta el 20
de mayo 2009), en virtud de encontrarse pendiente la ejecución presupuestaria de
determinadas líneas de acción. Otra modificación relevante refiere a la cantidad de becas a
otorgar (350.000 en vez de 140.000) y a la reducción del financiamiento total del Programa de
USS 1.200 a USS 1.000 millones, entre aporte local y financiamiento del BID.
11
La ejecución, coordinación y administración del Subprograma I está a cargo de la Unidad
Ejecutora Central, por delegación de la Dirección General - Unidad de Financiamiento
Internacional, dependiente de la Subsecretaría de Coordinación Administrativa, a partir del 22
de diciembre de 2004.
De acuerdo al Contrato Modificatorio, el Programa se propone “(…) apoyar a las provincias
en el mejoramiento de la calidad, equidad y eficiencia del sistema educativo, (…) y a la
disminución de la desigualdad social a través del aumento de la escolaridad, la atención de
las necesidades educativas de los jóvenes que se encuentran en mayor riesgo social y
educativo”.
Por su parte, el Subprograma se propone “mejorar la calidad y equidad de la educación a
partir de: (i) La articulación entre el nivel de educación general básica y la educación media
(EGB3, Polimodal y Media); (ii) La reorganización institucional y curricular en el nivel
medio y el uso intensivo y apropiado de las tecnologías de la información y la comunicación
(TIC); (iii) La actualización de las prácticas pedagógicas en la escuela; (iv) El desarrollo de
una educación que responda mejor a las necesidades e intereses de los jóvenes y al
desarrollo de una ciudadanía activa; (v) El apoyo directo a la población estudiantil en
situación de pobreza.” Este concepto de calidad incorporado en los objetivos del
Subprograma no aparece suficientemente desarrollado en su definición y alcance, en los
documentos relevados.
El costo total del Programa se estipuló en USS 1.000 millones, financiado mediante un aporte
local equivalente a USS 400 millones y un préstamo BID de USS 600 millones de acuerdo al
detalle de la siguiente Tabla. Según se observa de este total USS 450 millones corresponden
al financiamiento BID para el Subprograma I.
12
Tabla N° 2 “Matriz de financiamiento”
BID LOCAL TOTAL
Subprograma 1 USS 450.000.000 USS 196.200.000 USS 646.200.000
Subprograma 2 USS 150.000.000 USS 100.000.000 USS 250.000.000
Intereses del Programa USS 0 USS 103.800.000 USS 103.800.000
Total: USS 600.000.000 USS 400.000.000 USS 1.000.000.000
Fuente: Contrato Modificatorio, páginas 11 y 12.
Según se observa USS 450 millones corresponderían al financiamiento BID del
Subprograma.2 No obstante, éste sufrió modificaciones en su matriz de financiamiento a lo
largo de su gestión, arribando a los siguientes montos:
Tabla N° 3 “Matriz de financiamiento del Subprograma I”
BID LOCAL TOTAL
Subprograma 1 USS 290.000.000 USS 156.496.045 USS 446.496.045
Fuente: Elaboración propia en base a Estados Financieros.
Este presupuesto, estrictamente en lo que se refiere al financiamiento BID (Fuente 22), fue
afectado por las transferencias que se exponen en la Tabla que sigue:
Tabla N ° 4 “Transferencias realizadas al Subprograma II”
FECHA DISMINUCIÓN (Transferencia al SP2)
ASIGNADO AL SP1
14/01/06 USS 60.000.000 USS 390.000.000 15/09/06 USS 40.000.000 USS 350.000.000 19/02/07 USS 60.000.000 USS 290.000.000
Fuente: Elaboración propia en base a Estados Financieros.
2 Un detalle acerca de la composición original de este financiamiento puede apreciarse en la Tabla I del Anexo H.2.
13
Un detalle de cómo afectó esa disminución a la asignación presupuestaria a lo largo de la vida
del Subprograma, puede verse a continuación, donde se puede apreciar la merma constante en
la proyección a ser ejecutada anualmente:
Tabla N° 5 “Cronograma Original y Modificado (agregado anualmente en millones de USS)”3
Avance 2005 2006 2007 2008 2009
Asignación anual 112.50 129.20 103.10 97.90 7.30 Calendario inicial Acumulado 112.50 241.70 344.80 442.70 450.00
Asignación anual 108.04 89.74 69.84 21.74 0.64 Calendario modif.2007 Acumulado 108.04 197.78 267.62 289.36 290.0
Fuente: elaboración propia en base a Estados Financieros.
En función de las modificaciones globales sobre el monto del préstamo afectado al
Subprograma (Tabla Nº 4), a continuación se expone el detalle de esas variaciones conforme a
su estructura programática de componentes y subcomponentes.
3 Para un mayor detalle acerca del impacto de estas modificaciones sobre el cronograma de ejecución, véase la Tabla II y el Gráfico 1 del Anexo H.2.
14
Tabla N° 6 “Desagregado programático y presupuestario en millones de USS por Componente y Subcomponente (Fuente 22)” Componentes y Subcomponentes Original Final
Var. (%)
Componente 1 Reforma y Adecuación de la oferta en la Educación Media
354,1 78,7% 259,6 89,5% -27%
Mejoramiento de la calidad de la escuela media 38,5 12,9 Apoyo a la Equidad 268,2 220,7 Adecuación de la Infraestructura Escolar 47,4 26,0 Componente 2 Integración de las Tecnologías de la Información y la Comunicación
71,4 15,9% 24,8 8,6% -65%
Capacitación técnica y pedagógica de docentes, directivos y personal adminis.
7,2 6,2
Generación de materiales de capacitación y enseñanza 2,1 2,1 Infraestructura de conectividad en las escuelas 21,5 4,4 Dotación de equipamiento informático 40,6 12,1 Componente 3 Fortalecimiento de la gestión del Sistema Educativo:
6,9 1,5% 0,0 0,0% -100%
Fortalecimiento del MECyT 1,8 0,0 Fortalecimiento del Ministerios Provinciales 5,1 0,0 Administración y Supervisión
17,6 3,9% 5,6 1,9% -68%
Coordinación y Supervisión 11,9 3,9 Evaluación y Monitoreo 1,2 1,2 Auditoría Financiera 0,5 0,4 Imprevistos 4,0 0,0
Total: 450,0 290,0
Fuente: Elaboración propia en base a ROG y Estados Financieros.
En términos generales todos los componentes han visto reducido su financiamiento BID. En
particular puede observarse la supresión del Componente 3 (dentro del cual estaba incluido el
Sistema de Seguimiento y Monitoreo), como así también reducciones significativas en los
Componentes “Administración y Supervisión” (68%) e “Integración de las Tecnologías de la
Información y la Comunicación” (65%), sin que ello implique el incremento de recursos para
cualquier otro. Se aclara que en el Subcomponente “Apoyo a la equidad” está incluida la
Línea de Acción “Asignación de Becas” – tratada como un área crítica en este Informe -, que
absorbe prácticamente la totalidad de los recursos de este Subcomponente que representa el
76% de los recursos finales asignados al Subprograma.
15
Dada la reducción en el financiamiento BID y las modificaciones en el cronograma de
ejecución, 4 es posible graficar la curva teórica de ejecución. A continuación se contrasta esa
curva contra la ejecución real, de modo de poder apreciar los desvíos entre una y otra:
Gráfico N° 1 “Curva teórica final versus curva real ejecutada”
PROMSE SP IPrograma (modificado.) vs. Real ejecutado
0
50
100
150
200
250
300
350
2004 2005 2006 2007 2008 2009
años
mill
ones
de
u$s
programa inicial real
Fuente: elaboración propia en base a Estados Financieros.
Debido a que se observó falta de homogeneidad en la exposición de los POAs, el Gráfico 1 se
elaboró en base a los Estados Financieros.
Salvo por el caso del POA correspondiente al ejercicio 2004, los restantes POAs fueron
presentados al BID - para su no objeción -, con posterioridad al inicio de los ejercicios en los
que debían ejecutarse. Ello incide sobre la capacidad de control de la gestión implementada.
La fecha de efectiva presentación siguió el calendario que se presenta en la siguiente Tabla:
4 Cuyo detalle puede apreciarse en la Tabla III del Anexo H.2.
16
Tabla N° 7 “Demora en la Presentación de los Planes Operativos Anuales”
POA 2005 2006 2007 2008 Fecha Prevista 01-12-2004 01-12-2005 01-12-2006 01-12-2007 Fecha de Presentación 25-02-2005 20-10-2006 27-03-2007 20-02-2008
Demora (meses) 2 10 3 2 Fuente: elaboración propia a partir de los POAs
Estos documentos presentados al BID por la Unidad Ejecutora Central, consolidan los POAs
de cada una de las jurisdicciones provinciales, que actuaron como Subejecutoras a través de
Unidades Ejecutoras Jurisdiccionales (UEJs).
Entre noviembre de 2004 y julio de 2005 todas las Provincias adhirieron al Subprograma. Su
participación se instrumentó a través de Convenio de Adhesión, acordándose en particular que
los aportes provinciales no fueran incluidos como contraparte nacional del Subprograma.
Para alumnos en riesgo de abandonar el sistema educativo originalmente se previó la entrega
de 350.000 becas anuales (de $400), cifra posteriormente elevada a 500.000 (de $600). Entre
las razones que incidieron sobre su cumplimiento se encuentran, a) la participaron de varios
actores (UEC, UEJs, escuelas cabecera de circuitos, escuelas beneficiarias, beneficiarios,
directores de escuelas, bancos, etc), b) la implementación de un procedimiento de renovación
automática de beneficiarios (a ser validada por los directores de escuela en función de si el
beneficiario sigue cumpliendo con los requisitos de elegibilidad), y c) los múltiples pasos que
exige el procedimiento definido para la incorporación de nuevos aspirantes. El cumplimiento
en la asignación de becas alcanzó al 70%.
En cuanto al sistema de control administrativo - denominado “seguimiento y monitoreo”en el
marco del Subprograma -, la responsabilidad de diseñar e implementar los mecanismos recae
sobre la UEC. Se estipuló que dicho sistema debería contener, de acuerdo a los Términos de
Referencia relativos a su implementación, la definición de “los indicadores parciales y
finales, y líneas de base necesarias para evaluar posteriormente el cumplimiento de los
17
Objetivos del Subprograma”. A los efectos del análisis de esta actividad crítica, se entiende
que se ha hecho referencia al indicador5, y a sus valores esperados, es decir, a las metas6 de
producto.
A continuación se mencionan otras acciones previstas por el Subprograma que permiten
comprender su magnitud, cuya evaluación no ha sido objeto de esta auditoría.
Al finalizar su ejecución el Subprograma preveía que 2.000 establecimientos realizarían
cambios en el modelo institucional e implementarían un Programa de Mejora Ejecutiva,
constituyendo Centros de Actividades Juveniles (CAJ) adecuadamente equipados y con sus
respectivos coordinadores capacitados, conformarían 240 Centros de Actualización e
Innovación Educativa (CAIE), implementarían Proyectos Institucionales de Retención en
2000 escuelas, recibido textos escolares para alumnos y textos para las bibliotecas
institucionales en 6000 escuelas, así como la adecuación y rehabilitación de 1.800 escuelas de
nivel medio y la instalación de redes eléctricas y de datos a las aulas de informática de 1.800
escuelas y 240 CAIE.
Por último se preveía la capacitación de 24 equipos Técnicos jurisdiccionales, 240
Coordinadores de Centros de Actualización e Innovación Educativa, como también
Directores, Coordinadores y Auxiliares Docentes.
5 Instrumento de medición que permite conocer en qué medida se logra el objetivo deseado. Puede tomar la forma de un índice, una calificación, una valorización u otras. 6 Valor, porcentaje o calificación que se pretende que alcance un indicador a un momento determinado.
18
C.2. Cronología de Hechos Relevantes
Tabla N° 8 “Cronología de hechos relevantes”
Detalle Fecha
Decreto N° 615/03 – Aprueba el modelo del Contrato de Préstamo 21/08/2003
Firma del Contrato de Préstamo BID N° 1345/OC-AR 20/11/2003
Firma del Contrato Modificatorio N°1 22/06/2004
Aprobación del Reglamento Operativo Particular (Anexo V: Apoyo a la equidad) 07/2004
Adhesión al Programa de las primeras Jurisdicciones* 11/2004
Primer Desembolso del BID 12/2004
Aprobación del Reglamento Operativo General 18/02/2005
Taller de Inicio del Programa 01/02/2005
Adhesión al Programa de las Ciudad Autónoma de Bs.As. (U° jurisdicción pendiente) 07/2005
Ejecución plena (Jurisdicciones con condiciones iniciales cumplidas) 06/2006
Presentación de la Línea de Base – Informe Final 04/2007
Presentación de la Evaluación de Resultados PROMSE – Corte evaluativo final 09/2007
Fecha de cierre del Préstamo según Convenio de Préstamo 20/11/2008
Fecha de cierre del Préstamo (primera extensión de plazo) 20/05/2009
* Durante el mes de Noviembre de 2004 se adhirieron las Provincias de Jujuy, E. Ríos, Córdoba y R. Negro. Entre los meses de febrero, marzo, abril y mayo de 2005 se adhirieron las Provincias de La Pampa, Corrientes, Chaco, La Rioja, San Luis, Mendoza, Tucumán, Buenos Aires, Santiago del Estero, Formosa, Salta, Santa Fe, Catamarca, Chubut, Misiones, San Juan y Tierra del Fuego. Fuente: Elaboración propia sobre la base de datos que surgen del Convenio de Préstamo y documentación complementaria.
19
D. OBSERVACIONES
D.1. Análisis de la Gestión de la Deuda
Cronograma de Ejecución. Presentación e implementación de los Programas Operativos
Anuales (POAs), criterios para su confección; cumplimiento y modificaciones.
1. La UFI no cumplió, para ninguno de los ejercicios auditados, con los plazos de
presentación de los POAs al BID.
Considerando que la fecha de presentación de los POAs al BID era el 1º de diciembre
del año anterior a su ejecución, las demoras variaron entre 2 y 10 meses, siendo
destacable la correspondiente al año 2006, de 10 meses.
2. La existencia de criterios dispares para la elaboración de los POAs no permite
verificar el cumplimiento de metas anuales con fondos provenientes del Préstamo.
La preparación de dichos informes en pesos y la no desagregación del origen de los
fondos para la serie 2005-2008, generan inconvenientes para efectuar un seguimiento de
la aplicación de los fondos del préstamo en relación a los montos presupuestados.
3. El Subprograma no cumplió con el cronograma original, consecuencia de lo cual debió
solicitar una prórroga de 180 días
Las demoras producidas en la ejecución del Subprograma obligaron a solicitar una
prórroga en los plazos de desembolsos de 180 días. A su vez, la transferencia de USS
60.000.000 al Subprograma II en febrero de 2007 imposibilitó la financiación de ciertas
acciones previstas. En efecto, con posterioridad a la transferencia referida se eliminaron
- y en algunos casos redujeron - acciones programadas para los ejercicios 2005 y 2006.
El total subejecutado al 31 de diciembre de 2006 alcanzó a USS 43,92 millones.
20
Ejecución del Programa y Endeudamiento Público. Impacto a nivel de comisiones de
compromiso/de crédito.
4. Como consecuencia del incumplimiento del cronograma original (Observación Nº 3),
se pagaron comisiones de compromiso excedentes del 19,8%.
Habiéndose considerado el impacto que sobre los plazos y flujos de desembolsos
tuvieron las diversas alteraciones de las que fue objeto la porción del Préstamo asignada
al Subprograma (específicamente, las transferencias hacia el Subprograma II de montos
originalmente afectados al Subprograma objeto de esta auditoría, los waivers
implementados por el BID para los cargos financieros y la prórroga instrumentada sobre
el plazo de los desembolsos), las comisiones de compromiso excedentes alcanzarían al
19,8%, lo cual representa un incremento sobre el endeudamiento público y es un indicio
de ineficacia de la gestión. 7
D.2. Seguimiento y Monitoreo
Existencia y claridad de los objetivos
5. El concepto de “calidad”, central a los efectos del cumplimiento del objetivo del
Subprograma, no fue definido con precisión.
El objetivo del Subprograma no es completamente claro, ya que esto se consigue en la
medida en que los conceptos de “calidad” (y “equidad”) estén precisados y sean
cuantificables o mensurables. El enfoque dispuesto en la Línea de Base del Préstamo
no queda suficientemente claro ya que estipula que se basa en “realizar modificaciones
en la escuela media”, lo que define qué se hará (estrategias), pero no qué se busca
(objetivos). Tampoco queda claro el concepto cuando se conjugan, simplificadas, las
expresiones de ese documento, de lo que resulta que “el enfoque de calidad adoptado
por el Programa se relaciona con (…) procurar una oferta de calidad (…)”.
7 Un detalla acerca de este cálculo puede observarse en la Tabla IV del Anexo H.2.
21
6. El objetivo del Subprograma está expuesto de distinta manera en el Convenio de
Préstamo y en el Reglamento Operativo General.
En el Reglamento Operativo General no se hace alusión a la “equidad”. Aunque por
tratarse de un documento de menor jerarquía normativa que el Contrato Modificatorio
no se altera el objetivo del Subprograma, la falta de mención a la equidad es un factor
que resta claridad.
Indicadores. Responsabilidad acerca de su elección o diseño, existencia, pertinencia y
confiabilidad
7. No se ha encontrado mención explícita a oficina, dependencia, unidad o jurisdicción
encargada de la tarea de diseñar o elegir los indicadores globales que permitan
evaluar la eficacia del Subprograma.
Más allá de la coordinación y supervisión de la evaluación de resultados (función que
corresponde a la DINIECE), en los documentos vinculantes que se han tenido a la vista,
no se ha encontrado mención explícita a la tarea específica de diseñar o elegir los
indicadores globales que permitan evaluar la contribución del Subprograma al objetivo
declarado. La respuesta del Subprograma no arrojó mayor claridad sobre este aspecto.
8. La presentación de la Línea de Base en abril de 2007 y la contratación en noviembre de
2008 de una consultora para desarrollar y evaluar los indicadores globales, son
extemporáneas.
En los documentos vinculantes que se han tenido a la vista no se ha encontrado mención
explícita a indicadores globales que permitan evaluar la contribución del Subprograma
al objetivo estipulado. De la solicitud al Subprograma relativa a brindar mayores
precisiones acerca de cuáles son los indicadores que responden a los objetivos
enunciados en la cláusula 2.01 del Contrato Modificatorio, se respondió que está en
proceso la contratación de una consultora que desarrollará y evaluará estos indicadores,
con lo cual resulta extemporánea y no responde a la utilidad originalmente definida para
22
esta acción. Por otra parte, la Línea de Base recién se presentó en abril de 2007 - y se
aprobó un mes después -, lo que da cuenta de la falta de oportunidad para diseñar o
elegir indicadores.
Metas. Responsabilidad, existencia y modificaciones, desagregación por jurisdicciones,
características deseables y oportunidad, fundamentación de valores. Metas intermedias.
9. La responsabilidad por la fijación de metas no está claramente establecida.
El Subprograma señala que las metas totales son elaboradas año a año por las áreas
sustantivas del Ministerio, de acuerdo a la política definida y presupuesto vigente. No
obstante, no se ha visto documento del Programa en el que conste dicha responsabilidad
como una función excluyente de las áreas sustantivas (cabe repetir lo expuesto en la
observación N° 7 acerca de la supervisión y coordinación del sistema de evaluación).
10. Las metas globales del Subprograma no fueron determinadas cuantitativamente.
De acuerdo al Subprograma, las metas totales se encuentran especificadas en el Marco
Lógico. Sin embargo, allí se observan metas indeterminadas, del siguiente modo: “1)
Disminución en un XX % de la Tasa de Repitencia; 2) Aumento en un XX% de la Tasa
de Promoción; 3) Aumento en un XX % de la Tasa de Retención; y 4) Aumento en un
XX% de la Tasa Neta de Escolarización”. Se solicitó al Subprograma informar si los
porcentajes fueron precisados y aprobados, obteniéndose una respuesta negativa.
11. El Programa no realizó al inicio de la gestión un análisis que permitiera determinar los
valores de referencia para las metas.
De acuerdo al Subprograma, los valores deseados de las metas no fueron precisados a
fin de establecer una variación que fuera acorde con la coyuntura de ese momento. Esto
implica una falta de ajuste a un estudio previo, y la imposibilidad de calcular los desvíos
con respecto a lo ejecutado para medir el rendimiento.
23
12. No se establecieron procedimientos o metodologías alternativos de seguimiento y
monitoreo.
Por motivos presupuestarios no fue implementado el Sistema de Seguimiento y
Monitoreo, ni procedimientos alternativos para tal fin. En virtud del alcance y
complejidad del Subprograma, este hecho condicionó su capacidad para emprender, de
manera sistemática, las necesarias acciones de seguimiento y monitoreo a nivel global.
Los informes semestrales detallan los avances logrados, pero exclusivamente a nivel de
Línea de Acción.
Datos. Dependencia responsable de su suministro y medición de indicadores,
procedimientos para su recopilación, características deseables, criterios de
contrastación, consistencia con metas. Responsabilidad por la confección de la “Línea de
Base”.
13. La tarea de recopilar datos y medir el valor de los indicadores recae simultáneamente
sobre dos dependencias.
Como parte de la organización de la UEC se estipula la creación de un área de trabajo
denominada de “Seguimiento y Monitoreo”, responsable de recopilar y actualizar los
datos necesarios para el monitoreo y la evaluación de resultados. Sin embargo, de la
lectura del Convenio de Préstamo surge que la coordinación y supervisión de la
evaluación de resultados estarán bajo la responsabilidad de la Dirección Nacional de
Información y Evaluación de la Calidad Educativa, que mantiene una relación
funcional, y no jerárquica, con la UEC, lo que implica duplicación de funciones y
tareas.
14. El método de contrastación intertemporal definido por el Subprograma – si bien
generalmente aceptado -, introduce un sesgo en la información utilizada para evaluar
la eficacia de la gestión, que limita los resultados de la evaluación. La solución
propuesta por el Subprograma de medir “variables contextuales” para reducir este
24
sesgo, debería abarcar la complejidad de la coyuntura del Programa, incluyendo
variables económicas, políticas y sociales.
La evaluación intertemporal del desempeño –esto es, apreciar la evolución de ciertos
indicadores a partir de la comparación de sus valores al inicio y al momento de la
medición–, permite arribar a conclusiones robustas en el caso de experiencias realizadas
en ambientes bajo condiciones estables o controladas. En tal caso, la evolución de los
valores responde únicamente a las variables bajo estudio. En un programa de educación,
el método elegido limita las conclusiones de la evaluación, dado que, por su esencia,
implica interdependencia respecto de variables económicas y sociales, de naturaleza
exógena. En la Línea de Base se estipula la medición de variables “sustantivas”
(asociadas a los propósitos medulares del programa), y “contextuales” (aquellas que
pueden colaborar u obstaculizar el desarrollo de las sustantivas), entre las que se
menciona la situación sociodemográfica, económica, política, etc., de cada jurisdicción.
Debido a la complejidad que reviste evaluar hasta qué punto las variables contextuales
han sido un apoyo o un obstáculo para la obtención de los logros, se requeriría un
estudio que identifique relaciones de causalidad y correlaciones entre las diversas
variables (incluyendo variables económicas, políticas y sociales), y abarque la
complejidad de la coyuntura del Programa.
Seguimiento de la eficacia de la gestión. Responsabilidad por la elaboración de informes
y valores de los indicadores a instancias intermedia y final.
15. Se encuentra limitada la capacidad de evaluar la eficacia de la gestión en virtud de, a)
no haberse implementado el Sistema de Seguimiento y Monitoreo, b) no haberse
realizado – a pesar de haberse previsto -, una “evaluación de medio término”, y c)
hallarse en proceso la contratación de una consultora para la realización de una
“evaluación final”.
Dada la falta de implementación del Sistema de Seguimiento y Monitoreo (ver
observación N° 12), hacia fines de 2008, el Subprograma se encontraba trabajando en
los términos de referencia para contratar una consultora que realizará la “evaluación
25
final”. Por su parte, la evaluación de “medio término” se dejó de lado por cercanía de la
fecha prevista respecto de la de finalización del Subprograma. En consecuencia, no se
pudo cumplir con una de las premisas extraídas del Reglamento Operativo General; esto
es, contar con información para adoptar las medidas necesarias para mejorar la gestión y
planificación del Programa en su conjunto.
D.3. Asignación de Becas
Objetivos de la Línea de Acción. Desarrollo del modelo de seguimiento, metas, método
de contrastación. Compatibilidad de criterios. Consistencia y oportunidad de los
documentos
16. La Línea de Acción no cuenta con sistemas, documentos y criterios consistentes,
procedimientos idóneos ni metas definidas para realizar un seguimiento eficiente de la
gestión y monitorear su eficacia.
a) No fue implementado el módulo específicamente programado para el seguimiento
y monitoreo de la asignación de becas.
De acuerdo al Marco Lógico modificado, la fuente de información de los
indicadores a ser utilizados para el seguimiento y monitoreo de la asignación de
becas, consistía en un sistema ad hoc (Sistema Integrado de Seguimiento y
Monitoreo, SISM), en el marco del cual debía funcionar el Módulo o Subsistema
Administración de Becas, que no fue desarrollado por los consultores. Este hecho,
alentó la modificación del software definido para otros fines a los efectos de llevar
adelante el seguimiento de la Línea de Acción, aunque condicionó de manera
sustantiva su gestión.
b) No se establecieron metas de resultado e impacto para el objetivo de la Línea de
Acción.
26
Los indicadores de resultado e impacto de la Línea de Acción no fueron
determinados en el Marco Lógico vigente. Los indicadores de resultado e impacto
que allí se definen para el Subprograma como conjunto de líneas de acción (“tasa
de repitencia”, “tasa de promoción”, “tasa de retención” y “tasa neta de
escolarización”), no fueron cuantitativamente determinados. De la consulta al
Subprograma, surgió que existió acuerdo con la contraparte BID para establecer
que la determinación de los valores se realizara a partir de la información que
surgiese de los datos relevados de la Línea de Base del proyecto, a fin de establecer
una variación que fuera acorde con la coyuntura de ese momento. Sí se expone un
indicador de producto (becas entregadas por año).
c) No se proporcionaron evidencias acerca del establecimiento al inicio de la gestión
de la Línea de Acción, de métodos de contrastación adecuados; con lo cual los
resultados alcanzados no pueden evaluarse respecto de las acciones emprendidas.
No se proporcionaron evidencias acerca de lo referido por el Subprograma respecto
de la conformación de un grupo de control (conformado por 700 escuelas),
entendido como método instrumentado para la contrastación de los resultados
alcanzados en relación con la situación existente al inicio de la gestión de la Línea
de Acción. En concordancia con lo expuesto, no fue ron suministradas respuestas
por parte de la DINIECE, el INDEC, ni la Unidad Ejecutora, al requerimiento de
los valores alcanzados por indicadores correspondientes a un grupo de control para
la gestión del Subprograma.
d) No se observa consistencia entre los distintos documentos pertenecientes al diseño
evaluativo referidos al inicio, medio término y finalización del Subprograma, que
permitan establecer comparaciones confiables y precisas acerca de la ejecución de
la Línea de Acción.
El diseño evaluativo del Subprograma contempló, de acuerdo a lo manifestado, los
“momentos fundamentales para establecer comparaciones confiables y precisas”.
Estos momentos se relacionan con documentos que dan cuenta del estado de
27
situación de la población atendida, en respuesta al nivel de avance de la gestión. El
primero de ellos, la “Línea de Base”, consideró la “tasa de abandono interanual”
como “(…) el indicador más grueso para comprender los logros educativos”.
Dicho indicador, sin embargo, no había sido considerado entre los propuestos por el
Marco Lógico modificado, donde en cambio se proponía la utilización de la “tasa
de retención”, indicador que no presentó mediciones en la Línea de Base. El
segundo momento, la evaluación de “medio término”, fue dejado de lado en
acuerdo con el organismo acreedor. Finalmente, el documento que desarrolla la
propuesta para el “momento final” de la evaluación de resultados, estuvo orientado
a la “(…) valoración de los avances ocurridos en relación con el momento inicial
precisado por la Línea de Base”. La matriz que sintetiza los aspectos metodológicos
de este tercer momento, contempla para la Línea de Acción un nuevo indicador (la
“cantidad de alumnos becados que completan y promueven el año lectivo”), el que
no fue expuesto en la Línea de Base, como así tampoco en el Marco lógico
modificado. Asimismo, no se hace referencia en dicha matriz a un seguimiento de
los estudios sobre opiniones y percepciones que fueran realizados en la Línea de
Base.
e) La Línea de Base, que da cuenta de la situación socioeducativa al inicio de la
ejecución de la Línea de Acción, se confeccionó con dos años de demora, lo que
condicionó la definición oportuna de las metas de resultado e impacto asociadas a
su objetivo.
La Línea de Base debía proveer datos relativos al momento inicial de la gestión, de
manera que el establecimiento de las metas para los objetivos perseguidos
contemple la coyuntura. El Acta en la que se acordó tal procedimiento
(correspondiente al Taller de Arranque del Subprograma), data de febrero de 2005.
El Informe Final de la Línea de Base, no obstante, fue aprobado en mayo de 2007.
28
Información. Provisión y oportunidad. Consistencia y accesibilidad. Impacto.
17. Existen deficiencias en la accesibilidad, consistencia, integridad y oportunidad de la
información necesaria para la ejecución de la Línea de Acción
a) El caracter disímil de la composición a nivel de recursos humanos y materiales de
cada Jurisdicción y circuito escolar, únicos proveedores de la información que
conforma la base de datos que asiste a la gestión de las Línea de Acción,
eventualmente conlleva demoras que ponen en riesgo la oportunidad de dicha
información.
El Subprograma informó que existen diferencias en la capacidad instalada para la
gestión del Programa en cada Jurisdicción y en cada circuito escolar, las que obran
como una de las principales causas de demora para funcionar acorde a los plazos
administrativos estipulados para la gestión de la Línea de Acción. Dichas asimetrías
ponen en riesgo la oportunidad de la información que se administra a partir de la
base de datos integrada, en tanto ésta se alimenta únicamente de la información
provista por las Jurisdicciones y escuelas.
b) Tanto la información provista por la unidad ejecutora de la Línea de Acción como
los Informes Semestrales presentados por la UEC, carecen de un criterio unívoco y
presentan inconsistencias en sus datos.
Las estimaciones de cobertura efectiva en la asignación de becas, obrantes en la
documentación suministrada, presentan diferencias no justificadas. Mientras para
los años 2005 y 2006 el documento “Criterios de selección y evolución del
Programa Nacional de Becas de la Argentina” presenta “porcentaje[s] de becas
efectivamente pagadas” del 95.7% y del 73.4% respectivamente, la DINIECE
presenta para el año 2006 un porcentaje de ejecución del cupo total de 500.000
becas, que representa un 81%. Adicionalmente, el mismo estudio expresó, al
respecto de la ejecución de las becas en relación con el cupo disponible, que existen
contradicciones entre los datos provistos por la DNPC y los mismos datos
29
contenidos en el único informe de gestión del PNBE. Con respecto a la información
presentada en los diversos informes semestrales de avance del Subprograma para
tomar conocimiento de la asignación efectiva de becas, se evidenció que tanto los
formatos con los que se presenta dicha información, como así también la
exposición de la condición efectiva de las becas transferidas, carecen de
uniformidad inter-semestral. Este hecho limita la posibilidad de realizar un
seguimiento de los datos con niveles aceptables de certidumbre.
c) El carácter fragmentario de la información que administra la gestión de la Línea
de Acción incide sobre el cumplimiento de las metas de producto.
De acuerdo con la información provista por el Área Contable de la UEC (Libro
Mayor correspondiente a cada uno de los ejercicios auditados, donde constan las
“rendiciones efectivas” realizadas), para la serie agregada 2005-2007 la Línea de
Acción habría alcanzado las metas preestablecidas en aproximadamente un 70%.
En relación a las causas de este alcance parcial, se notó que los altos niveles en la
devolución de becas se relacionarían de manera directa con deficiencias en la
accesibilidad y consistencia de la información necesaria para la gestión de la Línea
de Acción. Al respecto, la DINIECE informó que uno de los aspectos vinculados
con la rendición de las becas es su eventual reasignación. El informe refirió como
posible causa de la falta de agilidad en las reasignaciones y el alto grado de
fragmentación de la información, que no permite a las autoridades realizar
consultas consistentes ni automáticas o de rápido acceso.
30
E. RECOMENDACIONES
Las siguientes conclusiones se corresponden numéricamente con las respectivas
observaciones.
E.1. Análisis de la Gestión de la Deuda
1. UFI: cumplir con los plazos estipulados para la presentación de los POAs a fin de
contar con una planificación integral de la aplicación del programa para cada
ejercicio.
2. Estructurar los POAs anuales de acuerdo a un criterio unívoco y homogéneo, de modo
que permitan determinar el destino de los recursos provenientes del préstamo e,
indirectamente, verificar el cumplimiento de las metas.
3. Ejecución del proyecto: observar el cronograma que se fije originalmente a fin de
evitar la necesidad de solicitar prórrogas, así como el eventual recorte de montos
asignados y/o transferencia de recursos a otros destinos.
4. Unidad Ejecutora del Subprograma: evitar el retraso en la ejecución, que implica un
incremento de las comisiones de compromiso del préstamo; lo que impacta
directamente sobre el endeudamiento público de la Administración Central,
constituyendo, además, un indicio de ineficacia de la gestión.
31
E.2. Seguimiento y Monitoreo
5. Exponer con claridad los términos y conceptos que conforman el objetivo, de modo que
los diferentes actores tengan certeza respecto de su interpretación y alcance.
6. Exponer el objetivo del Subprograma de idéntico modo en los distintos documentos en
los que se lo menciona (teniendo en cuenta que los documentos de menor jerarquía
normativa o de naturaleza operativa son lo que usa diariamente el equipo de trabajo).
7. Estipular claramente el responsable de la tarea de elegir o diseñar indicadores al inicio
de la gestión, a los efectos de poder evaluar tempranamente el grado de cumplimiento
del objetivo.
8. Exponer los indicadores de modo conciso en un documento vinculante, con el inicio de
la gestión, de tal forma que resulte útil para medir su eficacia. Incorporar para los
indicadores un detalle de la fórmula a ser utilizada en cada caso.
9. Estipular claramente sobre qué oficina o cargo recae la tarea de establecer metas.
10. Establecer cuantitativamente las metas globales a fin de contar tempranamente con una
referencia del grado mínimo de cumplimiento que resulte aceptable, medir los desvíos,
e identificar sus causas.
11. Establecer cuantitativamente metas fundadas durante el inicio de la gestión.
12. Elaborar un documento único, conciso y claro, que concentre los objetivos, indicadores
y metas - debidamente correlacionadas entre sí -, tanto para su dimensión global, como
para su desagregación programática, incluyendo un detalle de su contenido, fórmulas,
método de recopilación de datos y responsables por tarea.
32
13. Estipular una sola oficina para la recopilación de datos a partir de los cuales medir
indicadores. De corresponder a dos tipos de datos diferentes, cuya tarea de
recopilación merezca la división de tareas, explicitarlo claramente para evitar
controversias.
14. Para los casos donde el contexto incide sobre las variables que intentan ser mejoradas,
conformar un grupo de control u otra alternativa que permita conocer la evolución de
los indicadores y su acercamiento al logro del objetivo en términos relativos.
15. Realizar la medición de indicadores con periodicidad anual, y evaluar los resultados a
la luz de las metas y de la evolución de los mismos indicadores considerando la
metodología de contrastación a aplicar.
E.3. Asignación de Becas
16.
a) Implementar instrumentos informáticos específicos para el seguimiento y monitoreo
de la asignación de becas, que permitan sistematizar la información pertinente, de
acuerdo a las complejidades que plantea la ejecución de la Línea de Acción en los
distintos niveles jurisdiccionales.
b) Definir metas para los resultados e impactos buscados para la Línea de Acción
asignación de becas, de manera de poder conocer la eficacia de las acciones
desarrolladas en un sentido integral.
c) Diseñar e implementar métodos de contrastación al inicio de la gestión de manera de
poder ponderar unívocamente los resultados alcanzados por la gestión para
determinar el grado de incidencia de la Línea de Acción sobre los indicadores de
eficacia.
33
d) Promover la consistencia entre los documentos evaluativos que refieran a la situación
de la Línea de Acción en los distintos momentos de evaluación del Subprograma.
e) Plantear alternativas a la Línea de Base que de similar manera permitan definir
adecuadamente la situación de la población beneficiaria al inicio de la gestión de la
Línea de Acción.
17.
a) Dotar a los actores jurisdiccionales y locales a cargo de la generación y suministro
de información, de los recursos mínimos necesarios para su provisión oportuna.
b) Proponer y aplicar un criterio lógico y consistente para el cálculo y presentación de
los datos relativos a la cobertura alcanzada en la asignación de becas, a los efectos
de poder evaluar su eficacia.
c) Arbitrar los medios necesarios a los efectos de evitar el carácter fragmentario de la
información, para mejorar su accesibilidad.
F. DESCARGO DEL ORGANISMO
El día 29 de junio de 2009, mediante Nota Nº 204 / 09 CSDP, se envió el Proyecto
de Informe para que el auditado formulara las observaciones y/o comentarios que
estimara pertinentes.
De acuerdo a lo establecido en la Resolución 77/02, el día 16 de julio de 2009
venció el plazo establecido en la Nota de referencia (15 días corridos contados a
partir de la fecha de recepción 1º de julio de 2009), sin que se recibiera respuesta
por parte del auditado.
34
G. CONCLUSIONES GENERALES
En función de las tareas realizadas en el ámbito del Ministerio de Educación y del Enfoque de
Auditoría definido en el Alcance de este trabajo se realizan las siguientes conclusiones:
Área de auditoría análisis de la gestión de deuda: Se materializaron demoras y prórrogas
sobre el cronograma original; y consecuentemente, se observaron excedentes sobre las
comisiones de compromiso proyectadas que, – por definición -, implican un incremento
sobre el endeudamiento público y constituyen indicadores de ineficacia de la gestión. Como
ejemplo de ello, se puede mencionar la presentación extemporánea de los Programas
Operativos Anuales durante cada uno de los ejercicios auditados.
La disparidad de criterios en la elaboración de los POA y su registración en pesos, no
permiten verificar el cumplimiento de metas anuales con fondos provenientes del Préstamo y
dificultan el seguimiento de su aplicación en relación a los montos presupuestados.
Área de auditoría seguimiento y monitoreo: El Subprograma no cuenta con instrumental
suficiente como para monitorear la eficacia de su gestión, o la eficacia del Subprograma
propiamente dicho, en tanto conjunto de estrategias oportunamente seleccionadas. Los puntos
más salientes que condicionan la posibilidad de monitoreo son i) el objetivo presenta
dificultades para su interpretación, acompañado de precisiones tardías que no suman claridad,
ii) la falta de precisión respecto de sobre quién recae la tarea de elegir o diseñar los
indicadores que se utilizarían para dar cuenta de los avances hacia el objetivo, iii) la dificultad
para identificar indicadores globales para el Subprograma, iv) la falta de precisión respecto de
la responsabilidad de la tarea de precisar las metas, v) la consecuente falta de metas contra las
cuales contrastar la medición de indicadores, vi) la no implementación del Sistema de
Seguimiento y Monitoreo, con la definición de indicadores necesarios para evaluar
posteriormente el cumplimiento de los objetivos del Subprograma, y vii) la adopción de un
diseño evaluativo que – si bien generalmente aceptado como metodología – contempla la
35
comparación contra sí mismo en un entorno de interdependencia respecto de variables
económicas y sociales, exógenas para el Subprograma.
Área de auditoría asignación de becas: El cumplimiento de esta Línea de Acción alcanzó al
70%, debido a factores asociados a la complejidad en su implementación, y no cuenta con
instrumental suficiente para realizar el seguimiento de las acciones desarrolladas, como así
tampoco para dar cuenta de los niveles de eficacia alcanzados. El módulo correspondiente al
sistema de seguimiento y monitoreo, instrumento fundamental programado para la Línea de
Acción, no fue confeccionado. Como resultado de ello se adoptaron acciones paliativas
(elementos de programación, seguimiento y evaluación de las acciones desarrolladas), que no
se encuentran sistémicamente integradas, ni en términos de diseño y criterio, ni en términos
de oportunidad y reciprocidad de la información que dichas instancias demandan. Esta
situación se expresa en la ausencia de metas de resultado e impacto para el objetivo buscado,
en falencias de consistencia interna y de oportunidad en los componentes del diseño
evaluativo propuesto y en una gestión de la información que presenta insuficiencias para
atender las necesidades de la Línea de Acción, dadas su escala y complejidad. La
instrumentación de una política de manejo de la información – en este caso, referido a la
población atendible - posee un carácter prioritario ya que posibilita corregir desvíos o
potenciar las acciones exitosas alcanzadas, y garantizar los altos parámetros de calidad
(reuniendo las características de oportunidad, integridad y accesibilidad).
Buenos Aires, de de 2009.-
Firma:
H. ANEXOS
Anexo H.1. DOCUMENTACION EVALUADA:
En esta sección se describen documentos relevantes - vinculantes para el Subprograma -, que
han sido centrales para los procedimientos aplicados. Por su alcance y compleja articulación
entre ellos, corresponde ofrecer aquí un resumen que permitirá comprender más rápidamente
parte de las fuentes documentales utilizadas.
“Contrato”: Suscripto el 20 de noviembre de 2003 entre el Ministro de Economía y
Producción y el representante del Banco Interamericano de Desarrollo, mediante el cual se
acuerda la financiación del PROGRAMA DE MEJORAMIENTO DEL SISTEMA
EDUCATIVO (PROMSE) mediante el Contrato de Préstamo Nº 1345/OC-AR.
“Contrato Modificatorio”: Suscripto el 22 de junio de 2004 y, formalmente denominado
Contrato Modificatorio Nº 1 al Contrato de Préstamo Nº 1345/OC-AR. Su principal
modificación consistió en la conformación de dos Subprogramas: uno de ellos, objeto de esta
auditoría –genéricamente denominado Subprograma II– bajo la jurisdicción del Ministerio de
Educación Ciencia y Tecnología; y el otro –genéricamente denominado Subprograma II– bajo
la jurisdicción del Ministerio de Planificación Federal, Inversión Pública y Servicios. Otras
modificaciones relevantes refieren a la cantidad de becas a otorgar (350.000 en vez de
140.000) y a la reducción del financiamiento total del Programa de u$s 1.200 a u$s 1.000
millones, entre aporte local y financiamiento del BID.
“Reglamento Operativo General” (ROG): Con base en la letra del “Contrato Modificatorio”,
establece los términos y condiciones que regirán para la ejecución del Programa. Tiene por
objetivo definir y reglamentar las partes comunes de ambos Subprogramas. La definición
específica de cada uno de ellos se incorpora a un Reglamento Operativo Particular. Se
conforma de los siguientes capítulos: i) Introducción y Definiciones, ii) El Programa, iii)
37
Ejecución del Programa, iv) Aspectos Ambientales, v) Taller de Inicio, vi) Mecanismos de
Seguimiento y Evaluación, vii) Desembolsos y Justificaciones, viii) Auditoría, ix) Código de
Ética, y x) Modificaciones al Reglamento Operativo. Cuenta con un cuerpo de anexos que
abarcan, entre otros aspectos, el Marco Lógico (Anexo 1), y Funciones y Responsabilidades
del Coordinador y las Áreas de Trabajo (Anexo 2).
“Reglamento Operativo Particular” (ROP): Con base en la letra del Reglamento Operativo
General, establece los términos y condiciones que regirán para la ejecución del Subprograma
I. El contenido es similar al del ROG, pero limitado al Subprograma, mientras que adjunta
una serie de cuadernillos a modo de anexos denominados Reglamentos Operativos
Específicos (ROE) que abarcan algunas de las Líneas de Acción y Subcomponentes del
Subprograma.
“Marco Lógico”: es el documento en el que se acuerdan los indicadores necesarios para poder
verificar posteriormente el cumplimiento de los objetivos. Originalmente formaba parte del
ROG como Anexo 1, pero a raíz de lo acordado en el Taller de Inicio del Programa (ver título
“v” del ROG) se acordó su modificación.
“Marco Lógico Modificado”: 8 Es la última versión del “Marco Lógico”, y documento
principal que condensa indicadores, metas9 y supuestos para las distintas desagregaciones
programáticas del Subprograma. Consta como Anexo del documento “Evaluación de
Resultados – PROMSE Corte Evaluativo Final”, que se expone más adelante.
“Línea de Base”: Elaborado por la DINIECE, tiene por objeto establecer los parámetros que
permitan conocer la situación de la que parte el Subprograma, para poder compararla con la
situación al final, pero fue presentada recién en abril de 2007. Incluye la metodología a
instrumentar para la medición de resultados.
8 Denominación dada por el equipo de auditoría. 9 Valor, porcentaje o calificación que se pretende que alcance un indicador a un momento determinado.
38
“Evaluación de Resultados – PROMSE Corte Evaluativo Final”: Es la culminación del trabajo
documentado en la Línea de Base. Desarrolla los lineamientos para el momento evaluativo
final y contiene, en su anexo, el “Marco Lógico Modificado”, documento arriba mencionado.
“Programa Operativo Anual” (POA): Documento que anualmente debe compilar y presentar
la UEC al BID. Resume en términos monetarios el presupuesto asignado al Subprograma,
idealmente con desagregación mensual, programática y por fuente de financiamiento. El POA
consolidado comprende al de todas las jurisdicciones, más el propio de la UEC.
39
Anexo H.2. ACTIVIDAD CRITICA “Análisis de la Gestión de la Deuda”
Tabla I Cronograma de Ejecución del Subprograma por Componentes (en millonesde U$S) Fuente: elaboración propia en base al Project Appraisal Document provisto por la Dirección de Coordinación de Proyectos con Organismos Internacionales de Crédito (DNPOIC) del Ministerio de Economía
40
Tabla II Matriz de Financiamiento Modificada por Transferencias Fuente: Elaboración propia en base a Estados Financieros.
41
Gráfico I
PROMSE SP IDetalle de la Calendarización de Desembolsos de Acuerdo a Modificaciones del
Financiamiento
0,0
50,0
100,0
150,0
200,0
250,0
300,0
350,0
400,0
450,0
500,0
2004 2005 2006 2007 2008 2009
años
mill
on
es u
$s
calendarización inicial calendarización 1ra.modif. calendarización 2da.modif. calendarización 3ra.modif.
Fuente: Elaboración propia en base a ROG Estados Financieros.
42
Tabla III Cronograma Modificado del Préstamo (Subprograma I) sobre Real Ejecutado (*)
MODIF.2007 CALENDARIZACIÓN INICIAL (modificada) vs. REAL EJECUTADOAporte MATRIZ ORIGINAL DEL PRÉSTAMO
SUBPROGRAMA I BIDprograma real programa real desvío programa real desvío programa real desvío programa real desvío programa real programa real
Componente 1 – Reforma y Adecuación de laoferta en la Educación Media 259,6 87,9 49,0 -38,9 85,1 45,4 -39,7 66,9 48,5 -18,4 19,7 259,6 142,9
Mejoramiento de la calidad de la escuela media 12,9 8,0 0,4 -7,6 4,9 2,8 -2,1 4,5 4,5 12,9 Apoyo a la Equidad 220,7 66,9 48,6 -18,3 67,2 38,1 -29,1 66,9 46,7 -20,2 19,7 0,0 220,7 Adecuación de la Infraestructura Escolar 26 13,0 0,0 -13,0 13,0 4,5 -8,5 2,3 2,3 0,0 26,0
Componente 2 – Integración de las Tecnologías dela Información y la Comunicación 24,8 17,5 0,0 -17,5 2,7 0,0 -2,7 2,6 9,3 6,7 1,7 0,3 24,8 9,3
Capacitación técnica y pedagógica de docentes, directivos y personal administrativo 6,2 1,5 1,0 -0,5 1,6 0,0 -1,6 1,9 0,7 -1,2 1,2 6,2 Generación de materiales de capacitación y 0,0 enseñanza 2,1 0,2 0,0 -0,2 0,4 0,0 -0,4 0,7 0,0 -0,7 0,5 0,3 2,1 Infraestructura de conectividad en las escuelas 4,4 4,4 0,0 -4,4 0,0 0,0 0,0 4,4 Dotación de equipamiento informático 12,1 11,4 0,0 -11,4 0,7 0,0 -0,7 8,1 8,1 0,0 12,1
Componente 3 – Fortalecimiento de la gestión delSistema Educativo: 0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0
Fortalecimiento del MECyT 0 0,0 0,0 Fortalecimiento del Ministerios Provinciales 0 0,0 0,0 0,0
Administración y Supervisión 5,6 0,0 2,6 0,3 -2,3 1,9 0,7 -1,2 0,3 1,0 0,7 0,3 0,3 5,6 Coordinación y Supervisión 3,9 2,3 0,3 -2,0 1,6 0,6 -1,0 1,0 1,0 3,9 Evaluación y Monitoreo 1,2 0,2 0,0 -0,2 0,2 0,1 -0,1 0,2 0,0 -0,2 0,2 0,2 1,2 Auditoría Financiera 0,5 0,0 0,1 0,0 -0,1 0,1 0,0 -0,1 0,1 0,0 -0,1 0,1 0,1 0,4 Imprevistos 0 Comisión Agencia Internacional de Compras 0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0 0,0
TOTAL SUBPROGRAMA 290 0,0 108,0 49,3 -58,7 89,7 46,1 -43,6 69,8 58,8 -11,0 21,7 0,6 290,0
2004 TOTAL2005 2006 2007 2008 2009
Fuente: Elaboración propia en base a ROG y Estados Financieros. (*) Corresponde monto invertido al 30.8.08
43
Tabla IV APL I (BIRF 7225) y APL II (BIRF 7409)Curvas Teórica y Observada de Desembolsos y de Comisiones de Compromiso Resultantes (*)(*) Considerando transferencias entre Subprogramas, waivers sobre cargos financieros y prórroga
Fecha Firma 20/11/2003Días año 365
Fecha
Oper's Adm Pasivos (Valor
Efectivo)
No desembolsado
Desembolsado Tasa (Neta de Waivers)
Mini-Cupones Estimado a pagar Estimado a pagar Acumulada
Monto Acumulada Monto Acumulada Acumulada (%)
Inicio Deveng 19/01/2004 450,0 Cierre Cupón 20/05/2004 450,0 0,25% 376.027,40 376.027,40 376.027,40 376.027,40 376.027,40 - - Cierre Cupón 20/11/2004 450,0 0,25% 567.123,29 567.123,29 943.150,69 567.123,29 943.150,69 - -
01/03/2005 421,9 28,1 0,25% 311.301,37 943.150,69 943.150,69 - Cierre Cupón 20/05/2005 421,9 0,25% 231.164,38 542.465,75 1.485.616,44 555.648,35 1.498.799,04 13.182,60 13.182,60 0,9%
01/06/2005 393,8 28,1 0,25% 34.674,66 1.485.616,44 1.498.799,04 13.182,60 0,9%01/09/2005 365,6 28,1 0,10% 99.246,58 1.485.616,44 1.498.799,04 13.182,60 0,9%
Cierre Cupón 20/11/2005 365,6 0,10% 80.136,99 214.058,23 1.699.674,67 272.721,35 1.771.520,39 58.663,12 71.845,72 4,2%01/12/2005 337,5 28,1 0,10% 11.018,84 1.699.674,67 1.771.520,39 71.845,72 4,2%
Transfer 14/01/2006 60,0 - 277,5 1.771.520,39 71.845,72 01/03/2006 245,2 32,3 0,10% 83.219,18 1.699.674,67 1.771.520,39 71.845,72 4,2%
Cierre Cupón 20/05/2006 245,2 0,10% 53.742,47 147.980,49 1.847.655,16 163.667,64 1.935.188,03 15.687,15 87.532,87 4,7%01/06/2006 212,9 32,3 0,10% 8.061,37 1.847.655,16 1.935.188,03 87.532,87 4,7%01/09/2006 180,6 32,3 0,10% 53.662,47 1.847.655,16 1.935.188,03 87.532,87 4,7%
Transfer 15/09/2006 31,8 - 148,8 1.935.188,03 87.532,87 Cierre Cupón 20/11/2006 148,8 0,10% 39.583,56 101.307,40 1.948.962,56 138.154,85 2.073.342,88 36.847,45 124.380,32 6,4%
01/12/2006 118,9 29,9 0,10% 4.484,37 1.948.962,56 2.073.342,88 124.380,32 6,4%Transfer 19/02/2007 26,7 - 92,2 2.073.342,88 124.380,32
01/03/2007 74,8 17,5 0,10% 29.311,49 1.948.962,56 2.073.342,88 124.380,32 6,4%Cierre Cupón 20/05/2007 74,8 0,10% 16.385,75 50.181,61 1.999.144,17 106.594,09 2.179.936,97 56.412,48 180.792,80 9,0%
01/06/2007 57,3 17,5 0,10% 2.457,86 1.999.144,17 2.179.936,97 180.792,80 9,0%01/09/2007 39,8 17,5 0,10% 14.442,74 1.999.144,17 2.179.936,97 180.792,80 9,0%
Cierre Cupón 20/11/2007 39,8 0,10% 8.732,05 25.632,65 2.024.776,82 88.878,42 2.268.815,39 63.245,77 244.038,57 12,1%01/12/2007 22,4 17,5 0,10% 1.200,66 2.024.776,82 2.268.815,39 244.038,57 12,1%01/03/2008 16,9 5,4 0,10% 5.579,67 2.024.776,82 2.268.815,39 244.038,57 12,1%
Cierre Cupón 20/05/2008 16,9 0,10% 3.713,97 10.494,30 2.035.271,12 65.886,78 2.334.702,17 55.392,48 299.431,05 14,7%01/06/2008 11,5 5,4 0,10% 557,10 2.035.271,12 2.334.702,17 299.431,05 14,7%01/09/2008 6,1 5,4 0,25% 7.252,88 2.035.271,12 2.334.702,17 299.431,05 14,7%
Cierre Cupón 20/11/2008 6,1 0,25% 3.328,77 11.138,75 2.046.409,87 115.972,82 2.450.674,99 104.834,07 404.265,12 19,8%01/12/2008 0,64 5,4 0,25% 457,71 2.046.409,87 2.450.674,99 404.265,12 19,8%
330,9 2.046.409,9 2.450.675,0 404.265,12 73,5% 19,8%
Curva teórica de desembolsos confeccionada a partir de la desagregación trimestral de los datos anuales - pertenecientes al Project Appraisal Document proporcionados por la Dirección Nacional de Proyectos con Organismos Internacionales de Crédito (DNPOIC).
Curva teórica de comisiones de compromiso confeccionada a partir de la información proporcionada por la Dirección de Administración de la Deuda Pública (DADP) del Ministerio de Economía, a través del Sistema de Gestión de la Deuda Pública (SIGADE).
Comis Compr Pagada Diferencia entre Teórica y Pagada (calculada)Comis Compr Teórica
Si bien de acuerdo al Convenio de Préstamo los cargos financieros relativos a las comisiones de crédito eran del 0,75%, estos fueron modificados por el BID
Fuente: elaboración propia en base a información provista por el Subprograma, por el Ministerio de Economía y por el BID.
