Post on 26-Apr-2020
1
Banco Centroamericano de Integración Económica
Oficina de Evaluación
2
CUESTIONARIOS Y CRITERIOS PARA EL LLENADO DE LA HERRAMIENTA I-BCIE EN LAS ETAPAS DE MEDIO TÉRMINO Y EX POST
Mecanismo de Suministro de Información de la Administración a la Oficina de Evaluación para las
Evaluaciones de Medio Término y Ex Post
1
Oficina de Evaluación (ODE)
Adscrita al Directorio
Banco Centroamericano de Integración Económica (BCIE)
Tegucigalpa, Honduras
Agosto, 2014
2
INDICE
1. Introducción 4
2. Objetivo 4
3. Alcance 4
4. Abreviaturas y términos 4
5. Definiciones 5
6. Documentación relacionada 7
7. La Evaluación de Impacto 8
7.1 La evaluación en el BCIE 10
8. Completando el Ciclo de Evaluación: alineamiento de la evaluación ex ante, medio término y
ex post a través de instrumentos secuenciales 11
8.1 Se continúa con las sectorización de los instrumentos desde ex ante hasta
medio término y ex post 11
8.2 Componentes 12 8.3 Criterios de valoración 13
8.4 Conformación global de la evaluación de impacto: el Ciclo de la Evaluación 16
8.5 Aplicación de la herramienta 18
9. Temporalidad 19 9.1 Aplicación de los cuestionarios 19
9.2 Evaluaciones de medio término 20
9.2.1 Proyectos del sector infraestructura 20
9.2.2 Proyectos del sector productivo 20
9.2.3 Operaciones del sector financiero 20
9.2.4 Beneficiarios de la intermediación 21
3
9.3 Evaluaciones ex post 21
9.3.1 Proyectos del sector infraestructura y productivo 21
9.3.2 Operaciones del sector financiero 22
9.3.3 Beneficiarios de la intermediación 22
10. Cláusulas sugeridas en los contratos de crédito 22
10.1 Proyectos infraestructura 23
10.2 Proyectos productivos y casos que no incluyen un activo tangible 23
10.3 Operaciones sector financiero 24
11. Operaciones identificadas para un tratamiento específico 25
12. Plan Anual de Evaluación (PAE): instrumento para el traslado de datos oficiales 27
13. Recolección de datos: el análisis y evolución posterior de la Oficina de Evaluación (ODE) 28
13.1 ¿Qué hará la Oficina de Evaluación (ODE) con los datos? 28
4
1. Introducción
Ante la recomendación de la Asamblea de Gobernadores de actualizar el Sistema de Evaluación de Impacto
en el Desarrollo (SEID), contenida en el Plan de Modernización aprobado mediante la Resolución No. AG-
10/2011, se aprobó la actualización del Sistema de Evaluación de Impacto en el Desarrollo mediante la
Resolución No. PRE-45/2013 del 19 de septiembre de 2013. También, como parte de las reformas del Plan
de Modernización, se creó la Oficina de Evaluación (ODE) adscrita al Directorio, y se estableció que “La ODE
es responsable de evaluar el cumplimiento de las estrategias, proyectos y programas del Banco acorde con
los principios, objetivos y normativas adoptadas por la Administración y/o aprobadas por el Directorio y por
la Asamblea de Gobernadores, que permitan verificar la efectiva contribución del Banco en el desarrollo de
sus países fundadores y beneficiarios”; aprobado por el Directorio mediante la Resolución No. DI-83/2012
de las “Responsabilidades y funciones de las gerencias, así como de las dependencias adscritas al Directorio”.
El presente documento se establece como parte del mecanismo de suministro de información de la
Administración a la Oficina de Evaluación (ODE) para las evaluaciones de medio término y ex post; a través de
este documento se proveen los cuestionarios de evaluación y los criterios para su llenado, correspondientes
a las etapas de medio término y ex post1.
2. Objetivo
El presente documento tiene como finalidad establecer los cuestionarios, indicadores y criterios para la
evaluación de medio término y ex post, explicando los componentes de los cuestionarios, la forma de
completar cada indicador por sector y subsector, y la documentación soporte requerida para sustentar la
información solicitada en el marco del Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0. 3. Alcance
Este documento establece los cuestionarios, indicadores y criterios para la evaluación de medio término y
la evaluación ex post de las intervenciones que alcancen los criterios que la Oficina de Evaluación (ODE) ha
establecido y se describen, en secciones posteriores de este documento.
4. Abreviaturas y términos
a) CAD: Comité de Asistencia para el Desarrollo
b) ECG: Evaluation Cooperation Group 1 En la aplicación/implementación de estos cuestionarios, la Administración tomará las previsiones para su funcionamiento, como los procedimientos, aplicativos, entre otros. Los cuáles serán desarrollados en coordinación con la ODE para completar el Mecanismo de Suministro de Información de la Administración a la Oficina de Evaluación para las Evaluaciones de Medio Término y Ex Post.
5
c) I-BCIE: Índice BCIE de Impacto en el Desarrollo
d) IADB: Inter-American Development Bank
e) DEG: Banco de Desarrollo Alemán
f) GPR: Calificación de Mejores Prácticas
g) IFI: Instituciones Financieras Intermediarias
h) IFID: Informe de Finalización de la Intervención de Desarrollo
i) IFNB: Instituciones Financieras No Bancarias
j) ITP: Informe de Terminación del Proyecto
k) LGC: Línea Global de Crédito
l) OECD: Organisation for Economic Co-operation and Development
m) ODE: Oficina de Evaluación
n) ODM: Objetivos de Desarrollo del Milenio
o) PAE: Plan Anual de Evaluación
p) PGI: Plan Global de Inversiones
q) SCR: Sistema de Calificación de Riesgo
r) SEID: Sistema de Evaluación de Impacto en el Desarrollo
s) TIR: Tasa Interna de Retorno
t) TIRE: Tasa Interna de Retorno Económico
u) WB: World Bank
5. Definiciones
Adicionalidad: Identifica el valor agregado que el BCIE está aportando para favorecer la implementación
de la intervención.
Administración basada en resultados: Estrategia de gestión que se centra en el desempeño y el logro de
productos, efectos e impacto.
Cadena de resultados: La secuencia causal de una intervención para el desarrollo que estipula la secuencia
necesaria para lograr los objetivos deseados, comenzando con los insumos, pasando por las actividades y
los productos, y culminando en el efecto directo, el impacto y la retroalimentación.
Contrafactual: Situación o condición que podría presentarse hipotéticamente para las personas, las
organizaciones o los grupos si no hubiera una intervención para el desarrollo como la evaluada.
Cuestionarios para levantamiento de información de medio término y ex post: Son las herramientas que
la Oficina de Evaluación (ODE) ha determinado para recopilar los datos necesarios para medir el progreso
logrado a medio término y a la finalización de las intervenciones para el desarrollo.
6
Eficacia: Medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo,
tomando en cuenta su importancia relativa.
Eficiencia: Medida en que los recursos/insumos se han convertido económicamente en resultados.
Efecto: Cambio intencional o no intencional debido directa o indirectamente a una intervención.
Efecto directo: Representa el conjunto de resultados a mediano plazo logrados por los productos de una
intervención.
Especialista: Todo funcionario que apoye al Grupo Interdisciplinario en el análisis de intervenciones según
su especialidad, por ejemplo: Ejecutivo de Finanzas Corporativas, Especialista Sectorial, Ejecutivo de
Preinversiones, Analista de Evaluación, Supervisor, Ejecutivo de Financiamiento para las Mayorías, entre
otros.
Etapa de ejecución: Etapa que inicia con el primer desembolso y finaliza cuando los fondos BCIE se han
desembolsado en un 100%.
Evaluabilidad: Viabilidad de que puede evaluarse una actividad o un programa de manera fiable y creíble.
Evaluación de medio término: Valoración sistemática y objetiva para medir el impacto en el desarrollo
que la intervención está generando durante su ejecución, así como el análisis que permita proponer las
acciones necesarias para canalizar la intervención hacia el nivel de impacto en el desarrollo estimado en la
evaluación ex ante.
Evaluación ex post: Valoración sistemática y objetiva de una intervención para el desarrollo ya concluida
con el fin de medir el impacto logrado.
Ficha de Utilización de Recursos (F1): Archivo de Excel que contiene la información que debe ser completada
y entregada en forma electrónica por las IFI para justificar los desembolsos otorgados por el BCIE, a fin de
conocer el destino y uso de los recursos canalizados en forma intermediada y generar estadísticas en las
diferentes áreas de desarrollo atendidas a través del sector financiero de la región.
Impacto: Efecto de largo plazo positivo y negativo, primario y secundario, producido directa o indirectamente
por una intervención para el desarrollo, intencionalmente o no.
Índice I-BCIE: Índice BCIE de impacto en el desarrollo de cada intervención que se implementa a través de
cuestionarios compuestos por preguntas cuantitativas y cualitativas que en conjunto indican el aporte del
BCIE al desarrollo de los países de la región centroamericana.
7
Insumos: Recursos financieros, humanos y materiales empleados en una intervención para el desarrollo.
Intervenciones para el desarrollo: Es la ejecución de programas y proyectos, líneas globales de crédito, y
todos los productos y servicios que el BCIE ejecute para promover la integración económica y cualquier otro
medio para impactar en el desarrollo económico y social equilibrado de los países.
Meta: Objetivo global hacia el cual se prevé que contribuya una intervención para el desarrollo.
Objetivo de desarrollo: Impacto intencional esperado que contribuye a generar beneficios físicos,
financieros, institucionales, sociales, ambientales o de otra índole a una sociedad, comunidad o un grupo
de personas mediante una o más intervenciones para el desarrollo.
Oficina de Evaluación (ODE): Es la dependencia responsable de evaluar el cumplimiento de las estrategias,
proyectos y programas del Banco acorde con los principios, objetivos y normativas adoptadas por la
Administración y/o aprobadas por el Directorio y por la Asamblea de Gobernadores, que permitan verificar
la efectiva contribución del Banco en el desarrollo de sus países fundadores y beneficiarios.
Plan Anual de Evaluación (PAE): Es el instrumento de planificación anual de la Oficina de Evaluación, cuyo
objetivo es identificar las principales estrategias, proyectos, programas y actividades a evaluar, así como, en
caso de existir, nuevas iniciativas a implementar.
Producto: Comprende los productos, los bienes de capital y los servicios que resultan de una intervención
para el desarrollo; puede incluir también los cambios resultantes de la intervención que son pertinentes
para el logro de los efectos directos.
Resultado: Producto, efecto o impacto (intencional o no, positivo y/o negativo) de una intervención para el
desarrollo.
6. Documentación relacionada
• PRE-90/2009: Aprueba el Sistema de Evaluación de Impacto en el Desarrollo (SEID).
• DI-142/2012: Diseño Conceptual del Ciclo de Proyectos y su implementación.
• PRE-45/2013: Actualización del Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0.
• DI-141/2013: Reglamento de la Oficina de Evaluación.
• DI-13/2014: Plan Anual de Evaluación (PAE) de la Oficina de Evaluación (ODE) para el ejercicio 2014.
• Manual para la Aplicación de la Metodología de Evaluación I-BCIE (MN-STAFF-OEJ-03).
• Instructivo de la Ficha de Justificación (F1). Enero 2014.
8
7. La Evaluación de Impacto
La evaluación de impacto tiene como propósito determinar si una intervención en el desarrollo (usualmente
denominados proyectos o programas) produjo los efectos deseados en las personas, hogares, comunidades,
economía nacional, sector industrial e instituciones para los cuales el mismo fue establecido2. A través de la
evaluación de impacto se realiza una estimación cuantitativa y un análisis cualitativo de los beneficios y se
evalúa si son atribuibles a la intervención en el desarrollo.
Es muy común encontrar preguntas generadoras para la evaluación de impacto de una intervención,
como ser: ¿Cuál es el problema que la intervención busca resolver en la población, comunidad o país
donde se quiere realizar?; ¿Cuál fue el efecto real de la intervención sobre los beneficiarios previstos por
la intervención?; ¿Los beneficios encontrados son los que la intervención esperaba lograr o son diferentes
a los originalmente esperados?; ¿Los efectos logrados son positivos o son negativos?; finalmente ¿Qué
efectos son consecuencia atribuible a la intervención y porque?; y ¿Se justifica la intervención con los costos
que representa?.
Para responder lo anterior, la evaluación de impacto estudia ampliamente dos criterios3 de uso generalizado
que son la eficacia y la eficiencia. El Comité de Asistencia para el Desarrollo (CAD) de la OECD define eficacia
como “la medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo,
tomando en cuenta su importancia relativa”, lo que representa medir en qué medida se alcanzaron los
objetivos buscados (se mide el logro de objetivos, sin considerar el costo); mientras que la eficiencia la define
como la “medida en que los recursos/insumos (fondos, tiempo, etc.) se han convertido económicamente en
resultados”, es decir, típicamente mide a que costos y tiempo se alcanzaron los resultados.
Una evaluación de impacto debe identificar con claridad las relaciones causa efecto entre la intervención
y los resultados esperados (si es ex ante) y obtenidos (si es ex post), ya que pueden existir factores ajenos
a la intervención, que ocurran durante el mismo período, que expliquen los resultados observados (esto
es usualmente conocido como atribuibilidad). Cabe señalar que para acompañar la transformación de
los insumos en resultados, se creó la evaluación de medio término que permite ver el progreso en dicha
transformación. En la administración del desarrollo, sobre todo en las últimas dos décadas, se ha iniciado un
movimiento de la denominada administración centrada en insumos hacia la administración por resultados,
en esta última la evaluación de impacto juega un rol muy importante. Los modelos de administración antes
citados tienen diferencias muy significativas; mientras la evaluación centrada en insumos se enfoca en
conseguir la asignación de los recursos presupuestarios y en garantizar la inversión asumiendo una relación
determinística del insumo para generar el producto y el impacto; por su parte, la evaluación por resultados
prioriza los efectos que generan las intervenciones y evalúa para verificar y probar la hipótesis respecto al
2 Aunque a veces se encuentran resultados y beneficiarios más allá de los previstos o efectos positivos y/o negativos no previstos. 3 Existen criterios de Pertinencia, Confiabilidad, Independencia, Aplicabilidad, Utilidad y Apropiación que la Evaluación en toda institución debe reunir. En el caso del BCIE se han incluido como parte de la actualización del Sistema de Evaluación de Impacto en el Desarrollo SEID 1.0, derivada de las reformas del Plan de Modernización y expuestos en el documento institucional “Valoración Externa Independiente de la Metodología y Aplicación del Sistema de Evaluación de Impacto en el Desarrollo: Análisis basado en el I-BCIE”, documento en base documental ODE.
9
modelo insumo–producto, y causa–efecto. Ejemplo: mientras una iniciativa contra la desnutrición, centrada
en insumos, se enfocaría en conseguir la asignación presupuestaria de mayores raciones de alimentos; la
administración por resultados mediría las tasas de desnutrición y buscaría bajar las tasas de desnutrición
(eficacia) con el uso óptimo de las raciones de alimentos (eficiencia).
El modelo de administración por resultados estudia y custodia la secuencia causal entre insumos y resultados
para determinar la eficiencia y eficacia de la intervención en el logro de los objetivos encomendados.
Para lograrlo se apoya en la evaluación de impacto que se puede demostrar a través de la Cadena de
Resultados ilustrados en la Figura 1. En la misma se puede observar que la asignación y transformación
de los insumos (recursos) conduce a la obtención de productos, y que, en función de la cantidad, calidad,
oportunidad y pertinencia de los productos, se generarán los efectos propuestos. Este enfoque, también
conocido como análisis de lógica vertical, ha sido incorporado en el Sistema de Evaluación de Impacto en
el Desarrollo del BCIE (SEID), a través de la puesta en marcha del I-BCIE 1.0, derivado de las reformas del
Plan de Modernización. La evaluación ex ante se encuentra en operación completa, y a través del presente
documento se han diseñado los instrumentos requeridos para implementar la evaluación de medio término
y ex post.
Figura 1 - Cadena de Resultados para la Evaluación
Administración del
Resultado
Enfoque
Insumo
RESULTADO
PRODUCTO
INSUMO
Efectos de largo plazo
Operación: evaluación ex post en el BCIE
Efectos de mediano plazo
Efectos de corto plazo
Servicios o productos
Proceso de transformación de
insumos (Ejecución: evaluación medio término en el BCIE)
Presupuesto (Preparación- Análisis-Aprobación: e v a l u a c i ó n ex ante en el
BCIE)
Impacto
Efectos Directos
Efectos de la intervención
Fuente: Elaboración ODE con base en la Cadena de Resultados de la Comisión Económica para América Latina y el Caribe (CEPAL).
10
7.1 La evaluación en el BCIE
La evaluación en el BCIE durante los últimos cinco años, así como el presente mecanismo, está basada en
la medición “Antes versus Después”4, la misma proviene de una adaptación de la metodología GPR de la
DEG de Alemania; se adaptó en su primera generación en el BCIE en los años 2009-2013 y, derivado de
las reformas del Plan de Modernización, se llevó a cabo su actualización en el año 2013 (SEID 1.0). Esta
actualización incluye su extensión hasta la implementación de la evaluación de medio término y ex post
(razón de ser del presente mecanismo); la metodología consiste en seguir la cadena de resultados, a partir de
los objetivos de desarrollo inicialmente planteados (ex ante), para luego medir y verificar la transformación
de los insumos en productos (medio término) y cuantificar los efectos resultantes a partir de los productos
– ex post (ver Figura 1). Según la OECD, el Banco Mundial y el Evaluation Cooperation Group (ECG), la
evaluación “Antes versus Después” es una alternativa para cuantificar impactos. La evaluación “Antes
versus Después”, como toda evaluación, debe tener el cuidado que no caer en sesgos de atribuibilidad;
es decir, cuando existan otros factores (ajenos a la intervención) que causaron el cambio en el desarrollo,
se debe documentar y analizar en el informe de evaluación correspondiente, para lo cual la Oficina de
Evaluación ha diseñado los instrumentos correspondientes por sector y subsector.
Para asegurar la debida medición de la atribuibilidad se han incorporado tres nuevas categorías en los
instrumentos, estas categorías son:
• Para cada intervención se determinarán los cambios en la realidad socioeconómica local derivados
directamente de la intervención.
• Contribución sectorial de la intervención.
• Contribución de la intervención a nivel nacional.
Estas tres categorías serán investigadas para los casos a evaluar, mediante una investigación de campo con
indicadores particulares para cada caso, y así determinar el impacto en el desarrollo.
Adicionalmente a la evaluación “Antes versus Después”, de la metodología I-BCIE, la Oficina de Evaluación
(ODE) también podrá realizar evaluaciones aplicando otras metodologías de evaluación de impacto más
específicas, sin embargo más costosas, por lo que solamente serán utilizadas en casos puntuales. Las
alternativas existentes se pueden agrupar en dos categorías generales que son la evaluación a través de
diseños experimentales (aleatorios) y la evaluación a través de diseños no experimentales (no aleatorios).
Estos también son conocidos como evaluación “Con y Sin intervención”5, ya que se estima un contrafactual
(cuál hubiera sido el resultado para los participantes sino hubieran participado en la intervención) que luego
es comparada con el tratamiento (participantes de la intervención). La Oficina de Evaluación (ODE) podrá
incluir evaluaciones de este tipo en el Plan Anual de Evaluación (PAE); asegurándose de gestionar los recursos
presupuestarios para su implementación ya que los datos que se requieren para estas evaluaciones vuelven
necesaria una investigación específica que no se genera en el ciclo de proyectos institucional actual.
4 The before versus after impact measure is accepted by the OECD, ECG, IADB and WB. 5 Que también comparan antes y después a la hora de implementarse.
11
8. Completando el Ciclo de Evaluación: alineamiento de la evaluación ex ante, medio término y ex post a través de instrumentos secuenciales
Como parte de la implementación de la actualización del Sistema de Evaluación de Impacto en el Desarrollo
(SEID 1.0), para los cuales se crearon los nuevos instrumentos para la etapa ex ante, la Oficina de Evaluación
(ODE) completa el ciclo de la evaluación proponiendo los nuevos instrumentos para las evaluaciones de
medio término y ex post. De esta manera entrará en completa implementación el nuevo Índice BCIE de
Impacto en el Desarrollo (I-BCIE 1.0). Los instrumentos han sido diseñados teniendo en cuenta las mejores
prácticas del Evaluation Cooperation Group (ECG) y alineados desde que se diseñó la etapa ex ante con el
fin de evitar discrepancias de indicadores, criterios e inclusive buscando mantener uniformidad en el diseño
de cuestionarios para facilidad de aplicación por parte del usuario. Con esta secuencia de evaluación la
Oficina de Evaluación (ODE) podrá poner en práctica la Cadena de Resultados para la Evaluación ilustrada
en el Figura 1.
Se ha trabajado en seguimiento al tratamiento acordado para los instrumentos ex ante, para que los nuevos
instrumentos para medio término y ex post mantengan las siguientes características:
• Menor número de Indicadores.
• Indicadores medibles.
• Indicadores concisos.
• Indicadores pertinentes por sector.
• Mayor focalización en resultados del proyecto.
• Eliminación de redundancias.
• Obtención de indicadores macro a través de una base de datos centralizada.
• Homogenización del Componente de Efectividad Institucional entre sectores.
8.1 Se continúa con la sectorización de los instrumentos desde ex ante hasta medio término y ex post.
Los instrumentos se han diseñado considerando los sectores y subsectores más comunes en las
intervenciones que el Banco financia.
Desde la evaluación ex ante hasta la evaluación medio término y ex post se utilizarán instrumentos por
subsectores dentro de los sectores de Infraestructura, Productivo y Financiero, que pueden ser de tipo
privado, público soberano y no soberano.
12
Agronegocios,
Desarrollo Rural y
Riego
Industria
Línea Global de
Crédito (LGC)
Línea de
Contingencia de
Banco Central
Línea de Garantía
Fondo de Inversión-
Capital
Deuda Subordinada
Infr
ae
stru
ctu
ra
Pro
ductivid
ad
Finan
cie
ro
Figura 2 – Oficialización de la Sectorización de Instrumentos Secuenciales para las Etapas de Medio Término y Ex Post
Vial
Energía
Agua y Saneamiento
Salud
Educación
Puertos y
Aeropuertos
Hotel
Seguridad
Vivienda
Telecomunicaciones
Transporte
Edificaciones
8.2 Componentes
Los instrumentos para medio término y ex post están integrados por los siguientes dos componentes:
1. Componente de Resultados en el Desarrollo de la Intervención:
Este busca evaluar los efectos e impactos de la intervención considerando el objetivo de la misma, a través
de un análisis de lógica vertical que consiste en la identificación de los productos, efectos e impactos que
ésta generará. Por medio de este proceso se obtiene un Marco de Resultados de la intervención.
Este componente se subdivide en:
a. Objetivo: Impacto intencional esperado que contribuye a generar beneficios físicos, financieros,
institucionales, sociales, ambientales o de otra índole a una sociedad, comunidad o un grupo de
personas mediante la intervención para el desarrollo.
b. Productos: Determina los resultados de corto plazo que se realizan o realizaron para lograr el
objetivo.
c. Efectos: Establece los resultados que se obtienen a mediano plazo logrados por los productos de
una intervención.
d. Impactos: Efecto de largo plazo positivo y negativo, primario y secundario, producido directa o
indirectamente por la intervención para el desarrollo, intencionalmente o no.
13
2. Componente de Efectividad Institucional en el Desarrollo:
Se refiere a una lista de variables que evalúan el alineamiento estratégico de la intervención, la calidad
del diagnóstico del problema de desarrollo y sus posibles soluciones, su grado de sostenibilidad y el valor
agregado del BCIE. El fin es determinar la efectividad del BCIE en el cumplimiento de su misión a través de
los resultados de desarrollo que busca la intervención.
Este componente se subdivide en:
a. Relevancia Estratégica: Mide el alineamiento de la intervención con la Estrategia Institucional y los
ODM.
b. Evaluabilidad: Mide la calidad del diseño de la intervención para lograr el objetivo propuesto, el
grado en que los resultados esperados de la intervención son verificables y creíbles, así como la
sostenibilidad de la misma.
c. Adicionalidad: Identifica el valor agregado que el BCIE ha aportado a la intervención.
8.3 Criterios de valoración
A la hora de hacer el cálculo del I-BCIE de medio término y ex post, el I-BCIE 1.0 analiza las intervenciones
desde los dos componentes antes descritos.
Cada componente obtiene una calificación independiente, éstas se consolidan para obtener el cálculo
global del I-BCIE cuya puntuación total es de 500 puntos, distribuidos de la siguiente forma: 375 puntos para
el primer componente y los restantes 125 puntos para el segundo. Cabe destacar que la nueva herramienta
busca evaluar primordialmente los efectos esperados derivados del objetivo de la intervención y en menor
medida otros indicadores que pudiesen ser efectos colaterales de ésta, es por ello que el 90% del total
de los puntos corresponden a los indicadores vinculados con el fin de la intervención (Componente de
Resultados en el Desarrollo de la Intervención más el subcomponente de Evaluabilidad).
Conforme a la puntuación alcanzada, las intervenciones, independientemente si la evaluación es ex ante,
medio término o ex post, se clasifican en tres categorías: alto impacto, impacto satisfactorio y bajo impacto
(Tabla 1). Estas categorías también aplican a los dos componentes de la herramienta de manera individual.
14
Tabla 1 – Oficialización de las Categorías de Impacto Total I-BCIE
Impacto % Rango
Alto ≥ 70 % 350- 500
Satisfactorio ≥ 40 % 200- 349
Bajo < 40% 0- 199
En las Tablas 2, 3 y 4, se detalla la distribución de puntos por componentes y subcomponentes, mismos que
para mantener consistencia de la evaluación y permitir comparabilidad entre evaluaciones, es la misma
para todo el ciclo de la evaluación (evaluación ex ante, medio término, ex post).
Tabla 2 – Oficialización de los Criterios de Valoración para el Sector Infraestructura6
Infraestructura
Privado Público
Soberano
Público No Soberano
Componente de Resultados en el Desarrollo de la Intervención
Subcomponentes Puntos
Productos
375
105 105 105
Efectos 75 80 80
Impacto (Incluye Empleo Fijo) 195 190 190
Componente de Efectividad Institucional en el Desarrollo
Relevancia Estratégica
125
30 30 30
Evaluabilidad 75 75 75
Adicionalidad 20 20 20
Total 500 500 500 500
6
En las variables Beneficiarios y Empleo, se mantendrá otorgar puntaje adicional a intervenciones género positivas; así como en la variable Familias a Relocalizar si su efecto fuese positivo o en Sitios Culturales si su efecto no será negativo, no se restarán puntos. Contrario a estos casos, se valorará negativamente en las variables Familias a Relocalizar y Grupos étnicos, sitios arqueológicos, áreas protegidas y sitios culturales afectados. La variable Estudios realizados en Preinversión por BCIE, del subcomponente Productos, no se tomará en cuenta al momento del cálculo del puntaje.
15
Tabla 3 – Oficialización de los Criterios de Valoración para el Sector Productivo6
Productivo
Privado Público Soberano Público No Soberano
Componente de Resultados en el Desarrollo de la Intervención
Subcomponentes Puntos
Productos
375
105 105 105
Efectos 75 90 90
Impacto (Incluye Empleo Fijo) 195 180 180
Componente de Efectividad Institucional en el Desarrollo
Relevancia Estratégica
125
30 30 30
Evaluabilidad 75 75 75
Adicionalidad 20 20 20
Total 500 500 500 500
Tabla 4 – Oficialización de los Criterios de Valoración para el Sector Financiero6
Financiero
Contingencia
(Público/
Privado)
Garantía
(Público/
Privado)
Fondo Deuda/
Capital (Público/
Privado)
Deuda
Subordinada
Componente de Resultados en el Desarrollo de la Intervención
Subcomponentes Puntos
Productos
375
100 100 105 100
Efectos 70 75
Impacto (Incluye Empleo Fijo)
275
275
200
200
Componente de Efectividad Institucional en el Desarrollo
Relevancia Estratégica
125
30 30 30 30
Evaluabilidad 75 75 75 75
Adicionalidad 20 20 20 20
Total 500 500 500 500 500
16
8.4 Conformación global de la evaluación de impacto: el Ciclo de la Evaluación
La herramienta I-BCIE 1.0 se adapta al ciclo de proyectos, tanto en las etapas, como en los roles de los
participantes, teniendo en cuenta la nueva estructura organizacional.
La Administración es responsable de la evaluación ex ante, mientras que la función de evaluación de medio
término y ex post fue asignada a la Oficina de Evaluación (ODE) mediante la Resolución de Directorio No.
DI-83/2012. El ciclo de proyectos aprobado mediante la Resolución del Directorio No. DI-142/2012 plantea
tres sub-ciclos basados en los principios selectivos de impacto en el desarrollo, prudencia del riesgo y
sostenibilidad financiera que recomendó la Asamblea de Gobernadores a través del Plan de Modernización.
Un sub-ciclo se denomina de impacto en el desarrollo, aquí se le denomina como Ciclo de Evaluación, el
mismo reúne las etapas necesarias para alcanzar el ciclo de evaluación desde ex ante, medio término y hasta
ex post. Basado en los procesos actuales del ciclo de proyectos (resumidos en Identificación y Preparación;
Análisis y Aprobación; Ejecución y Operación; y Evaluación y Aprendizaje), así como en sus procedimientos
para operar resumidos principalmente en identificación, preparación, análisis, aprobación, formalización,
desembolso, supervisión, recuperación y evaluación, a continuación se presentan los roles y participantes
desde ex ante hasta ex post, desde una perspectiva general de roles de la Oficina de Evaluación (ODE) y la
Administración. Posteriormente, la Administración deberá definir las áreas técnicas que lo implementarán,
hasta liberar la información para el análisis de la Oficina de Evaluación (ODE). La Figura 3 muestra la
evaluación de impacto en el desarrollo del BCIE, descrita a manera de un ciclo, de la siguiente manera:
1. Revisión bianual: El Sistema de Evaluación de Impacto en el Desarrollo (SEID) que existe fue aprobado
en diciembre del año 2009 por la Administración Superior mediante la Resolución de la Presidencia
Ejecutiva No. PRE-90/2009 y se actualizó a raíz de las reformas del Plan de Modernización a través de
la Resolución de la Presidencia Ejecutiva No. PRE-45/2013 de septiembre de 2013, denominándosele
Sistema de Evaluación de Impacto en el Desarrollo - SEID 1.0 para ir registrando sus mejoras en el
tiempo. La revisión bianual consiste en un trabajo conjunto responsabilidad de la Administración y la
Oficina de Evaluación (ODE), la primera revisión se concluyó durante el último trimestre 2013 y primer
trimestre de 2014. Por lo que, la segunda revisión se realizará el último trimestre de 2015 y el primer
trimestre de 2016.
2. Evaluación ex ante, Administración: El Sistema de Evaluación de Impacto en el Desarrollo - SEID 1.0
establece la metodología y conlleva la aplicación de instrumentos, cuestionarios e indicadores para
realizar la evaluación ex ante; esta evaluación es realizada por las áreas técnicas de la Administración
bajo la modalidad de Autoevaluación, específicamente por la Gerencia de Sectores y Países (GERSYP)
a través de su equipo de analistas de evaluación, especialistas sectoriales y ejecutivos. El informe de
evaluación ex ante es incorporado al Dictamen de Crédito y elevado a las instancias aprobatorias.
17
3. Diseño de evaluaciones de medio término y ex post, Oficina de Evaluación (ODE): Partiendo de la
actualización conjunta de la metodología y considerando los indicadores que se utilizan en la evaluación
ex ante, la Oficina de Evaluación (ODE) diseña y presenta a la Administración el tipo de instrumentos
(cuestionarios y criterios) para el levantamiento de la información en las etapas de medio término y
ex post. Aquí existe una interacción de la Oficina de Evaluación (ODE) con el equipo de evaluadores,
especialistas sectoriales, supervisores y ejecutivos respecto al tipo de datos que se levantarán en ambas
etapas. La Oficina de Evaluación (ODE) sugiere las cláusulas que serán establecidas en cada evaluación
ex ante.
4. Levantamiento de datos de medio término y ex post, Administración: El llenado de los instrumentos
de medio término y ex post (contacto con el cliente) lo realizan las áreas técnicas de la Administración;
en esta interacción se determinan las modalidades operativas para obtener los datos, utilizando los
instrumentos de medio término y ex post presentados a partir de la etapa anterior. También se acuerda
el tipo de vaciado a utilizar en una base de datos en la Administración. Para su implementación, la
Administración establecerá los procedimientos y aplicativos correspondientes en coordinación con la
Oficina de Evaluación (ODE).
5. Base de datos de medio término y ex post, Administración: Una vez que los datos son levantados del
campo, la Administración revisará y validará previo a vaciarlos en la base de datos definitiva. Dicha base
de datos es remitida a la Oficina de Evaluación (ODE).
6. Evaluación de medio término y ex post, Oficina de Evaluación (ODE): El conjunto de intervenciones
para el desarrollo que serán sujeto de evaluación durante cada ejercicio, serán establecidas en el Plan
Anual de Evaluación (PAE). Para las cuales la Administración proveerá los datos de campo a la Oficina de
Evaluación (ODE). El análisis de datos permitirá a la Oficina de Evaluación (ODE) realizar la evaluación de
medio término y ex post para ser presentada al Directorio y a la Administración.
18
Figura 3 – La evaluación de impacto en el desarrollo del BCIE
8.5 Aplicación de la herramienta
En vista que las evaluaciones de medio término y ex post, para el caso de las operaciones que serán
susceptibles del SEID 1.0, serán la continuación de lo establecido en las evaluaciones ex ante, es decir,
sus cuestionarios e indicadores ya serán conocidos porque habrían sido establecidos durante las
evaluaciones ex ante, entonces el área técnica de la Administración llenará los espacios que
correspondan para cada caso, cuando se levante la información de medio término y cuando se levante la
información ex post.
9. Temporalidad
9.1 Aplicación de los cuestionarios
Los cuestionarios se han diseñado con el fin de medir el progreso en los efectos calculados durante la
evaluación ex ante. Se ha hecho un esfuerzo por mantener alineados los instrumentos para cada una de las
etapas del ciclo de evaluación.
La Tabla 5 muestra cuando se deben utilizar los cuestionarios del Sistema de Evaluación de Impacto en el
Desarrollo (SEID) y del Sistema de Impacto en el Desarrollo (SEID 1.0), según aplique y cuyos criterios se
resumen a continuación:
19
• Si es necesario realizar una evaluación de medio término o ex post a una operación a la que no
se le realizó una evaluación ex ante deberá utilizar los cuestionarios del Sistema Evaluación de
Impacto en el Desarrollo (SEID 1.0). Para estos casos el área técnica responsable del llenado de las
casillas de medio término y ex post deberá llenar las casillas que apliquen de Línea Base y Meta con
la información presentada en el dictamen, Perfil del Proyecto, Estudio de Factibilidad, entre otras
fuentes de datos disponibles y que deberá ser reportada en los cuestionarios.
• Existen 143 operaciones aprobadas en el período 2010 – 2013, que cuentan con una evaluación ex
ante, estas operaciones deberán utilizar los cuestionarios Sistema de Evaluación de Impacto en el
Desarrollo (SEID)7. En caso que durante el período 2010 – 2013 se haya aplicado algún cuestionario
de medio término utilizando los cuestionarios del Sistema de Evaluación de Impacto en el Desarrollo
(SEID), aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009, deberá
concluir el ciclo de evaluación con el mismo cuestionario ex post (casos sin previa evaluación ex
ante).
• Las operaciones aprobadas a partir del 1 de enero 2014 deberán utilizar los cuestionarios creados
para el Sistema de Evaluación de Impacto en el Desarrollo- SEID 1.0.
Tabla 5 – Criterios de la Aplicación de los Cuestionarios
Operaciones Cuestionario
Sin Ex Ante SEID 1.0
Con Ex Ante SEID (2010 -2013) SEID
Con Ex Ante SEID 1.0 (2014) SEID 1.0
7 Para estos casos se aplicarán los cuestionarios existentes del SEID aprobado mediante la Resolución No. PRE-90/2009. .
20
9.2 Evaluaciones de medio término
Los criterios de tiempo para realizar las evaluaciones de medio término se detallan en las siguientes
secciones de acuerdo al sector al que corresponden.
9.2.1 Proyectos del sector infraestructura
Los proyectos del sector de infraestructura y proyectos que incluyen un activo tangible se debe de realizar
cuando alcance el 50% de avance físico, sin que supere el 80% del mismo.
Para casos especiales de financiamiento a proyectos que ya estaban en ejecución, se analizará caso por caso
la temporalidad de la evaluación de medio término y ésta será consensuada al momento de la evaluación
ex ante con la Oficina de Evaluación (ODE) vía comunicación electrónica.
9.2.2 Proyectos del sector productivo
Los proyectos del sector productivo y proyectos que no incluyen un activo tangible, la evaluación se debe
realizar cuando el Plan Global de Inversiones (PGI) con recursos del BCIE se haya ejecutado en un 50% sin
que supere el 80% de ejecución. Queda a la discreción del proyectista la posibilidad de considerar el Plan
Global de Inversiones total del proyecto en función a la negociación realizada antes de la aprobación.
Para casos especiales de financiamiento a proyectos que ya estaban en ejecución, se analizará caso por caso
la temporalidad de la evaluación de medio término y ésta será consensuada al momento de la evaluación
ex ante con la Oficina de Evaluación (ODE) vía comunicación electrónica.
9.2.3 Operaciones del sector financiero
Para los casos de las operaciones de Líneas Globales de Crédito, en lo correspondiente a evaluar los efectos
en las Instituciones Financieras Intermediarias (IFI) e Instituciones Financieras No Bancarias (IFNB), en los
informes que realizan los funcionarios de la Administración durante su visita a estas instituciones, realizará
las siguientes preguntas y las incluirá en el informe de la visita:
• Número de empleados.
• Número de sucursales.
• Cartera de crédito.
• Préstamos otorgados por la IFI/IFNB.
• Clasificación de la cartera por sector.
21
En los casos de las Líneas de Garantía se deberá realizar una evaluación cuando haya transcurrido la mitad
del plazo en que fue otorgada la garantía.
Para los fondos de inversión la evaluación se debe realizar cuando el Plan Global de Inversiones (PGI) con
recursos BCIE se haya ejecutado en un 50% sin que supere el 80% de ejecución. Queda a discreción del
proyectista la posibilidad de considerar el Plan Global de Inversiones total del proyecto en función a la
negociación realizada antes de la probación.
Para las operaciones de Deuda Subordinada se deberá realizar una la evaluación seis meses después de
transcurrido el desembolso, en cada caso.
9.2.4 Beneficiarios de la intermediación
Los datos de los beneficiarios por cada desembolso se deberán registrar en la Ficha de Utilización de
Recursos (F1) aplicando los cuestionarios por cada programa de intermediación de acuerdo al Instructivo
de la Ficha de Justificación (F1) y las variables de interés que deberán levantarse.
1.4. Esto se considerará una evaluación de medio término por llegarse a conocer indicativamente el uso que
está haciendo la IFI o IFNB de los recursos del Banco. Dichos datos alimentarán una base de datos a partir
de la cual la Oficina de Evaluación (ODE) realizará muestreos de campo para verificar tanto el uso real de los
recursos del Banco, como sus efectos en el usuario.
9.3 Evaluaciones ex post
Los criterios de tiempo para realizar las evaluaciones ex post se detallan en las siguientes secciones de
acuerdo al sector al que corresponden.
9.3.1 Proyectos del sector infraestructura y productivo
Para el caso de las evaluaciones ex post del sector infraestructura o productivo se aplicará cuando los
proyectos hayan concluido la ejecución de desembolsos BCIE y haya transcurrido al menos 1 año.
Para fines operativos, la evaluación se podrá activar e iniciar una vez que haya transcurrido 1 año de la
finalización de la ejecución (desde el último desembolso con recursos del BCIE) y hasta 2 años después de
dicho momento (en todos los casos).
Al momento de la evaluación ex ante podrá dejarse previsto un tiempo distinto para aquellos casos que sea
co-financiado o que por su naturaleza la finalización de la ejecución no necesariamente represente el inicio
de la operación de la intervención; estos casos deberán ser acordados con la Oficina de Evaluación (ODE).
22
9.3.2 Operaciones del sector financiero
Línea de Contingencia de Banco Central, en caso de ejecutarse, deberá reportar cuales fueron los efectos
derivados de su utilización.
En los casos de las Líneas de Garantía se deberá realizar una evaluación al concluir el plazo en que fue
otorgada la garantía.
Para las operaciones de Fondos de Inversión la evaluación se debe realizar cuando hayan concluido la
ejecución de desembolsos BCIE y haya transcurrido al menos 1 año.
En los casos de las operaciones de Deuda Subordinada se deberá realizar una vez transcurrido un ejercicio
contable completo después de realizado el desembolso sin que pase un semestre posterior al cierre de
dicho ejercicio.
9.3.3 Beneficiarios de la intermediación
Haciendo referencia que a los beneficiarios registrados por cada desembolso durante la fase de medio
término, mencionado en la sección 9.2.4, se les realizará muestreo para la evaluación ex post en la cual se
visitará en campo el impacto de la intervención.
La evaluación ex post a beneficiarios de la intermediación se podrá aplicar a los beneficiarios de las líneas
globales de crédito para los que ha transcurrido 2 años (subclasificar según los programas del BCIE) desde
la ejecución del desembolso. La intención es medir los efectos en los prestatarios finales. Para cada año se
desarrollará el marco muestral y trabajo de campo.
10. Cláusulas sugeridas en los contratos de crédito8
Para facilitar la implementación se han recogido algunas cláusulas sugeridas para incluir en los contratos con
el objetivo de asegurar que el cliente conozca de antemano que el Banco realizará estas evaluaciones. Se
requiere que cada operación, desde los Proyectos de Resolución, conste que la operación deberá satisfacer
la información de medio término y ex post que requerirá el BCIE.
Las cláusulas son establecidas durante la evaluación ex ante y para casos especiales de definición de
cláusulas se podrán consensuar con la Oficina de Evaluación (ODE) vía comunicación electrónica.
8 Por cláusulas sugeridas se refiere a que el área jurídica tiene la última palabra en la redacción de documentos contractuales.
23
10.1 Proyectos de infraestructura
ARTÍCULO _.-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO
- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance físico del
proyecto y que no supere el 80%, de acuerdo al criterio del supervisor de proyectos del BCIE.
Se entregará el I-BCIE de Medio Término de conformidad a los requisitos institucionales previamente
establecidos. En caso contrario, no podrán realizarse desembolsos posteriores.
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término en los términos
expuestos en el artículo. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE ex
post una vez transcurrido 1 año del último desembolso con recursos del BCIE sin que pasen 2 años del
mismo.
10.2 Proyectos productivos y casos que no incluyen un activo tangible
ARTÍCULO .-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO
- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance del PGI con
recursos BCIE9 y que no supere el 80%.
Se entregará el I-BCIE de Medio Término de conformidad a los requisitos institucionales previamente
establecidos. En caso contrario, no podrán realizarse desembolsos posteriores.
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término en los términos
expuestos en el artículo. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE ex
post una vez transcurrido 1 año del último desembolso con recursos del BCIE sin que pasen 2 años del
mismo.
9 Queda a discreción del proyectista la posibilidad de considerar el Plan Global de Inversiones del total de la iniciativa en aquellos casos que
exista otros financiadores, lo anterior en función a la negociación realizada con los participantes en el financiamiento de la iniciativa antes de la aprobación.
24
10.3 Operaciones sector financiero
10.3.1 Institución Financiera Intermediaria (IFI) e Instituciones Financieras No Bancarias (IFNB)
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
La IFI proporcionará los documentos e información adicional que el BCIE solicite con el propósito de amparar
cualquier evaluación de impacto sobre la Institución o sus beneficiarios.
10.3.2 Línea de Contingencia de Banco Central
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Ex post.
En caso de realizar un desembolso, entregar a satisfacción del BCIE, los documentos de evaluación del
I-BCIE ex post seis meses después de transcurrido el desembolso.
10.3.3 Línea de Garantía
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término después de
transcurrido la mitad del plazo en el que se otorgó la garantía. Y entrega a satisfacción del BCIE de los
documentos de evaluación del I-BCIE ex post una vez concluido el plazo de la garantía.
10.3.4 Fondos de Inversión
ARTÍCULO .-CONDICIONES PARA LOS DESEMBOLSOS DEL PRÉSTAMO
- Sección _. . Condición Previa al siguiente desembolso una vez alcanzado el 50% de avance del PGI con
recursos BCIE10 y que no supere el 80%.
Se entregará el I-BCIE de Medio Término de conformidad a los requisitos institucionales previamente
establecidos. En caso contrario, no podrán realizarse desembolsos posteriores.
10 Queda a discreción del proyectista la posibilidad de considerar el Plan Global de Inversiones del total de la iniciativa en aquellos casos que
exista otros financiadores, lo anterior en función a la negociación realizada con los participantes en el financiamiento de la iniciativa antes de la aprobación.
25
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término en los términos
expuestos en el artículo. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE ex
post una vez transcurrido 1 año del último desembolso con recursos del BCIE sin que pasen 2 años del
mismo.
10.3.5 Deuda Subordinada
ARTÍCULO _.-OBLIGACIONES GENERALES DE HACER
- Sección _. . Entrega de I-BCIE de Medio Término y Ex post.
Entregar a satisfacción del BCIE, los documentos de evaluación I-BCIE de Medio Término seis meses después
de transcurrido el desembolso. Y entrega a satisfacción del BCIE de los documentos de evaluación del I-BCIE
ex post una vez transcurrido un ejercicio contable completo después de realizado el desembolso sin que
pase un semestre posterior al cierre de dicho ejercicio.
11. Operaciones identificadas para un tratamiento específico
El Banco enfrenta una realidad, y es que no a todas las operaciones es viable aplicarles el SEID 1.0, ya que
resulta pertinente compararlas con la evaluación ex ante vigente a la hora de su aprobación. Igualmente
existen operaciones que por su nivel de ejecución o por asuntos contractuales, se les puede aplicar la
evaluación de medio término y la evaluación ex post, pero existen otras que solamente son susceptibles de
alguna de ambas evaluaciones. Por lo antes dicho, se ha realizado un análisis y a continuación se expone los
tratamientos específicos necesarios.
Del 31 de diciembre 2009 hacia atrás:
1. Se cuenta veintiuno operaciones que siguen siendo parte de la presa crediticia, que se encuentran en
proceso de ejecución, que se les aplicará el instrumento ex post del Sistema de Evaluación de
Impacto en el Desarrollo (SEID 1.0), aprobado mediante la Resolución No. PRE-45/2013 del 19 de
septiembre de 2013. Cuestionarios Sector Infraestructura, Productivo y Financiero. Dentro de éstas
se encuentra la operación “Programa de Equipamiento Hospitalario”, préstamos 1849, 1849 A, 1849 B
y 1849 C, que cuatro tramos diferentes, dos se encuentran en operación, uno en escrituración y otro
en consecución de recursos, por tanto partiendo del momento en que se concluya el último tramo,
se realizará una sola evaluación ex post cuando el programa haya concluido la ejecución de
desembolsos BCIE y haya transcurrido al menos 1 año.
26
2. Existen trece operaciones, que ya concluyeron desembolsos entre los años 2010 - 2013, a las que se
les aplicará el instrumento ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID 1.0),
aprobado mediante la Resolución No. PRE-45/2013 del 19 de septiembre de 2013. Cuestionarios
Sector Infraestructura, Productivo y Financiero.
Durante el período del 1 de enero 2010 al 31 de diciembre 2013 el BCIE aprobó 143 operaciones, las cuales
cuentan con evaluación ex ante, mismas que en determinado momento de su ejecución u operación deberán
de cumplir con evaluaciones de medio término y ex post. Las Líneas Globales de Crédito. De los Proyectos
y Líneas de Crédito aprobadas durante este período y que requerirán de evaluaciones de medio término o
ex post, se realizarán los siguientes tratamientos específicos:
1. Quince Operaciones que se encuentran solamente aprobadas, que cuentan con evaluación ex ante, a
las que se les realizará evaluaciones de medio término y ex post, aplicándoseles los instrumentos del
Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-
90/2009 del 18 de diciembre de 2009.
2. A quince operaciones que se encuentran escrituradas, se les deberá de aplicar evaluaciones de
ex post aplicando los cuestionarios del Sistema de Evaluación de Impacto en el Desarrollo (SEID)
aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009. La evaluación ex
post de cada proyecto se deberá levantar cuando los proyectos hayan concluido la ejecución de
desembolsos BCIE y haya transcurrido al menos 1 año.
3. A cuatro operaciones que se encuentran en ejecución, que en sustitución del Informe de Terminación
del Proyecto (ITP) o Informe de Finalización de la Intervención de Desarrollo (IFID) se les deberá
aplicar el instrumento ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado
mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009.
4. Se cuenta con veintitrés operaciones que se encuentran en ejecución, que se les aplicará el
instrumento medio término y ex post del Sistema de Evaluación de Impacto en el Desarrollo (SEID)
aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009; al Programa de
Financiamiento del Plan de Agricultura Familiar y Emprendedurismo Rural para la Seguridad Alimentaria
y Nutricional sólo se le aplicará la evaluación ex post.
5. Existen tres operaciones que se encuentran en ejecución, que amparándose en el contrato, se les
levantará evaluaciones de medio término y ex post usando los instrumentos del Sistema de
Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE- 90/2009
del 18 de diciembre de 2009.
6. A 2 operaciones que se encuentran en operación, que se les realizarán evaluaciones ex post aplicando
los instrumentos del Sistema de Evaluación de Impacto en el Desarrollo (SEID), aprobado mediante la
Resolución No. PRE-90/2009 del 18 de diciembre de 2009, en sustitución
27
del Informe de Terminación del Proyecto (ITP) o Informe de Finalización de la Intervención de Desarrollo
(IFID).
7. Existen tres operaciones, que ya han finalizado desembolsos, que ya cuentan con el levantamiento de
datos de medio término, a las que se les aplicará la evaluación ex post usando los instrumentos del
Sistema de Evaluación de Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-
90/2009 del 18 de diciembre de 2009.
8. Existen cuatro operaciones, que se encuentra en operación, que amparándose en el contrato, se les
realizará la evaluación ex post aplicando los instrumentos del Sistema de Evaluación de Impacto en el
Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de
2009.
Para los siguientes casos particulares se ha acordado con la Administración el siguiente tratamiento:
1. A la operación SIEPAC de Costa Rica, aprobada con fecha 24 de septiembre 2008 bajo la Resolución DI-
191/2008, se le aplicará el cuestionario de evaluación ex post, del Sistema de Evaluación de Impacto en
el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre de 2009.
2. A la operación Programa de Apoyo al Desarrollo de los Departamentos de Chimaltenango, Sololá y
Totonicapán” - República de Guatemala, aprobada con fecha 17 de Septiembre de 2001 mediante la
Resolución DI-84/2001, se le aplicará el cuestionario de evaluación ex post, del Sistema de Evaluación de
Impacto en el Desarrollo (SEID) aprobado mediante la Resolución No. PRE-90/2009 del 18 de diciembre
de 2009. Debido a que ya cuenta con una evaluación de medio término.
Finalmente, si por alguna razón existen casos en que se levantó la información utilizando el cuestionario
del Sistema de Evaluación de Impacto en el Desarrollo (SEID), aprobado mediante la Resolución No. PRE-
90/2009 del 18 de diciembre de 2009, se usarán dichos datos para el análisis de la Oficina de Evaluación
(ODE), siempre que estén debidamente validados por el área que corresponda de la Administración.
En los casos que ya se cuente con un Terminación del Proyecto (ITP) o Informe de Finalización de la
Intervención de Desarrollo (IFID) se deberá aceptar como válido y la Oficina de Evaluación (ODE) recibirá
dicha información para análisis, únicamente para aprobaciones previas al 31 de Diciembre del año 2009.
12. Plan Anual de Evaluación (PAE): instrumento para el traslado de datos oficiales
Cada año, en el Plan Anual de Evaluación (PAE), la Oficina de Evaluación (ODE), siguiendo la normativa
vigente, establecerá el conjunto de intervenciones para el desarrollo que serán objeto de análisis de los
datos recolectados de medio término y ex post para realizar los informes de evaluación correspondientes.
Igualmente, en caso de hacer muestreos de campo de beneficiarios IFI, lo consignará en el instrumento
28
anual de PAE. La Administración proveerá a la Oficina de Evaluación (ODE) la información recolectada de
campo contando con la validación técnica del área que designe para tal fin. Para esto tendrá procedimientos,
instructivos propios formalizados con base al presente mecanismo y desarrollará los aplicativos necesarios
para darle la fluidez necesaria a la labor de evaluación de la Oficina de Evaluación (ODE) en materia de
medio término y ex post.
Adicionalmente la Oficina de Evaluación (ODE) podrá requerir datos para evaluar casos especiales que no
estén incluidos en el Plan Anual de Evaluación (PAE), cuando así le requieran las instancias decisorias.
13. Recolección de datos: el análisis y evaluación posterior de la Oficina de
El presente documento contiene los cuestionarios (indicadores) y los criterios necesarios para completar
un mecanismo de suministro de datos de la Administración a la Oficina de Evaluación (ODE) para permitir la
evaluación de medio término y ex post en esta última dependencia. Es decir, a través del mecanismo se forma
la estructura necesaria para el levantamiento y suministro de datos consistentes desde las intervenciones
en los países hasta la Oficina de Evaluación (ODE). Para completar el mecanismo es necesario que a partir de
los cuestionarios (conteniendo los indicadores) y criterios establecidos por la Oficina de Evaluación (ODE) en
el presente documento, la Administración Superior proceda a instruir a las áreas técnicas correspondientes
para que, en coordinación con la Oficina de Evaluación (ODE), se lleven a cabo los siguientes pasos:
• Calibraciones y pruebas.
• Actualización de procedimientos.
• Producción de los aplicativos necesarios para la implementación.
• Demostraciones y Capacitaciones a los funcionarios que levantarán la información de campo y a
quienes validaran los datos para ser suministrados a la Oficina de Evaluación (ODE).
• Inicio de su aplicación oficialmente a partir del 1 de enero de 2015.
Con lo anterior el mecanismo de levantamiento de datos estaría estructurado consistentemente para que la
Oficina de Evaluación (ODE) pueda recibir datos en cantidad y calidad, debidamente validados.
13.1 ¿Qué hará la Oficina de Evaluación (ODE) con los datos?
Anualmente, en el Plan Anual de Evaluación (PAE), se listaran las intervenciones a evaluar tanto en la etapa
de medio término como en la etapa ex post (tal como en el año 2014 se incluyeron 11 intervenciones que se
están evaluando de manera piloto); el mecanismo debe generar los datos utilizando los instrumentos aquí
contenidos, y entregarlos a la Oficina de Evaluación (ODE). Una vez recibidos, los datos de cada intervención
pasarán por el proceso dentro de la Oficina de Evaluación (ODE) que se describe a continuación y que se
ilustra en la Figura 4:
29
1. Validación de la consistencia de los datos (pruebas de estadística descriptiva y observación de datos).
Solicitud de nueva información a la Administración en caso de detectarse faltantes o necesidades de
aclaraciones.
2. Una vez se tenga la conformidad de los datos y sus sustentos, él o la analista de la Oficina de Evaluación
(ODE) procederá al cálculo del Índice BCIE de Impacto en el Desarrollo (I-BCIE 1.0) de medio término o
ex post, según corresponda.
3. Seguidamente, se procederá a generar la ficha I-BCIE de la intervención que este evaluando, incluyendo
en el informe el cálculo del I-BCIE, en la ficha hará un análisis del resultado versus la evaluación ex ante
para generar lecciones específicas del caso.
4. Estas fichas I-BCIE serán compartidas con la Administración y con el Directorio.
5. Paralelamente, el analista de evaluación (ODE) hará un plan de visitas de campo para cada caso evaluado
(descrito anteriormente); el objetivo será completar información que le permita realizar una evaluación
de impacto capaz de explicar la contribución de las intervenciones evaluadas en los siguientes tres
aspectos:
a. Contribución sectorial de la intervención.
b. Cambios en la realidad socioeconómica local derivados de la intervención.
c. Contribución de la intervención a nivel nacional.
Para lo anterior se ha introducido un campo en cada cuestionario con el fin de reflejar que esta tarea
la hará el analista de la Oficina de Evaluación (ODE) de manera independiente para verificar en campo
los cambios derivados por la intervención (before versus after).
6. Con las fichas I-BCIE generadas a partir de los datos producidos por el mecanismo de suministro de datos
de la Administración a la Oficina de Evaluación (ODE), sumado a la información de campo recolectada
caso por caso (que debe explicar el aporte a las comunidades, de manera sectorial, y al nivel nacional),
la Oficina de Evaluación (ODE) elaborará el “Informe Anual de Evaluaciones de Medio Término y
Ex Post” en donde consignará las lecciones individuales de cada intervención evaluada, así como
aquellas generalizaciones que le permitan los hallazgos para continuar mejorando el impacto del
Banco en el desarrollo de la región.
7. La información producida en Informes y Notas técnicas será discutida con la Administración y el Comité
de Directores de Estrategia y Programación, previo a ser presentado al Directorio u otra instancia que
se le instruya a la Oficina de Evaluación (ODE).
30
Figura 4 – Proceso dentro de la Oficina de Evaluación (ODE) para las Evaluaciones de Medio Término y Ex post
11 En las aprobaciones del Quinquenio 2015 – 2019 que se inicia, se continuará midiendo la Relevancia Estratégica a través del Eje Estratégico y
Área de Focalización según el Manual para la Clasificación Estratégica de las Intervenciones para el Desarrollo (ID) aprobado por la Resolución PRE-58/2014; a partir de enero de 2015 no estará siendo incluido el objetivo estratégico en las valoraciones de las evaluaciones ex ante, lo cual se reflejará en sus correspondientes evaluaciones de medio término y ex post en el futuro.
139
Edificio Sede, Boulevard Suyapa, Apartado Postal 772, Tegucigalpa, Honduras, Teléfono (504) 2240-2146, (504) 2240-2133, derasj@bcie.org
www.bcie.org