Metodologa para evaluar esquemas de garantas pblicas

TALLER "LA MEDICIN DE LA ADICIONALIDAD, LA SOSTENIBILIDAD Y EL IMPACTO EN LOS SISTEMAS DE GARANTA

Rafael Gamboa GonzlezDirector General de FIRArafael.gamboa@fira.gob.mx

I. Objetivo de BD y lo que hace FIRA

II. Opciones de evaluacin de impacto existentes y sus dificultades para aplicarlas en la evaluacin de un esquema de garanta

III. Evaluaciones, resultados preliminares, prximos pasos y conclusiones

El papel de los bancos de desarrollo

Objetivo: brindar acceso al financiamiento a la poblacin subatendida o excluidade este servicio.

Falta de acceso al financiamiento representa un alto costo de oportunidad social(precio sombra).

Problema agente-principal: ante la presencia de asimetras de informacin y de dificultades del IF para hacer seguimiento de las acciones del deudor, el IF tiene incertidumbre y prefiere no financiar.

bien pblico: descubrir nuevos segmentos de poblacin o actividades que son bancables.

Esquema de garantas: Una herramienta para incentivar el acceso.

Fideicomisos Instituidos en Relacin con la Agricultura

Banca de segundo piso

Objetivo: apoyar programas de crdito del Gobierno Federal, mediante la canalizacin de recursos ala Banca Comercial, Uniones de Crdito, Almacenes Generales de Depsito, y dems IFNB quedetermine la SHCP, para que stos a su vez lo hagan llegar a productores a travs de prstamos dehabilitacin o avo y refaccionario para la agricultura, ganadera, avicultura, y otras actividades afines,o que se desarrollen en el medio rural.

Estrategia de atencin: FIRA es una banca de segundo piso; propicia que los IF privados canalicen losrecursos al sector rural.

Estructura: FIRA cuenta con ms de 100 oficinas de atencin en todo el pasla red de sus socios estratgicos: IF (bancarios, 23, y no bancarios, 75) yagentes tecnolgicos.

I. Objetivo de BD y lo que hace FIRA

II. Opciones de evaluacin de impacto existentes y sus dificultades para aplicarlas en la evaluacin de un esquema de garanta

III. Evaluaciones, resultados preliminares, prximos pasos y conclusiones

Evaluacin de impacto de una poltica pblica

Es una medicin de cmo una poltica pblica o un programa ha afectado los resultados (variables de impacto),sean intencionales o no intencionales.

Reto principal:

Requiere un contrafactual: cules habran sido los resultados en las variables de impacto en ausencia de laintervencin (grupo de control).

Cuantificacin del impacto: comparacin entre:o grupo tratadoo grupo de control

Mtodos ms utilizados para la medicin de impacto:

Enfoque experimental. El tratamiento y control se asignan aleatoriamente a una muestra de una poblacinelegible.Enfoque no experimental. Una vez que se ha llevado a cabo el tratamiento, se construye un grupo de controlcon poblacin no tratada que sea lo ms parecido posible al grupo tratado.Complemento con estudios cualitativos o de caso. Ayudan a comprender las percepciones y experiencias conlos esquemas de garanta pblicos y a explicar los resultados.

Ello no necesariamente implica que se dio acceso al crdito, es posible que se haya desplazadoa intermediarios financieros privados para dar el crdito.

Diagrama de causalidad del acceso que brinda un esquema de garanta pblica

Mtodos de evaluacin disponibles

Se planea la evaluacin antes de la implementacin del CGS (esquema de garanta de crdito, por sus sigas en ingls)?

Regresin discontinua

Pareamiento por puntajes de propensin

Diferencias en diferencias

Experimento aleatorioEs posible seleccionar beneficiarios del CGS al azar de un conjunto de

empresas previamente seleccionado?

Es posible medir y comparar los resultados de las empresas justo por encima y justo por debajo del umbral (variable exgena y sin control por

los acreditados) de aprobacin del CGS?

Existen datos completos disponibles para que las empresas receptoras y no receptoras del CGS puedan emparejarse entre los dos grupos?

Es posible encontrar y medir resultados para empresas similares a beneficiarios del CGS que no recibieron beneficios de CGS?

No SEnfoque experimental (prospectivo)

No experimental (retrospectivo)

Adaptado de Documento de consulta: Toolkit for Impact Evaluation of Public Credit Guarantee Schemes for SMEs (The World Bank Group)

No experimental (retrospectivo)

No experimental (retrospectivo)

Retos al evaluar un esquema de garanta pblico

Sesgos clsicos

Seleccin

Informacin

Confounding

Retos especficos de un esquema de garanta

El tratamiento no es homogneo ni nico ni excluyente.

Conformacin del grupo de control

Soluciones propuestas

Grupo de control interno

Uso de datos de registros administrativos

Esquema de garanta publica: Qu queremos/podemos evaluar?

Adicionalidad financiera intensiva:

Mejores condiciones: plazo adecuado, menor tasa de inters. Alternativa: usar a acreditados que

tengan al mismo tiempo crdito y sin garanta. La comparacin con otro grupo exige contar con

informacin perfecta de los procesos de decisin de los IF.

Adicionalidad financiera extensiva:

Solo es posible medir esto para lo que consiguieron acceder al mercado crediticio gracias a la

garanta (tambin llamado acceso). Evaluar esto para los que ya tenan acceso al mercado de

financiamiento exige contar con informacin perfecta de los procesos de decisin de los IF.

Adicionalidad econmica:

La evaluacin de impacto requiere medir todas las variables que pudieran afectar los resultados

econmicos de una empresa y, debido a la heterogeneidad de los tratamientos de los crditos, los

conceptos y plazos de inversin y a las fuentes de informacin, es un ejercicio complicado.

I. Objetivo de BD y lo que hace FIRA

II. Opciones de evaluacin de impacto existentes y sus dificultades para aplicarlas en la evaluacin de un esquema de garanta

III. Evaluaciones, resultados preliminares, prximos pasos y conclusiones

Enfoque no experimental: una solucin al problema del grupo de control

Si no se puede realizar un RCT, una solucin para el contrafactual es considerar a un grupo detratamiento que haya recibido la garanta en un ao posterior. Es decir, explotar la diferencia enel tiempo de exposicin al tratamiento (ver Duflo,2001).

Ejemplo:

Grupo de tratamiento 1: empresas que recibieron crdito con garanta por primera vez en2010.

Grupo de tratamiento 2 (control): empresas que recibieron crdito con garanta por primeravez en 2015.

Con estos grupos, se pueden estudiar las siguientes preguntas:

Adicionalidad financiera intensiva: si alguna empresa tuvo un crdito con y sin garanta almismo tiempo, fueron mejores las condiciones del crdito con garanta?

Adicionalidad financiera extensiva: las empresas que tuvieron un crdito con garanta,haban tenido antes un crdito formal?

Adicionalidad econmica: cul ha sido el cambio relativo en empleo y exportaciones de2010 a 2017 en ambos grupos (diferencias en diferencias)?

Fuente de los datos

Una evaluacin de impacto necesita informacin para un periodo de estudio que abarque algunos aos antes dela primera garanta y algunos aos despus. Las fuentes pueden ser:

1. Administrador del esquema de garanta.

Informacin del crdito que se apoya con la garanta (tasa de inters, monto contratado, plazo),idealmente obtenida de sus propios sistemas de informacin.

2. Las empresas como fuente de informacin.

Exige ir a campo (zonas rurales, comnmente alejadas), levantar cuestionarios para una muestrarepresentativa y, posiblemente, preguntas retrospectivas (calidad dudosa).

3. Registros administrativos como fuente de informacin

Se requiere un identificador comn en todas las bases de datos (DNI en Espaa, CURP/RFC en Mxico, RUTen Colombia).

Se necesitan acuerdos de confidencialidad entre las partes: entre el administrador del esquema degaranta y

el fisco (para ingresos)

el registro de trabajadores (empleos)

el administrador de los reportes de cartera de crditos (para conocer todos los crditos que los beneficiarios degaranta hayan tenido con otros IF).

Dirigido: Productores con unidades de baja escala orientadas al mercado.

Montos: Financiamientos de hasta 33,000 UDI para capital de trabajo y de hasta 33,000 UDIpara inversin fija.

Un productor puede tener varios crditos con garantas simultneos que formen parte delprograma siempre y cuando no se exceda el lmite establecido.

Servicio de garanta sin costo a travs de las cajas.

FIRA brinda capacitacin y consultora para la gestin para el crdito agropecuario y ruralen aspectos como: productos financieros, metodologas de anlisis, seguimiento y supervisin, capacidad para otorgar crdito y servicios a productores del segmento de empresa familiar.

Ejemplo 2: evaluacin de un esquema de garanta, Programa de agricultura familiar

SIN PROAF

SOCAP Identificansocios

Mayor porcentaje de crdito para consumo

Menor porcentaje crdito comercial

Monto Plazo Tasa de inters

Parmetros basados en crdito para consumo

Menor ingresoPara socio/empresa

Mayor ingreso para el

socio/empresa

Menor porcentaje de crdito para

consumo

CON PROAF: Esquema de causalidad

Mayor porcentaje de

crdito comercial

garantizado

Monto

Plazo Tasa de

inters

AF extensiva

AF intensiva

Adicionalidad econmica

Mayores ingresos

Mayor oferta

Incremento de empleos

SOCAP Identificansocios

PROAF y profesionalizacin

de procesos de crdito

FIRA

16

Resultados preliminares, evaluacin Programa de agricultura familiar

60 por ciento de los beneficiarios de PROAF nunca haban obtenido algn crdito con FIRA.

33 por ciento de los acreditados PROAF son mujeres.

90 por ciento de los acreditados del PROAF, que tuvieron anteriormente un crdito con FIRA,tenan un crdito vigente con FIRA y usaron PROAF para obtener un crdito adicional(adicionalidad extensiva).

95 por ciento de los acreditados de PROAF, que tuvieron anteriormente un crdito con FIRA,no tenan historial crediticio, es decir, sus anteriores crditos con FIRA fueron obtenidos atravs de un tercero (parafinancieras, principalmente).

Dentro de la poblacin beneficiaria, 2 de cada 3 crditos refaccionarios son fondeados atravs de PROAF.

Las SOCAP que adoptaron el PROAF mostraron una tendencia diferente en colocacin decartera de crdito comercial (mayor), un menor nivel de capitalizacin (indicando un uso mseficiente del capital) e ndice de morosidad (menor) en comparacin con las SOCAP que nohan operado el PROAF.

Conclusiones

La banca de desarrollo debe de enfocarse a evaluar su fin ltimo: acceso al crdito.

La evaluacin de la adicionalidad econmica tradicional es ms sobre el impacto del crditoque sobre el acceso al crdito..

Salvo en casos especiales, es demasiado complicado usar un grupo de control externo. Unaalternativa es explotar la diferencia en el tiempo de exposicin al tratamiento.

Los registros administrativos son una fuente confiable de datos, adems, su costo marginales cero.

FIRA evala tanto interna y como externamente de sus diversos esquemas de garantas.

Metodologa para evaluar esquemas de garantas pblicas

TALLER "LA MEDICIN DE LA ADICIONALIDAD, LA SOSTENIBILIDAD Y EL IMPACTO EN LOS SISTEMAS DE GARANTA

Rafael Gamboa GonzlezDirector General de FIRArafael.gamboa@fira.gob.mx

ANEXO Ejemplo: evaluacin externa de impacto del servicio de fondeo y apoyo tcnico de FIRA

Objetivo:Estimar el impacto en ventas, productividad y acceso a financiamiento que han tenido el fondeoy el apoyo tcnico otorgados a pequeas y medianas empresas en 2013 y 2014 en los estadosde Chiapas, Jalisco y Veracruz.

Esta estrategia es replicable directamente para evaluar crditos con garanta.

Principales retos:Generar retrospectivamente el contrafactual, i. e. el mundo en ausencia de los dos programas.Medir retrospectivamente las mtricas de inters.

Fuente de identificacin del impacto:La fuente de identificacin es la diferencia en el ao en que los productores recibieron fondeo oapoyo tcnico de FIRA por primera vez en el periodo 2011-2015. Los cohortes se integrananualmente.El grupo de control interno se integra por productores que recibieron fondeo o apoyo de FIRA porprimera vez en un ao distintoantes o despus.

Mtodo de estimacin:Diferencias en diferencias.

Ejemplo: evaluacin externa de impacto del servicio de fondeo y apoyotcnico de FIRA (cont.)

Ventajas: Evita problemas con la seleccin no aleatoria de los productores beneficiarios de FIRA

(podra introducir sesgos adicionales) No se necesita acceder a padrones externos y lograr la cooperacin de productores no

beneficiarios.Los datos relevantes de los productores beneficiarios se pueden recolectar mediante encuestas oregistros administrativos.

Encuesta:Se realiz un levantamiento en Chiapas, Jalisco y Veracruz a productores que han recibido fondeoy/o apoyo de FIRA. Se recolectaron 5,973 encuestas, en las cuales se recab en formaretrospectiva datos anuales para el periodo 2011-2015 de las variables de impacto y algunasotras de inters para FIRA.

Datos de registros administrativos:Se evit depender totalmente de la voluntad de las empresas para compartir informacin. Seutilizaron los registros administrativos contemporneos, antes y despus de la intervencin:datos de reportes crediticios, de trabajadores registrados y de impuestos (utilidades).

Anlisis cualitativo:Se realizaron entrevistas a profundidad que brindan otro enfoque del impacto de los productos yservicios de FIRA.

Ejemplo 2: evaluacin de un esquema de garanta, Programa de agricultura familiar

El FONAGA (Fondo Nacional de Garantas de los Sectores Agropecuario, Forestal, Pesquero y

Rural) es un sistema de garantas para la promocin y administracin de riesgos de crdito a:

sectores prioritarios

nuevos sujetos de crdito

productores de medianos y bajos ingresos

Objetivos de la modalidad bsica:

Impulsar el acceso al financiamiento para los productores con proyectos viables que nocuentan o tienen acceso insuficiente al crdito.

Fomentar el crdito para la capitalizacin y modernizacin de los productores rurales paraimpulsar sus niveles de productividad y su vinculacin al mercado.

Ampliar la participacin de los Intermediarios Financieros en la atencin de la poblacin demedios y bajos ingresos, en los que FIRA complementar acciones para organizacin de losproductores y estructuracin de los proyectos.

Programa de Agricultura Familiar (cont.)

Adicionalidad financiera intensiva (con variables a nivel de caja)

Las cajas que participan en el Programa de agricultura familiar son 18, entre 2014 yhasta la fecha.

La diferencia en el tiempo de entrada al programa se usa para estudiar el impacto envariables a nivel de caja como: monto de cartera de crdito comercial y nmero deacreditados comerciales.

Supuesto: Los plazos de los crditos de agricultura familiar se adecuan a los ciclos de produccin,por lo que, mientras el monto y el porcentaje de cartera comercial crezca, significara mejorescondiciones en los crditos derivado del Programa de agricultura familiar.

Adicionalidad financiera extensiva (con variables a nivel de productor)

Usando las bases de datos de FIRA se analiza si el productor beneficiario con elprograma haba tenido antes un crdito o no; y si al mismo tiempo, antes o despustuvo un crdito sin garanta y cules fueron las condiciones.

Promedio de cartera de crdito comercial vigente por cohorte(miles de pesos)

Durante 2014, para el cohorte 2015, cohorte 2016 y cohorte 2017, del total de la cartera de crdito

vigente la cartera de crdito comercial represent 32, 36 y 34 por ciento, respectivamente. Para

2016, esta razn cambi a 33, 39 y 33.

El cohorte 2015 presenta un aumento en su cartera de crdito comercial para cada cierre de ao. El

cohorte 2016 aumenta solo de 2015 a 2016 (ao en que empez a operar agricultura familiar).

0

20.000

40.000

60.000

80.000

100.000

120.000

140.000

160.000

180.000

2014 2015 2016

PROAF: cohorte 2015PROAF: cohorte 2016SIN PROAF: cohorte 2017

24

Resultados preliminares, evaluacin Programa de agricultura familiar

Las cajas beneficiarias perciben como una oportunidad el incrementar la cartera de crditoscomerciales sin aumentar los riesgos de irrecuperabilidad, debido a la garanta que otorga elprograma.

Las cajas con apoyo de expansin de estructuras perciben que el personal contratado(especialistas agropecuarios) para trabajar en campo les ayuda a colocar ms crdito en elsector debido al contacto y atencin directa con los productores.

Asimismo, las SOCAP registradas en PROAF sealan que el apoyo de fortalecimiento(capacitacin y consultora) ha permitido mejorar sus procesos de evaluacin de crditoagropecuario y sus estrategias de promocin de financiamiento, es decir, cada crditoconsidera las caractersticas particulares de cada productor.

Resultado de los esfuerzos en mejorar la evaluacin de los crditos, es que todos los crditosgarantizados con el Programa de agricultura familiar tienen condiciones de cobro de capital eintereses acorde a los ciclos o procesos productivos (flujo de la empresa), por lo que, el tipode crdito, plazo y tasa es diferente para cada productor.

La principal recomendacin de las SOCAP es aumentar el monto a garantizar por socio.