ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE PROGRAMAS...
-
Upload
oscar-rodriguez -
Category
Documents
-
view
151 -
download
2
description
Transcript of ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE PROGRAMAS...
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
Documento CEACS-DD.006.1
Título ALGUNOS CONCEPTOS BÁSICOS SOBRE
MÉTODOS CUANTITATIVOS APLICADOS A
LA EVALUACIÓN DE PROGRAMAS
SOCIALES . Autor(es) Oscar Rodríguez Nieto
Fecha Noviembre 30 de 2005
Temas Relacionados Metodologías de Investigación, Evaluación de programas y proyectos, Métodos Econométricos.
Resumen Medir el impacto que las intervenciones de un
programa o una política pública tiene sobre el
bienestar de los ciudadanos ha sido durante los
últimos quince años una actividad necesaria
dentro del accionar del estado, en la medida
que de esta manera es posible tomar decisiones
sobre el tipo de ejecutorias que resultan más
costo-efectivas y que permiten lograr de una
mejor manera los objetivos de las políticas
dentro de un escenario de recursos limitados.
Este documento presenta los principales
enfoques metodológicos utilizados
actualmente para la estimación estadística y/o
Econométrica de los impactos de dichos
programas.
Explora principalmente la técnica del
Propensity Score Matching y la estimación de
modelos estructurales de efectos marginales
por exposición diferencial al programa
CEACS CENTRO DE ESTUDIOS Y
ASESORÍAS EN
CIENCIAS SOCIALES
INFORMACIÓN DE CONTACTO:
Avenida 22 # 41-28 (402), La Soledad, Bogotá DC Teléfono: 2323253 Fax: 5701854
Sitio Web: www.ceacs.org Correo electrónico: [email protected]
Noviembre de
2005
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
NUEVAS METODOLOGÍAS DE FORMULACIÓN DE
INDICADORES DE SEGUIMIENTO Y EVALUACIÓN.
Por Oscar Rodríguez Nieto
Antecedentes de la evaluación de
programas
Medir el impacto que las intervenciones de un
programa o una política pública tiene sobre el bienestar
de los ciudadanos ha sido una actividad necesaria
dentro del accionar del estado, en la medida que de esta
manera es posible tomar decisiones sobre el tipo de
ejecutorias que resultan más costo-efectivas y que
permiten lograr de una mejor manera los objetivos de
las políticas dentro de un escenario de recursos
limitados.
Como lo explica el Banco Mundial en su manual de
evaluación de impacto1 “La evaluación de impacto es
especialmente importante en los países en desarrollo,
donde los recursos son escasos y cada dólar gastado
debe maximizar su efecto en la reducción de la
pobreza. Si los programas están mal diseñados, no
llegan a los beneficiarios previstos o despilfarran los
recursos, con la información adecuada es posible
rediseñarlos, mejorarlos o eliminarlos si se estima
necesario. El conocimiento obtenido de los estudios
para evaluar los efectos también proporcionará
información decisiva para el diseño adecuado de
programas y proyectos futuros”.
Desde principios del siglo XX fue una practica realizar
evaluaciones ex ante de los proyectos, especialmente
de los que involucraban obras públicas en donde
dependiendo de el nivel de profundidad del análisis se
definían etapas del proyecto de acuerdo con el nivel de
la evaluación (reconocimiento, prefactibilidad,
1 Baker, Judy “Evaluación de impacto de los proyectos de
desarrollo en la pobreza. Manual para profesionales” Banco
Mundial, Washington. 2000
factibilidad, diseño y ejecución) sin embargo no era
común encontrar que los supuestos y resultados de la
evaluación ex ante se verificarán después de realizado
el proyecto. En los proyectos y programas sociales, se
incorporó también la evaluación ex ante pero en las
décadas finales del siglo se impuso la necesidad de
llevar a cabo seguimiento y monitoreo del desarrollo de
los programas, así como la evaluación ex post de los
impactos.
Dentro de las características de los programas que
facilitan la correcta evaluación de impactos están2 los
siguientes:
o Objetivos claros y congruentes con metas
específicas de corto y largo plazo.
o Reglas de operación precisas y criterios claros
para la escogencia de los participantes
o Un buen conocimiento de las principales
características población beneficiaria.
o Información pertinente sobre indicadores
socioeconómico/demográficos apropiados
acorde metas programa (idealmente antes y
después del inicio del programa)
El problema del escenario contrafáctico
o contrafactual
Existen muchos enfoques de evaluación que van desde
los métodos exclusivamente cualitativos hasta modelos
de equilibrio general macroeconómico o estimaciones
econométricas sofisticadas mediante modelos
estructurales microeconómicos. El problema
2 Luis Rubalcava “Seminario Avanzado de Evaluación de
Impacto” (CIDE) Documento electrónico en
www.sedesol.gob.mx/subsecretarias/prospectiva/seminario/r
ubalcava/seminario_avanzado_sedesol_cide.pps
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
fundamental de la evaluación de impacto es poder
encontrar una estimación apropiada de lo que hubiese
sucedido (qué valores habrían tomado las variables que
se querían impactar) si el programa no hubiese
existido. A este concepto en la terminología de
evaluación se le denomina el “escenario contrafactual”
o counterfactual en inglés. La escogencia de una u otra
metodología para acceder a información que permita
estimar dicho escenario teórico o contrafactual, hace
que se generen sesgos e imprecisiones que se deben
corregir con nuevas metodologías, lo cual ha dado pie a
una cuantiosa literatura econométrica sobre el tema.
En general si la acción del programa es homogénea, es
decir las intervenciones que recibe cada participante
son similares y el impacto que genera el programa es
también homogéneo, es decir que los beneficios de
unos y otros participantes tienen poca variabilidad,
entonces la acción del programa se puede caracterizar
como una variable binaria que toma valor 1 cuando la
persona ha participado de dicha intervención y cero si
no ha participado, lo cual permite dividir la población
en dos subpoblaciones de participantes y no
participantes. Por otra parte si las características de las
dos subpoblaciones son similares en todas las variables
que pueden también influir en los resultados y sólo se
diferencian en la participación, se podría pensar que la
subpoblación de no participantes podría ser
representativa de la situación que tendrían los
participantes si no hubiesen participado. Este es el caso
en el cual los beneficiarios se escogen como en un
diseño experimental, es decir aleatoriamente dentro de
una población homogénea en ciertas condiciones
predefinidas. En estos casos, al escoger también una
muestra aleatoria dentro del grupo de los no
participantes, se caracterizaría la distribución de
probabilidades de los participantes en el escenario
contrafactual. Si además se cuenta con la información
de las variables de interés en un momento anterior al
comienzo del programa, bastaría con comparar los
cambios de dichas variables entre las dos muestras
aleatorias y se tendría el efecto neto del programa, sin
embargo si efectivamente las dos poblaciones tienen la
misma distribución de probabilidades en ausencia del
programa, incluso la medición inicial podría obviarse.
La estimación de los efectos se puede en estos casos
llevar a cabo mediante una prueba de diferencia de
medias tradicional3.
Sin embargo existen diferentes situaciones en las
cuales los métodos que deben aplicarse implican
variaciones al método básico, dentro de las cuales
caben las siguientes4:
o Cuando la escogencia de los participantes no es
aleatoria. En cuyo caso debe tenerse en cuenta
que la variable que caracteriza la participación
es endógena en el sistema, lo cual puede
constituirse en una fuente de sesgo,
denominada sesgo de selección5.
o Cuando adicionalmente no se ha levantado una
línea de base del programa que ofrezca
información de participantes y no participantes
antes de la intervención;
o Cuando existen efectos indirectos de un
tamaño significativo sobre algunos no
participantes del programa (vg. proveedores,
compradores, etc.)
o Cuando los beneficios de los participantes
pueden ser compartidos por estos con los no
beneficiarios, como pueden ser los efectos de
desborde (spill over) de la capacitación y
asistencia técnica
3 Si se han logrado establecer parejas participante-no
participante con características muy similares, como cuando
se evalúa un tratamiento médico aplicándolo a uno de dos
hermanos gemelos, se hace una prueba sobre la media de la
diferencia entre participante y no participante. Cuando no
existe una relación uno a uno y las varianzas se suponen
iguales se puede hacer una prueba de hipótesis sobre la
igualdad de las medias. 4 Rodríguez, Óscar (2005) “Algunos conceptos básicos sobre
métodos cuantitativos a aplicados a la evaluación de
programas sociales” en Documentos de Discusión, CEACS,
2005. 5 Heckman, J (1979) “Sample selection bias” en
Econometrica, Vol 47 pp 153-161
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
o Cuando el programa tiene diferentes formas de
intervención (tipos de tratamiento) y algunos
participantes reciben una menor intensidad de
tratamiento que otros;
o Cuando los criterios de selección de
beneficiarios no son siempre los mismos;
o Cuando el tipo de tratamiento que lleva el
programa también es ofrecido por otros
programas, a los cuales pueden acceder tanto
los participantes como los no participantes.
En resumen, y de acuerdo con Blundell &Costa (2000),
el método apropiado de evaluación depende en especial
de los siguientes criterios6:
o La naturaleza del programa. El programa
puede ser local o nacional, de pequeña escala o
global
o La naturaleza de las preguntas a responder. Se
debe determinar si quiere estimarse el efecto
del programa sobre la población en general, el
efecto del tratamiento sobre los participantes (y
quienes se les parezcan)7, o una extrapolación
de los impactos para simular los beneficios de
un nuevo programa.
o La naturaleza de los datos disponibles.
Depende de si existe información para antes y
después del programa, de si se aplicó el mismo
cuestionario a un grupo de control potencial, o
es necesario levantar la información.
A continuación se presenta un resumen de los métodos
tradicionales de evaluación cuantitativa .
6 Ver Blundell R. & Costa Dias, M. (2000) “Evaluation
Methods for non-experimental data” en Fiscal Studies vol
21 #4 p430, Institute of Fiscal Studies. 7 Estos dos primeros tipos de efecto dependen de si se puede
suponer que el efecto del programa es homogéneo, en cuyo
caso las dos medidas deben ser iguales o si el efecto es
heterogéneo, en cuyo caso se debe estimar el segundo al cual
en la literatura se le conoce como “effect of treatment on the
treated” ver Blundell &Costa Dias Op. Cit.
Metodologías más utilizadas8
El principal problema que se tiene en la evaluación de
impactos de un programa social es la imposibilidad de
contar con información relativa a la situación que
habrían tenido los individuos o familias que participan
en él si dicho programa no hubiese existido. De hecho,
el impacto sobre un individuo sólo se puede entender
como la diferencia entre su situación bajo la existencia
del programa y la situación que tendría si el programa
no hubiese nunca existido.
La literatura en evaluación económica y la experiencia
de los últimos treinta años en el tema ha llevado a
distintos tipos de soluciones para buscar una
aproximación a la medición de impactos, buscando
siempre mecanismos que permita hacer una estimación
razonable de los impactos mediante diferentes tipos de
supuestos. En todos los casos se encuentran estimativos
agregados para la media del impacto sobre los
participantes pero no pueden calcularse los impactos
para participantes individuales. Heckman (1999) ilustra
tres alternativas9 de métodos no experimentales:
o El estimador antes-después: Consiste en
utilizar información del individuo antes y
después de la intervención del programa y
supone que los resultados para un individuo en
el momento anterior al programa es una
aproximación aceptable de la situación que
tendría en ausencia del programa en un periodo
posterior. Se utiliza principalmente cuando
sólo se cuenta con información de los
participantes en el programa en datos
longitudinales o tipo panel de datos con por lo
menos un periodo antes y uno después de la
8 Esta sección se ha adaptado del marco conceptual
presentado por Econometría (2006) en “Determinación y
análisis en términos cuantitativos de los resultados
socioeconómicos del PADEMER en las familias atendidas”
informe para el Ministerio de Agricultura. 9 Ver Heckman et al (1999) “The economics and
econometrics of active labor market programs” Handbook of
Labor Economics Vol 3. Elsevier.
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
intervención. Resulta muy apropiado cuando
los principales factores económicos, sociales y
demográficos que pueden afectar a las
variables de resultado han demostrado ser
estables. Igualmente cuando se cuenta con un
número importante de periodos se pueden
realizar estimaciones econométricas “sin
programa” y extrapolar para periodos
posteriores que sean comparables con la
situación observada “con programa”.
Año
valor observadovalor observado
InformaciInformacióón Histn Históóricarica
sin programasin programa
predicciprediccióón n
sin programasin programa
BeneficiosBeneficios
estimadosestimados
InformaciInformacióón Histn Históóricarica
con programacon programa
Año
valor observadovalor observado
InformaciInformacióón Histn Históóricarica
sin programasin programa
predicciprediccióón n
sin programasin programa
BeneficiosBeneficios
estimadosestimados
InformaciInformacióón Histn Históóricarica
con programacon programa
o El estimador de diferencias en diferencias: Al
igual que en el método anterior se utiliza
información anterior y posterior a la
intervención del programa, pero dicha
observación se obtiene tanto para hogares y/o
individuos que participan y no participan en el
programa. Este método supone que los factores
económicos externos que influyen sobre las
variables de resultado actúan de igual manera
sobre los participantes que sobre los no
participantes y también supone que no existen
efectos del programa sobre los no
participantes. Es decir que se supone que el
cambio en las variables de resultado, en caso
de no haber programa serían las mismas. En la
medida que la estimación se hace para el
impacto medio, no es estrictamente necesario
utilizar información de las mismas personas
antes y después, siempre y cuando las dos
muestras se tomen sobre la misma población.
Al utilizar información de los no participantes
como estimativo de la situación de los
participantes en ausencia del programa, se está
suponiendo que no existen efectos del
programa sobre los no participantes o estos son
despreciables. Este supuesto es apropiado
cuando se considera que los efectos indirectos
del programa no son grandes
Año
participantesparticipantes
No participantesNo participantes
DiferenciaDiferencia
inicial.inicial.
primeraprimera
medicimedicióónn
AntesAntes Durante el ProgramaDurante el Programa
DiferenciaDiferencia
final.final.
Diferencia neta= Beneficio.Diferencia neta= Beneficio.
úúltima ltima
medicimedicióónn
Año
participantesparticipantes
No participantesNo participantes
DiferenciaDiferencia
inicial.inicial.
primeraprimera
medicimedicióónn
AntesAntes Durante el ProgramaDurante el Programa
DiferenciaDiferencia
final.final.
Diferencia neta= Beneficio.Diferencia neta= Beneficio.
úúltima ltima
medicimedicióónn
o El estimador de sección transversal: Se utiliza
cuando no hay información disponible sobre
periodos anteriores a la intervención del
programa. Obviamente debe utilizarse una
comparación entre participantes y no
participantes en la medida que un individuo no
puede estar en os dos estados en un mismo
periodo del tiempo. Supone que la situación
inicial de los participantes y de los no
participantes era similar antes de la
intervención del programa y que los factores
económicos, sociales y demográficos afectan
las variables de resultado de la misma manera
para participantes y no participantes. Un
problema importante que tiene este tipo de
métodos está entonces en la comparabilidad de
la información entre participantes y no
participantes. Adicionalmente, si el
comportamiento de las variables de resultado
influye sobre la decisión de participar o no en
el programa, se viola el supuesto de igualdad
de medias en ausencia de proyecto
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
Año
participantesparticipantes
no no participanresparticipanres
BeneficiosBeneficios
Inicio delInicio del
programaprograma
Año
participantesparticipantes
no no participanresparticipanres
BeneficiosBeneficios
Inicio delInicio del
programaprograma
Desde el punto de vista estadístico estos tres enfoques
pueden desarrollarse mediante métodos paramétricos,
como los de regresión, controlando el sesgo de
selección mediante el método de variables
instrumentales, o también pueden estimarse los
impactos mediante métodos no paramétricos como el
propensity score matching, que compara cada
observación del grupo de tratamiento con un promedio
ponderado de observaciones del grupos de control y
que permite escoger las observaciones de ambos
grupos que optimiza la comparabilidad entre ellos, para
eliminar el sesgo de selección.
El Pareo por Probabilidad de
Participación o Propensity Score
Matching
La medición de impactos en una sección transversal de
datos también presenta alternativas metodológicas que
corresponden a la estimación de diferencias de medias
por regresión simple, mediante variables instrumentales
o por métodos no paramétricos
La primera alternativa consiste en formular un modelo
econométrico que explique el comportamiento de la
variable de resultado a partir de un conjunto de
variables explicativas incluyendo entre ellas una
variable de participación en el programa. La variable
de participación puede ser una variable dicótoma que
toma el valor cero (D=0) cuando la observación
corresponde a un no participante o el valor uno (D=1)
si corresponde a un participante. Sin embargo también
puede utilizarse una medida continua de intensidad de
exposición al programa como pueden ser las horas de
capacitación o el número de asistencias técnicas. En los
casos en los cuales las variables de participación
resultan endógenas, como en aquellos casos en los
cuales la decisión de participar en el programa depende
de la misma variable para la cual se quieren medir los
resultados (v.g ingresos), se debe utilizar el método de
variables instrumentales que elimina los sesgos debidos
a incluir variables endógenas como explicativas.
Otros supuestos que es importante tener en cuenta
cuando se trabaja con secciones transversales son
los que tienen que ver con la comparabilidad de las
muestras10
:
o Que el resultado medio para el grupo de
control sea igual al que hubiese tenido el
grupo de tratamiento si este no hubiera
participado en el programa. Es decir que
no se encuentren diferencias demasiado
grandes en variables no observables que
pueden influir en la variable de resultado.
Se violaría este supuesto si por ejemplo se
tuviese evidencia que los participantes
tuvieran destrezas o discapacidades
específicas no investigadas en la encuesta
y que los del grupo de tratamiento
carecieran de ellas.
o Que participantes y no participantes
tengan un rango común11
en el dominio de
las variables explicativas. Se violaría este
supuesto si por ejemplo el grupo de control
estuviera conformado por un porcentaje
alto de hogares pobres12
y el grupo de
tratamiento por un porcentaje alto de
hogares no pobres, se podría pensar que las
oportunidades que ofrece el programa
10
Vera, Marcos, “Evaluar intervenciones sanitaria sin
experimentos” Gaceta Sanitaria, Vol 17(3) .2003 11
En el lenguaje de evaluación se le conoce como “Common
Support” 12
De acuerdo con una medida no dependiente directamente
del ingreso como puede ser el índice de necesidades básicas
insatisfechas que refeja pobreza estructural.
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
puede generar resultados mayores en los
no pobres que en los pobres y si se aplicara
el programa al grupo de tratamiento los
resultados medios habrían sido diferentes
o Que la muestra esté equilibrada en las
variables observables. No sólo se requiere
que compartan un rango común sino que al
interior de ese rango las distribuciones de
probabilidad conjunta de las dos muestras
sean comparables. Por ejemplo si la edad
de los jefes de hogar varía entre 20 y 50
años pero en el grupo de control están un
90% de jefes están entre 20 y 25 años y en
el de tratamiento el 90% está entre 45 y 50
años posiblemente las muestras no serían
muy comparables.
Xj
Y
Rango comRango comúúnn
Xj
Y
Rango comRango comúúnn
Los modelos de regresión en muchos casos no
garantizan el cumplimiento de los anteriores supuestos
por lo cual los evaluadores de proyectos han acudido a
otro tipo de técnicas estadísticas para reducir la
posibilidad de sesgo en las estimaciones de los
impactos. La técnica más difundida par asegurar el
cumplimiento de los supuestos es la denominada
propensity score matching (PSM) o pareo por
probabilidades de participación, que además permite
captar efectos no lineales entre las variables.
El objetivo de esta metodología13
es aproximarse a una
situación donde no hay diferencias entre los dos grupos
con respecto a las características individuales y del
entorno que han sido incluidas en el análisis, y de esta
forma asegurar que las variables resultado serán las
mismas en caso que los individuos del grupo de
tratamiento no hubieran sido tratados. El supuesto
fundamental del PSM es que todas las variables que
influyen en la decisión de participar en el Programa y
en la determinación de la variable de resultado están
incorporadas en el análisis. Bajo el supuesto antes
mencionado, el PSM estima el efecto promedio del
Programa sobre los beneficiarios (ATT – Average
Treatment Effect on the Treated).
Para afirmar que la diferencia entre los grupos es
atribuida al Programa, es necesario construir un grupo
de control que sea lo más parecido posible al grupo de
tratamiento en las variables observables que
determinan la participación en el Programa y el
resultado. Para construir un grupo de control lo más
parecido posible al grupo de tratamiento, es necesario,
medir la “distancia” entre individuos del grupo de
tratamiento y de de control. El método de PSM utiliza
la probabilidad de participar en el Programa como
distancia para medir la cercanía entre individuos del
grupo de tratamiento y del control; la probabilidad
estimada se conoce por el nombre de propensity score.
Xj
D
Rango comRango comúúnn
0
1
ProbabilidadProbabilidad
de participarde participarPSi
observaciones de control con
probabilidad de participar similar
a la del participante i
participante i
Xj
D
Rango comRango comúúnn
0
1
ProbabilidadProbabilidad
de participarde participarPSi
observaciones de control con
probabilidad de participar similar
a la del participante i
participante i
13
Econometría S.A. “Evaluación de los programas de
música, deporte y capacitación para el trabajo” Informe de
consultoría para la Alcaldía de Medellín. 2005
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
Xj
Y
Rango comRango comúúnn
participante i
observaciones de control con
probabilidad de participar similar
a la del participante i
promedio ponderado
impacto i
Xj
Y
Rango comRango comúúnn
participante i
observaciones de control con
probabilidad de participar similar
a la del participante i
promedio ponderado
impacto i
Modelos Estructurales de Efectos
Marginales por Exposición Diferencial al
tratamiento
La estimación de un modelo estructural marginal
(SMM) permite llevar a cabo inferencias causales de
múltiples tratamientos continuos y la interacción entre
ellos. En este tipo de modelos las variables de interés
se hacen depender de la intensidad del tratamiento o
tratamientos y se estiman por métodos de regresión, de
los cuales el de variables instrumentales resulta el más
apropiado por controlar el posible sesgo de selección
que puede presentarse. A continuación se describe el
tipo de modelo planteado utilizando la nomenclatura
básica de Blundell & Costa (2004)14
.
Este método fue utilizado por Econometría S.A. en la
evaluación del Programa Fomipyme que corresponde a
un fondo para la promoción de la micro, mediana y
pequeña empresa, en Colombia que financia diferentes
tipos de intervenciones. A continuación se realiza una
formulación general en un caso en el cual la unidad de
intervención son microempresas.
Se denomina Yi a la variable de resultado o indicador
de impacto, correspondiente a la empresa “i”. A las
variables que miden la exposición de la empresa i a
14
Blundell, R.& Costa Dias, M. (2004) “Alternative
aproaches to evaluation in empirical
microeconomics”,Institute of Fiscal Studies. pp 6-118
cada uno de los posibles tratamientos j se les denomina
Xij. A las variables exógenas observables, diferentes a
la intensidad del tratamiento, que influyen sobre el
resultado se les llama Wik. Finalmente se denomina i
al término de error aleatorio, que incorpora todas las
variables no observables que influyen sobre todas las
observaciones y los factores de azar que influyen de
manera específica sobre cada uno de los elementos de
la muestra.
),,( iikiji WXGY
con
ni ...1 empresas
Jj ...1 tratamientos
Kk ...1 variables
exógenas
G(.) es una función que podría se lineal o no. En este
tipo de modelos, no se requiere estrictamente un grupo
de control para estimar el escenario contrafactual, sino
que la ecuación del modelo permite simular el
contrafactual al hacer todos los X iguales a cero. Bajo
este enfoque cada observación actúa como escenario
contrafactual de las demás observaciones con un nivel
de tratamiento diferente.
El parámetro de interés en este tipo de evaluaciones es
el efecto tratamiento marginal sobre los tratados, es
decir el efecto que tiene sobre los participantes una
unidad adicional (dosis) de cada tipo de intervención
X.
Hacer las estimaciones de esta manera genera una gran
economía en el tamaño mínimo de muestra requerido
para medir los impactos y en principio no se requiere
obtener información de una muestra de control. Sin
embargo, si se hace de esta manera, puede quedar la
duda acerca de si al aplicar el mismo tipo de
intervenciones a otras empresas el resultado sería o no
extrapolable y si este mismo tipo de intervenciones,
aplicadas por otros programas públicos o privados,
tendrían un mayor o menor efecto. Se prevé escoger
una muestra de no participantes o no beneficiarios
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
directos (a la cual llamaremos en adelante muestra de
control o de comparación) que puede estar intervenida
por otros programas e iniciativas, la cual debe tener
características similares a la muestra de participantes
en las variables exógenas W. el contar con este tipo de
muestra permite estimar los efectos tratamiento
marginales de la población y no sólo de los
participantes.
Para controlar el problema de la endogeneidad de las
variables de intensidad del tratamiento X se utilizará el
método de mínimos cuadrados en dos etapas (variables
instrumentales) el cual consiste en encontrar un
conjunto de variables Z que puedan explicar el
comportamiento de las variables de intensidad del
tratamiento pero que no estén correlacionadas con el
término de error del modelo (que no sean afectadas por
los factores no observables comunes o específicos, del
modelo, que no sean causados por el indicador de
resultado que se está modelando y cuya única
influencia sobre los resultados finales sea a través de
las variables X). De está manera el modelo completo
queda conformado por dos ecuaciones:
),,( ijikiljij WZHX
),),,|(( iikikiliji WWZXEGY
Donde ij es un término aleatorio de error ,
),|( ikilij WZXE es el valor de X estimado usando la
función H(.) y el subíndice “l”en Z indica que puede
haber más de una variable instrumental en la
estimación de cada X pero al menos debe haber una.
En principio se plantean tres tipos de especificación,
aunque dependiendo del comportamiento observado de
la muestra se pueden incorporar variaciones: Modelo
Lineal, Modelo de variable dependiente discreta (Probit
o Logit), modelo Cobb Douglas de función de
producción.
Modelo Lineal
El modelo lineal es el más común y funciona cuando
los efectos de las diferentes variables explicativas se
pueden suponer como aditivos
K
k
iikkij
J
j
ji WXY
11
0
El efecto marginal de cada tipo de intervención X se
calcula a través del coeficiente que ele corresponde en
la regresión
ij
i
X
Y
Modelo de variable dependiente discreta
Este tipo de modelos buscan estimar la probabilidad de
ocurrencia de un evento o característica y se usan
principalmente cuando los indicadores de impacto son
categóricos o cualitativos
K
k
iikkij
J
j
ji WXYP
11
0)(
Donde la función es tal que tiende a 1 cuando el
argumento tiende a infinito y tiende a cero cuando el
argumento tiende a menos infinito. Si se utiliza una
función logística se le denomina modelo logit y si se
utiliza una función acumulativa normal se le denomina
modelo Probit. En este caso, por tratarse de modelos no
lineales, el efecto marginal del tratamiento es variable
con respecto al conjunto de variables consideradas
dentro de la explicación. Para determinar el efecto
marginal se fija un nivel de probabilidad y se calcula la
derivada de la función en ese punto.
Modelo Cobb-Douglas
En este caso al tratarse de, las variables de resultado de
indicadores relacionados con la producción, lo más
apropiado es el planteamiento de un modelo al estilo de
la función de producción Cobb-Douglas.
La función Cobb Douglas se especifica suponiendo que
la intensidad de las intervenciones amplifica
Documentos de Discusión en Ciencias Sociales CEACS - DD.006.1 Noviembre de 2005
ALGUNOS CONCEPTOS BÁSICOS SOBRE MÉTODOS
CUANTITATIVOS APLICADOS A LA EVALUACIÓN DE
PROGRAMAS SOCIALES Rodríguez N, Oscar
exponencialmente el efecto de los factores de
producción
ikijj eWeAYK
k
ik
J
j
X
i
11
0
que linealizando se puede escribir como
K
k
iikkij
J
j
ji WXAY11
0 )ln()ln()ln(
Otra opción sería considerar los tratamientos como
factores de producción, pero en ese caso la ausencia de
tratamiento no estaría definida en términos de
logaritmo.
Los efectos marginales no son homogéneos sino que
dependen del nivel de actividad de la empresa.
ij
i
iij
i
X
Y
YX
Y 1)ln(
i
ij
i YX
Y
Para controlar la posible endogeneidad de las
variables de intensidad del tratamiento, lo cual
implica encontrar un conjunto de variables Z que
estén altamente correlacionadas con las X pero que
no se encuentren correlacionadas con el término de
error, es decir que no se vean influidas por el
resultado.