Modelos de Variable Dependiente Binaria-Logit y Probit-Econometra AplicadaDaniel Lema

IntroduccinModelos de regresin donde la variable dependiente es binaria o dummyEl desarrollo moderno de los modelos de eleccin binaria se encuentra en las aplicaciones biolgicas.Ej: experimentos en los que se administra una dosis ui de una droga a grupos de insectos y se pretende analizar su probabilidad de supervivencia.

IntroduccinSea ci la tolerancia de un insecto en particular a esa droga: el insecto i muere (yi = 1) si ui > ci y sobrevive (yi = 0) si ui < ci.Por lo tanto, la probabilidad de fallecer es:Pr (yi = 1) = Pr (ui > ci) .En aplicaciones a las Ciencias Sociales, u y c suelen ser inobservables, de manera que la derivacin del modelo binario gira en torno a la existencia de unas variables latentes que determinan el comportamiento del individuo.

Por ejemplo: Un modelo que trata de explicar los factores determinantes de que una familia sea adquiera una casa. Podemos pensar que u podra ser la utilidad y c un umbral o valor critico. En este caso lo que observaramos es el resultado de una decisin maximizadora de la utilidad por parte de un individuo racional (preferencias reveladas) y el objetivo del anlisis sera revelarinformacin sobre las variables latentes que gobiernan esa decisin (empleando ciertas restricciones estructurales).Alternativamente, u puede interpretarse como una variable indicador (denotada habitualmente como y*) que determina la decisin tomada por cada individuo.

Si el valor que toma el indicador es superior (inferior) a un determinado valor critico ci en general, desconocido entonces el individuo toma la decisin representada por yi = 1 (yi = 0).Por lo tanto, el indicador refleja el sentimiento del decisor frente a la opcin que representa yi = 1: si su predisposicin es lo suficientemente grande (mayor que ci) entonces elegir dicha opcin; en caso contrario, optar por la opcin alternativa, yi = 0.Este tipo de planteamiento es usual, por ejemplo, en estudios sobre participacin en el mercado laboral (salario de mercado y salario de reserva) o sobre migracin (beneficios y costos).

En particular, si suponemos que el indicador depende aditivamente de las caractersticas personales del individuo y de una componente aleatoria yi* = xi + i, entonces la probabilidad de que el individuo isimo elija la accin yi = 1 vendr dada por:Pr (yi = 1) = Pr (yi > ci) = F (xi ) ,Donde F (.) es la funcin de distribucin acumulada de yi .El objetivo es analizar como estimar el vector de parmetros

Por ejemplo, se selecciona una muestra de hogares y se registra el ingreso y si la familia es propietaria o no de una casa. El modelo puede expresarseYi=a + b Xi + eiDonde Yi = 1 si el hogar es propietario de su casa y cero en caso contrario.Xi es el ingreso del hogar i

Se puede aplicar MCO a este problema Este es el modelo lineal de probabilidad lineal (MLP)El MLP pertenece a la clase de modelos de decisin asociada a la existencia de variables latentes. En concreto, el MLP representa el caso particular en el que la funcin F (.) corresponde a una distribucin uniforme en el intervalo [0, 1].No obstante, los modelos lineales tienen una serie de caractersticas que ponen en duda la aplicabilidad de este tipo de aproximacin para observaciones individuales.

Los test de hiptesis se basan en la normalidad del trmino de error. No son aplicables.Para un valor dado de Xi el trmino de error slo puede tomar uno de los siguientes dos valores ei = 1 a bXi cuando Yi = 1ei = a bXi cuando Yi = 0En consecuencia los errores no se distribuyen como una normal (de hecho lo hacen como una binomial)

Los errores son Heteroscedasticos. El estimador MCO es ineficiente (no tienen varianza mnima)Prediccin: El valor xi b no ser, en general, 0 o 1. De hecho, no existen garantas de que la prediccin efectivamente satisfaga la restriccin 0 Pr (yi = 1|xi) 1

Estos problemas no impiden absolutamente la aplicacin de MCOSe puede ajustar por heteroscedasticidadLos errores no normales son menos problemticos en muestras grandesPredicciones negativas o mayores a uno no son un problema serio (pueden ignorarse, por ej.)

Sin embargo, algunos supuestos del modelo son restrictivosPor ejemplo la constancia del efecto marginal de un cambio en el ingreso sobre la probabilidad de ser propietario (b)Supongamos, que los parmetros estimados por MCO (para una muestra dada) son:yi = 0.012 + 0.1021xi.El valor de la constante (0.012) corresponde a la probabilidad de que una familia sin ingresos, xi = 0, posea una vivienda.El valor de la pendiente es el aumento en la probabilidad de poseer una vivienda provocado por un incremento unitario en el nivel de ingresos.

En el MLP ese aumento se produce con independencia del nivel de ingreso del que seParteEconmicamente uno esperara que el aumento de la probabilidad fuera no lineal: para niveles bajos de renta la probabilidad de poseer una vivienda sera baja,Mientras que para niveles elevados este hecho sera mucho ms probable.Esto implicara una relacin de este tipo entre probabilidad de ser propietario e ingreso

La relacin es no linealLa variable dependiente est restringida entre cero y unoPor sus caractersticas, las funciones de distribucin de variables aleatorias son candidatas potenciales, puesto que de esta forma resolvemos de forma sencilla el problema que tena el MLP respecto al rango de valores que poda tomar la prediccin de la variable endgena.Dos modelos producen una relacin de este tipoUn modelo basado en la funcin logsticaUn modelo derivado de una funcin de distribucin normal acumulada

Modelo LogitExpresando el modelo explcitamente en trminos de probabilidades tenemosPi = a + b XiDonde Pi es la probabilidad de que el hogar i sea propietario de una casaUna relacin que genera un grfico como el anterior es:

Definimos la razn de probabilidades (odds ratio) como:

En el caso de la propiedad de casas representa la razn de la probabilidad de que una familia posea una casa respecto de la probabilidad de que no la posea.Por ejemplo, si Pi = 0.8 significa que las probabiliades son 4 a 1 a favor de que la familia posea una casa (0.8/0.2)

Si tomamos el logaritmo natural de la razn de probabilidades obtenemos

Entonces, el Li resulta lineal en X y tambin en los parmetrosL es llamado modelo Logit

La interpretacin del modelo es la siguiente:b es la pendiente y mide el cambio en L ocasionado por un cambio unitario en X, es decir, dice cmo el logaritmo de las probabilidades a favor de tener una casa cambian a mediada que el ingreso cambia en una unidad.a es el valor de L si el ingreso es cero

Dado un nivel de ingreso X* si se desea estimar la probabilidad de tener una casa (y no las probabilidades a favor de tener una casa) se puede calcular a partir de la definicin de Pi una vez estimados los parmetros (efectos marginales). El mtodo de estimacin es por Mxima Verosimilitud (MV)

El Modelo ProbitLa aproximacin al problema es similar al Logit pero se supone una relacin no lineal distinta (aunque muy similar) entre Xi y PiSe basa en la distribucin normal acumuladaSe supone que la decisin de poseer o no una casa depende de un ndice I (conocido como variable latente)

El ndice I est determinado por una o varias variables explicativas. Por ej ingresoCuanto mayor sea el ndice mayor la probabilidad de tener una casaIi = a + b XiSe supone un umbral crtico I* a partir del cul, si I supera a I* entonces una familia posee una casa.El umbral I*, al igual que I, no es observableSi se supone que est distribuido normalmente con la misma media y varianza es posible estimar los parmetros del ndice y tambin alguna informacin sobre el I*.

Pi = P (Y=1|X) = P(I*i Ii) = P(Zi a + b Xi) = F(a + b Xi)

Donde Z es una variable estndar normal, Z ~ N(0, s2)F es la funcin de distribucin normal acumulada

Explcitamente

0- + PiIi = a + b XiPr (I*i Ii)Pi = F(Ii)

EstimacinLa estimacin se realiza por MVDado que para cada individuo i la funcin de verosimilitud ser la probabilidad de que haya elegido 1 o 0, la funcin de verosimilitud muestral ser:

Tomando logaritmos:

Las derivadas parciales en caso Logit:

Donde

En el caso Probit:

Donde

La solucin a estos sistema de ecuaciones se realiza por algoritmos (Ej.Newton-Raphson)Es necesario obtener la matriz de varianzas y covarianzas asinttica invirtiendo el Hessiano (o su esperanza) tambin llamado Matriz de Informacin

En el Logit:

En el Probit

Los algoritmos funcionan generalmente bien en los Logit y Probit (convergencia en 35 iteraciones).Sin embargo, a veces no se alcanza esa convergencia (por ejemplo, porque no se puede invertir el Hessiano debido a que lnL no presenta la suficiente concavidad) o se alcanza en un mximo local.Muchos de estos casos tienen su origen en errores en las variablesEl tamao de la muestra tambin puede jugar un papel importante: la convergencia se alcanza ms rpidamente cuanto mayor es el ratio entre el nmero de observaciones y el nmero de variablesRecomendacin: aprox. 100 observaciones como mnimo y 10 observaciones por parmetro.

Otro aspecto a tener en cuenta es que los coeficientes de los modelos logit y probit no son comparables directamente entre si (y mucho menos respecto a los del MLP).No obstante, se puede demostrar que existen ciertas relaciones de proporcionalidad entre ellos: En general, las estimaciones del modelo Logit sern entre 1.6 y 1.8 veces las del Probit.

Interpretacin de los CoeficientesUna diferencia fundamental respecto a los modelos lineales es que la influencia que tienen las variables explicativas sobre la probabilidad de elegir la opcin dada por yi = 1 (la derivada parcial, dyi/dxi = k en los modelos lineales) no es independiente del vector de caractersticas xi.Una primera aproximacin a la relacin entre las variables explicativas y la probabilidad resultante es calcular los efectos marginales sobre la variable latente (y*) .

Si el efecto marginal expresa el cambio de la variable dependiente provocado por un cambio unitario en una de las independientes manteniendo el resto constante, los parmetros estimados del Logit y el Probit reflejan el efecto marginal de las xik en yi de la misma forma que en el MLP, puesto qe E (y*|x) = x.

Por ejemplo, consideremos el siguiente modelo con una variable explicativa continua(xi) y una discreta (di):Y* = 0 + 1xi + 2di + i.Para las variables continuas el efecto marginal viene dado por dy*i/dxi= 1.Por su parte, para las ficticias el efecto marginal es E (y*|di = 1)E (y*|di = 0) = 2.El principal problema que enfrenta este tipo de interpretacin es que no tiene un reflejo muestral (la variable latente no es observada).Por lo tanto, slo es adecuada cuando lo que se busca es analizar las preferencias o utilidades subyacentes en el modelo.

Los efectos marginales pueden construirse sobre la probabilidad y, de hecho, este es el tipo de presentacin ms frecuente.El efecto de la ksima variable explicativa, manteniendo el resto constante, puede ser calculado como:

siendo F (.) la funcin de distribucin y f (.) la funcin de densidad.

Por lo tanto, en un modelo binario la influencia que tienen las explicativas sobre la probabilidad de elegir la opcin dada por yi = 1 no depende simplemente del valor los coeficientes, sino tambin del valor que toman las variables explicativas.Por ej: El efecto marginal mximo ocurrir cuando Pr (y = 1) = 0.5

Esto significa que, a diferencia de lo que ocurre en el MLP, el efecto de una variable sobre la probabilidad vara con el valor de esa variable (es decir, no es independiente del vector de caractersticas xi).

En Logit

En Probit

Los resultados previos suponen que si bien los coeficientes de estos modelos no son directamente interpretables, sus valores relativos si lo son.Por ej. el cociente j/ k mide la importancia relativa de los efectos marginales de las variables xj y xk.Dado que los efectos marginales varian con x resulta conveniente calcularlos para valores concretos de la variable.Los efectos marginales medios, obtenidos a partir de la media muestral de la variable, son una de las formas ms comunes de presentacin de losresultados (por ejemplo, en Stata).

Tambin se puede calcular, por ejemplo, el efecto medio respecto al conjunto de lasobservaciones:

InferenciaLa inferencia no presenta diferencias sustanciales respecto al Modelo Lineal Gaussiano, por lo que para llevar a cabo hiptesis sobre el valor de un coeficiente puede emplearse un estadstico de la tStudent tradicional (aunque, siendo rigurosos, la distribucin apropiada sera la Normal).(ratio z)Por su parte, para contrastar la validez de un conjunto de restricciones como las que definen la significacin global del modelo puede el test de razn de verosimilitud (LR)

LR

Por ultimo, una forma de evaluacin del modelo es la que se deriva de la bondad del ajuste.Evidentemente, al tratarse de modelos no lineales carece de sentido plantear la bondad del ajuste en los terminos que definen el coeficiente de determinacin (R2).Existen criterios alternativos que, en cierto modo, siguen la misma idea.Todas estas medidas deben interpretarse con cierta cautelaSu validez como criterios de seleccin del modelo es ciertamente limitada.

Una medida es el pseudo R2 de Mc Fadden:

En este caso, si los coeficientes son poco significativos la capacidad explicativa del modelo ser muy reducida y el Loglikelihood sin restricciones ser muy similar al L0; por el contrario, cuanto mayor sea la capacidad explicativa del modelo, ms proximo estar R2 a uno.

*