PC 2 - G6 (2)

16
UNIVERSIDAD NACIONAL DE INGENIERÍA FACULTAD DE INGENIERÍA ECONÓMICA Y CC.SS. Escuela Profesional de Ingeniería Económica Curso: “Negociaciones y Finanzas Internacionales” Código: EA 822K Ciclo: 2014-II PRACTICA CALIFICADA N° 2 Investigue respecto a los temas planteados y responda las siguientes preguntas: 1. ¿Qué datos y variables se requiere para calcular los estadísticos de validación de modelos? Explique cómo se calcula estos estadísticos y realice un ejemplo en una hoja de cálculo a. Matriz de Confusión La Matriz de Confusión contiene información acerca de las predicciones realizadas por un Método o Sistema de Clasificación, comparando para el conjunto de individuos en de la tabla de aprendizaje o de testing, la predicción dada versus la clase a la que estos realmente pertenecen. La siguiente tabla muestra la matriz de confusión para un clasificador de dos clases: Ejemplos: 1

description

Busquedad varias

Transcript of PC 2 - G6 (2)

Page 1: PC 2 - G6 (2)

UNIVERSIDAD NACIONAL DE INGENIERIacuteAFACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSSEscuela Profesional de Ingenieriacutea Econoacutemica

Curso ldquoNegociaciones y Finanzas Internacionalesrdquo

Coacutedigo EA 822K

Ciclo 2014-II

PRACTICA CALIFICADA Ndeg 2

Investigue respecto a los temas planteados y responda las siguientes preguntas

1 iquestQueacute datos y variables se requiere para calcular los estadiacutesticos de validacioacuten de modelos Explique coacutemo se calcula estos estadiacutesticos y realice un ejemplo en una hoja de caacutelculo

a Matriz de Confusioacuten

La Matriz de Confusioacuten contiene informacioacuten acerca de las predicciones realizadas por un Meacutetodo o Sistema de Clasificacioacuten comparando para el conjunto de individuos en de la tabla de aprendizaje o de testing la prediccioacuten dada versus la clase a la que estos realmente pertenecen

La siguiente tabla muestra la matriz de confusioacuten para un clasificador de dos clases

Ejemplos

1

800 predicciones de Mal Pagador fueron realizadas correctamente para un 80 mientras que 200 no para un 20

1500 predicciones de Buen Pagador fueron realizadas correctamente para un 75 mientras que 500 no (para un 25)

En general 2300 de 3000 predicciones fueron correctas para un 766 de efectividad en las predicciones Cuidado este dato es a veces engantildeoso y debe ser siempre analizado en la relacioacuten a la dimensioacuten de las clases

La Precisioacuten P de un modelo de prediccioacuten es la proporcioacuten del nuacutemero total de predicciones que son correctas respecto al total Se determina utilizando la ecuacioacuten P = (a+d)(a+b+c+d)

La Precisioacuten Positiva (PP) es la proporcioacuten de casos positivos que fueron identificados correctamente tal como se calcula usando la ecuacioacuten PP = d(c+d)

La Precisioacuten Negativa (PN) es la proporcioacuten de casos negativos que fueron identificados correctamente tal como se calcula usando la ecuacioacuten PN = a(a+b)

Falsos Positivos (FP) es la proporcioacuten de casos negativos que fueron clasificados incorrectamente como positivos tal como se calcula utilizando la ecuacioacuten FP = b(a+b)

Falsos Negativos (FN) es la proporcioacuten de casos positivos que fueron clasificados incorrectamente como negativos tal como se calcula utilizando la ecuacioacuten FN = c(c+d)

Asertividad Positiva (AP) indica la proporcioacuten de buena prediccioacuten para los positivos tal como se calcula utilizando la ecuacioacuten FN = d(b+d)

Asertividad Negativa (AN) indica la proporcioacuten de buena prediccioacuten para los negativos tal como se calcula utilizando la ecuacioacuten FN = a(a+c)

Cuidado este iacutendice es a veces engantildeoso y debe ser siempre analizado en la relacioacuten a la dimensioacuten de las clases

Ejemplo

En la Matriz de Confusioacuten anterior la Precisioacuten P es del 989 sin embargo el modelo no detectoacute ninguacuten fraude

b Kolmogorov-Smirnov (KS)

Una de las pruebas no parameacutetricas para la bondad de ajuste es el test de Kolmogorov-Smirnov Si se desea probar que dos muestras independientes provienen de la misma distribuciacuteon utilizamos la prueba de Kolmogorov-Smirnov tambieacuten conocida como la prueba K-S El estadiacutestico de prueba se calcula como la maacutexima diferencia absoluta entre sus distribuciones empiacutericas entonces se busca detectar las discrepancias existentes entre las frecuencias relativas acumuladas de las dos muestras de estudio Estas diferencias estaacuten determinadas no solo por las medias sino tambieacuten por la dispersioacuten simetriacutea o la oblicuidad La prueba se construye sobre las hipoacutetesis nula y alternativa como sigue

H0 Las distribuciones poblacionales son iguales

H1 Las distribuciones poblacionales son diferentes

3

Para esta prueba se requiere tener dos muestras de una variable aleatoria continua o al menos de escala ordinal Con los datos agrupados en k categoriacuteas o intervalos se calculan las frecuencias relativas acumuladas F^i y G^i con i = 1 2 k que corresponden a las dos muestras de tamantildeo n1 y n2 respectivamente Calculamos entonces las diferencias de las frecuencias relativas acumuladas El estadiacutestico esta dado como la maacutexima diferencia de las distribuciones de frecuencias relativas acumuladas

Se selecciona aquel intervalo de clase que tenga mayor desviacioacuten absoluta D El valor cr__tico es calculado como

Donde n1 y n2 son los tamantildeos de las muestras y K es valor obtenido de tabla de Kolmogorov-Smirnov con n1 +n2 10485762 grados de libertad a un nivel de significancia dado Si la desviacioacuten observada es menor que la desviacioacuten criacutetica tabulada se acepta H0 es decir que los datos observados no presentan diferencia significativa entre las dos poblaciones buenos y malos La funcioacuten de distribucioacuten no discrimina las poblaciones es la misma para ambas Se rechaza H0 si Dmax gt Dcritico la distribucioacuten no es la misma para cada poblacioacuten la prueba marca que hay discriminacioacuten entre la dos poblaciones

c Curva ROC

Una de las caracteriacutesticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit rate) como sea posible (correcta clasificacioacuten de los deudores que impagan como potenciales defaults) y al mismo tiempo la maacutes baja tasa de ldquofalsa alarmardquo (incorrecta clasificacioacuten de un deudor cumplidor como un potencia default) La curva ROC es un concepto que se relaciona con estas dos tasas y tambieacuten con la curva CAP Para construir la curva ROC se calculan la tasa de aciertos y de falsa alarma para cada score tomando cada nivel de score como un punto de corte (cut off) para otorgar creacutedito La performance de un sistema de rating es mejor cuanto maacutes empinada sea la curva ROC y cuanto maacutes cerca se encuentre del punto (0 1) Las curvas ROC de los modelos se presentan en el Graacutefico2 Usando este criterio el sistema de rating derivado del Modelo 4 tiene la mejor performance Haremos algunas observaciones sobre este resultado maacutes abajo

El rea bajo la curva ROC se mide por el iacutendice ROC El valor de este iacutendice va desde 05 para un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal

5

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 2: PC 2 - G6 (2)

800 predicciones de Mal Pagador fueron realizadas correctamente para un 80 mientras que 200 no para un 20

1500 predicciones de Buen Pagador fueron realizadas correctamente para un 75 mientras que 500 no (para un 25)

En general 2300 de 3000 predicciones fueron correctas para un 766 de efectividad en las predicciones Cuidado este dato es a veces engantildeoso y debe ser siempre analizado en la relacioacuten a la dimensioacuten de las clases

La Precisioacuten P de un modelo de prediccioacuten es la proporcioacuten del nuacutemero total de predicciones que son correctas respecto al total Se determina utilizando la ecuacioacuten P = (a+d)(a+b+c+d)

La Precisioacuten Positiva (PP) es la proporcioacuten de casos positivos que fueron identificados correctamente tal como se calcula usando la ecuacioacuten PP = d(c+d)

La Precisioacuten Negativa (PN) es la proporcioacuten de casos negativos que fueron identificados correctamente tal como se calcula usando la ecuacioacuten PN = a(a+b)

Falsos Positivos (FP) es la proporcioacuten de casos negativos que fueron clasificados incorrectamente como positivos tal como se calcula utilizando la ecuacioacuten FP = b(a+b)

Falsos Negativos (FN) es la proporcioacuten de casos positivos que fueron clasificados incorrectamente como negativos tal como se calcula utilizando la ecuacioacuten FN = c(c+d)

Asertividad Positiva (AP) indica la proporcioacuten de buena prediccioacuten para los positivos tal como se calcula utilizando la ecuacioacuten FN = d(b+d)

Asertividad Negativa (AN) indica la proporcioacuten de buena prediccioacuten para los negativos tal como se calcula utilizando la ecuacioacuten FN = a(a+c)

Cuidado este iacutendice es a veces engantildeoso y debe ser siempre analizado en la relacioacuten a la dimensioacuten de las clases

Ejemplo

En la Matriz de Confusioacuten anterior la Precisioacuten P es del 989 sin embargo el modelo no detectoacute ninguacuten fraude

b Kolmogorov-Smirnov (KS)

Una de las pruebas no parameacutetricas para la bondad de ajuste es el test de Kolmogorov-Smirnov Si se desea probar que dos muestras independientes provienen de la misma distribuciacuteon utilizamos la prueba de Kolmogorov-Smirnov tambieacuten conocida como la prueba K-S El estadiacutestico de prueba se calcula como la maacutexima diferencia absoluta entre sus distribuciones empiacutericas entonces se busca detectar las discrepancias existentes entre las frecuencias relativas acumuladas de las dos muestras de estudio Estas diferencias estaacuten determinadas no solo por las medias sino tambieacuten por la dispersioacuten simetriacutea o la oblicuidad La prueba se construye sobre las hipoacutetesis nula y alternativa como sigue

H0 Las distribuciones poblacionales son iguales

H1 Las distribuciones poblacionales son diferentes

3

Para esta prueba se requiere tener dos muestras de una variable aleatoria continua o al menos de escala ordinal Con los datos agrupados en k categoriacuteas o intervalos se calculan las frecuencias relativas acumuladas F^i y G^i con i = 1 2 k que corresponden a las dos muestras de tamantildeo n1 y n2 respectivamente Calculamos entonces las diferencias de las frecuencias relativas acumuladas El estadiacutestico esta dado como la maacutexima diferencia de las distribuciones de frecuencias relativas acumuladas

Se selecciona aquel intervalo de clase que tenga mayor desviacioacuten absoluta D El valor cr__tico es calculado como

Donde n1 y n2 son los tamantildeos de las muestras y K es valor obtenido de tabla de Kolmogorov-Smirnov con n1 +n2 10485762 grados de libertad a un nivel de significancia dado Si la desviacioacuten observada es menor que la desviacioacuten criacutetica tabulada se acepta H0 es decir que los datos observados no presentan diferencia significativa entre las dos poblaciones buenos y malos La funcioacuten de distribucioacuten no discrimina las poblaciones es la misma para ambas Se rechaza H0 si Dmax gt Dcritico la distribucioacuten no es la misma para cada poblacioacuten la prueba marca que hay discriminacioacuten entre la dos poblaciones

c Curva ROC

Una de las caracteriacutesticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit rate) como sea posible (correcta clasificacioacuten de los deudores que impagan como potenciales defaults) y al mismo tiempo la maacutes baja tasa de ldquofalsa alarmardquo (incorrecta clasificacioacuten de un deudor cumplidor como un potencia default) La curva ROC es un concepto que se relaciona con estas dos tasas y tambieacuten con la curva CAP Para construir la curva ROC se calculan la tasa de aciertos y de falsa alarma para cada score tomando cada nivel de score como un punto de corte (cut off) para otorgar creacutedito La performance de un sistema de rating es mejor cuanto maacutes empinada sea la curva ROC y cuanto maacutes cerca se encuentre del punto (0 1) Las curvas ROC de los modelos se presentan en el Graacutefico2 Usando este criterio el sistema de rating derivado del Modelo 4 tiene la mejor performance Haremos algunas observaciones sobre este resultado maacutes abajo

El rea bajo la curva ROC se mide por el iacutendice ROC El valor de este iacutendice va desde 05 para un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal

5

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 3: PC 2 - G6 (2)

Ejemplo

En la Matriz de Confusioacuten anterior la Precisioacuten P es del 989 sin embargo el modelo no detectoacute ninguacuten fraude

b Kolmogorov-Smirnov (KS)

Una de las pruebas no parameacutetricas para la bondad de ajuste es el test de Kolmogorov-Smirnov Si se desea probar que dos muestras independientes provienen de la misma distribuciacuteon utilizamos la prueba de Kolmogorov-Smirnov tambieacuten conocida como la prueba K-S El estadiacutestico de prueba se calcula como la maacutexima diferencia absoluta entre sus distribuciones empiacutericas entonces se busca detectar las discrepancias existentes entre las frecuencias relativas acumuladas de las dos muestras de estudio Estas diferencias estaacuten determinadas no solo por las medias sino tambieacuten por la dispersioacuten simetriacutea o la oblicuidad La prueba se construye sobre las hipoacutetesis nula y alternativa como sigue

H0 Las distribuciones poblacionales son iguales

H1 Las distribuciones poblacionales son diferentes

3

Para esta prueba se requiere tener dos muestras de una variable aleatoria continua o al menos de escala ordinal Con los datos agrupados en k categoriacuteas o intervalos se calculan las frecuencias relativas acumuladas F^i y G^i con i = 1 2 k que corresponden a las dos muestras de tamantildeo n1 y n2 respectivamente Calculamos entonces las diferencias de las frecuencias relativas acumuladas El estadiacutestico esta dado como la maacutexima diferencia de las distribuciones de frecuencias relativas acumuladas

Se selecciona aquel intervalo de clase que tenga mayor desviacioacuten absoluta D El valor cr__tico es calculado como

Donde n1 y n2 son los tamantildeos de las muestras y K es valor obtenido de tabla de Kolmogorov-Smirnov con n1 +n2 10485762 grados de libertad a un nivel de significancia dado Si la desviacioacuten observada es menor que la desviacioacuten criacutetica tabulada se acepta H0 es decir que los datos observados no presentan diferencia significativa entre las dos poblaciones buenos y malos La funcioacuten de distribucioacuten no discrimina las poblaciones es la misma para ambas Se rechaza H0 si Dmax gt Dcritico la distribucioacuten no es la misma para cada poblacioacuten la prueba marca que hay discriminacioacuten entre la dos poblaciones

c Curva ROC

Una de las caracteriacutesticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit rate) como sea posible (correcta clasificacioacuten de los deudores que impagan como potenciales defaults) y al mismo tiempo la maacutes baja tasa de ldquofalsa alarmardquo (incorrecta clasificacioacuten de un deudor cumplidor como un potencia default) La curva ROC es un concepto que se relaciona con estas dos tasas y tambieacuten con la curva CAP Para construir la curva ROC se calculan la tasa de aciertos y de falsa alarma para cada score tomando cada nivel de score como un punto de corte (cut off) para otorgar creacutedito La performance de un sistema de rating es mejor cuanto maacutes empinada sea la curva ROC y cuanto maacutes cerca se encuentre del punto (0 1) Las curvas ROC de los modelos se presentan en el Graacutefico2 Usando este criterio el sistema de rating derivado del Modelo 4 tiene la mejor performance Haremos algunas observaciones sobre este resultado maacutes abajo

El rea bajo la curva ROC se mide por el iacutendice ROC El valor de este iacutendice va desde 05 para un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal

5

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 4: PC 2 - G6 (2)

Para esta prueba se requiere tener dos muestras de una variable aleatoria continua o al menos de escala ordinal Con los datos agrupados en k categoriacuteas o intervalos se calculan las frecuencias relativas acumuladas F^i y G^i con i = 1 2 k que corresponden a las dos muestras de tamantildeo n1 y n2 respectivamente Calculamos entonces las diferencias de las frecuencias relativas acumuladas El estadiacutestico esta dado como la maacutexima diferencia de las distribuciones de frecuencias relativas acumuladas

Se selecciona aquel intervalo de clase que tenga mayor desviacioacuten absoluta D El valor cr__tico es calculado como

Donde n1 y n2 son los tamantildeos de las muestras y K es valor obtenido de tabla de Kolmogorov-Smirnov con n1 +n2 10485762 grados de libertad a un nivel de significancia dado Si la desviacioacuten observada es menor que la desviacioacuten criacutetica tabulada se acepta H0 es decir que los datos observados no presentan diferencia significativa entre las dos poblaciones buenos y malos La funcioacuten de distribucioacuten no discrimina las poblaciones es la misma para ambas Se rechaza H0 si Dmax gt Dcritico la distribucioacuten no es la misma para cada poblacioacuten la prueba marca que hay discriminacioacuten entre la dos poblaciones

c Curva ROC

Una de las caracteriacutesticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit rate) como sea posible (correcta clasificacioacuten de los deudores que impagan como potenciales defaults) y al mismo tiempo la maacutes baja tasa de ldquofalsa alarmardquo (incorrecta clasificacioacuten de un deudor cumplidor como un potencia default) La curva ROC es un concepto que se relaciona con estas dos tasas y tambieacuten con la curva CAP Para construir la curva ROC se calculan la tasa de aciertos y de falsa alarma para cada score tomando cada nivel de score como un punto de corte (cut off) para otorgar creacutedito La performance de un sistema de rating es mejor cuanto maacutes empinada sea la curva ROC y cuanto maacutes cerca se encuentre del punto (0 1) Las curvas ROC de los modelos se presentan en el Graacutefico2 Usando este criterio el sistema de rating derivado del Modelo 4 tiene la mejor performance Haremos algunas observaciones sobre este resultado maacutes abajo

El rea bajo la curva ROC se mide por el iacutendice ROC El valor de este iacutendice va desde 05 para un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal

5

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 5: PC 2 - G6 (2)

c Curva ROC

Una de las caracteriacutesticas de un buen sistema de rating es que tenga la mayor tasa de acierto (hit rate) como sea posible (correcta clasificacioacuten de los deudores que impagan como potenciales defaults) y al mismo tiempo la maacutes baja tasa de ldquofalsa alarmardquo (incorrecta clasificacioacuten de un deudor cumplidor como un potencia default) La curva ROC es un concepto que se relaciona con estas dos tasas y tambieacuten con la curva CAP Para construir la curva ROC se calculan la tasa de aciertos y de falsa alarma para cada score tomando cada nivel de score como un punto de corte (cut off) para otorgar creacutedito La performance de un sistema de rating es mejor cuanto maacutes empinada sea la curva ROC y cuanto maacutes cerca se encuentre del punto (0 1) Las curvas ROC de los modelos se presentan en el Graacutefico2 Usando este criterio el sistema de rating derivado del Modelo 4 tiene la mejor performance Haremos algunas observaciones sobre este resultado maacutes abajo

El rea bajo la curva ROC se mide por el iacutendice ROC El valor de este iacutendice va desde 05 para un modelo aleatorio (la curva ROC es la diagonal) hasta 1 para el modelo ideal

5

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 6: PC 2 - G6 (2)

d Curva CAP

CAP (Cumulative Accuracy Profile) El CAP se conoce tambieacuten como curva de poder o curva de Lorenz Muestra el porcentaje acumulado observado de deudores en default atribuibles a un ranking de observaciones ordenadas por sus scores Visualmente la curva CAP se determina graficando el porcentaje acumulado de deudores en el eje horizontal del maacutes riesgoso al menos riesgoso seguacuten su score y los correspondientes porcentajes acumulados de defaults en el eje vertical

Si fuera perfecto el proceso de rating le asignariacutea a los que hacen default los menores scores y en consecuencia la curva CAP subiraacute linealmente desde el punto 0 hasta reflejar todos los defaults y luego pasariacutea a ser horizontal De alliacute que a mas empinada la curva CAP en el origen mas precisioacuten tiene el proceso de rating

En el otro extremo se encontrariacutea un modelo puramente aleatorio sin ninguacuten poderDiscriminatorio La curva esperada del CAP en este caso seriacutea la diagonal dado que unaFraccioacuten X de deudores contendriacutea X de defaults Cuanta maacutes coacutencava sea la curva CAP seraacute mejor el poder discriminatorio del modelo de rating dado que una curva maacutes coacutencava estariacutea maacutes cerca del modelo ideal

El iacutendice resumido del CAP es el AR (Accuracy Ratio) el cual se basa en el coeficiente Gini del CAP En este ratio el numerador es el rea entre la curva CAP y la diagonal (el modelo aleatorio) y el denominador es el rea entre el modelo ideal y la diagonal Un sistema de rating es maacutes preciso cuanto maacutes cerca de uno este el ARComparando los modelos de rating estimados en el presente documento la curva CAP del sistema de rating derivado del Modelo 4 es la maacutes coacutencava y tiene mayor AR Haremos algunas calificaciones sobre estos resultados maacutes adelante

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 7: PC 2 - G6 (2)

e Iacutendice Gini

En 1960 se propuso medir la desigualdad en la salud a partir de la curva de Lorenz el iacutendice de Gini se deriva de esta El iacutendice de Gini es uno de los maacutes utilizados para medir la desigualdad entre dos poblaciones En el caso que nos ocupa se utiliza para medir la desigualdad de las poblaciones de buenos y malos clientes Teoacutericamente la curva de Lorenz de las funciones de distribucioacuten F(x) y G(x) es el subconjunto del producto cartesiano dado por

L(F G) = (u v)|u = F(x) y v = G(x) con x isin R

Definimos a F y G como las funciones de distribucioacuten teoacutericas asociadas a los clientes malos y buenos respectivamente donde x es el puntaje de score Si el puntaje de score para buenos es mayor que el puntaje score para malos la curva de Lorenz de F y G es coacutencava hacia arriba como en la figura 22 Se ve que si F(x) = G(x) entonces L(F G) describe la recta u = v con u isin(01) entre las distribuciones F y G

Por lo tanto mientras L se separe maacutes de la recta v = u mayor seraacute la diferencia entre F(x) y G(x) Por esta razoacuten el aacuterea A que se encuentra entre la identidad y la curva de Lorenz es una medida de desigualdad entre las distribuciones F y G El iacutendice de Gini resulta de la razoacuten entre el aacuterea A y el aacuterea del triaacutengulo delimitado por la identidad el eje horizontal u y la recta u = 1

Iacutendice de Gini con observaciones agrupadas

Cuando se desconocen las funciones de distribucioacuten F(x) y G(x) pero se cuenta con una muestra aleatoria de cada una de esta dos distribuciones empiacutericas de tamantildeo n1 y n2 respectivamente se puede estimar la curva de Lorenz y por lo tanto el acuteiacutendice de Gini Para hacer esto primero se define una particioacuten de R dada por x0 le x1 le x2 le le xk luego se obtiene los estimadores de F y G en los puntos xi de la siguiente manera

7

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 8: PC 2 - G6 (2)

La estimacioacuten de la curva de Lorenz de F(x) y G(x) es igual a la unioacuten de los segmentos de recta que unen los puntos (Fˆ(ximinus1) Gˆ(ximinus1)) y (Fˆ(xi) Gˆ(xi)) El

Aacuterea por debajo de la curva de Lorenz estimada para un intervalo tiene la forma de un trapecio y la calculamos como

El aacuterea total por debajo de la curva de Lorenz estimada es (Fˆ(xi) Gˆ(xi))

El iacutendice de Gini (1914) estimado se calcula como [ver Medina (2001)]

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 9: PC 2 - G6 (2)

Ejemplo Sea x la variable que mide el puntaje de score de los clientes en una institucioacuten de creacutedito para los cuales se le asocian la funcioacuten de distribucioacuten

F(x) y G(x) para el nuacutemero de clientes malos y buenos respectivamente seguacuten el puntaje de score Deseamos calcular el iacutendice de Gini para comparar el porcentaje de cuentas buenas y malas para los mismos puntajes de score

9

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 10: PC 2 - G6 (2)

El iacutendice de Gini es

Obtenemos 873 para el acuteiacutendice de Gini La curva de Lorenz la graficamos en teacuterminos de porcentajes como se ve en la figura

f Distancia de Kullback-Leibler

g Iacutendice de Pietra

El iacutendice Pietra considera el mayor rea triangular que puede obtenerse entre la curva ROC y la diagonal Estas medidas para el poder discriminatorio de los modelos estimados se presentan en el Cuadro6 El sistema de rating estimado por el Modelo 4 muestra mejor performance considerando estos tres iacutendices En particular es claramente superior al Modelo 2 el cual

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 11: PC 2 - G6 (2)

tambieacuten trata de corregir el sesgo proveniente de la exclusioacuten de deudores Haremos algunos comentarios sobre estos resultados a continuacioacuten

Geomeacutetricamente este iacutendice puede estimarse como la maacutexima aacuterea de un triangulo ubicado entre la curva ROC y la diagonal De manera equivalente el Iacutendice Pietra puede calcularse como la maacutexima distancia entre la curva ROC y la diagonal En el caso de una curva coacutencava puede calcularse como

h Entropiacutea condicional

Otro iacutendice no lineal es la entropiacutea uno donde Como su nombre indica esto estaacute relacionado con la entropiacutea o la cantidad de informacioacuten en la divisioacuten entre los buenos y malos en el nodo Es una medida de cuaacutentas maneras diferentes se podriacutea terminar con la divisioacuten real de los buenos de los malos en el nodo y que se relaciona con la informacioacuten estadiacutestica utilizada en las mediciones de clasificacioacuten

Supongamos que en vez de tener una uacutenica variable aleatoria X existe otra variable Y dependientes entre siacute es decir el conocimiento de una (por ejemplo Y) entrega informacioacuten sobre la otra (por ejemplo X) Desde el punto de vista de la entropiacutea de la informacioacuten podemos decir que la informacioacuten de Y disminuiraacute la incertidumbre de X Por tanto podemos decir que la entropiacutea de X seraacute condicional a Y y por tanto

Como por el teorema de Bayes tenemos que p(xy)=p(y)p(x|y) donde p(x|y) es la probabilidad de que se deacute un estado de X conocida Y podemos decir

11

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 12: PC 2 - G6 (2)

i Valor de la informacioacuten (IV)

La prueba del Valor de la Informacioacuten (VI) es utilizada para determinar si las variables y el modelo sirven para predecir el comportamiento de los acreditados Valores cercanos o superiores a 03indican que el modelo contiene una gran cantidad de informacioacuten

El Valor de Informacioacuten (IV) es una medida de entropiacutea que aparece en la teoriacutea de informacioacuten y es una medida del poder de prediccioacuten global de la caracteriacutestica y se define como

Los valores que puede tomar el estadiacutestico IV son no negativos

-menor a 002 es tiene nulo valor predictivo

-entre 002 y 01 es de prediccioacuten deacutebil

- entre 01 y 03 es de prediccioacuten media

- maacutes de 03 es de prediccioacuten fuerte (IV mayor a 05 sobre predice)

Siddiqi (2006) aconseja que las caracteriacutesticas con IV lt 2 deben excluirse del modelo

j Bootstrap y Jackknifing

La realidad es una fuente casi inagotable de informacioacuten que nos ayuda a encontrar soluciones a los problemas que se nos plantea de continuo Sin embargo el proceso que nos lleva a una situacioacuten mejor no es inmediato sino que es necesario establecer un esquema para sacar el mato partido posible de toda esta informacioacuten que tenemos a nuestro alcance Por ello y con vistas a obtener el maacuteximo rendimiento de nuestros esfuerzos es necesario tener clara la respuesta a las siguientes preguntas

1 iquestCoacutemo se debe de recoger la informacioacuten

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 13: PC 2 - G6 (2)

2 iquestCoacutemo se debe analizar y resumir la informacioacuten recogida

3 iquestQueacute grado de precisioacuten tiene los resuacutemenes de informacioacuten

Esta uacuteltima pregunta forma parte de lo que se conoce como Inferencia Estadiacutestica y el bootstrap es una teacutecnica recientemente desarrollada para llevar a cabo cierto tipo de inferencias Para halar de bootstrap lo primero que debe conocerse es cuando porque y como se puede usar estos meacutetodos

En liacuteneas generales podemos decir que se trata de un meacutetodo de simulacioacuten basado en los datos recogidos que se pueden usar para formular inferencias tales como que 05ltolt075

La simulacioacuten consiste en repetir un proceso de generacioacuten de un muestras un numero suficientemente elevado de veces- pongamos 50000 veces para poder realizar esas inferencias Obviamente este meacutetodo requiere de uso de un ordenador En definitiva mediante la repeticioacuten y generacioacuten de muestras de dato se trata de estudiar la precisioacuten asociada a determinados estadiacutesticos que queremos utilizar Por ejemplo la media o la mediana el nuacutemero de posibles muestras que se puede extraer se determina de este modo

k Otros

Nota El uso de graacuteficos y ejemplos para explicar sus respuestas tendraacute un valor adicional Asimismo deberaacute indicar las fuentes bibliograacuteficas

Participantes

- Aaron Raul Saire Saire (saire48hotmailcom)- Aldo Pastrana Chaca (aldopastranahotmailcom)

Bibliografiacutea

-Aprendizaje Supervisado K - Vecinos maacutes cercanos Knn-Method

- Anales del Instituto de Actuarios Espantildeoles 3ordf eacutepoca 18 201219-40

13

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS
Page 14: PC 2 - G6 (2)

- Creacutedito al Consumo La Estadiacutestica aplicada a un problema de Riesgo Crediticio (proyecto tesis) Universidad Autoacutenoma Metropolitana

  • UNIVERSIDAD NACIONAL DE INGENIERIacuteA
  • FACULTAD DE INGENIERIacuteA ECONOacuteMICA Y CCSS