Probabilidad y Estadıstica:Conceptos Estadısticos paraModelacion Predictiva

Dr. Juliho Castillo22 de octubre de 2017

Universidad LaSalle Oaxaca

1

1 Objetivos

2 Muestreo aleatorio y teorema del lımite central

3 Pruebas de hipotesis

4 Estadısticos Z y t

5 Intervalos de confianza, niveles de significacion y valore p

6 Una guıa paso a paso para realizar una prueba de hipotesis

7 Un ejemplo de la prueba de hipotesis

8 Prueba χ−cuadrada

9 Correlacion

10 Recursos

2

Conceptos Estadısticos Importantes

1 Pruebas de hipotesis.2 p−valores.3 Distribucion normal.4 Correlacion.

3

Objetivos

4

Muestreo aleatorio y teorema del lımite central

Entender el concepto de muestreo aleatorio a traves deejemplos e ilustrar las aplicaciones del teorema del lımitecentral. Estos dos conceptos son la columna vertebral de laspruebas de hipotesis.

5

Pruebas de hipotesis

Entender el significado de los terminos tales como hipotesisnula, hipotesis alternativa, intervalos de confianza,p−valores, nivel de significacion, etc. Desarrollaremos unaguıa de la implementacion de pruebas de hipotesis, seguidaspor un ejemplo.

6

Pruebas χ−cuadrada

Calcularemos el estadıstico χ-cuadrada y describiremos el usode pruebas χ-cuadrada con un par de ejemplos.

7

Correlacion

Entenderemos el significado y la significacion de la correlacionentre dos variables, de los coeficientes de correlacion ycalcularemos y visualizaremos la correlacion entre variables deuna base de datos.

8

Muestreo aleatorio y teoremadel lımite central

9

Ejemplo

Supongamos que tratamos de encontrar la edad promedio enuna ciudad, digamos Oaxaca. Una manera de hacerlo serıa porfuerza bruta, es decir, recolectando esta informacion personapor persona. Pero este metodo serıa muy costoso en terminosde infraestructura y tiempo.

10

En estadıstica, este es un problema comun, cuya solucion estaen el muestreo aleatorio: Tomemos un grupo de 1000individuos (o 10,000 dependiendo de tu capacidad, obviamenteentre mas, es mejor) y calculemos la edad promedio en estegrupo, a la que denotaremos por A1.

11

Repitamos este procedimiento, digamos 100 veces, ydenotaremos por A1, A2, ..., A100 el promedio de edadesobtenido en cada respectivo intento.

12

De acuerdo a la ley de los grandes numeros, la cantidad

A100 = A1 + ...+ A100

100 (2.1)

es una aproximacion muy cercana al promedio real de la edadde los pobladores de la ciudad.

13

De acuerdo al teorema del lımite central, si el numero detales muestras es suficientemente grande, entonces ladistribucion de estos promedios seguiran una distribucionnormal. Es decir, A1, A2, ..., A100 estaran distribuidos demanera normal.

14

Observacion: No estamos mas interesados en obtener elvalor exacto de la edad promedio, si no establecer unestimador para la misma. En tal caso, tenemos queconformarnos con la definicion de un rango de valores en elque el valor real podrıa estar.

Dado que hemos asumido una distribucion normal para losvalores de edad media de estos grupos, podemos aplicartodas las propiedades de una distribucion normal paracuantificar las probabilidades de que esta edad media seamayor o menor que un cierto numero.

15

Dado que hemos asumido una distribucion normal para losvalores de edad media de estos grupos, podemos aplicar todaslas propiedades de una distribucion normal para posibilidadesde que esta edad media sea mayor o menor que un ciertonumero.

16

Pruebas de hipotesis

17

El concepto que acabamos de comentar en la seccion anteriorse utiliza para una tecnica en estadıstica, llamada prueba dehipotesis. En la prueba de hipotesis, asumimos una hipotesis(generalmente relacionada con el valor del estimador)denominada hipotesis nula y tratar de ver si es cierto o noaplicando las reglas de una distribucion normal. Tenemos otrahipotesis llamada hipotesis alternativa.

18

Hipotesis nula vs. alternativa

Hay un truco para decidir cual sera la hipotesis nula y cualsera la hipotesis alternativa. La hipotesis nula es la premisainicial o algo que asumir que todavıa es cierto. La hipotesisalternativa es algo de lo que no estamos seguros y proponencomo premisa alternativa (casi con frecuencia contradictoria ala nula hipotesis) que podrıa o no ser cierto.

19

Por lo tanto, cuando alguien esta haciendo una investigacioncuantitativa para calibrar el valor de un estimador, el valorconocido del parametro se toma como hipotesis nula mientrasque el nuevo valor encontrado (de la investigacion) se tomacomo la hipotesis alternativa.

20

En nuestro caso (encontrar la edad media de nuestra ciudad),un investigador puede afirmar que la edad menor que 35. Estopuede servir como la hipotesis nula. Si una nueva agenciaafirma lo contrario (que es mayor que 35), entonces se puededenominar como la hipotesis alternativa.

21

Estadısticos Z y t

22

Suponga que el valor del parametro asumido en la hipotesisnula es Ao. Tomemos una muestra aleatoria de 100 o 1000personas o eventos del evento y calculemos la media delparametro, por ejemplo la edad promedio de una ciudad, eltiempo medio de suministro de la pizza, la media ingresos, etc.Podemos llamarlo A.

23

El estadıstico Z se calcula para convertir una variablenormalmente distribuida (la distribucion de la mediapoblacional de edad) a una distribucion normal estandar. Estoes porque los valores de probabilidad para una variable quesigue a la distribucion normal estandarizada se puede obtenerde una tabla precalculada.

24

El estadıstico Z se da por la siguiente formula:

Z = A− A0

σ/√n

(4.1)

donde σ es la desviacion estandar de la poblacion y n es elnumero de personas en la muestra

25

Ahora, debemos considerar dos casos

26

Prueba Z (distribucion normal)

El investigador conoce a desviacion estandar del parametro desu experiencia pasada. Un buen ejemplo de esto es el caso deltiempo de entrega de una pizza. En este caso (4.1) seguirauna distribucion normal y los valores normalizados seconoceran como valores Z.

27

Prueba t (distribucion t de Student

En este caso, el investigador no conoce la desviacion estandarde la poblacion. Esto puede pasar porque:

No existen tales datos en algun registro historico;o el numero de eventos o personas es demasiado pequenopara suponer una distribucion normal.

28

En este caso, la media y la desviacion estandar sondesconocidas, y la expresion asume una distribucion diferente ala normal llamada distribucion t de Student. El valorestandarizadas en este caso es llamado t−valor y la prueba esllamada prueba-t.

29

Distribucion t de Student

La distribucion de Student fue descrita en 1908 porWilliam Sealy Gosset. Gosset trabajaba en unafabrica de cerveza, Guinness, que prohibıa a susempleados la publicacion de artıculos cientıficosdebido a una difusion previa de secretos industriales.De ahı que Gosset publicase sus resultados bajo elseudonimo de Student.

Wikipedia: Distribucion t de Student

30

Figura 4.1: De The original uploader was Thorin de Wikipedia enfrances - Transferido desde fr.wikipedia a Commons., CC BY-SA1.0, https://commons.wikimedia.org/w/index.php?curid=1878902

31

Figura 4.2: De Desconocido, CC BY-SA 3.0,https://commons.wikimedia.org/w/index.php?curid=788691

32

Distribucion t en Python

from scipy import statsimport numpy as npimport matplotlib.pyplot as plt

def ft(x, nu):return stats.t.pdf(x, df=nu)

def Ft(x, nu):return stats.t.cdf(x, df=nu)

x = np.arange(-4,4,0.01)

33

Distribucion t en Python

yd = ft(x,30)yc = Ft(x,30)

fig, ax = plt.subplots()plt.plot(x, yd, ’r’, linewidth=2)plt.plot(x, yc, ’b’, linewidth=2)plt.ylim(ymin=0)plt.show()

34

35

El parametro df se le conoce como grados de libertad ygeneralmente se denota como ν (la letra nu griega).

36

Si una variable aleatoria X tiene distribucion t con ν gradosde libertad, entonces

µX = 0, σ2X = ν

ν − 2 (4.2)

37

Ejemplo 4.1.Consideremos una variable con distribucion t y ν = 9 gradosde libertad. Encuentre el valor de t para el cual el area a laderecha sea 0.05 pero el total del area sin sombrear sea 0.90.

38

tExample.py

from scipy import statsimport numpy as npimport matplotlib.pyplot as plt

def tp(x, nu):return stats.t.ppf(x, df=nu)

print tp(0.05, 9)##-1.83311293265print tp(1-0.05, 9)##1.83311293265

39

Varianza muestral

S2 =∑ (Ai − A0)2

n− 1 (4.3)

40

Estadıstico t

t = (A− A0)S/√n

(4.4)

41

Intervalos de confianza, nivelesde significacion y valore p

42

Figura 5.1: Una distribucion tıpica normal con valores p.

43

Supongamos que Z1 y Z2 son dos Z−estadısticoscorrespondientes a dos valores de una variable aleatoria y p1 yp2 son areas encerradas por la curva de densidad a la derechade esos valores.

En otras palabras

P (X > Z1) = p1 (5.1)P (X > Z2) = p2 (5.2)

44

Entonces, podemos definir un intervalo en el cual encontrar elvalor de una variable aleatoria, al cual llamaremos intervalode confianza.

45

Por ejemplo, para una distribucion normal con media µ ydesviacion estandar σ, el valor de la variable aleatoria estara enel intervalo [µ− 3σ, µ+ 3σ] con una confianza(probabilidad) del 99 %.

46

Para cualquier estimador (variable aleatoria) que tenga unadistribucion normal, uno puede definir un intervalo deconfianza si decidimos el nivel de confianza o probabilidad.

Podemos pensar en los intervalos de confianza como elumbral de los valores aceptados para sostener que la hipotesisnula es cierta

Si el valor del estimador vive en este rango, seraestadısticamente correcto decir que la hipotesis nula escorrecta.

47

Para definir un intervalo de confianza, se necesita definir antesun nivel (o probabilidad) de confianza. Esta probabilidadnecesita ser definida por el investigador dependiendo delcontexto.

48

Digamos que esta probabilidad es p. En general, utilizaremosel nivel de significacion

β = 1− p, (5.3)

que representa la probabilidad de que la hipotesis nula no seacorrecta.

β es definida por el investigador y usualmente esta en el ordende 0.01 a 0.1.

49

Un concepto importante que aprender aquı es el valor deprobabilidad o simplemente valor-p de un estadıstico: Es laprobabilidad de que una variable aleatoria asuma un valormayor al valor-Z (o al valor-t)

p− valor = P (X > Z) (5.4)

50

Figura 5.2: Una distribucion normal tıpica con p−valores y nivelde significacion.

51

Criterio

Aceptar la hipotesis nula y rechazar la alternativa sip− valor > β

Aceptar la hipotesis alternativa y rechazar la nula sip− valor < β

52

Debido a la simetrıa de la distribucion normal, existen trestipos de pruebas de hipotesis:

1 Cola izquierda;2 cola derecha;3 ambas colas.

53

Cola izquierda

Figura 5.3: Prueba de hipotesis: Cola izquierda

54

Cola derecha

Figura 5.4: Prueba de hipotesis: Cola derecha

55

Dos colas

Analizamos ambas colas y si en alguna de las dos colas, falla larespectiva prueba de hipotesis, la prueba de hipotesis serechaza.

56

Una guıa paso a paso pararealizar una prueba de hipotesis

57

Paso #1

Defina sus hipotesis nula y alternativa. Las hipotesis nulaes algo que ya se establece y se acepta como cierto, al cualdenotamos como H0. Tambien, suponemos que el valor delparametro en la hipotesis nula es A0.

58

Paso #2

Tome una muestra, digamos de unas 100 o 1000 personas oocurrencias de eventos, y calcule el valor del estimador (porejemplo, el promedio del parametro como es la edad promedio,el tiempo promedio de entrega de la pizza, ingreso promedio,etc.) Digamos que este valor fue Am.

59

Paso #3

Calcule el valor normal estandar del valor Z

Z = Am − A0

σ/√n

(6.1)

60

En la formula anterior, σ es la desviacion estandar de lapoblacion o ocurrencias de eventos y n es el numero depersonas en la muestra.

61

La probabilidad asociada con el valor Z calculada en el paso 3se debe comparar con el nivel de significacion de la prueba adeterminar si la hipotesis nula sera aceptada o rechazada.

62

Un ejemplo de la prueba dehipotesis

63

Planteamiento

Un famoso restaurante de pizza afirma que su tiempo deentrega es de 20 minutos, con una desviacion estandar de 3minutos.

Un investigador de mercados independiente afirma que ellosestan desinflando los numeros para ganar clientes y el tiempode entrega promedio es de hecho 21.2 minutos.

¿Es su afirmacion justificada o esta el negocio de pizzacorrecto en su afirmacion? Suponga un nivel designificacion del 5 %

64

Definamos las hipotesis nula y alternativa:

Lo que el negocio de pizzas afirma: H0 : A0 = 20.Lo que el investigador reclama: Ha : A0 > 20.Desviacion estandar (conocida): σ = 3.Tamano de la muestra: n = 64.Nivel de significacion: β = 0.05.

65

Calculemos el valor Z:

Z = 21.2− 203/√

64= 3.2

66

Denotemos por F la funcion de distribucion acumulativa deuna variable normal N(0, 1).

Calculamos el valor p correspondiente al valor Z = 3.2:

valor-p = 1− F (3.2)= 1− 0.999312862062= 0.000687137937916

67

Esto significa que si la media fuera A0 = 20, la probabilidad deque la media muestral fuera A = 21.2 es ≈ 0.069 %.

Como elegimos un nivel de significacion β = 5 %, y0.069 % < 5 %, podemos rechazar la hipotesis nulaH0 : A0 = 20.

68

Figura 7.1: La hipotesis nula se rechaza porque el p−valor esmenor al nivel de significacion β.

69

Prueba χ−cuadrada

70

La prueba χ2 se usa comunmente para comparar datosobservados vs datos esperados suponiendo que los datossiguen ciertas hipotesis.

71

Debemos suponer cierta hipotesis, la cual nuestros datosseguiran y calculamos los datos esperados de acuerdo a esahipotesis.

72

Debemos ya tener los datos observados, y calcular ladesviacion entre estos y los esperados usando el estadısticodefinido en la siguiente formula:

valor χ2:g =∑ (O − E)2

E, (8.1)

donde O es el valor observado y E el esperado, con la sumasobre todos los posibles datos.

73

Aplicaciones del estadıstico χ−cuadrada

La prueba de ji cuadrado se puede usar para hacer lo siguiente:

Mostrar una relacion causal o independencia entre unavariable de entrada y otra de salida.Verificar si los datos observados provienen de una fuentejusta / imparcial.Comprobar si los datos son demasiado buenos para serverdad.

74

Ejemplo

Realicemos un experimento hipotetico en el que una monedase lanza 10 veces.¿Cuantas veces espera obtener ya sea unaguila o un sol? La respuesta adecuada serıa 5. Ahora bien,¿que pasarıa si realizamos este experimento 1000 veces yregistramos los numeros de aguilas y soles.

75

Supongamos que observamos soles 553 veces y aguilas el restode ocasiones:

H0 : La proporcion de soles y aguilas es 0.5Ha : La proporcion no es 0.5

76

Soles AguilasObservado 553 447Esperado 500 500

77

Calculemos el valor χ2 :

g =

((553− 500)2 + (447− 500)5

)500 ≈ 11.236

78

Este valor−χ2 se compara al valor en una distribucion χ2

para un numero dado de grados de libertad y un nivel designificacion.

79

La Distribucion χ2

Sean X1, X2, ..., Xν variables aleatorias independientesN(0, 1). Consideremos la variable aleatoria

χ2 = X21 + ...+X2

ν (8.2)

a la que llamaremos chi cuadrada. Su correspondientedistribucion de probabilidad recibe el mismo nombre.

80

Propiedades de χ2

µ = ν, σ = 2ν (8.3)

81

scipy.stats.chi2

from scipy.stats import chi2import numpy as npimport matplotlib.pyplot as pltfig, ax = plt.subplots(1, 1)

df = 55

x = np.linspace(chi2.ppf(0.01, df),chi2.ppf(0.99, df), 100)

ax.plot(x, chi2.pdf(x, df),’r-’,lw=5, alpha=0.6, label=’chi2 pdf’)

82

Figura 8.1: Funcion de densidad de distribucion χ2 con ν = 55

83

statsChi2.py

from scipy.stats import chi2import numpy as npimport seaborn as snsimport matplotlib.pyplot as plt

sns.set_palette("husl")fig, ax = plt.subplots(1, 1)

for df in range(2,15+1):x = np.linspace(chi2.ppf(0.01, df),

chi2.ppf(0.99, df), 100)ax.plot(x, chi2.pdf(x, df), label=’chi2 pdf’)

84

85

Regresando a nuestro ejemplo...

El numero de grados de libertad es el numero de categorıasmenos uno. En nuestro ejemplo ν = 2− 1 = 1. Supongamosun nivel de significacion β = 0.05.

86

Figura 8.2: La hipotesis nula se rechaza porque el valor delestadıstico χ2 al nivel de significacion es menor que el valor delestadıstico.

87

Otro ejemplo

Examinemos otros ejemplo donde queremos demostrar que elgenero de un estudiante y las materias que escoge sonindependientes.

88

Otro ejemplo

Supongamos que un grupo de estudiantes, la siguiente tablarepresenta el numero de hombres y mujeres que tomanmatematicas, arte y comercio como sus materias principales.

89

Otro ejemplo

Matematicas Artes Comercio TotalHombres 68 52 90 210Mujeres 28 37 35 100Total 96 89 125 310

90

Si en la eleccion de las materias, no fuera relevante el genero,entonces el numero esperado de hombres y mujeres tomandodiferentes materias serıa

Matematicas Arte Comercio TotalNinosNinasTotal

91

Las desviaciones se calculan usando la formula (O − E)2/E:

Matematicas Arte Comercio TotalNinosNinasTotal

El estadıstico χ2 se obtiene al sumar todos estos valores.

92

Conclusiones (del profesor)

Como χ2 = 4.99 y el valor del estadıstico χ2 a un nivel sesignificacion es 11.07, la hipotesis nula se acepta.

De manera equivalente

valor-p = 1− Fχ2(4.99) = 0.416991040312 > β = 0.05,

obtenemos la misma conclusion:

La eleccion de materias es independiente del genero.

93

Correlacion

94

La correlacion es la premisa de la modelacion predictiva, en elsentido de que es un factor con base en el cual podemospredecir resultados.

95

Una buena correlacion entre dos variables sugiere que existeuna suerte de dependencia entre ambas: Si una cambia, la otratambien lo hara.

Podemos decir que una buena correlacion asegura una relacionmatematica entre dos variables y debido a esto, seremoscapaces de predecir su comportamiento.

96

La relacion puede ser de cualquier tipo. Si x y y son dosvariables correlacionadas, entonces podemos escribir:

Y = f(X)

97

Ejemplos de correlacion

Correlacion lineal

y = ax+ b

Correlacion exponencial

y = beax

98

Definicion de correlacion

En el caso discreto,

h =∑x,y ((x− x) (y − y))√∑

x,y (x− x)2∑x,y (y − y)2

[x], [y] son dos listas de datos con promedios x, yrespectivamente.

99

Propiedades de la correlacion

El valor del coeficiente de correlacion esta entre −1 y 1,es decir −1 ≤ h ≤ 1.Una correlacion positiva significa una relacion directaentre las dos variables.Una correlacion negativa significa una relacion inversaentre las dos variables.Entre mayor sea la magnitud del coeficiente, mas fuertesera la relacion entre variables.

100

¡Advertencia!

Aunque una correlacion fuerte sugiere algun tipo de relacionque puede ser utilizada para la prediccion del comportamientode una variable respecto de otra, esto no implica que dicharelacion sea el unico factor que explique dichocomportamiento.

101

Observacion: ¡Correlacion no implica causalidad!

102

Por ejemplo, existe una correlacion positiva muy fuerte entre elnumero de palabras que conoce un ser humano y el numero decalzado que utiliza... Pero esto esto se explica porque amedida que el ser humano crece, necesita zapatos mas grandesy aprende palabras nuevas.

¡No quiere decir que si utilizas un numero mas grandeseras mas culto!

103

Tratemos de entender mejor este concepto mirando una basede datos y tratando de encontrar una correlacion entre susvariables. La base de datos que estaremos observando es unamuy popular sobre los costos varios incurridos en publicidadpor diferentes medios y ventas de un producto enparticular.

104

Posteriormente, utilizaremos el metodo conocido comoregresion lineal para explorar estos mismo datos.Por ahora,importemos esta base de datos y calculemos los coeficientes decorrelacion:

105

advertising.py

#!/usr/bin/env python3# -*- coding: utf-8 -*-

import pandas as pd

advert = pd.read_csv("./dataBases/Advertising.csv")print(advert.head())

import numpy as np

106

advertising.py

advert["dX*dY"] = ( advert["TV"] -np.mean(advert["TV"])) * ( advert["Sales"]np.mean(advert["Sales"]))

advert["dX**2"] = ( advert["TV"] -np.mean(advert["TV"])) ** 2

advert["dY**2"] = ( advert["Sales"] -np.mean(advert["Sales"])) ** 2

sxy = advert.sum()["dX*dY"]sxx = advert.sum()["dX**2"]

107

advertising.py

syy = advert.sum()["dY**2"]

r = sxy/np.sqrt(sxx*syy)

108

runfile(’/home/jdk2py/juliho.castillo@yahoo.com/2017-2_PE/PE_PYTHON/analisisPredictivo/advertising.py’,wdir=’/home/jdk2py/juliho.castillo@yahoo.com/2017-2_PE/PE_PYTHON/analisisPredictivo’)

TV Radio Newspaper Sales0 230.1 37.8 69.2 22.11 44.5 39.3 45.1 10.42 17.2 45.9 69.3 9.33 151.5 41.3 58.5 18.54 180.8 10.8 58.4 12.9

109

advertising2.py

#!/usr/bin/env python3# -*- coding: utf-8 -*-

import pandas as pd

advert = pd.read_csv("./dataBases/Advertising.csv")print(advert.head())

import numpy as np

110

advertising2.py

def rCoef(df, var1, var2):df["dX*dY"] = (df[var1]-np.mean(df[var1]))*(df[var2]-np.mean(df[var2]))df["dX**2"] = (df[var1]-np.mean(df[var1]))**2df["dY**2"] = (df[var2]-np.mean(df[var2]))**2sxy = df.sum()["dX*dY"]sxx = df.sum()["dX**2"]syy = df.sum()["dY**2"]r = sxy/np.sqrt(sxx*syy)return r

111

advertising2.py

tvVsSales = rCoef(advert, "TV", "Sales")## 0.782224424862radioVsSales = rCoef(advert, "Radio", "Sales")## 0.576222574571

112

Figura 9.1: Matriz de correlacion

113

Veamos la naturaleza de esta correlacion graficando lasvariables TV, Radio y Newspaper vs Sales del data frameadvert.

114

tvVsSales.py

#!/usr/bin/env python3# -*- coding: utf-8 -*-

import pandas as pdadvert = pd.read_csv("./dataBases/Advertising.csv")

import matplotlib.pyplot as plt

plt.plot(advert[’TV’],advert[’Sales’],’ro’)

115

tvVsSales.py

plt.title(’TV vs Sales’)plt.show()

plt.plot(advert[’Radio’],advert[’Sales’],’ro’)plt.title(’Radio vs Sales’)plt.show()

plt.plot(advert[’Newspaper’],advert[’Sales’],’ro’)plt.title(’Newspaper vs Sales’)plt.show()

116

117

118

119

Recursos

120

analisisPredictivo

El repositorio con losscripts de Python 3 de esta presentacion los puede encontrar enhttps://github.com/julihocc/ulsaPye/tree/master/analisisPredictivo

121

Referencias

Murray Spiegel John Schiller, R. Alu Srinivasan,Probability and statistics, 4 ed., Schaum’s Outlines,McGraw-Hill Education, 2012.Ashish Kumar, Learning predictive analytics withpython, Packt, 2016.

Murray R. Spiegel, Estadıstica - schaum 2da edicion,2nd edition ed., McGraw-Hill Interamericana, 1991.

122