elementMRLSyM.pdf

7/23/2019 elementMRLSyM.pdf

1/9

Unidad Profesional Interdisciplinaria enIngeniera y Tecnologas Avanzadas.Instituto Politecnico Nacional

Ingeniera Mecatronica

Probabilidad y Estadstica para ingeniera1

Elementos de Analisis deRegresion Lineal Simple y Multiple.

Objetivo general:

Aplicar los modelos de regresion lineal simple (MRLS) y multiple (MRLM) a conjuntos de datos. Ralizar algunas inferencias relacionadas con los modelos.

Que busca el MRLS. Cuales son las variables independientes y de respuesta. Los modelos dregresion en general es establecer una relacion entre variables explicativas (o independiente) y unrespuesta. En el caso de RLS la respuesta es lineal, es decir, si a un incremento de l variabexplicativa Xcorresponde un incremento (o decremento) proporcional en la variable de respuestY. Sin embargo el modelo es No DETERMINISTA pues contempla que existan variaciones entel comportamiento ideal.

Cual es la ecuacion del MRLS.

Y =0+1x+.

Como se modela el error o desviacion vertical. Cual es la hipotesis de homogeneidad.es una v.a. con distribucion normal con

E() = 0, V() =2,

donde la varianza es independiente de x (hipotesis de homogeneidad).

Como se calculan de los momentos Sxx, Sxy, Syy.

Sxx=i

(xi x)2

, Sxy =i

(xi x)(yi y), Syy = i

(yi y)2

.

Como se calculan los estimadores de 0,1 ys.

1=SxySxx

, 0 = y 1x, 2 =s2 =SSE/(n 2).

1http://sites.google.com/site/cbasicasupiita/

1


2/9

Que son los valores a justados de la respuesta,Yx.Lo que significa es que cual sera la respuesta Y considerando un valor fijo de X si la desverticales son cero.

yi = Yx = 0+ 1x.

Operacionalmente equivale a evaluar la ordenada Y para un valor dado de X sobre la recta regresion.

Como se calculan los residuos.yi Yx .

Como se calculan las cantidades S SE, S ST yS SR.

SS E=i

(yi Yx)2 =

y2i 0

yi 1xiyi

SST =Syy.

SSR= SST

SS E suma de cuadrados de regresion.

Que son los grados de libertad (de regresion, etc.). Como de calcula el coeficiente de determinacion r2.

r2 = 1 S SESS T

=SSR/SST.

Como se interpreta.

Coeficiente de correlacionr.r=

Sxy

SxxSyy Como se interpreta.

Que tipo de variable aleatoria es 1 . Es una variable aleatoria en una distribuciont (de Studencon= n 2 grados de libertad.

Cual es su media, varianza y distribucion. Cuales son los estimadores.

E(1) =1, V(1) =2/Sxx, 1 =

Sxx

.

1 es un estimador insesgado de 1, s1 =

sSxx .

La variable estandarizada

T =1 1S/

Sxx

=1 1

s1.

2


3/9

Propiedades generales de la distribuciont(de Student). Uso de tablas y de software.Se obtiene de tomar la media de n variables aleatorias independientes normales (con la mismDE) y estandarizarla:

t=Xn

/

n.

Es simetrica, centrada en cero, su PDF es

((+ 1)/2)(/2)

(1 +x2/)(+1)/2

Propiedades generales de la distribucionF(de Fisher). Uso de tablas.Es asimetrica. Se obtiene de

F =U1/d1U2/d2

,

dondeU1, U2 son v.a. en una distribucion chi-cuadrada con d1 yd2 g.l.Se relaciona con la distribucion T si

Y F(1 = 1, 2 =) tiene una distribucion F y si y =X2

X () tiene una distribucion t dStudent.

Como se calcula un intervalo de confianza para 1.

1 t/2,n2s1,

dondes1 =s/

Sxx.2

Que significa grado de confianza 100(1 )%. Cual es la relacion entre nivel de significacion (o de significancia), el ancho del intervalo

grado de confianza.

Que pretende juzgar una prueba de hipotesis global en el MRLS. Desglosar sus elementos:En general una prueba de hipotesis lo que busca es contrastar dos afirmaciones contrarias quinvolucran valores representativos de una muestra. Por ejemplo, en el modelo de regresion linesimple se busca proveer de estimadores de la dependecia de la respuesta (Y) respecto de la variabinformativa (X), esto es el parametro 1 o pendiente de la recta de regresion lineal. Una de afirmaciones se construye suponiendo que la muestra tiene un coeficiente de respuesta igual un valor de refencia 10.As la hipotesis nula es

H0 : 1= 10 (

Sin embargo por la variabilidad propia de los datos resulta casi imposible que la igualdad estrictse cumpla en (1) por lo que se propone una tolerancia al valor estimado (de la muestra) de 1 decir, si

1 10 0 (aun se considera queH0 es valida. La pregunta clave es establecer que se considera aproximadmente cero en (2). Es claro que la mejor opcion es considerar cual es la variabilidad productdel muestreo, medirla o estimarla y en base a ello definir un lmite para cometer error tipo 1.

2Note la similitud con las DE de las estimaciones de los parametrosj en el MRLM.

3


4/9

Cual es la region de rechazo segun sea la hipotesis alternativa Ha.Se tienen las regiones de rechazo de H0:

Ha: 1 > 10 t t,n2 (Ha: 1 < 10 t t,n2 (Ha: 1

=10 t

t/2,n2, t

t/2,n2. (

Cual es el valor del estadstico de prueba.

t=1 10

s1.

En que consiste una prueba de utilidad del modelo.Se toma

10 = 0.

Como se complementan los criterios de la prueba de utilidad y el coeficiente de determinaci on.

Como se construye una tabla de ANOVA. Prueba fcontra prueba T.

Origen de la variacion Grados de libertad Suma de cuadrados Media cuadratica f tRegresion 1 SSR SSR SSR/s2

f

Error n 2 SSE s2Total n 1 SST

Predictor Coeficiente

Constante 0Indice 1Coeficiente de R2

determinacionCoeficiente de Rcorrelacion

Table 1: Tabla de ANOVA para la regresion lineal simple.

Se construyef=SSR/s2,

y esta relacionado con el valor estadstico de prueba (de la prueba de hipotesis)t =

f.

Como se interpreta una tabla de ANOVA. En que consiste una prediccion de valores de Y futuros.

Sea Y = 0+ 1x,

4


5/9

dondex es un valor fijo de X. Y tiene una distribucion normal con

E(Y) =0+1x, V(Y) =2

1

n+

(x x)2Sxx

.

Los estimadores son

E(Y) = 0+ 1x, sY =s

1n+ (x

x)2

Sxx.

La variable estandarizada

T =Y (0+1x)

SY

tiene una distribucion t con n 2 grados de libertad. Como se calcula un intervalo de confianza para predicciones de Yx.

Un IC de grado de confianza del 100(1 )% es

0+ 1x

t/2,n2

s 0+

1x

= y

t/2,n2

sY

.

Cual es la diferencia con un intervalo de prediccion. Intervalo de confianza se aplica a un parameto caracterstica poblacional cuyo valor esta fijo pero es desconocido. Un valor a futuro (extraolacion) no es un parametro sino a una variable aleatoria, su conjunto de valores posibles es intervalo de prediccion (IP).

y t/2,n2

s2 +s2Y

= 0+ 1x t/2,n2 s

1 +

1

n+

(x x)2Sxx

5


6/9

Como se puede generalizar el MRLS.

En que consiste el modelo de regresion lineal multiple.Si consideramos que la respuesta depende de una sola variable explicativa X , la generalizaciopuede ser con un modelo polinomial (grado p):

Y =0+1x+2x2 + +pxp +donde es una v.a. normal con media E(X) = 0 yV(X) =2. O puede considerarse alguna otrdependencia funcional de y respecto de x.

Si tenemos que la respuesta depende dek variables explicativas (x1, x2, . . . , xk) podemos proponuna generalizacion de MRLS como:

Y =0+1x1+2x2+ +kxk+ (que consiste en que Ydepende linealmente de cada una de la variables independientes y nuev

mente es una v.a. normal con media E(X) = 0 y V(X) =2

.Otra propuesta es un modelo de segundo orden (polinomial) para Y dependiendo de X1 yX2:

Y =0+11x1+

12x2+

112x1x2+

211x

21+

222x

22+ (

Cual es la ecuacion de regresion multiple aditiva general.Y =0+1x1+2x2+ +kxk+ (

Cual es la funcion de regresion verdadera.

f(x1, x2, . . . , xk) =0+1x1+2x2+

+kxk.

Como se aplica el metodo de mnimos cuadrados para dar las estimaciones de los parametr.Se construye la funcion de Suma de Errores Cuadrados (SSE) como

F(b0, b1, b2, . . . , bk) =ni

(yi yi)2 (

donde yi = f(xi1, xi2, . . . , xik) es el valor ajustado para el i-esimo dato.

Cuales son las ecuaciones normales. De minimizar (9) se obtienen:

nb0+ n

i

xi1

b1+ n

i

xi2

b2+ + n

i

xik

bk =ni

yi ni

xi1

b0+

ni

x2i1

b1+

ni

xi1xi2

b2+ +

ni

xi1xik

bk =

ni

xi1yi

... ...

ni

xik

b0+

ni

xikxi1

b1+

ni

xikxi2

b2+ +

ni

x2ik

bk =

ni

xikyi

6


7/9

Como se resuelven (metodos matriciales). La observacion clave es que si escribimos lavariables indpendientes dentro de un arreglo matricial de la forma

X=

1 x11 x12 x1k1 x21 x22 x2k...

... ... ...

1 xn1 xn2 xnk

y

y=

y1y2

...yn

Las ecuaciones normales pueden escribirse como:XtX

=Xty (1

donde el vector de solucion (que contiene a los coeficientes )

=

012

...k

tenemos como solucion:=

XtX

1

Xty,

que existe siempre que det (XtX) = 0.

Como se estima2 en el MRLM.s2 =

SSE

n k 1 ,donden: es el numero de observaciones,k es el numero de variables explicativas y

SS E=i

2i =i

(yi yi)2.

Como se calcula el coeficiente de determinacion multiple

R2 = i(yi y)2

i(yi y)

2 = 1

S SE

SST

(1

con SS T = Syy. El coeficiente de correlacion muestral se calcula en base a la raz cuadradpositiva del coeficiente anterior. Tambien se suela a justar el coeficiente de determinacion multipa:

R2a=(n 1)R2 k

n (k+ 1) . (1

Este ultimo coeficiente ajustado (12) sera muy diferente (menor) a (11) en los casos en que n sepequeno comparado conk, es decir si tenemos muestras con pocas observaciones la incertidumbacerca de la eficacia de nuestro modelo crece.

7


8/9

Como se realiza la prueba de utilidad del modelo (MRLM). Que son las hipotesis nulas y alternativas.

H0: 1 = 2= =k = 0 vs. H a: por lo menos una i= 0.

Como se construye la region de rechazo. Cada una de las pendiente i, i= 1,...,k tiene

una distribucion F (de Fisher) donde los grados de libertad son k (el numero de variablexplicativas independientes y n (k+ 1) referente al numero de datos independientes. Aspara un niveltenemos

f F,k,n(k+1)Por ejemplo, para = 0.01 tenemosF0.01,2,10 = 7.56....

Cual es el valor estadstico de prueba.

f=MSR

MSE =

R2/k

(1 R2)/ [n (k+ 1)]

donde SSR = SS T SS Ees la suma de cuadrados de la regresion, MSR = SSR/k es media de regresion cuadrados de regresion yM SEes el media de errores residuales.

Como se comportan las variables estandarizadasT = iiSi . Se consideran variables aleatorias euna distribucion T.

Intervalos de confianza para i.Un intervalo de confianza (IC) de 100(1 )%) para j, el coeficiente de xj en la funcion dregresion es:

j t/2,n(k+1) sjUn IC de 100(1 )%) paraYx1,...xk = y es

y t/2,n(k+1) sY.

Un IP de 100(1 )%) para un valor estimado y a futuro es

y t/2,n(k+1)

s2 +s2Y

Nota: Generalmente se utiliza para estimars2j

os2Y

simplemente s2 ya que la expresion concre

es bastante complicada y esta en terminos de las entradas de la matrizX.De hecho se define el vector de condiciones3 (que nos dice que variaciones vamos a utilizar y eque grado) como: 4

ct0= (1, c1, c2, . . . , ck)

donde

s2j

=s

ct0[XtX]1 c0

3Para mas informacion consulte el libro de Walpole.4Por ejemplo, si se desea estimar la un intervalo de confianza para el precio de una casa dependiendo de X1: los metr

cuadrados del terreno y X2: la antiuedad para 300m2 y 15anos el vector de condiciones transpuesto sera (1, 300, 15).

8


9/9

Si unicamente se analiza la variacion en uno de las estimaciones de los coefientes j las formulse reducen a:

s2j

=s

[XtX]1jj .

en el caso de la DE en el valor ajustado se aplica la f ormula

s2Y =s ct0[XtX]1 c0.

Como se construye una tabla de ANOVA para MRLM..

Origen de Grados de libertad Suma de Media cuadratica f la variacion cuadradosRegresion k SSR MSR/k f =M SR/MSEError n (k+ 1) SSE MSE =SSE/(n (k+ 1))

Total n 1 SSTPredictor Coeficiente

Constante 0Indices 1 kCoeficiente de R2

determinacionCoeficiente de Ra

determinacionajustado

Table 2: Tabla de ANOVA para la regresion lineal multiple.

Como se interpreta la tabla de ANOVA para RLM.

9

elementMRLSyM.pdf

Documents

Transcript of elementMRLSyM.pdf