Post on 16-Oct-2021
Matemática Superior Aplicada
Regresión Lineal
Prof.: Dr. Alejandro S. M. Santa Cruz
J.T.P.: Dr. Juan Ignacio Manassaldi
Aux. 2da: Sr. Alejandro Jesús Ladreyt
Aux. 2da: Sra. Amalia Rueda
2E mc
y a bc
Experimentos - Medición Recopilación y procesamiento de datos
Modelo matemático
Estimación de los parámetros
del modelo
Pasos a Seguir
x
x
x
x
x
x
x
T
k
2k T Tc b a Temperatura
Conductivid
ad T
érm
ica
Regresión Lineal
kT
El análisis de regresión es una técnica estadística para investigar la relación funcional entre dos o más variables, ajustando algún modelo matemático.
1
2
m
T
T
T
1
2
m
k
k
k
2k T Tc b a
Regresión Lineal
2
1 1 1
2
2 2 2
2
3 3 3
2
4 4 4
2
m m m
k c bT aT
k c bT aT
k c bT aT
k c bT aT
k c bT aT
kT
Datos
Modelo
m ecuaciones m + 3 incógnitas
residuo
1
2
m
T
T
T
1
2
m
k
k
k
1
2
3
4
m
r
r
r
r
r
Regresión Lineal
2
1 1 1 1
2
2 2 2 2
2
3 3 3 3
2
4 4 4 3
2
m m m m
r c bT aT k
r c bT aT k
r c bT aT k
r c bT aT k
r c bT aT k
1
2
3
4
m
r
r
r
r
r
2
1 1 1
2
2 2 2
2
3 3 3
2
4 4 4
2
m m m
k c bT aT
k c bT aT
k c bT aT
k c bT aT
k c bT aT
Matriz de las Funciones de Modelización
Parámetros de
Modelización
Regresión Lineal
c
x b
a
2
1 1 1 1
2
2 2 2 2
2
3 3 3 3
2
4 4 4 3
2
m m m m
r c bT aT k
r c bT aT k
r c bT aT k
r c bT aT k
r c bT aT k
r Ax y
21 1
22 2
2
1
1
1 m m
T T
T TA
T T
2
1 1
2
2 2
2
m m
c bT aT
c bT aT
c bT aT
r Ax y
22
0 0min min
x xr Ax y
Regresión Lineal
Residuo
El objetivo es minimizar la norma del residuo al cuadrado
2
1 1 1 1
2
2 2 2 2
2
m m m m
r c bT aT k
r c bT aT k
r c bT aT k
r Ax y
22r Ax y
Regresión Lineal
Residuo
2
1 1 1 1
2
2 2 2 2
2
m m m m
r c bT aT k
r c bT aT k
r c bT aT k
• A cada valor de x le corresponde un valor de la norma al cuadrado del residuo.
• El problema de mínimos cuadrados encuentra el valor de x para el cual la norma al cuadrado del vector residuo resulta lo mas pequeña posible.
22
0 0min min
x xr Ax y
Problema de mínimos cuadrados
2k T Tc b a
Ejemplo: k vs T (Agua líquida 1 atm)
r Ax y Residuo ¿?
T [ºC] k [W/(m K)]
5 0.5694
15 0.5882
25 0.6106
35 0.6240
45 0.6345
55 0.6434
65 0.6569
75 0.6683
85 0.6741
95 0.6776
Ejemplo
21
22
23
24
25
26
27
28
29
210
0.56941 5 5
0.58821 15 15
0.61061 25 25
0.621 35 35
1 45 45
1 55 55
1 65 65
1 75 75
1 85 85
1 95 95
r Ax
r
r
r
rc
rb
ra
r
r
r
r
40
0.6345
0.6434
0.6569
0.6683
0.6741
0.6776
y
Ecuaciones Normales
T T
ata aty
A A x A y
2
2
2
2
2
2
2
2
2
2
0.56941 5 5
0.58821 15 15
0.61061 25 25
0.62401 35 35
0.63451 45 45
0.64341 55 55
0.65691 65 65
0.66831 75 75
0.67411 85 85
0.67761 95 95
Ax
c
b
a
y
Ax y
atax aty
Ecuaciones Normales
T T
ata aty
A A x A y2
2
2
2
2
2
2
2
2
2
1 5 5
1 15 15
1 25 25
1 35 35
1 45 45
1 55 55
1 65 65
1 75 75
1 85 85
1 95 95
A
0.5694
0.5882
0.6106
0.6240
0.6345
0.6434
0.6569
0.6683
0.6741
0.6776
y
2 2 2 2 2 2 2 2 2 2
1 1 1 1 1 1 1 1 1 1
5 15 25 35 45 55 65 75 85 95
5 15 25 35 45 55 65 75 85 95
TA
10 500 33250
500 33250 2487500
33250 2487500 198336250
ata
6.347
327.206
22044.055
aty
Ecuaciones Normales
3x3 ¡Ya podemos resolver este sistema!
10 500 33250 6.347
500 33250 2487500 327.206
33250 2487500 198336250 22044.055
c
b
a
atax aty
Solución del ejemplo
//Ecuaciones Normales
T=[5 15 25 35 45 55 65 75 85 95]';
k=[0.5694 0.5882 0.6106 0.6240 0.6345 0.6434 0.6569 0.6683 0.6741 0.6776]';
A=[ones(10,1) T T.^2];
y=k;
ata=A'*A;
aty=A'*y;
x=ata\aty;
c=x(1)
b=x(2)
a=x(3)
20.56059 0.002053 -8.58333 -6k T e T
Solución del ejemplo
T [ºC] k [W/(m K)]
5 0.5694
15 0.5882
25 0.6106
35 0.6240
45 0.6345
55 0.6434
65 0.6569
75 0.6683
85 0.6741
95 0.6776
Solución del ejemplo
A QR
11 12 1 1 1
22 2 1 2
11 1
21 2 11 1
1 1 1
1
( )1
( )
0
0 0
0 0 0
0 0 0 0
0 0 0 0 0
p pp
p p
p
p n
p p p p
pp
n nn
Q n nn np
A n p
r r r r
r r ra a
a a q qr r
nr
q q
a a
( )R n p
Descomposición QR
Algoritmo de descomposición QR
Ortogonal
Triangular Superior
A QR
Descomposición QR
yxA yxRQ
Ortogonal
yQxRQQ tt
yQxR t Debemos resolver este sistema
Descomposición QR
yQxR t
111 12 1 1 1
222 2 1 2
1
2
11 1 1
1
1
( )
0
0 0
0 0 0
0 0 0 0
0 0 0 0 0
p p
p p
pp p p p
ppp
p
p
p
x
n
R n p
qtyr r r r
qtyr r rx
xqtyr r
qtyrx
qtyx
qty
'Q y
Resolvemos el sistema con los elementos no nulos de la matriz R. Observamos que se puede aplicar sustitución hacia atrás.
¡Podemos calcular el Residuo!
Descomposición QR
1
2
1
1
'
p
p
p
N
Q y
qty
qty
qty
qty
qty
qty
22
1 2p p NR Ax y qty qty qty
Estos elementos se utilizan para obtener el valor del residuo sin tener que resolver el sistema.
[n p]=size(A);
[Q,R]=qr(A)
qty=Q'*y
x=s_atras(R(1:p,:),qty(1:p))
Residuo=norm(qty(p+1:n))^2
Descomposición QR
Descomposición en Valores Singulares
11
11 1 22
21 2 11 1
1
( )1
( )
( )
0 0
0 0
0 0
0 0 0
0 0 0
p
p
p n
pp
n nn
U N Nn np
A n p
n p
d
a a d
a a u u
N d
u u
a a
11 1
1
( )T
p
p pp
V p p
v v
v v
Solo con elementos en la diagonal principal
tVUA
Ortogonales
Descomposición en Valores Singulares
yxA Ortogonal
z Obtengo el vector z de manera directa
' '
z d
V x U y
'A U V
'U V x y ' ' 'U U V x U y
z d
'z V x x V z
Descomposición en Valores Singulares
//Descomposición en Valores Singulares
[n p]=size(A);
[U,S,V]=svd(A)
d=U'*y
z=d(1:p)./diag(S)
x=V*z
Métodos para ajuste a rectas
2 2*
1 1
N N
i i i i
i i
Sum y y y mx h
0Sum
h
0Sum
m
x
x
x x
x
x
x
x
y
*
1 1
*
2 2
*
N N
y mx h
y mx h
y mx h
1y
*
1y
1x
Condición de Mínimo
Métodos de Mínimos Cuadrados
22
yx yxm
x x
h y mx
1
1 N
i
i
J jN
//Mínimos Cuadrados
m=(y*x’/n-sum(y)/n*sum(x)/n)/(x*x‘/n-(sum(x)/n)^2);
h=(sum(y)-m*sum(x))/n;