Regresión Exponencial mediante el Método de los Mínimos Cuadrados
Aproximación funcional por mínimos cuadrados · 2011. 5. 31. · MÍNIMOS CUADRADOS· 16 Teorema...
Transcript of Aproximación funcional por mínimos cuadrados · 2011. 5. 31. · MÍNIMOS CUADRADOS· 16 Teorema...
1
Laboratori de Càlcul Numèric (LaCàN)Departament de Matemàtica Aplicada III
Universitat Politècnica de Catalunya (Barcelona)http://www-lacan.upc.es
Laboratori de Càlcul Numèric (LaCàN)Departament de Matemàtica Aplicada III
Universitat Politècnica de Catalunya (Barcelona)http://www-lacan.upc.es
Aproximación funcional por mínimos cuadrados
Aproximación funcional por mínimos cuadrados
MÍNIMOS CUADRADOS· 2
IntroducciónIntroducción
� Interpolación polinómica pura puede no ser la mejor opción:• si el número de datos (n+1) es elevado, el polinomio
interpolador puede presentar oscilaciones importantes• poca flexibilidad para elegir el tipo de interpolante
(polinomio de grado n)• si los datos son experimentales o susceptibles de tener
un cierto error no tiene sentido imponer que el interpolante pase exactamente por los datos, es suficiente exigir “que se acerque lo máximo posible”
criterio de aproximación
2
MÍNIMOS CUADRADOS· 3
Mínimos cuadrados: criterio de aproximaciónMínimos cuadrados: criterio de aproximación
� Mínimos cuadrados es un criterio de aproximación que se puede utilizar para ajustar cualquier tipo de función:• interpolación polinómica
• interpolación trigonométrica
• otros, por ejemplo,
MÍNIMOS CUADRADOS· 4
Caso particular: regresión linealCaso particular: regresión lineal
3
MÍNIMOS CUADRADOS· 5
Producto escalar y normaProducto escalar y norma
� Producto escalar <·,·>: es una forma1. bilineal
2. simétrica
3. y definida positiva
MÍNIMOS CUADRADOS· 6
� Todo producto escalar tiene una norma asociada
� Norma || · ||:
1. y
2.
3.
4
MÍNIMOS CUADRADOS· 7
� Producto escalar continuo
� Producto escalar discreto
MÍNIMOS CUADRADOS· 9
Ecuaciones normalesEcuaciones normales
� El espacio de aproximación es un espacio vectorial (el interpolante depende linealmente de los coeficientes)
• base
• interpolante
• buscamos los coeficientes c0, c1,...,cm que minimicen
5
MÍNIMOS CUADRADOS· 10
� Para encontrar el mínimo derivamos respecto a los coeficientes
MÍNIMOS CUADRADOS· 11
ProyecciónProyección
� p(x) es la proyección de f(x) sobre Ψ
6
MÍNIMOS CUADRADOS· 12
� Sustituyendo
se obtienen las ecuaciones normales
(notación)
MÍNIMOS CUADRADOS· 13
TeoremaTeorema
Si las funciones son linealmente independientes, el problema de mínimos cuadrados tiene una única solución.
� demostración: • basta comprobar que la matriz de las ecuaciones normales A es
regular• la matriz es regular si la única solución del sistema homogéneo es
el vector 0 (hay que comprobarlo)
7
MÍNIMOS CUADRADOS· 14
Consideremos un vector solución del sistema homogéneo, es decir,
Por lo tanto, la norma de la función es
MÍNIMOS CUADRADOS· 15
|| · || norma
ψi linealmente independientes
8
MÍNIMOS CUADRADOS· 16
Teorema fundamental de MCTeorema fundamental de MC
� Si son linealmente independientes, el problema de mínimos cuadrados, planteado como solución de las ecuaciones normales, 1. Tiene solución única2. La solución se caracteriza por la propiedad de
ortogonalidad
3. Si son una base ortogonal
(coeficientes de Fourier)
MÍNIMOS CUADRADOS· 17
Malcondicionamiento de las ecuaciones normales
Malcondicionamiento de las ecuaciones normales
� Las ecuaciones normales pueden estar muy mal condicionadas (depende de la elección de la base)
� Por ejemplo, la matriz de las ecuaciones normales con base natural de polinomios
y producto escalar continuo
se llama matriz de Hilbert
9
MÍNIMOS CUADRADOS· 18
� Matriz de Hilbert de dimensión m+1
m Número de condición
2 1.9 101
3 5.2 102
5 4.8 105
10 1.6 1013
15 6.1 1020
MÍNIMOS CUADRADOS· 19
Bases ortogonalesBases ortogonales
� Ecuaciones normales con matriz diagonal
10
MÍNIMOS CUADRADOS· 20
Familias de polinomios ortogonalesFamilias de polinomios ortogonales
� Polinomios de Legendre:
� Polinomios de Gram:
con puntos equiespaciados en [-1,1]
� Para intervalo [a,b] se hace un cambio de variable
MÍNIMOS CUADRADOS· 21
Interpolación polinómica por mínimos cuadrados
Interpolación polinómica por mínimos cuadrados
� n+1 datos: f(xi) con i=0,...,n� Aproximación con un polinomio de grado m
donde es una base de Pm(espacio de polinomios de grado menor o igual que m)
� Condición
11
MÍNIMOS CUADRADOS· 22
� Si m>n el producto escalar discreto
es degenerado en Pm (no cumple la 3ª propiedad)
cumple aunque
� Si m=n el polinomio pn(x) es el polinomio de interpolación pura
MÍNIMOS CUADRADOS· 23
Regresión linealRegresión lineal
12
MÍNIMOS CUADRADOS· 24
Paradoja de RungeParadoja de Runge
� Interpolación polinómica pura
5 9 17