El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas •...
Transcript of El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas •...
![Page 1: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/1.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
El método de Gradientes ConjugadosMAT-251
Dr. Alonso Ramírez ManzanaresDepto. de MatemáticasUniv. de Guanajuatoe-mail: [email protected]: http://www.cimat.mx/~alram/met_num/
Dr. Joaquín Peña AcevedoCIMAT A.C.e-mail: [email protected]
![Page 2: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/2.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
• En el problema
• donde la matriz es simétrica y definida positiva, y cuando la matriz es rala.
• Usaremos
Intro
xT Ay = (Ax)T y
=
![Page 3: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/3.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
La forma cuadrática
• Es un escalar
• De tal forma que para nuestro caso f(x) es minimizada por la solución
• Ya que
![Page 4: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/4.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
¿es un minimo?
• En el caso de matrices positivas definidas
![Page 5: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/5.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
¿es un minimo?
• En el caso de matrices positivas definidas
positivo
![Page 6: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/6.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
¿es un minimo?
• En el caso de matrices positivas definidas
positivo
![Page 7: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/7.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
¿es un minimo?
• En el caso de matrices positivas definidas
positivo
Se demuestra operando sobre f(p) = f(x+d)
![Page 8: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/8.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
La forma cuadrática en 2D
![Page 9: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/9.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
El gradiente de la forma cuadrática en 2D
![Page 10: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/10.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Forma cuadratica dependiendo la matriz
![Page 11: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/11.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
¿Cómo minimizar f(x)?
• Usando la dirección de máximo descenso
• Damos una serie de “pasos”
• En este enfoque tenemos 2 guias:
![Page 12: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/12.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Escojer α
Es aquel punto tal que su gradiente es perpendicular a la linea de búsqueda
![Page 13: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/13.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Escojer
• Calculando derivadas direccionales
• y por regla de la cadena
• ¿Cuál es la ? Usando
α
α= 0
![Page 14: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/14.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Comportamiento de maximo descenso
![Page 15: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/15.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Eigen vectors
• Los eigen vectores de la matriz definen los ejes de la forma cuadrática. Cada eigen valor es proporcional a la magnitud de la pendiente en esa orientación.
![Page 16: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/16.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Metodo de descenso máximo cuando nos movemos por eigen direcciones
Si r(0) es un eigen vector Si todos los eigenvalores son iguales
![Page 17: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/17.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Para el análisis se usan norma energética
• La cual se define como
Estos 2 vectores tienen la misma norma energética con respecto a A.
![Page 18: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/18.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Usando el análisis de la norma energética, los eigen valores de A y el punto de arranque x(0).
• Se pueden ver casos patológicos o benéficos
Estas gráficas están en el espacio de los eigen vectores
![Page 19: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/19.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Si estamos en 2D
• ¿Cuántos pasos da este caso patológico?
![Page 20: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/20.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Direcciones conjugadas
• La idea es movernos por n direcciones de búsqueda que son ortogonales
• y dar un solo paso en esa dirección, a lo más en n pasos estamos en el mínimo.
• Queremos algo como esto:
• PERO NO CONOCEMOS e(i)
![Page 21: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/21.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Entonces se usan
• direcciones de búsqueda A-ortogonales o conjugadas, lo cual se escribe
![Page 22: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/22.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Tamaños de paso con direcciones A-ortogonales
• Podemos usar en análisis similar pero con A-ortogonalidad
![Page 23: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/23.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Pasos del método de GC
Se dá un paso en alguna dirección, x(1) se escoje tal que e(1) es A-ortogonal a d(0).
El error inicial se puede ver como una combinación lineal de vectores A-ortogonales. Cada paso elimina uno de ellos.
![Page 24: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/24.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
En nuestro ejemplo se comporta
![Page 25: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/25.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
El algoritmo es:
• Se hace hasta convergencia:
![Page 26: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/26.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
El algoritmo es:
• Se hace hasta convergencia:
![Page 27: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/27.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
El algoritmo es:
• Se hace hasta convergencia:
Este factor nos da el peso del vector para que se mantengan A-ortogonales, tipo Gram-Schmidt.
![Page 28: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar](https://reader033.fdocuments.ec/reader033/viewer/2022041716/5e4b4f01491da50b2d6ca97b/html5/thumbnails/28.jpg)
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012
Precondicionamiento:
• Queremos resolver
• Para una matriz M simétrica y positiva definida fácil de invertir resolvemos
• Si este nuevo sistema es mas fácil de resolver. Si la matriz de arriba no es simétrica ni definida podemos calcular
• Se puede probar que las matrices y tienen los mismo eigen valores, entonces podemos resolver
• Donde es simétrica y definida positiva.