REPÚBLICA BOLIVARIANA DE VENEZUELA

MINISTERIO DEL PODER POPULAR PARA LA DEFENSA

UNIVERSIDAD NACIONAL EXPERIMENTAL POLITÉCNICA

DE LA FUERZA ARMADA NACIONAL BOLIVARIANA

NÚCLEO ARAGUA EXTENSIÓN MARACAY

Métodos Numéricos para Modelos

de

Optimización sin Restricciones

Bachilleres:

Gómez Osnel C.I: 19.864.140

López Noreidy C.I: 17.576.664

Sección: SIN-701

Maracay, Enero de 2011

1

Método de Newton

2

Reseña histórica

El método de Newton fue descrito por Isaac Newton en su libro “De analysi per aequationes número terminorum infinitas” (escrito en 1669, publicado en 1711 por William Jones) y en “De metodis fluxionum et serierum infinitarum” (escrito en 1671, traducido y publicado como Método de las fluxiones en 1736 por John Colson). Sin embargo, su descripción difiere en forma sustancial de la descripción moderna presentada más arriba: Newton aplicaba el método solo a polinomios, y no consideraba las aproximaciones sucesivas , sino que calculaba una secuencia de polinomios para llegar a la aproximación de la raíz x. Finalmente, Newton ve el método como puramente algebraico y falla al no ver la conexión con el cálculo.

Isaac Newton probablemente derivó su método de forma similar aunque menos precisa del método de François Viète. La esencia del método de Viète puede encontrarse en el trabajo del matemático persa Sharaf al-Din al-Tusi.

Método de Newton

En análisis numérico, el método de Newton es un eficiente algoritmo para encontrar aproximaciones de los ceros o raíces de una función real. También puede ser usado para encontrar el máximo o mínimo de una función, encontrando los ceros de su primera derivada. La idea de este método es la siguiente: se comienza con un valor razonablemente cercano al cero (denominado punto de arranque), entonces se reemplaza la función por la recta tangente en ese valor, se iguala a cero y se despeja (fácilmente, por ser una ecuación lineal). Este cero será, generalmente, una aproximación mejor a la raíz de la función. Luego, se aplican tantas iteraciones como se deseen.

3

Aplicación y Descripción

Supongamos una función f de una variable a ser minimizada y

supongamos que en es posible

evaluar

f( ), f ’( ) y f ”( ). Entonces es

posible construir una función cuadrática a partir del desarrollo de

Taylor:

Se puede estimar determinando el punto donde la derivada de q se hace cero.

Nótese que no depende de

El método puede ser visto como la resolución iterativa de ecuaciones de la forma g(x)=0, donde, cuando es aplicada a minimización, hacemos g(x) f ’(xk)

ImplementaciónPara la implementación de este método es necesario calcular la primera y segunda derivada de la función como derivadas direccionales, obteniendo un valor escalar, de la siguiente manera,

4

Donde d es el vector unitario de la dirección de descenso

Observaciones:1) La dirección del Método de Newton:

Es una dirección de descenso si y sólo si: es definida positiva, es decir:

Es definida positiva

2) El método de Newton en cada iteración, considera una aproximación cuadrática de la función objetivo, y define el nuevo punto de la sucesión minimizante como el óptimo de la aproximación cuadrática de la función objetivo. Cerca de un óptimo local de f, la aproximación exacta.

3) El punto inicial no puede ser arbitrario, ya que para que el método converja, la dirección debe ser de descenso. Esta corresponde a la principal desventaja del método: su convergencia local. Sin embargo, su rapidez de convergencia es su mayor ventaja, posee convergencia de velocidad cuadrática, es decir:

para

4) El principal problema del Método de Newton es que la matriz debe ser definida positiva. Si se parte de un punto suficientemente cercano a un mínimo local, esto se verifica. En general se desconoce toda información acerca de la solución óptima del problema, y por lo tanto no se tiene un buen criterio para escoger .

5) Esto sugiere, que un buen método de minimización es una combinación delMétodo del Gradiente y del Método de Newton: Inicialmente se aplica elMétodo del Gradiente que tiene convergencia global de velocidad lineal y luego se aplica el Método del Newton que tiene convergencia local de velocidad cuadrática.

El método de Newton para Minimizar un tal que

En el método de Newton la dirección de búsqueda se define como:

5

La dirección de búsqueda se encuentra minimizando el problema:

Minimizar

Donde es la aproximación cuadrática de en .

Teorema: el método de Newton definido por la iteración Tiene convergencia local con orden de convergencia .

Minimizar

Tal que

Correcciones:1) Introducir búsqueda lineala) La dirección puede no ser de descenso.b) El orden de convergencia puede ser menor de 2.2) Modificar la matriz del sistema lineal.

Método de Newton para resolución de un sistema de ecuaciones no lineales

Resuelve iterativamente un sistema de ecuaciones no lineales

6

Aproxima la función no lineal por una función lineal en cada punto (iteración), utilizando la expansión en serie de Taylor de primer orden.

Jacobiano de la función

Este método converge cuadraticamente cuando el punto esta próximo a la solución

El Jacobiano de la función en cada punto debe ser no singular

Para colocar un ejemplo tomamos las siguientes funciones:

Suponemos como punto inicial

Después de 8 iteraciones el punto toma el valor aproximado de

Y las funciones toman el valor (0)

7

Ejemplos Del Método de Newton

Ejemplo (I)

Resolver la siguiente función

Tomaremos co0mo punto inicial

Dirección de movimiento

Calculamos

F´( )=0

10 -10=0

=1

El Siguiente punto

La dirección de Movimiento

Se ha llegado al optimo ya que el gradiente es (0)

Ejemplo (II)

En la tabla siguiente se aplica el método de Newton al problema de optimización bi-dimensional a partir de = (0.00, 3.00).

Y resolvemos usando una tabla de iteraciones

8

9

Método de Gradiente

O

Método de Cauchy

Reseña Histórica

Augustin-Louis Cauchy

(Uno de los máximos exponentes del rigor lógico en análisis matemático )

Augustin-Louis Cauchy nació en París el 21 de agosto de 1789 y murió el 23 de mayo de 1857 en Sceaux (Francia).En 1805 ingresó en la Escuela Politécnica de París y en 1807 lo hizo en la École des Ponts et Chaussées donde estudió ingeniería civil.En 1816 ganó el Gran Premio de la Academia Francesa de Ciencias.. Era el mayor de los seis hijos de un abogado católico y realista, que hubo de retirarse a Arcueil cuando estalló

10

la Revolución. Allí sobrevivieron de forma precaria, por lo que Cauchy creció desnutrido y débil. Fue educado en casa por su padre y no ingresó en la escuela hasta los trece años, aunque pronto empezó a ganar premios académicos. A los dieciséis entró en la École Polytechnique parisina y a los dieciocho asistía a una escuela de ingeniería civil, donde se graduó tres años después. Su primer trabajo fue como ingeniero militar para Napoleón, ayudando a construir las defensas en Cherburgo. A los veinticuatro años volvió a París y dos más tarde demostró una conjetura de Fermat que había superado a Euler y Gauss. Con veintisiete años ya era uno de los matemáticos de mayor prestigio y empezó a trabajar en las funciones de variable compleja, publicando las 300 páginas de esa investigación once años después. En esta época publicó sus trabajos sobre límites, continuidad y sobre la convergencia de las series infinitas. En 1830 se exilió en Turín, donde trabajó como profesor de física matemática hasta que regresó a París (1838). Pasó el resto de su vida enseñando en La Sorbona. Publicó un total de 789 trabajos, entre los que se encuentran el concepto de límite, los criterios de convergencia las fórmulas y los teoremas de integración y las ecuaciones diferenciales de Cauchy-Riemann. Su extensa obra introdujo y consolidó el concepto fundamental de rigor matemático.

Las contribuciones de Cauchy a las Matemáticas se refieren a la convergencia-divergencia de series infinitas, funciones reales y complejas, ecuaciones diferenciales, determinantes, probabilidad y física matemática.

Los conceptos de límite y continuidad que aparecen en nuestros textos de Análisis se deben a Cauchy.

Entre sus obras destacan el Cours d’analyse (1821), destinado a los alumnos de la Escuela Politécnica,  Leçons sur le Calcul Différentiel (1829) y  Exercises d'analyse et de physique mathématique (1840-1847).

Del tomo primero de su Résumé des Leçons données a l’École Royale Polytechnique, sur le Calcul Infinitésimal (1823) hemos seleccionado la Tercera Lección consagrada a las derivadas de las funciones de una variable y el Método del Gradiente o Método de Cauchy.

Método de Gradiente o de Cauchy

Un modelo de Programación Lineal (PNL) es aquel donde las variables de decisión se expresan como funciones no lineales ya sea en la función objetivo y/o restricciones de un modelo de optimización. Esta característica particular de los modelos no lineales permite abordar problemas donde existen economías o deseconomías de escala o en

11

general donde los supuestos asociados a la proporcionalidad no se cumplen.

En este sentido el método del gradiente (conocido también como método de Cauchy o del descenso más pronunciado) consiste en un algoritmo específico para la resolución de modelos de PNL sin restricciones, perteneciente a la categoría de algoritmos generales de descenso, donde la búsqueda de un mínimo esta asociado a la resolución secuencial de una serie de problemas unidimensionales.

Los pasos asociados a la utilización del método del gradiente o descenso más pronunciado consiste en:

Método del Gradiente o de Cauchy (DESCRIPCION DEL METODO)

• Resolver P min f(x)

• Principio General:

1. Escoger un punto inicial de Rn

2. Determinar una dirección de movimiento

3. Moverse en esa dirección de acuerdo a algún criterio determinando un nuevo punto.

4. Verificar criterio de parada.

Si no se satisface, volver a 2.

• ¿Qué dirección de movimiento escoger?

• ¿Como determinar un punto para detenerse?

*Válido para optimizar funciones que son diferenciables continuamente dos veces.

*La Idea es generar puntos sucesivos en la dirección del gradiente de la función.

Método del Gradiente o de Cauchy (APLICACION)

• Ejemplo: f(x,y) =

12

Punto de partida:

• ¿En qué dirección avanzar?

Dirección de máximo

Decrecimiento es:

Detenerse cuando el avance

En esa dirección haya

Llegado al mínimo:

• El nuevo punto será:

• Volver al paso 1 con :

13

• Y definir el siguiente punto como:

Luego, nuestros pasos a seguir son:

1. Tomar un punto conocido .

2. Escoger como dirección de movimiento al gradiente de la función en dicho punto, con signo contrario.

3. Determinar el mínimo relativo de f(x) en esta dirección:

• Problema unidimensional (variable α)

• Solución algebraica o mediante el método de Newton.

4. Detenerse según algún criterio o volver a 2 con:

Ejemplos del método

Ejemplo (I)

Tomando como punto inicial

Dirección de movimiento

14

Siguiente punto

Dirección del movimiento

Se ha llegado al ÓPTIMO ya que el gradiente es 0

Ejemplo (II)

Tomando como punto inicial

Dirección de movimiento

Entonces

Derivamos

Siguiente Punto (-4+0.0831x77,4-0.0831x75)=(2.402,-2.236)

Dirección de movimiento

15

Ejemplo (III)

Para el siguiente ejemplo usaremos el método de iteración por tabla

16

17

Método de Métrica Variable

Existen 3 tipos de Modelos para el método de métrica variable los cuales son los siguientes:

* Método de Davidon-Fletcher-Powell

*Método de Broyden-Fletcher-Goldfarb-Shanno

18

* Métodos de Métrica Variable

* Método Cuasi-Newton

Los cuales serán descritos a continuación:

Método de Davidon-Fletcher-Powell

Este es un método cuasi-Newton, para minimizar una función f en Rn. Consiste en generar aproximaciones sucesivas de la inversa del Hessiano de la función .

El método de Davidon-Fletcher-Powell ha sido y sigue siendo una técnica de gradiente ampliamente utilizada. El método tiende a ser robusto; esto es, típicamente tiende a tener un buen comportamiento en una amplia variedad de problemas prácticas.La mayor desventaja de este tipo de métodos es su necesidad de almacenar la matriz A de N × N.

Desde la publicación de la fórmula de Davidon, se han propuesto varios métodos más que resultan de usar diferentes valores de , y, z en la ecuación.Una de las dificultades prácticas comunes de estos métodos es la tendencia de a estar mal condicionada, lo que causa una mayor dependencia a un procedimiento de reinicialización.

19

Método de Broyden-Fletcher-Goldfarb-Shanno

Este método fue propuesto en 1970 por Broyden y refinado posteriormente por Fletcher, Goldfarb y Shanno. Pertenece a la misma familia del método de Davidon-Fletcher-Powell, pero se le considera más poderoso. Este método ha sido muy elogiado en la literatura especializada e investigadores como Powell (1975) lo han recomendado ampliamente.

Este método puede ser considerado como Quasi-Newton, de gradiente conjugado y de métrica variable.Puesto que se aproxima la inversa de la matriz Hessiana, a este método se le puede llamar también de actualizaciones indirectas.Se ha demostrado que este método exhibe convergencia superlineal en la proximidad del óptimo (Dennis & More, 1977).

20

Método de Métrica Variable

Existe una gran similitud entre los esfuerzos actuales por mejorar los métodos de métrica variable y aquellos que buscan mejorar los métodos de gradiente conjugado. Por tanto, mucho de lo descrito en métodos de gradiente conjugado aplica también para los métodos de métrica variable.

Davidon (1975) ha propuesto una clase de actualizaciones que permiten búsquedas lineales inexactas. Powell (1977) estableció posteriormente la propiedad de terminación cuadrática de estos métodos en la ausencia de búsquedas lineales. Pareciera ser que un método de métrica variable con terminación cuadrática pero sin la necesidad de búsquedas lineales costosas seria robusto y rápido en funciones generales. Goldfarb (1977) se cuenta entre los que han explorado esta promisoria línea de investigación.

En general, el método de Davidon-Fletcher-Powell suele reinicializarse (es decir, hacemos A = I) después de N actualizaciones. Esto es usualmente una medida muy conservadora, ya que pueden requerirse muchos mas pasos antes de que realmente se requiera una reinicialización. La necesidad de reinicializar se incrementa conforme empeora el valor de condicionamiento de la matriz:

21

Donde: K(A) es el número de condicionamiento de la matriz A, y son

los valores de mayor y menor modulo, respectivamente. Una matriz con un valor de condicionamiento grande está mal condicionada. Una matriz con un valor de condicionamiento cercano a 1 está bien condicionada.

Es importante hacer notar que aunque las reinicializaciones proporcionan un cierto grado de seguridad (o robustez) en los métodos de métrica variable, estas típicamente hacen mas lento el progreso a la solución, puesto que se desecha una estimación de segundo orden.

McCormick (1972), Shanno (1978) y Shanno & Phua (1979) han investigado de manera extensiva la relación entre el gradiente conjugado y los métodos de métrica variable.Shanno ve a los métodos de gradiente conjugado como métodos de métrica variable “sin memoria”.

La mayor parte de los investigadores coinciden en la actualidad en afirmar que estas 2 clases de métodos comparten mucho más de lo que originalmente se creía.

Además, resulta claro que las muchas variantes de los métodos de métrica variable tienen mucho en común en la práctica (Dixon, 1972), lo que hace que se tenga que sopesar cuidadosamente el costo computacional adicional de los métodos mas complejos.Shanno & Phua (1978) proporcionan numerosos resultados que favorecen el uso del método de Broyden-Fletcher-Goldfarb-Shanno.

Métodos de Métrica Variable (Discusión Adicional)

Los métodos de métrica variable han sido utilizados de manera extensiva para el desarrollo de técnicas de optimización para problemas con restricciones. También hay una cantidad importante de trabajo en torno a hacerlos métodos de métrica variable mas atractivos para problemas grandes.

Los métodos de gradiente conjugado son los que suelen considerarse como los mejores para problemas de alta dimensionalidad (o sea, aquellos con muchas variables de decisión).

22

Sin embargo, se han logrado muchos avances en lo que a los métodos de métrica variable se refiere, sobre todo en aquellos casos en los que la matriz Hessiana es dispersa.

Método Cuasi-Newton

En optimización, métodos Quasi-Newton (también conocido como métodos métricos variables) son los algoritmos bien conocidos para encontrar a local máximos y mínimos de funciones. Los métodos Quasi-Newton se basan encendido Método del neutonio para encontrar punto inmóvil de una función, donde gradiente es 0. El método del neutonio asume que la función se puede localmente aproximar como ecuación cuadrática en la región alrededor del grado óptimo, y utiliza los primeros y segundos derivados (gradiente y Hessian) para encontrar el punto inmóvil.

En los métodos Quasi-Newton Matriz del Hessian de segundo derivados de la función que se reducirá al mínimo no necesita ser computado. El Hessian es puesto al día analizando vectores sucesivos del gradiente en lugar de otro. Métodos Quasi-Newton es una generalización del método secante para encontrar la raíz del primer derivado para los problemas multidimensionales. En multi-dimensiones debajo-se determina la ecuación secante, y los métodos Quasi-Newton diferencian en cómo obligan la solución, agregando un simple bajo-alinean típicamente la actualización a la estimación actual del Hessian.

Cuando no es posible evaluar analíticamente las primeras y segundas derivadas, se pueden emplear métodos de diferencias finitas para calcularlas:

23

Método de Powell

24

Reseña Historia

En el método de Powell (1964), las direcciones de búsqueda sucesiva son las direcciones conjugadas aplicadas a una forma cuadrática de la función objetivo. Este método es superior al precedente aunque no permite tomar en consideración eventuales restricciones sobre las variables.

A partir de los trabajos de Powell (1964, 1965) se han elaborado programas (VA02A Y VA04A) que se han mostrado razonablemente eficientes en la mayor parte de las aplicaciones.

Los métodos de optimización recientemente señalados son algunos de una gran variedad de métodos existentes. Sin embargo, bajo el supuesto que la modelización de sistemas de producción pecuarios se realiza a través de simulación, los métodos de Rosenbrock y Powell son los más indicados. La razón de ello reside en el hecho que estos métodos se adaptan a las condiciones mucho más variables de la simulación, no necesitando una estructura tan estricta como la exigida por otros similares.

Aplicación

El problema consiste en encontrar el conjunto de coordenadas (r1,r2, ....,rN) para las que el función energía potencial V(r1,r2, ....,rN) es mínimo. O alternativamente ∇V = 0 (esto da un máximo, un mínimo o un punto silla).

El procedimiento general es moverse en el espacio multidimensional en una determinada dirección.

25

Dado un punto inicial P y una dirección n encontrar que minimiza f(P +n).

Dicho proceso converge en N pasos (direcciones conjugadas) si el potencial es cuadrático. Si no, hay que repetir el proceso.

, donde

Una de las grandes desventajas de los otros métodos estudiados anteriormente es que se supone que la función debe ser diferenciable, con objeto de poder evaluar el gradiente y en varios casos, también el Hessiano.

26

Bibliografía

*Prof. Claudio Seebach, Optimización No Lineal, Pontificia Universidad Católica de Chile Facultad de Ingeniería Departamento de Ingeniería Industrial y de Sistemas [En Línea] disponible en: http://intrawww.ing.puc.cl/siding/public/ingcursos/cursos_pub/descarga.phtml?id_curso_ic=375&id_archivo=12743 (consultado el 30 de enero del 2010 )

*Gonzalo Hernández Oliva, Métodos para Problemas de Optimización sin Restricciones UChile - Departamento de Ingeniería Matemática [En Línea] disponible en: https://www.u-cursos.cl/ingenieria/2007/1/MA33A/2/material_docente/previsualizar?id_material=128779 (consultado el 30 de enero del 2010)

*Carmen M. García López, Optimización no lineal sin restricciones (2007), Barcelona. Akal.

* Luis Zerpa, Juan Colmenares, OPTIMIZACIÓN PARA INGENIEROS Optimización Sin Restricciones (Notas de clase) (2004) República Bolivariana de Venezuela, Universidad del Zulia, Facultad de Ingeniería División de Estudios para Graduados, Instituto de Cálculo Aplicado

*Dr. Gonzalo Hernández Oliva, Métodos Clásicos de Optimización para ProblemasNo-Lineales sin Restricciones, UChile - Departamento de Ingeniería Matemática (2006)

27