Métodos de Búsqueda basados en el Gradiente y el G di C j dGradiente Conjugado.

Métodos de Búsqueda Directa.

Universidad de los Andes-CODENSA

Métodos de Búsqueda Directa.

Algoritmos de Optimización sin R t i iRestricciones

Los métodos para obtener la solución de un PPNL se basan en obtener unasucesión de puntos tales que su límite sea una solución óptima del problema que sesucesión de puntos tales que su límite sea una solución óptima del problema que seconsidera. Para asegurar la convergencia debe suponerse que el PPNL es unproblema convexo diferenciable. Sin embargo, estos algoritmos se aplican aúncuando no se satisfacen estas condiciones.

El criterio de parada se basa en las CKKT. Cuando éstas se satisfacen con una ciertatolerancia, se para el proceso iterativo y se toma como mínimo el puntocorrespondiente.correspondiente.

Considere el problema:

Minimizar

donde y es una función diferenciable para cada .

( )Z f x=

x∈ :f → x∈y pf

Los métodos se dividen en dos categorías:

1. Los que usan información sobre las derivadas. Se basan en aplicar métodos numéricos para resolver las condiciones necesarias de KKT:

*'( ) 0f x =donde x* es la solución que se busca.

2 ól l d l f ó b

( ) 0f x

2. Los que sólo usan evaluaciones de la función objetivo.

Utilizan fórmulas de interpolación para estimar iterativamente el mínimo de un problema unidimensional.

Si f es convexa, el problema de obtener un óptimo es equivalente al de resolver laanterior ecuación. Pueden usarse métodos de búsqueda de raíces para resolverlo.q p

Búsquedas Lineales con Derivadas Mét d d N tMétodo de Newton

Puesto que se tiene:

Si se quiere que sea cero se obtiene:

( 1) ( ) ( ) ( 1) ( )( ) ( ) '( )( )t t t t tg x g x g x x x+ += + −

Considerando que obtenemos:

( )( 1) ( )

( )( )'( )

tt t

tg xx xg x

+ = −

( ) '( )g x f x=Considerando que obtenemos:( ) ( )g x f x=

( )( 1) ( )

( )( )'( )

tt t

tg xx xg x

+ = −

Que utiliza las derivadas primera y segunda de f.

( )( )g x

Mét d i N t d l S tMétodo quasi-Newton o de la SecanteReemplazando en la expresión anterior por la aproximación ( )'( )tg x

Se llega a :

( ) ( 1)

( ) ( 1)( ) ( )t t

t tg x g x

x x

−

−

−−

Con lo que:

( )( 1) ( ) ( ) ( 1)

( ) ( 1)( ) ( )

( ) ( )

tt t t t

t tg xx x x x

g x g x+ −

−= − −−

Con lo que:

( )( 1) ( ) ( ) ( 1)

( ) ( 1)'( ) ( )

'( ) '( )

tt t t t

t tf xx x x x

f x f x+ −

−= − −

Que solo requiere derivadas primeras.

( ) ( )( ) ( )f x f x−

Ejemplo Método de Newton/Método quasi-Newton

Minimizar

Realizando el análisis mediante el método de Newton tenemos:

4( ) ( 1)Z f x x= = −

Realizando el análisis mediante el método de Newton tenemos:

Las derivadas primera y segunda son:

y la sucesión asociada al método de Newton resulta

3

2

'( ) 4( 1)

''( ) 12( 1)

f x x

f x x

= −

= −y la sucesión asociada al método de Newton resulta

( ) ( ) 3( 1) ( )

( ) ( ) 2'( ) 4( 1)( )''( ) 12( 1)

t tt t

t tf x xx x x tf x x

+ −= − = −

−

Nótese que si la sucesión converge al punto entonces, tomando límites en ambos

( ) ( ) ( )1 2 1( 1)3 3 3

t t tx x x= − − = +

xq g plados de la relación se obtiene , y esta ecuación tiene como su únicasolución .

2 / 3 1/ 3x x= +* 1x x= =

Si realizamos el análisis mediante el método quasi-Newton obtenemos:

( )( 1) ( ) '( )tt t f x+( 1) ( )

( ) ( 1)

( ) ( 1)

( )'( ) '( )

t tt t

t t

f xx xf x f x

x x

+−

−

= −−−

( ) ( 1)( ) ( ) 3

( ) 3 ( 1) 3 ( 1)( 1) ( 1)

t tt t

t tx xx x

x x

−

−

⎡ ⎤−= − −⎢ ⎥− − −⎣ ⎦

( ) ( 1)( )

t tt x xx

−

⎡ ⎤⎢ ⎥

−⎢ ⎥= − ⎢ ⎥3( 1)

( )11

1

t

t

xxx

−= ⎢ ⎥⎛ ⎞−⎢ ⎥− ⎜ ⎟⎢ ⎥−⎝ ⎠⎣ ⎦

El método de Newton requiere sólo un punto inicial, pero el quasi-Newtonnecesita dos puntos para comenzar. La siguiente tabla muestra las algunasiteraciones de ambos métodos, cuando se utiliza como punto inicial x1 = 0, para el

ét d d N t 0 1/3 l i N tmétodo de Newton, y x1 = 0 y x2 = 1/3 para el quasi-Newton.

Tabla 1. Resultados de los Métodos de Newton y quasi-Newton.y q

Búsquedas Lineales sin Derivadas Aj t C d átiAjuste Cuadrático

Figura 1. Función objetivo a minimizar junto a una parábola interpolante.

El método de ajuste cuadrático usa una interpolación parabólica de f, basada en trespuntos. Supóngase que se trata de minimizar una función convexa f(x), y que setienen tres puntos a < b < c tales que

( ) ( ) ( )f a f b f c≥ ≤

Sin pérdida de generalidad se puede suponer que una de las desigualdades esestricta. Seguidamente se ajusta una parábola pasando por los tres puntos (a, f(a)),(b, f(b)) y (c, f(c)). Su vértice es:( f( )) y ( f( ))

[ ] [ ][ ] [ ]

22 2( ) ( ) ( ) ( ) ( ) ( )12 ( ) ( ) ( ) ( ) ( ) ( )

b a f b f c b c f b f av b

b a f b f c b c f b f a− − − − −

= −− − − − −

Si los tres puntos están alineados, el denominador degenera a cero y la expresiónanterior no es válida. Sin embargo, esto no ocurre si se cumple al menos una de lascondiciones: f(a)>f(b) y f(b)<f(c).f( ) f( ) y f( ) f( )

Ahora se tiene un conjunto de cuatro puntos (a, b, c, v) para elegir los tres nuevospuntos necesarios para continuar con el proceso. El criterio de selección de estostres puntos se basa en satisfacer la condición inicial.

Hay tres casos a considerar:

Caso 1: v < b. Hay dos posibilidades: Si el mínimo de f está en elintervalo (a, b), entonces el nuevo conjunto de tres puntos es .Por otra parte, si f(b)<f(v), el mínimo de f está en el intervalo (v, c), por ello, el

d l

( ) ( )f b f v≥{ ', ', '} { , , }a b c a v b=

nuevo conjunto de tres puntos resulta .{ ', ', '} { , , }a b c v b c=

Figura 2. Ilustración de los casos 1a y 1b de la búsqueda lineal mediante interpolación cuadrática

Caso 2: v > b. Similarmente, , se elige , y si li

{ ', ', '} { , , }a b c a b v=

{ ' ' '} { }b b

( ) ( )f v f b≥

( ) ( )f f b , se elige .

Caso 3: v = c. En este caso se recobran los tres puntos iniciales, y no se puededecidir cuál es el nuevo intervalo reducido Para evitar este problema se

{ ', ', '} { , , }a b c b v c=( ) ( )f v f b<

decidir cuál es el nuevo intervalo reducido. Para evitar este problema, sereemplaza b por (a + b)/2 y se repite el proceso de nuevo, con la garantía deque la nueva situación estará en los Casos 1 ó 2.

Optimización Multidimensional sin R t i iRestricciones

Sea el problema

Minimizar ( )Z f x=

Donde y es diferenciable. Este problema se puede resolver porel método de descenso, que genera un sucesión de puntos tales que:

hasta que se satisface una condición de parada.

nx∈ : nf →( ){ }tx

(1) (2) ( )( ) ( ) ... ( ) ...tf x f x f x> > > > hasta que se satisface una condición de parada.

El método consiste en iterar las etapas:

( ) ( ) ( )f f f

Problema de generación de una dirección de descenso: Dado x(t), elproblema consiste en obtener una dirección d(t) tal que un ligero desplazamientoa partir de x(t) en tal dirección disminuya el valor de la función objetivo. d es unadirección descendente de f en x si existe un número positivo tal que:α

P bl d bú d li l U bt id l di ió d d t

( ) ( ) para todo (0, )f x d f xα α α+ < ∈

Problema de búsqueda lineal: Una vez obtenida la dirección descendented(t) de f en el punto x(t), el problema consiste en decidir el tamaño deldesplazamiento, , tal que el nuevo punto tenga un valor asociadode la función objetivo menor que el del punto original x(t), es decir, elegir

tα ( ) ( )t ttx dα+

j q p g , , gtal que para generar el nuevo punto

. En muchos casos, el desplazamiento se calcula de formaque se minimice la función objetivo en esa dirección d(t).

0ta > ( ) ( ) ( )( ) ( )t t ttf x d f xα+ <

( 1) ( ) ( )t t ttx x dα+ = +

tαq j

Lema 1 Sea diferenciable en . Sea d un vector de . Si entonces d es una dirección de descenso de f en x: nf →

nx∈ n

( ) 0Tf x d∇ < , entonces d es una dirección de descenso de f en x.( ) 0f x d∇ <

Figura 3. Ilustración de las direcciones de descenso en R2.

Los algoritmos que se basan en direcciones descendentes tienen la siguienteestructura:

Algoritmo 1 (Dirección descendente)

Et 1 (V l i i i l) El i t i i i l h 1(1) nEtapa 1: (Valor inicial). Elegir un punto inicial , y hacer t = 1.

Etapa 2: (Generación de la dirección de búsqueda). Obtener una direcciónd d t d(t)

(1) nx ∈

descendente d(t).

Etapa 3: (Comprobación de la Optimalidad). Si d(t) = 0, entonces parar (x(t) est KTT d l bl ) E t tiun punto KTT del problema). En otro caso, continuar.

Etapa 4: (Búsqueda lineal). Encontrar el salto, ,que resuelve el problemaidi i l

tαunidimensional

Minimizar ( ) ( )( )t tLSZ f x dα= +

sujeto a 0α ≥

Etapa 5: (Actualizar el punto). Hacer

( 1) ( ) ( )t t tx x dα+ = +

Etapa 6: (Criterio de parada). Si , entonces parar. En otro caso, hacer t = t + 1, e ir a la Etapa 2.

tx x dα+

( 1) ( )t tx x ε+ − ≤

Algoritmo 2 (Regla de Armijo)

Figura 4. Ilustración gráfica de la regla de Armijo.

Etapa 1: (Valor inicial). Elegir y .Valores típicos son

y ó . Se toma .

ˆ 0, (0,1)α ε> ∈ 1δ > 0.2ε =

2δ = 10δ = ˆα α=

Etapa 2: Si ir a la Etapa 3. En otro caso, ir a la Etapa 4.( ) ( )g gα α≤

Etapa 3: Si parar, y hacer . En otro caso, hacer

e ir a la Etapa 2.

( ) ( )g gδα δα> tα α= α δα=

Etapa 4: Si parar. En otro caso, hacer e ir a laEtapa 3.

( / ) ( / )g gα δ α δ≤ /α α δ=

Determinación de las Direcciones de DDescenso

El criterio de parada suele ser , que se basa en la condición necesariade optimalidad y en la continuidad de

( )( )tf x ε∇ ≤( ) 0f x∇ = ( )f x∇de optimalidad y en la continuidad de .

Los métodos más importantes para seleccionar la dirección de descenso son:

( ) 0f x∇ = ( )f x∇

1. Método de la máxima pendiente. Este método usa , como dirección de descenso en x(t). Si se cumple

( ) ( )( )t td f x= −∇( )( ) 0tf x∇ ≠

( ) ( ) ( ) ( ) ( ) 2( ) ( ) ( ) ( ( ) ) 0t T t t T t tf x d f x f x f x∇ = −∇ ∇ = − ∇ <

2. Método de Newton. Este método usa

( ) ( ) ( ) ( ( ) ) 0f x d f x f x f x∇ = −∇ ∇ = − ∇ <

Si es definida positiva y su inversa también lo es, y

12 ( ) ( )( ) ( ) ( )t td t f x f x−

⎡ ⎤= − ∇ ∇⎣ ⎦2 ( )( )tf x∇ ( )( ) 0tf x∇ ≠

entonces d(t) es descendente

( )1( ) ( ) ( ) 2 ( ) ( )( ) ( ) ( ) ( ) 0t T t t T t tf x d f x f x f x−

⎡ ⎤∇ = ∇ − ∇ ∇ <⎣ ⎦

3. Métodos quasi-Newton. La dirección de búsqueda del método deNewton resulta indefinida si la matriz hesiana es singular. Además, el esfuerzocomputacional puede resultar muy grande para problemas de dimensiónp p y g p pmodesta. Para resolver este problema se aproxima por una matrizdefinida positiva B(t),que se actualiza sucesivamente para que converja a lamatriz hesiana en el punto solución.

d ó d bú d l l í

2 ( )[ ( )]tf x∇

La dirección de búsqueda se calcula así:

l l fó l d d l h ll l

1( ) ( )( ) ( )t td t B f x−

⎡ ⎤= − ∇⎣ ⎦Un ejemplo es la fórmula de Davidon-Fletcher-Powell (DFP), que actualizamediante:

( ) ( ) ( ) ( ) ( ) ( )( ) ( )( 1) ( )t t T t t t T tp p H q q HH t H t+ +

donde p(t) = x(t+1)-x(t), , y H(1) es la matriz identidadI l d B d G ldf b Sh (BFGS) l d

( ) ( ) ( ) ( ) ( )( ) ( )( 1) ( )

( ) ( )t T t t T t tp p q qH t H tp q q H q

+ = + −

( ) ( 1) ( )( ) ( )t t tq f x f x+= ∇ −∇In, y la de Broyden- Goldfarb-Shanno (BFGS) que actualiza mediante:

( ) ( ) ( ) ( ) ( ) ( )( )

( ) ( ) ( ) ( ) ( ) ( )( ) ( ) ( )( 1)

( ) ( ) ( )

t t T t t T t t Tt

n nt T t t T t t T tp q q p p pH t I H Iq p q p q p

⎛ ⎞ ⎛ ⎞+ = − − +⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

donde .

( ) ( ) ( )q p q p q p⎝ ⎠ ⎝ ⎠

( ) ( ) 1[ ]t tH B −=

4. Un Método general. Los métodos anteriores son casos particulares deconsiderar una transformación del gradiente cambiado de signo mediante unamatriz definida positiva A(t) es decir para todo x≠0( ) 0T tx A x >matriz definida positiva A( ), es decir, para todo x≠0.

Sea ,entonces

0x A x >( ) ( ) ( )[ ( )]t t td A f x= −∇

( ) ( ) ( ) ( ) ( )( ) ( ) [ ( ] 0t T t t T t tf x d f x A f x∇ =∇ − <

5. Método del gradiente conjugado. Este método utiliza

( ) ( ) [ ( ] 0f x d f x A f x∇ =∇ <

que es descendente, ya que, si ,se puede demostrar que:

( ) ( ) ( 1) (1)1( ) ,con 0t t t

td f x d dβ −−= −∇ + =

( )( ) 0tf x∇ ≠

Hay varias variantes de este método: La de Fletcher-Reeves, que usa la

2( ) ( ) ( ) ( ) ( 1)1( ) ( ) ( )t T t t t T t

tf x d f x f x dβ −−∇ = − ∇ + ∇

y qfórmula:

2( )1

0 si es un múltiplo de

( )tFR

t n

f xβ

⎧⎪⎪ ∇= ⎨1

2( 1)

( )en caso contrario

( )t

t

f x

f x

β −

−

∇⎨⎪∇⎪⎩

El método de Polak-Ribière define este parámetro como:

0 si es un múltiplo de t n⎧( ) ( ) ( 1)

12( 1)

p

( ) ( ( ) ( )) en caso contrario( )

t T t tFRt

t

f x f x f x

f xβ −

−−

⎧⎪∇ ∇ −∇= ⎨⎪ ∇⎩

Ejemplo Método de la Máxima Pendiente

Minimizar

Etapa 1: (Punto inicial) Se toma x(1) = (0 0)T

2 21 2 1 2 2 1 2( , ) 2 2 2f x x x x x x x= − − + +

Etapa 1: (Punto inicial). Se toma x( ) = (0, 0) .

Etapa 2: (Generación de la dirección de búsqueda). En la iteración t, se usa la d ó d bú ddirección de búsqueda:

En la primera iteración

( ) ( )2 1 1 2( ) ( 2 2 , 2 2 4 )t t Td f x x x x x= −∇ = − + − − +

Etapa 3: (Comprobación de optimalidad). Como d(1)≠0 se trata de una

(1) (1)(0,0) y (0,0) (0,2)T Tx d f= = −∇ =

p p pdirección de descenso.

Etapa 4: (Búsqueda lineal) Para calcular el salto se resuelve el problemaEtapa 4: (Búsqueda lineal). Para calcular el salto, se resuelve el problema

Minimizar (1) (1)( ); 0LSZ f x dα α= + ≥

Puesto que , la función objetivo de esteproblema es . Como esconvexa la condición suficiente de optimalidad es Por tanto se

(1) (1) (0,0) (0,2) (0,2 )T T Tx dα α α+ = + =2( ) (0,2 ) 4 8g fα α α α= = − + (1) (1)( ) ( )g f x dα α= +

'( ) 0g αconvexa, la condición suficiente de optimalidad es . Por tanto, seresuelve y se obtiene α1=1/4.

E 5 (A li ió ) S

( ) 0g α ='( ) 4 16 0g α α= − + =

(2) (1) (1) 1 1(0 0) (0 2) 0T

T Td ⎛ ⎞⎜ ⎟Etapa 5: (Actualización). Sea (2) (1) (1)

11 1(0,0) (0,2) 0,4 2

T Tx x dα ⎛ ⎞= + = + = ⎜ ⎟⎝ ⎠

Figura 5. Progreso del método del gradiente.

Etapa 6:(Comprobación de convergencia). Puesto que es grande, se repitecon , y t=2.

f∇( )(2) 0,1 / 2 Tx =

Etapa 2: (Generación de la dirección de búsqueda). (2) (0,1 / 2) (1,0)Td f= −∇ =

Etapa 3: (Comprobación de optimalidad). Como d(2)≠0 se trata de unadirección de descenso.

Etapa 4: (Búsqueda lineal). Como

se tiene , y el problema lineal es:

(2) (2) (0,1/ 2) (1,0) ( ,1 / 2)Tx dα α α+ = + =(2) (2) 2( ) ( ,1 / 2) 1/ 2f x d fα α α α+ = = − + −

Minimizar 2 1 / 2; 0LSZ α α α= − + − ≥

Como es convexa, se resuelve y seobtiene .

2( ) 1 / 2g α α α= − + − '( ) 1 2 0g α α= − + =

2 1 / 2 0α = >

Etapa 5: (Actualización). Se hace t = 3, entonces:

( )(3) (2) (2) 1 1 1 10 1 0T T

Td ⎛ ⎞ ⎛ ⎞+ +⎜ ⎟ ⎜ ⎟( )(3) (2) (2)2 0, 1,0 ,

2 2 2 2x x dα= + = + =⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠

Ejemplo Método de Newton

La matriz hesiana y su inversa son:

1

112 2 2⎛ ⎞⎜ ⎟⎛ ⎞ ( ) 12 2

1 2 1 2

2 2 2( , ) ; ( , )2 4 1 1

2 2

f x x f x x− ⎜ ⎟−⎛ ⎞

∇ = ∇ = ⎜ ⎟⎜ ⎟−⎝ ⎠ ⎜ ⎟⎜ ⎟⎝ ⎠

Etapa 1: (Punto inicial). Se toma x(1) = (0, 0)T .

Etapa 2: (Generación de la dirección de búsqueda). Puesto que:Etapa 2: (Generación de la dirección de búsqueda). Puesto que:

resulta:( ) 1( ) 2 ( ) ( )( ) ( )t t td f x f x−

= − ∇ ∇

11⎛ ⎞− −⎜ ⎟⎛ ⎞ ⎛ ⎞(1) 2 (1) 1 (1)1 0 12[ ( )] ( )1 1 2 12 2

d f x f x−− −⎜ ⎟⎛ ⎞ ⎛ ⎞

= − ∇ ∇ = =⎜ ⎟⎜ ⎟ ⎜ ⎟−⎝ ⎠ ⎝ ⎠⎜ ⎟− −⎜ ⎟⎝ ⎠

Etapa 3: (Comprobación de optimalidad). Como d(1)≠0 y f es estrictamenteconvexa, se trata de una dirección de descenso.

Etapa 4: (Búsqueda lineal). El problema lineal es:

Minimizar

Puesto que se obtiene

(1) (1)( ); 0LSZ f x dα α= + ≥

(1) (1) (0 0) (1 1) ( )T T Tx dα α α α+ = + =2( , ) 2f α α α α= − +q

y el óptimo se alcanza en .

Etapa 5: (Actualización) Se hace

(0,0) (1,1) ( , )x dα α α α+ + ( )f

1 1α =

(2) (1) (1) (0 0) (1 1) (1 1)T T Tx x dα+ +Etapa 5: (Actualización). Se hace .

Etapa 6: (Comprobación de convergencia). Puesto que se trata d l ó

( ) ( ) ( )1 (0,0) (1,1) (1,1)x x dα= + = + =

(2)( ) 0f x∇ =del óptimo.

Ejemplo Método quasi-Newton

Etapa 1: (Punto inicial). Se toma

(1) (1) (1) (1) (1) (1)1 0(0 0) ; H ; d ( ) ( )Tx H f x f x

⎛ ⎞= = = − ∇ = −∇⎜ ⎟

Por tanto coincide con el método de la máxima pendiente, resultando t = 2 y

(0,0) ; H ; d ( ) ( )0 1

x H f x f x= = = ∇ = ∇⎜ ⎟⎝ ⎠

(2) T.

Etapa 2: (Generación de la dirección de búsqueda). Para usar la fórmula de

(2) (0,1 / 2)Tx =

Etapa 2: (Generación de la dirección de búsqueda). Para usar la fórmula deDFP se necesitan los vectores y matrices:

(1) (2) (1) (2) (1)0 00

; ;1 1x x p x x⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎜ ⎟ ⎜ ⎟= = = − =⎜ ⎟ ⎜ ⎟ ⎜ ⎟

; ; 1 102 2

0 1 1

x x p x x= = = =⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠

⎛ ⎞ ⎛ ⎞ ⎛ ⎞(1) (2) (1) (2) (1)0 1 1( ) ; ( ) ; ( ) ( )

2 0 2f x f x q f x f x

− −⎛ ⎞ ⎛ ⎞ ⎛ ⎞∇ = ∇ = =∇ −∇ =⎜ ⎟ ⎜ ⎟ ⎜ ⎟−⎝ ⎠ ⎝ ⎠ ⎝ ⎠

(1) (1) (1) (1)0 0 0 11 10, ; 0, 11 1 22 20

T Tp p p q

⎛ ⎞ ⎛ ⎞ −⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟ ⎜ ⎟= = = =⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠⎝ ⎠ ⎝ ⎠

( )(1) (1) (1) (1)

22 202 4

1 0 1 1 0 1 21 2

TH q q H

⎝ ⎠ ⎝ ⎠⎝ ⎠⎝ ⎠ ⎝ ⎠

− −⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞= − =⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟( )

( )(1) (1) (1)

1,20 1 2 0 1 2 4

1 0 11 2 5

T

H q q H

H

= =⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟−⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎝ ⎠

−⎛ ⎞⎛ ⎞⎜ ⎟⎜ ⎟( )(1) (1) (1) 1,2 5

0 1 2q H q

⎛ ⎞⎛ ⎞= − =⎜ ⎟⎜ ⎟

⎝ ⎠⎝ ⎠

Ejemplo Método del Gradiente Conjugado.

Etapa 1: (Punto inicial). Se toma x(1) = (0, 0)T. De nuevo, la dirección debúsqueda es , por lo que no se repite, y se hace:

t=2 y x2 = (0,1/2)T.

(1) (1)( )d f x= −∇

Etapa 2: (Generación de la dirección de búsqueda). Se obtiene

0 1 0⎛ ⎞ ⎛ ⎞ ⎛ ⎞(1) (2) ( ) ( )

2(1) 2 2

0 1 0( ) ; ( ) ; ( )

2 0 2

( ) 0 ( 2) 4

n nf x f x d f x

f x

−⎛ ⎞ ⎛ ⎞ ⎛ ⎞∇ = ∇ = = −∇ =⎜ ⎟ ⎜ ⎟ ⎜ ⎟−⎝ ⎠ ⎝ ⎠ ⎝ ⎠

∇ = + − =2(2) 2 2

2(2)

( ) 1 0 1

( ) 1FR

f x

f xβ

∇ = + =

∇

y se calcula la dirección de búsqueda como:

1 2(1) 4(FR

f xβ = =

∇

y q

(2) (2) (1)1

1 0 11( )0 2 1/ 24

FRd f x dβ− −⎛ ⎞ ⎛ ⎞ ⎛ ⎞

= ∇ + = + =⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠

Etapa 3: (Comprobación de optimalidad). Como d(2) ≠0, se trata de unadirección de descenso.

Etapa 4: (Búsqueda lineal). Para calcular el salto, se resuelve el problema:

Minimizar

puesto que

(2) (2)( ); 0LSZ f x dα α= + ≥

puesto que

(2) (2) 1(0,1/ 2) (1,1/ 2) ( , )2 2

T T Tx d αα α α+ = + = +

Se obtiene21 1( ) ,

2 2 2 2g f α αα α α⎛ ⎞= + = − − +⎜ ⎟

⎝ ⎠

el valor óptimo de la búsqueda lineal es: α2=1 > 0.

Etapa 5: (Actualización) Se haceEtapa 5: (Actualización). Se hace

( ) ( )(3) (2) (2)2 0,1 / 2 1 1,1/ 2 (1,1)T T Tx x dα= + = + =

Etapa 6: (Comprobación de optimalidad). Puesto que x(3) satisface

se ha alcanzado el óptimo, y el algoritmo para.

(3)( ) 0f x∇ =

Para el caso de funciones cuadráticas convexas, el óptimo se alcanza tras unnúmero de iteraciones igual a la dimensión de la matriz hesiana.

Algoritmos para la Optimización con R t i iRestricciones

El problema de la optimización con restricciones puede resolverse mediante lossiguientes métodos:siguientes métodos:

1. Métodos duales: Resuelven el problema dual en vez del problema primal.

2. Métodos de penalización: Transforman el problema restringido en unonuevo en el que las restricciones e incorporan a la función objetivo por mediode una selección adecuada de parámetros de penalización. Estos algoritmos

f l bl d ó d bltransforman el problema restringido en una sucesión de problemas sinrestricciones.

3. Métodos de linealización parcial: Extienden los algoritmos de direccióndescendente al caso de restricciones. Ahora se fuerza a que las direccionessean admisibles.

4. Método de los multiplicadores o del lagrangiano aumentado: Sonmétodos de penalización cuadrática que usan el lagrangiano aumentado comofunción objetivo.

5. Métodos de programación secuencial cuadrática: Resuelven unasecuencia de problemas de programación cuadrática que aproximan elproblema original Cuanto mayor sea el número de iteraciones mayor será laproblema original. Cuanto mayor sea el número de iteraciones mayor será laaproximación obtenida.

Métodos DualesMétodos DualesLa principal razón para usar los métodos duales es que en la mayoría de los casosresulta una función cóncava en un conjunto convexo muy sencillo por lo que noresulta una función cóncava en un conjunto convexo muy sencillo, por lo que notiene máximos locales no globales. Deben plantearse dos cuestiones:

Có b l l ó d l l l l d la) Cómo obtener la solución del primal tras resolver el dual.

b) Cómo resolver el problema dual.

Sea el problema

Minimi ar ( )Z f x=Minimizar

Sujeto a

( )PZ f x=

( ) 0( ) 0

h x =

Donde son continuas.

( ) 0g x ≤

: , : y :n l n mf h g→ → →

El problema dual es:

Maximizar

Donde la función dual es

( , ); 0DZ θ λ μ μ= ≥

1 1( , ) ( ) ( ) ( )

l m

x k k j jk j

Infimo f x h x g xθ λ μ λ μ= =

⎛ ⎞= + +⎜ ⎟

⎝ ⎠∑ ∑

Con dominio de definición

{ }( ) 0 existe el minimo ( )D L xλ μ μ λ μ= ≥

Para evaluar la función dual para λ(t) y µ(t) es necesario resolver el problema

{ }( , ) 0, existe el minimo ( , , )D L xλ μ μ λ μ= ≥

que se llama Problema lagrangiano.

( ) ( ) ( , , )t txMinimo L x λ μ

Para discutir la primera cuestión, se define el conjunto

{ }( , ) minimiza ( , , )x x x L xλ μ λ μ=

* *Si no existe la holgura dual, es decir, , y somos capaces de resolver elproblema dual y obtener como valores óptimos , entonces cualquier puntofactible resuelve el problema primal. El teorema que sigue justifica

l bl i l h l d l d b

* *D PZ Z=

* *( , )λ μ* * *( , )X X λ μ∈

que para los problemas convexos no existe la holgura dual, y que se puede obteneruna solución primal basándose en las soluciones del problema dual.

Teorema 1 (Condición suficiente para una solución primal basadaen la dual.)

Sea una solución del problema dual y supóngase que es* *( , )λ μ ( , )θ λ μy gdiferenciable en . Entonces, cualquier elemento resuelveel problema primal.

* *( , )λ μ * * *( , )X X λ μ∈

Métodos de PenalizaciónMétodos de PenalizaciónLos métodos de penalización transforman el problema restringido original en unasecuencia de problemas sin restringir mediante funciones de penalización La ideasecuencia de problemas sin restringir mediante funciones de penalización. La ideade convertirlos en problemas no restringidos es muy atractiva, pues éstos seresuelven muy fácil y eficientemente.

Puesto que todos los métodos tratan las igualdades de la misma forma éstos sePuesto que todos los métodos tratan las igualdades de la misma forma, éstos seclasifican por la forma de tratar las desigualdades. Hay dos tipos de métodos:

é d d l i d l d l bl1. Métodos del punto exterior. La secuencia de soluciones de los problemassin restricciones contiene sólo puntos no factibles (exteriores a la regiónfactible).

2. Métodos del punto interior o métodos barrera. La secuencia desoluciones de los problemas sin restricciones contiene sólo puntos factibles(interiores a la región factible). Un caso particular interesante es el métodod l t i t i li t i tdel punto interior que se analiza posteriormente.

Método del Punto ExteriorMétodo del Punto ExteriorEn el método del punto exterior la penalización impuesta al punto x aumentacundo éste se desvía de la región factiblecundo éste se desvía de la región factible.

De nuevo, al actualizar los parámetros de penalización, la sucesión correspondientede puntos mínimos de los problemas penalizados converge a la solución óptima delproblema inicial En este caso los puntos de la sucesión están fuera de la regiónproblema inicial. En este caso los puntos de la sucesión están fuera de la regiónfactible.

Ejemplo Método del Punto Exterior

Considere el problema

Minimizar ( )Z f x=

Sujeto a

( )f

( ) 0( ) 0

h xg x

=≤

Donde son continuas. La función depenalización exterior es

( ) 0g x ≤

: , : y :n n m lf g h→ → →

donde r es el parámetro de penalización y es la función de

( ; ) ( ) ( ( ), ( ))P x r f x r h x g xψ= +

: l mψ + →donde r es el parámetro de penalización y es la función depenalización que satisface

:ψ →

( ( ), ( )) 0; h x g x x Sψ = ∀ ∈( ( ), ( )) 0; h x g x x Sψ > ∀ ∉

Teorema 2 (Convergencia del método del punto exterior.)

Sea una sucesión divergente de números positivos, y{ }tr : l mψ + →

una función de penalización continua exterior. Se define la secuencia:

{ }( ) arg minimizar ( ) ( ( ), ( )) , 1,2,....ttx f x r h x g x tψ= + =

y se supone que para cada rt, existe una solución óptima de este problema. Todopunto límite de la sucesión generada por este método exterior es unmínimo global del problema original con restricciones. En particular, si el

{ }( )txg p g p ,

problema original tiene una única solución óptima, entonces es el punto límitede .

La función de penalización mas común es:

{ }( )tx

La función de penalización mas común es:

,1 1

( ; ) ( ) ( ) ( ) ; , 1l m

k jk j

P x r f x r h x g xβα

α β α β+= =

⎡ ⎤= + + ≥⎢ ⎥

⎣ ⎦∑ ∑

{ }Donde . Dos casos particulares son:{ }max ,0x x+=

11 1

( ; ) ( ) ( ) ( )l m

k jk j

P x r f x r h x g x+= =

⎡ ⎤= + +⎢ ⎥

⎣ ⎦∑ ∑

222

1 1( ; ) ( ) ( ) ( )

l m

k jk j

P x r f x r h x g x+= =

⎣ ⎦⎡ ⎤

= + +⎢ ⎥⎣ ⎦∑ ∑

Algoritmo 3 (Método del punto exterior)

Etapa 1: (Iniciación). Hacer x(0), r1 > 0 y t = 1. Sea ε > 0 una toleranciadada, y η > 1 un número dado.

Etapa 2: (Sub-problema). Resolver por un método de descenso, con x(t-1)

como punto inicial, el problema:

Minimizar

l ó ( )

( ) ( ( ), ( ))tf x r h x g xψ+

cuya solución es x(t).

Etapa 3: (Criterio de parada). Si , parar y salir. En otro caso,( ) ( 1)t tx x ε−− <p ( p ) p yir a la Etapa 4.

Etapa 4: Hacer r 1 = ηr t = t + 1 e ir a la Etapa 2Etapa 4: Hacer rt+1 ηrt, t t + 1, e ir a la Etapa 2.

Los métodos de penalización tienen las siguientes propiedades:

1. , donde x(r) minimiza P(x,r), son funciones nodecrecientes en r.

( ( ), ) y ( ( ))P x r r f x r

2. es una función no creciente en r.

3 Se cumplen las siguientes condiciones límites:

( ( ( )))h x rψ

3. Se cumplen las siguientes condiciones límites:

( )( ) ( )lim ( ), ( ) 0t tttr h x g xψ

→+∞=

Ejemplo Método de Penalización Exterior

Considere el problema

Minimizar ( )2

21 2

176Z x x⎛ ⎞= − + −⎜ ⎟

Sujeto a

( )1 262

Z x x+ ⎜ ⎟⎝ ⎠

21 2 0x x− =

Nótese que en la iteración t, el problema a resolver para obtener x(t) es

2⎛ ⎞

L i i t t bl l ál l li d β=1 β=2 El t d

( )2

2 21 2 1 2

1762 tZ x x r x x

β⎛ ⎞= − + − + −⎜ ⎟⎝ ⎠

La siguiente tabla resume los cálculos realizados para β=1 y β=2. El punto departida es x(0)= (0,0). El valor inicial del parámetro de penalización se ha tomadocomo r1 = 0.001 y η = 10.

Tabla 2. Resultados del ejemplo Método de penalización exterior.

Método Interior o BarreraMétodo Interior o BarreraSea el problema

Minimizar

Sujeta a

( )Z f x=

( ) 0g x ≤Sujeta a

donde son funciones continuas, y es la región factible. Se supone que es no vacía, y el cierre de S- es el

( ) 0g x ≤

: , :n n mf g→ → { }( ) 0S x g x= ≤{ }( ) 0S x g x− = <región factible. Se supone que es no vacía, y el cierre de S es el

conjunto S.

Se considera la función objetivo

{ }( ) 0S x g x <

donde r es el parámetro de penalización y φ es la función de penalización. Estafunción forma una barrera infinita a lo largo del contorno de la región factible, que

( ; ) ( ) ( ( ))P x r f x r g xφ= +

función forma una barrera infinita a lo largo del contorno de la región factible, quefavorece la selección de los puntos factibles frente a los que no lo son.

Las funciones de penalización son funciones definidas en ,

que satisfacen las condiciones siguientes:( ) { }0m mR y y

−= ∈ <

o Son positivas en el interior de la región factible

o Tienden a ∞ en la frontera de la región factible

( ( )) 0; g x x Sφ −> ∀ ∈

Ejemplos del término de penalización válidos para la región factible g(x) ≤ 0, son:

lim ( ( ))x S S

g xφ−→ −

= +∞

g g

o La barrera logarítmicam

o La barrera inversa

1( ( )) log( ( ))

m

jj

g x g xφ=

= − −∑

1

1( ( ))( )

m

j j

g xg x

φ=

−= ∑

Teorema 3 (Convergencia de los métodos barrera)

Sea una sucesión de números positivos que convergen a cero, y sea{ }tr : mφ →

una función de penalización interior, se define

{ }( ) arg min imiza ( ) ( ( )) , 1,2,...ttS

x f x r g x tφ−= + =

Todo punto límite de una sucesión generada por un método barrera pormedio de la anterior ecuación es un mínimo global del problema original con

{ }g ( ) ( ( ))tx Sf gφ

∈

{ }( )txmedio de la anterior ecuación es un mínimo global del problema original conrestricciones. En particular, si el problema original tiene una única soluciónóptima, entonces es el punto límite de .{ }( )tx

Algoritmo 4 (Método de Barrera)

Et 1 (I i i ió ) El i t i i i l (0) t l (0) S −Etapa 1: (Iniciación). Elegir un punto inicial x(0) tal que , unparámetro de penalización inicial r1 > 0 y hacer t = 1. Sean ε > 0, un númeropequeño, y dados.

(0)x S∈

(0,1)η∈

Etapa 2: (Solución del problema sin restricciones). Resolver por unmétodo de descenso, con x(t-1) como punto inicial, el problema:

Minimizar

sujeto a

{ }( ) ( ( ))tZ f x r g xφ= +

x S −∈

cuya solución óptima es x(t).

Et 3 (C it i d d ) Si li E t( ) ( 1)t tEtapa 3: (Criterio de parada). Si , parar y salir. En otro caso,se va a la Etapa 4.

Et 4 S h + 1 l 2

( ) ( 1)t tx x ε−− <

Etapa 4: Se hace rt+1 = ηrt, t = t + 1, se va al paso 2.

Ejemplo Método Interior o de Barrera

Considere el problema

Minimizar 2 21 1 2 25 8 2Z x x x x= − + − +

Sujeto a

1 1 2 25 8 2Z x x x x+ +

1 23 2 6x x+ ≤

La función barrera logarítmica es

2 2( ) 5 8 2 l (6 3 2 )P + + +

Los puntos estacionarios de P(x,r), como funciones de r, son

2 21 1 2 2 1 2( , ) 5 8 2 log(6 3 2 )P x r x x x x r x x= − + − + − − +

11 1 2

32 5 06 3 2

24 8 0

P rxx x xP r

∂= − + =

∂ − −∂

+22 1 2

4 8 06 3 2

xx x x

= − + =∂ − −

lo que conduce a . Por lo tanto1 22 6 7 0x x− + =

32 5 0r1

11

2 5 076 3 26 3

24 8 0

xxx

r

− − =⎛ ⎞− − − −⎜ ⎟⎝ ⎠

l

2

2 2

4 8 076 3 3 22

xx x

− − =⎛ ⎞− + −⎜ ⎟⎝ ⎠

que es equivalente a

21 122 2

22 77 9 55 0

22 77 66 0

x x r

x x r

− − + =

− − + =

La solución del anterior sistema da los puntos estacionarios como una función de r:

2 222 77 66 0x x r +

177 99(11 8 )

( )44

77 11(11 8 )( )

rx r

rx r

− +=

− +2 ( )

44x r =

donde las otras dos raíces has sido rechazadas porque son no factibles. La figuramuestra las curvas de nivel de la función objetivo, así como la región factible.Nótese que la solución óptima se alcanza en la frontera de la región factible y queNótese que la solución óptima se alcanza en la frontera de la región factible, y quela trayectoria hacia el óptimo está contenida en la región factible.

Nótese también que:

10

lim ( ) 1

3

rx r

+→=

20

3lim ( )2

lim ( ) 0

rx r

r xφ

+→=

=0

lim ( ) 0r

r xφ+→

El Método del Punto InteriorEl Método del Punto InteriorSea el problema

Minimizar Tc x

A bsujeta a

Donde Su dual es

0Ax bx=≥

yn m m nx c b A∈ ∈ ∈ ×Donde . Su dual es

Maximizar

, , y x c b A∈ ∈ ∈ ×

Tb y

sujeta a TA y c≤

que usando variables de holgura equivale a:

Maximizar Tb y

TA y c+sujeta a

con variables . Usando barreras logarítmicas, resulta

0A y z c

z+ =≥

y m ny z∈ ∈ g ,

Maximizar

yy

1

nT

jj

b y Ln Zμ=

+ ∑

sujeta a

j

TA y z c+ =

Debe notarse que Zj nunca es cero, por lo que el problema está bien planteado.

El método del punto interior aborda la solución del problema anterior paraEl método del punto interior aborda la solución del problema anterior paradiferentes valores del parámetro barrera µ, de forma tal que:

µ0>µ1>µ2>…>µ∞ = 0.

Teorema 4 (Convergencia)

La sucesión de parámetros genera una secuencia de problemas como el d i l l ió d l l i d é

{ }k k oμ ∞

=

{ }∞mostrado anteriormente, tal que la sucesión de las soluciones , de éstos converge a la solución de las ecuaciones.

{ }k k ox

=

El lagrangiano del problema tiene la forma

1( , , , ) ( )

mT T T

jj

L x y z b y Ln Z x A y z cμ μ=

= + − + −∑

Nótese que los multiplicadores de Lagrange, x, son las variables del problemaoriginal (primal). Utilizando dicho lagrangiano, las condiciones de optimalidad deprimer orden del problema son:primer orden del problema son:

( , , , ) 0( , , , ) 0

( ) 0

Tx

y

L x y z A y z cL x y z Ax b

L XZ

μμ

⎧∇ = + − =⎪ ∇ = − =⎨⎪ ∇⎩

Donde

( , , , ) 0zL x y z XZe eμ μ⎪ ∇ = − =⎩

1 2( , ,..., )( )

nX diag x x xZ diag z z z≡

≡

y la dimensión de e es nx1.

1 2( , ,..., )

(1,1,...,1)m

T

Z diag z z z

e

≡

=

Ejemplo del Método del Punto Interior

Considere el problema primal

Minimizar1

2

xx

⎛ ⎞⎜ ⎟⎜ ⎟2

3

4

( 3 5 0 0 0)xxZxx

⎜ ⎟⎜ ⎟= − −⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠5x⎜ ⎟⎝ ⎠

1

1 0 1 0 0 4xx

⎛ ⎞⎜ ⎟⎛ ⎞ ⎛ ⎞⎜ ⎟

Sujeto a

2

3

4

1 0 1 0 0 40 1 0 1 0 63 2 0 0 1 18

xxx

⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ =⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠⎜ ⎟

⎜ ⎟⎝ ⎠5

1 2 3 4 5, , , , 0x

x x x x x

⎜ ⎟⎝ ⎠≥

La región factible del problema se da en la siguiente figura.

Figura 6. Progreso del método del gradiente.Figura 6. Progreso del método del gradiente.

Su dual es:

Ma imi ar ( )1

4 6 18yy

⎛ ⎞⎜ ⎟⎜ ⎟

11 0 3 3z −⎛ ⎞⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟Maximizar

Sujeto a

( ) 2

3

4 6 18 yy

⎜ ⎟⎜ ⎟⎝ ⎠

21

32

43

0 1 2 51 0 0 00 1 0 0

zyzyzy

⎜ ⎟⎜ ⎟ ⎜ ⎟⎛ ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟+ =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎜ ⎟⎜ ⎟ ⎜ ⎟

⎜ ⎟ ⎜ ⎟⎜ ⎟43

5

1 2 3 4 5

0 0 1 0, , , , 0

zz z z z z

⎝ ⎠ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠⎝ ⎠

≥

La función Lagrangiana es:

1 11 0 3 3Tx z⎧ ⎫−⎛ ⎞ ⎛ ⎞⎛ ⎞ ⎛ ⎞⎪ ⎪⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟

( )

1 1

2 211 5

3 32 21

4 43 3

0 1 2 5( , , , ) 4 6 18 1 0 0 0

0 1 0 0j

j

x zyyx zL x y z y Ln Z yx zy y

μ μ=

⎛ ⎞ ⎛ ⎞⎪ ⎪⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎛ ⎞ ⎛ ⎞⎪ ⎪⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎪ ⎪⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟= + − + −⎨ ⎬⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎪ ⎪

⎝ ⎠ ⎝ ⎠⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎪ ⎪

∑

l d d l d d

4 43 3

5 5

0 1 0 00 0 1 0

x zy yx z

⎝ ⎠ ⎝ ⎠⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎪ ⎪⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎪ ⎪⎝ ⎠ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎩ ⎭

y las condiciones de optimalidad son:

1

21

1 0 3 3 00 1 2 5 0

zzy

−⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎛ ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟

32

43

5

1 0 0 0 00 1 0 0 00 0 1 0 0

zyzyz

⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟+ − =⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟

⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠5

1

21 0 1 0 0 4 00 1 0 1 0 6 0

xxx

⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠⎛ ⎞⎜ ⎟⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ − =⎜ ⎟ ⎜ ⎟ ⎜ ⎟3

4

5

0 1 0 1 0 6 03 2 0 0 1 18 0

xxx

⎜ ⎟ =⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎜ ⎟

⎜ ⎟⎝ ⎠

1 1

2 2

1 01 01 0

x zx z

μμ

⎛ ⎞⎛ ⎞⎛ ⎞ ⎛ ⎞ ⎛ ⎞⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟3 3

4 4

5 5

1 01 01 0

x zx z

x z

μμμ

⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟− =⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ ⎟

⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠⎝ ⎠⎝ ⎠

Para resolver el sistema por el método de Newton, se sustituyen x, y y z por x+∆x,y+∆ y z+∆z, respectivamente, que despreciando términos de segundo ordenconducen al sistema incremental

0AΔ 0

0T

A x

A y zZ x X e e XZeμ

Δ =

Δ + Δ =Δ + Δ = −

Las direcciones de búsqueda primales-duales se obtienen resolviendo el anterior sistema de ecuaciones en ∆x, ∆y y ∆z, es decir:

( ) 11 1 ( )Ty AXZ A AZ v μ−− −Δ = −

d d (µ) µ X

( )

1 1

( )

( )

T

y

z A y

x Z v XZ z

μ

μ− −

Δ = − Δ

Δ = − Δdonde v(µ)=µe‐Xze.

Se procede a una iteración de Newton para obtener el punto

1t tpx x xα+ = + Δ

1

1

p

t td

t td

y y y

z z z

α

α

+

+

= + Δ

= + Δ

Donde son los saltos primales y duales, respectivos. El saltoprimal se aplica a las variables primales x, mientras que el salto dual, a las duales y yz. La selección de αp y αd se hace de forma tal que x y z permanezcan estrictamentepositivas (y no tiene por qué ser positiva) Se usa el parámetro σ(0 <σ< 1) para

0 1, y 0 1p dα α≤ ≤ ≤ ≤

positivas (y no tiene por qué ser positiva). Se usa el parámetro σ(0 <σ< 1) paraasegurar la positividad. Por tanto:

min tal que ix i

x xx

α δ⎧ ⎫−

= Δ < −⎨ ⎬Δ⎩ ⎭{ }min 1,

min tal q e

i

p x

j

x

z

α σα

α δ

Δ⎩ ⎭=

⎧ ⎫−⎪ ⎪Δ <⎨ ⎬

{ }

min tal que

min 1,

jz j

j

x z

zz

α δ

α σα

= Δ < −⎨ ⎬Δ⎪ ⎪⎩ ⎭=

donde es una tolerancia (e.g. = 0.0001) y σ = 0.999959.δ δ

Holgura Dual

Para x e y factibles, la holgura dual es:

que se usa para medir la cercanía al óptimo.

T Tc x b y−

q p p

Infactibilidad inicial.

S l l f bl l d l é d d lSi el punto inicial no es factible, aplicando el método de Newton al sistema(condiciones de primer orden) se obtiene el sistema incremental

Z x X z e XZeμΔ + = −

Cuya solución es

T T

Z x X z e XZeA x b Ax

A y z c A y z

μΔ +Δ = −

Δ + Δ = − −Cuya solución es

( ) ( )11 1 1( )Td p

T

y AXZ A AZ v AXZ r r

A

μ−− − −Δ = − − −

Δ Δ1 1( )

Tdz A y r

x Z v XZ zμ− −

Δ = − Δ +

Δ = − Δ

donde

; Tp dr b Ax r c A y z= − = − −

son los residuos primales y duales, respectivamente. Factibilidad y optimalidad seobtienen simultáneamente (residuos y holgura dual tienden a cerosimultáneamente)

p d y

simultáneamente).

Actualización del parámetro barrera.U ibl l ió d µ l i D l di i d ti lid dUna posible selección de µ es la que sigue. De las condiciones de optimalidad seobtiene

Tz xn

μ =

Para conseguir un ‘camino central’, es decir, para evitar un aproximaciónprematura a la frontera, se introduce el parámetro ρ. Entonces

n

Tz xn

μ ρ=

Los valores del parámetro ρ se ajustan experimentalmente por prueba y error.

Una elección razonable es

0.1 T Tsi c x b yρ

⎧ >⎨

Si , la solución óptima ha sido encontrada.

0.2 T Tsi c x b yρ = ⎨

<⎩

T Tc x b y= , p

Criterio de parada.

l l d l h l d l f d

y

El algoritmo para cuando la holgura dual es suficientemente pequeña, es decir,cuando

T t T tc x b y−

donde ε es una tolerancia en tanto por uno

{ }max 1, T t

c x b y

c xε<

donde ε es una tolerancia en tanto por uno.

El numerador de esta fracción representa la holgura dual en curso, mientras que eld i d l á i t 1 l l d l f ió bj ti i l E tdenominador es el máximo entre 1 y el valor de la función objetivo primal. Estaforma de denominador evita la división por cero.

Cotas.

Considérese un problema primal que incluya cotas inferiores y superiores de lasi bl d ivariables x, es decir,

Minimizar Tc x

Sujeto aAx b

l x u=

≤ ≤

donde algunas de las componentes de u pueden ser infinitas y algunas de las de lpueden ser nulas. Con variables de holgura, s y v, el problema puede escribirse:

Minimizar Tc x

Sujeto a Ax bx s ux v l

=+ =− =

00

sv≥≥

Y usando barreras logarítmicas:

n⎛ ⎞Minimizar

Sujeto a

1( )

nT

i ii

Z c x Ln s Ln vμ=

⎛ ⎞= − +⎜ ⎟⎝ ⎠∑

A bj

Ax bx s ux v l

=+ =− =

Y su lagrangiano tiene la forma

1( , , , ) ( + ) ( ) ( ) ( )

nT T T T

i ii

L x y z c x Ln s Ln v y Ax b w x s u z x v lμ μ=

⎛ ⎞= − − − + + − − − −⎜ ⎟⎝ ⎠∑

donde las variables duales asociadas a las restricciones Ax = b son y, las variablesduales asociadas a las restricciones x + s = u son w, y las variables duales asociadas al t i i llas restricciones x-v = l son z.

Las condiciones de optimalidad son

( ) 0TL x y z A y z w cμ⎧∇ = + =( , , , ) 0( , , , ) 0

( , , , ) 1 0( ) 0

x

y

z

L x y z A y z w cL x y z Ax b

L x y z x vL SW

μμμ

⎧∇ = + − − =⎪ ∇ = − =⎪⎪ ∇ = − − =⎪⎨

∇⎪ ( , , , ) 0( , , , ) 0( , , , ) 0

s

v

w

L x y z SWe eL x y z VZe eL x y z x s u

μ μμ μμ

⎨∇ = − =⎪

⎪ ∇ = − =⎪

∇ = + − =⎪⎩

Para el caso usual en que l = 0, que implica x = v, se tiene

Ax b

T

Ax bx s u

A y z w c

=+ =

+ − =XZe eSWe e

μμ

==

Las direcciones de búsqueda (método de Newton) son:

( )1( ) ( ) ( ) ( )

( ) ( )

T

T T

y A A b Ax A c A y z w

x A y c A y z w

ρ μ

ρ μ

− ⎡ ⎤Δ = Θ − + Θ − − + +⎣ ⎦⎡ ⎤Δ = Θ Δ − − − − +⎣ ⎦

1 1

1 1

( ) ( )x A y c A y z w

z X e Ze X Z x

w S e We S W x

ρ μ

μ

μ

− −

− −

⎡ ⎤Δ = Θ Δ +⎣ ⎦Δ = − − Δ

Δ = − + Δ

dondes xΔ = −Δ

1 1 1( )X Z S W− − −Θ +

Selección del punto inicial.

1 1

( )

( ) ( ) ( )

X Z S W

S X e W Z eρ μ μ − −

Θ = +

= − − −

pSi no se dispone de un punto factible, el método de Vanderbei suministra un buenpunto de comienzo. Primero se calcula el vector mediantex̂

d d A l l d l i d i i A l d á i

2

1ˆ1j

j

xA

=+

donde Ai es la columna j de la matriz de restricciones A, y es la norma cuadrática..

Después, se calcula el escalar β mediante

21b

β+

y se corrige el vector inicial x(0) con

2

2ˆ 1Ax

β =+

y g

S l d l l d d f

(0) ˆ10x xβ=

Si alguna componente del vector x es mayor que la mitad de su cota superior, se fijaa ese valor. El vector de las variables duales y se hace cero. El vector de lasvariables duales z se inicia como una función del vector x, como sigue.

Si xj tiene una cota superior finita, se hace

0 1 0jsi c <⎧⎨

Si, por otra parte, la cota superior de xj es infinita, se hace

0

1 en otro casoj

jj

zc⎧

= ⎨ +⎩

0 1 1en otro caso

jj

j

si cz

c<⎧

= ⎨⎩

Algoritmo 5 (Barrera logarítmica primal-dual)

Entrada: Un problema de programación lineal.

Salida: Su solución o un mensaje indicando que es no acotado o no tiene solución.

o Etapa 0. Hacer t=0 y seleccionar un punto inicial .Calcular el vectorde holgura dual .

( , , )t ttx y μ

t T tz c A y= −

o Etapa 1. Calcular las matrices diagonales

.

( )1 1, ,..., yt t t tnX diag x x x=

( )1 2, ,...,t t t tmZ diag z z z=

o Etapa 2. Calcular el vector , y los residuos

. Si el punto es factible primal y dual, los residuos son cero.

( ) t tt tv e X Z eμ μ= − yt t

pr Ax b= −

rt T t td c A y z= − − . Si el punto es factible primal y dual, los residuos son cero.

o Etapa 3. Resolver el sistema de Newton para encontrar las direcciones

d y

t t t., t t ty z y xΔ Δ Δ

o Etapa 4. Calcular los saltos . t tp dyα α

o Etapa 5. Actualizar las variables primales y duales.

o Etapa 6. Si la holgura dual es suficientemente pequeña, parar, se ha encontrado p g p q , p ,un ε- óptimo. En otro caso, hacer t t + 1 y continuar.

o Etapa 7 Actualizar el parámetro barrera µ e ir a la Etapa 1o Etapa 7. Actualizar el parámetro barrera µt e ir a la Etapa 1.

BibliografíaBibliografía

“Formulación y Resolución de Modelos de Programación Matemática en Ingeniería yFormulación y Resolución de Modelos de Programación Matemática en Ingeniería yCiencia”, Enrique Castillo, Antonio J. Conejo, Pablo Pedregal, Ricardo García, NataliaAlguacil, 2002.