Met Analiticos s

Mtodos Mtodos Analticos de Analticos de Bsqueda.Bsqueda.

En el punto AA, la curva f(x1,x2) = cte., y la curva h(x1,x2) = 0 son tangentes y tienen pendientes iguales. Por lo tanto, pequeos cambios (diferenciales) en xx11 y xx22 (dx1 y dx2), producen un cambio similar en las variables dependientes f(x1, x2) y h(x1,x2):

Tomando las derivadas totales de ff y h se obtiene:

ya que ff es constante en los puntos A y B, y hh es igual a cero.

DDERIVACINERIVACIN

1 1

2 2f h

dx dxdx dx

=

1 21 2

1 21 2

0

0,

f fdf dx dxx xh hdh dx dxx x

= + =

= + =

1 2

,f fx x

El mnimo local del sistema restringido es el punto AA,El mximo local del sistema restringido es el punto BB,El mximo del sistema sinsin restricciones es el punto CC.

En el caso con restricciones las primeras derivadas no son cero.

1 2 2 1

0f h f hx x x x

=

sta es la ecuacin a resolver en combinacin con la ecuacin de restriccin para localizar los puntos estacionarios.

Combinando ecuaciones se tiene:x2

x1

AABB

CC

4

3

2

1

5

h(x1,x2) = 0

DDERIVACINERIVACIN

( )( )

( )

1 1 2

2 1 2

1 2

, , , 0

, , , 0

, , , 0

n

n

m n

h x x x

h x x x

h x x x

=

=

=

1 21 2

1 1 11 1 2

1 2

1 21 2

0

0

0

nn

nn

m m mm n

n

f f fdf dx dx dxx x xh h hdh dx dx dxx x x

h h hdh dx dx dxx x x

= + + + =

= + + + =

= + + + =

Caso general: Caso general: nn variables independientesvariables independientes y y mm ecuaciones de restriccinecuaciones de restriccinEn general se buscan los puntos estacionarios de una funcin f(x1,x2,...,xn) sujeta a mm ecuaciones de restriccin,

donde n > m

En este caso:

(m+1) ecs. homogneas y (n+1) incgnitas, las diferenciales dxi (i=1,...,n) y df.

En forma compacta se puede escribir colocando mm variables xxii al lado izquierdo:

1 1

1 1

m n

i ii i mi im n

k ki i

i i mi i

f fdf dx dxx xh hdx dxx x

= = +

= = +

+ =

=

donde k = 1,2,...,m

DDERIVACINERIVACINCaso general: Caso general: nn variables independientesvariables independientes y y mm ecuaciones de restriccinecuaciones de restriccin

Introduciendo una notacin para distinguir las variables del problema: Variables de estado: ssii = = xxii para ii = 1,2, ..., = 1,2, ..., mm Variables de decisin: ddii = x = xii para ii = = mm+1,...,+1,...,nn Grados de libertad: pp = 1,2, ...,( = 1,2, ...,(nnmm)) donde p = n mp = n m (g.l.)

Reescribiendo el problema con la nueva notacin se tiene:

1 1

1 1

M P

m pm pm p

M Pk k

m pm pm p

f fdf ds dds d

h hds dds d

= =

= =

+ =

=

k = 1, 2, ..., M

El problema tiene M variables de estado, P variables de decisin y (M+P) variables independientes.

Si las diferencias de decisin son especificadas, entonces el conjunto de ecuaciones se puede resolver para un valor de dfdf. Los valores de las diferenciales de estado aseguran que el nuevo punto x + dxx + dx, est dentro de la regin admisible.

Las variables de decisinvariables de decisin se pueden manipular libremente, mientras que las de estado se ajustanajustan automticamente, de manera que el nuevo punto obtenido sea admisible. Cada restriccin adicional reduce el nmero de grados de libertad del problema y al reducir el nmero de variables de decisin del problema, hace que ste se simplifique. La dimensin de la regin admisible, no es el nmero de variables independientes, sino el nmero de grados de libertad del problema.

DDERIVACINERIVACIN1 1

1

1

m

m m

m

h hs s

fs

h hs s

= =

J

( )( )

1

1

, ,0

, ,m

m

h hs s

=

J

Mtodo de Variacin RestringidaMtodo de Variacin RestringidaDefiniendo al Jacobiano como:mientras que su determinante

Primer caso:Primer caso:Optimizar y(x1,x2,x3)s.t. f(x1,x2,x3) = 0n = 3,m = 1,p = nm = 2

Se escoge x1 como var. de estado y x2, x3 como var. de decisin.

( )( )

( )( )

2 1

2 1 2 1 1 2

2 1

3 1

3 1 3 1 1 3

3 1

,0,

,

,0.

,

y yx xy f y f y ff fx x x x x xx xy yx xy f y f y ff fx x x x x xx x

= = =

= = =

Ambas ecuaciones en conjunto con la ecuacin ff((xx11,,xx22,,xx33) = 0) = 0 se pueden resolver para obtener los puntos estacionarios.

DDERIVACINERIVACIN

1 2 31 2 3

0y y ydy dx dx dxx x x

= + + =

1 1 11 2 3

1 2 3

2 2 21 2 3

1 2 3

0,

0.

f f fdx dx dxx x xf f fdx dx dxx x x

+ + =

+ + =

1 1

1

1

m

m m

m

h hs s

fs

h hs s

= =

J

Mtodo de Variacin RestringidaMtodo de Variacin RestringidaDefiniendo al Jacobiano como:mientras que su determinante

Segundo caso:Segundo caso:Optimizar y(x1,x2,x3)s.t. f1(x1,x2,x3) = 0 f2(x1,x2,x3) = 0

El sistema de ecs. a resolver es:

en el punto estacionario:

En un sistema de tres ecuaciones con cuatro incgnitas dy, dx1, dx2, dx3. Mediante eliminacin se obtienen las ecuaciones:

1 1 1 11 2 1 2

1 3 1 3 2 3 2 3

1 2 2 1 1 2 2 11 2 1 2

1 3 1 3 2 3 2 3

0

0

f f f fy y y ydx dx Adx Bdxx x x x x x x xf f f f f f f fdx dx Cdx Ddxx x x x x x x x

+ = + = + = + =

Resolviendo para dx1 se obtiene:[(A)(D) (C)(B)]dx1 = 0

Si dx1 0 entonces AD CB = 0 y esta ecuacin en conjunto con las ecuaciones de restriccin darn como resultado los puntos estacionarios.

( )( )

1

1

, ,0

, ,m

m

h hs s

=

J

DDERIVACINERIVACIN

1 2

1 2

, , , 0, , ,

m

m

h h hJx x x

Mtodo de Variacin RestringidaMtodo de Variacin RestringidaCondiciones NecesariasCondiciones Necesarias para un problema general (nn variables con mm restricciones).

Las variaciones de las primeras mm variables (dxdx11, , dxdx22,, ,, dxdxmm) han sido expresadas en trminos de las variaciones de las restantes n mn m variables (dxdxmm+1+1,,dxdxmm+2+2,,,,dxdxnn) al derivar el Jacobiano anterior. Esto implica que la siguiente relacin debe satisfacerse.

Cada restriccin hhjj((xx) = 0) = 0, j = 1,2,,m, da pie a una ecuacin lineal en las variaciones dxi, i = 1,2,, n. As, habr en total mm ecuaciones lineales en nn variaciones. De aqu entonces que cualquier mm variacin pueda ser expresada en trminos de las restantes n mn m variaciones. Estas expresiones pueden usarse para expresar la diferencial de la funcin objetivo, dfdf, en trminos de las n mn m variaciones independientes. Dejando desaparecer los coeficientes de las variaciones independientes en la ecuacin dfdf = 0 = 0, se pueden obtener las condiciones necesarias para el ptimo restringido de la funcin dada. Estas condiciones son:

1 2

1 1 1 1

1 21 2

2 2 2 21 2 3

1 2

1 2

, , , , 0, , , ,

k m

k mm

k mk m

m m m m

k m

f f f fx x x xh h h hx x x x

f h h hJ h h h hx x x x x x x x x

h h h hx x x x

= =

donde k = m+1, m+2,,n

Las n mn m ecuaciones dadas por el Jacobiano representan las condiciones necesarias para el extremo de ff((xx)) bajo las mm restricciones de igualdad, hhjj((xx) = ) = 00, jj = 1,2,, = 1,2,,mm.

DDERIVACINERIVACINMtodo de Variacin RestringidaMtodo de Variacin Restringida

Condiciones de Suficiencia Condiciones de Suficiencia para un problema general (nn variables con mm restricciones).

donde ((f/f/xxii))gg se usa para denotar la derivada parcial de ff con respecto de xxii (manteniendo el resto de las variables xxmm+1+1, x, xm+m+22,, x,, xii11, x, xi+i+11, x, xi+i+22,, x,, xnn como constantes) cuando xx11, x, x22,.., x,.., xmm se les permite cambiar de tal forma que las restricciones hhjj((xx**+ d+ dxx)) = = 00, j = , j = 1,21,2,..,m,..,m sean satisfechas; la segunda derivada, ((22f/f/xxiixxjj))gg, se usa para denotar un significado similar.

Al eliminar las primeras mm variables, usando las mm restricciones de igualdad (esto es posible, al menos en teora!), la funcin objetivo puede hacerse que dependa nicamente de las restantes variables, xxmm+1+1, , xxmm+2+2,, ,, xxnn. Entonces la expansin de ff en series de Taylor, en trminos de estas variables, alrededor del punto extremo xx** da ( ) ( ) 2* *

1 1 1

12!

n n n

i i ji m i m j mi i jg g

f ff d f dx dx dxx x x

= + = + = +

+ + + x x x

Ejemplo:min f(x) = f(x1,x2,x3)s.t. h1(x) = x12 + x22+ x32 8 = 0

Ya que nn = 3 = 3 y mm = 1 = 1, se pueden pensar en cualquiera de las mm variables, digamos xx11, para ser la dependiente y las restantes n n mm variables, a saber xx22 y x x33, como las independientes. De aqu la derivada parcial restringida ((f/f/xx22))gg, por ejemplo, significa que la tasa de cambio de ff con respecto a xx22 (manteniendo la otra variable independiente xx33 constante) y al mismo tiempo permitir xx11 cambiar alrededor de xx** para satisfacer la restriccin gg11((xx) = 0) = 0. En el presente caso, esto significa que dxdx11 se tiene que escoger para satisfacer la relacin

(A)(A)


Condiciones de Suficiencia Condiciones de Suficiencia para un problema general (nn variables con mm restricciones).

donde ((f/f/xxii))gg se usa para denotar la derivada parcial de ff con respecto de xxii (manteniendo el resto de las variables xxmm+1+1, x, xm+m+22,, x,, xii11, x, xi+i+11, x, xi+i+22,, x,, xnn como constantes) cuando xx11, x, x22,.., x,.., xmm se les permite cambiar de tal forma que las restricciones hhjj((xx**+ d+ dxx)) = = 00, j = , j = 1,21,2,..,m,..,m sean satisfechas; la segunda derivada, ((22f/f/xxiixxjj))gg, se usa para denotar un significado similar.

Al eliminar las primeras mm variables, usando las mm restricciones de igualdad (esto es posible, al menos en teora!), la funcin objetivo puede hacerse que dependa nicamente de las restantes variables, xxmm+1+1, , xxmm+2+2,, ,, xxnn. Entonces la expansin de ff en series de Taylor, en trminos de estas variables, alrededor del punto extremo xx** da ( ) ( ) 2* *

1 1 1

12!

n n n



= + = + = +

+ + + x x x

Ejemplo:min f(x) = f(x1,x2,x3)s.t. h1(x) = x12 + x22+ x32 8 = 0

( ) ( ) ( ) ( ) ( )* * * * *1 1 11 1 1 2 31 2 3

0h h hh x dx h x dx dx dxx x x

+ + + + =

x x x

esto es,* *1 1 2 22 2 0x dx x dx+ =

ya que hh11((xx**) = 0) = 0 en el ptimo y dxdx33 = 0 = 0 (xx33 se mantuvo constante).

(A)(A)


Condiciones de Suficiencia Condiciones de Suficiencia para un problema general (nn variables con mm restricciones). Al eliminar las primeras mm variables, usando las mm restricciones de igualdad (esto es posible, al menos en teora!), la funcin objetivo puede hacerse que dependa nicamente de las restantes variables, xxmm+1+1, , xxmm+2+2,, ,, xxnn. Entonces la expansin de ff en series de Taylor, en trminos de estas variables, alrededor del punto extremo xx** da ( ) ( ) 2* *

1 1 1

12!

n n n



= + = + = +

+ + + x x x (A)(A)

Debe tenerse en cuenta que ((f/f/xixi))gg tiene que ser cero para i = m+ i = m+11, m+, m+22,, n ,, n ya que las dx dxii que aparecen en la Ec. (A) son todas independientes. As las condiciones necesarias para la existencia de un ptimo restringido a xx** se puede expresar tambin como:

0, 1, 2, ,i g

f i m m nx

= = + +


Condiciones de Suficiencia Condiciones de Suficiencia para un problema general (nn variables con mm restricciones). Como en el caso de optimizacin de una funcin multivariable sin restricciones, uno se puede dar cuenta que la condicin suficiente para x* para un mnimo (mximo) relativo restringido es que la forma cuadrtica QQ definida por

2

1 1

n n

i ji m j m i j g

fQ dx dxx x

= + = +

=

sea positiva (negativa) para todas las variaciones (que no desaparecen) dxdxii. La matriz 2 2 2

21 1 2 1

2 2 2

21 2

m m m m ng g g

n m n m ng g g

f f fx x x x x

f f fx x x x x

+ + + +

+ +

tiene que ser positiva (negativa) definida para tener QQ positiva (negativa) para todas las selecciones de dxdxii. Es evidente que el clculo de las derivadas restringidas ((22f/f/xxiixxjj))gg, son una difcil tarea e incluso prohibitiva para problemas con ms de tres restricciones. El mtodo es difcil de aplicar ya que las condiciones necesarias por s mismas involucran la evaluacin de determinantes de orden m +m + 1 1.

MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGE

x

y

z

Punto en x2 + y2 = 1 donde f se maximiza

z = f(x,y) sujeta a la restriccin x2 + y2 = 1

z = f(x,y)Se desea resolver:max f(x1,x2)s.t. h(x1,x2) = x12+x22 = 1

CrculoCrculounitariounitario

De forma general, la restriccin se puede escribir como: h(x1,x2) = c, donde hh es alguna funcin y cc es una constante.En la figura, el mximo de ff est en (0,0). Sin embargo, uno no estara interesado en dicho mximo, sino slo en el de ff((xx11,,xx22)) cuando (x1,x2) pertenezcan al crculo unitario, i.e., cuando x12+x22 = 1. El cilindro sobre x12+x22 = 1 intersecta la grfica de z = f(x1,x2) en una curva que est contenida en dicha grfica. El problema de maximizar o minimizar f(x1,x2) sujeta a la restriccin x12+x22 = 1 equivale a encontrar el punto en esta curva donde z es mayor o menor.

Cuando f se restringe a SS, de nuevo se tiene el concepto de mximos locales o mnimos locales de f (extremos locales), y un mximo global (valor mayor) o un mnimo global (valor menor) debe ser un extremo local.

Punto enx2 + y2 = 1 donde f se minimiza


y

x

z grad f(x0,y0,z0) = f(x0,y0,z0)

Plano tangente a SS

superficie SS(x0,y0,z0)

Si ff, al restringirse a una superficie SS, tiene un mximo o un mnimo local en x0, entonces f(x0) es perpendicular a SS en x0

Para un extremo de ff que exista sobre hh, el ff debe alinearse con el hh. La curva ff se muestra en rojorojo, la restriccin hh en azulazul, y la interseccin de ff y hh en azul claroazul claro. El gradiente es un vector horizontal (i.e., no tiene componente zz) que muestra la direccin en la cual la funcin incrementa; para hh es perpendicular a la curva, la cual es una lnea recta en este caso. La lnea negra representa la direccin de los gradientes de ff y hh en el punto ptimo y que son colineales. Lo anterior significa que los dos vectores deben ser mltiplos uno del otro:

donde se le conoce como el multiplicador multiplicador de Lagrangede Lagrange.

( ) ( )f h = x x (1)

MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGESe desea resolver:min f(x1,x2) = x1 + x2s.t. h(x1,x2) = x12+x221=0

1

1

1 1x1

x2

x* = (1/2, 1/2)

optimumx*

ff((xx**))

hh((xx**)) Planotangente a x*

Proyeccin

ff((xx11))

ff((xx11))

x1, no ptimo

Figura AFigura A

Figura BFigura B

Los gradientes de f y h en x* son:f(x*) = [1,1]h(x*) = [2x1,2x2]|x* = [1.414,1.414]

El gradiente de la funcin objetivo f(x*) es ortogonal al plano tangente de la restriccin en x*. En general, h(x*) es siempre ortogonal a este plano tangente, de aqu que f(x*) y h(x*) sean colineales, esto es, caen en la misma lnea pero apuntan en direcciones opuestas.Considerar ahora el punto no-ptimo x1. El f(x1) es no-ortogonal al plano tangente de la restriccin en x1, as que tiene un proyeccin diferente de cero en el plano. El negativo de este gradiente proyectado tambin no es cero, lo cual indica que movindose hacia abajo a lo largo del crculo reduce (mejora) la funcin objetivo. En un ptimo local, pequeos incrementos o movimientos a lo largo de la restriccin (el crculo en este caso) lejos del ptimo pueden mejorar el valor de la funcin objetivo, as que el gradiente proyectado deba ser cero. sto slo pasa cuando f(x*) es ortogonal al plano tangente.

MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGESe desea resolver:min f(x1,x2) = x1 + x2s.t. h(x1,x2) = x12+x221=0

1

1

1 1x1

x2

x* = (1/2, 1/2)

optimumx*

ff((xx**))

hh((xx**)) Planotangente a x*

Proyeccin

ff((xx11))

ff((xx11))

x1, no ptimo

Figura AFigura A

Figura BFigura B

Retomando la ecuacin (1):f(x*) = *h(x*)

se puede reescribir tambin como:f(x*) + *h(x*) = 0 (1a)

Introduciendo ahora la funcin L(x,) llamado funcin lagrangeana:

L(x,) = f(x) + h(x)entonces, la ec. (1a) se transforma en:

xL(x,)|(x*,*) = 0 (2)as, el gradiente de la funcin lagrangeana con respecto a x, evaluado en (x*,*), es cero. La ec.(2), junto con la condicin de factibilidad

h(x*) = 0constituyen las condiciones necesarias de primer orden de optimalidad.

En especfico, sean:f(x1,x2) = 2x1 + x1x2 + 3x2h(x1,x2) = x12 + x2 3 = 0

Para x1 = 1, resulta x2 = 2 y f(x1,x2) = 10.Por tanto, de la ecuacin,

2x1 + x1x2 + 3x2 = 10se puede resolver para x2;

y resolver para x1:

Estas ecuaciones establecen la razn de cambio de una variable con respecto a la otra.


( )

12

1

22

1 1

10 23

163

xxx

dxdx x

=

+

=

+

( )( )( )( )

1 2

2 1

1 21

2

1 2

1 2

1 22

1

,

,

,

,,

f x xdx x

f x xdxx

f x xdx x

f x xdxx

=

=

( )

21

1

12

2 2

10 33

162

xxx

dxdx x

=

+

=

+

Se desea resolver:min f(x1,x2)s.t. h(x1,x2) = 0

En general se puede demostrar que, dada f(x1,x2),

aplicando estas expresiones a la funcinf(x1,x2) = 2x1 + x1x2 + 3x2,

se obtiene:

Cuando x1 = 1 y x2 = 2, la razn de cambio de x2 respecto a x2 es:

2 2

1 1

1 1

2 2

233

2

dx xdx xdx xdx x

+=

++

=

+

( )

2

1

21

2 13

16 13

xx

x

+ =

+

=

+


2 2 1 2

1 1 1 2

esto es :

f h f fx x x xf h h hx x x x

= =

1 2 1 2

2 2

1 1

; ,

f gdx x dx x

f gdx dxx x

= =

2 2

1 1 2 2

1 2

; , esto es : 0; 0

f fx x f h f hf h x x x xx x

= = = =

1 72 3 4 5 6

1

7

2

3

4

5

6

8

9

f(x1,x2) = 18

f(x1,x2) = 15

f(x1,x2) = 12

h(x1,x2)

En algn punto la grfica ff((xx11,,xx22)) tocar justamente a hh((xx11,,xx22)). En dicho punto las pendientes son iguales. La razn de cambio de xx11 con respecto a xx22 en ff ser igual a la razn de cambio de xx11 con respecto a xx22 en hh.

Por tanto,

e igualando ambas expresiones:

Denotando esta razn de cambio , se obtiene:

Haciendo L = f(x1,x2) g(x1,x2), se obtiene:

1 1 1

2 2 2

0

0.

L f hx x xL f hx x x

= =

= =

El factor es el multiplicador de Lagrange. La transformacin del problema a uno sin restricciones de la de la forma: min min ff((xx11,,xx22) ) hh((xx11,,xx22),),se conoce como el Mtodo de los Multiplicadores de Lagrange.


1 2 31 2 3

1 1 11 2 3

1 2 3

2 2 21 2 3

1 2 3

0

0

y y ydy dx dx dxx x x

f f fdx dx dxx x xf f fdx dx dxx x x

= + +

+ + =

+ + =

( ) ( )( )

1 1 2 2 1 1 1 2 2 21 2

1 2 2 33

dy y f f dx y f f dxx x

y f f dxx

= + + + + + +

+ +

1 2 1 21 2 1 1 2 2

1 1 1 2 2 2

1 21 2 3

3 3 3

f f f fy ydy dx dxx x x x x x

f fy dxx x x

= + + + + + +

+ +

MMTODOTODOSe desea resolver:optimizar optimizar yy((xx11,,xx22,,xx33))s.t.s.t. ff11((xx11,,xx22,,xx33) = 0) = 0 ff22((xx11,,xx22,,xx33) = 0) = 0

Se ha definido:

Multiplicando la 2 ec. por 1 y la 3 ec. por 2; donde 1 y 2 son constantes arbitrarias a determinar, y sumando estas tres ecs. se obtiene:

o en una notacin simplificada:

La funcin y + 1f1 + 2f2 se considera como una nueva funcin LL no restringida llamada funcin aumentada o funcin de Lagrange.Es necesario encontrar los puntos estacionarios de la nueva funcin L(x1,x2,x3,1,2) en cinco variables, por lo que hay que hacer igual a cero las derivadas parciales: 1

1 1

22 2

3

0 0

0 0

0

L L fxL L fxLx

= = =

= = =

=

Con nn variables independientes y mm ecuaciones de restriccin, se debe resolver un sistema de (mm++nn) ecuaciones para obtener los puntos estacionarios.

min f(x) (a) s.t. h(x) = b o h(x) = b h(x) = 0 (b)donde bb es una constante.Las condiciones necesarias a ser satisfechas para la solucin del problema son:

IINTERPRETACIN DE LOS NTERPRETACIN DE LOS MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGE

0, 1,2, , (c)

0, (d)i i

f h i nx x

h

+ = =

=

La solucin para las Ecs. (c)-(d) son x*, **, ff**= = ff((xx**))Suponer que se quiere encontrar el efecto de una pequea relajacin o endurecimiento de la restriccin en el valor ptimo de la funcin objetivo (i.e., se quiere encontrar el efecto de un pequeo cambio de bb en ff**). Por lo que se diferencia la Ec. (b) para obtener:

1

0o

(e)n

ii i

db dh

hdb dh dxx

=

=

= =

Para encontrar el significado fsico de los multiplicadores de Lagrange, considrese el siguiente problema de optimizacin involucrando una sola restriccin de igualdad:

IINTERPRETACIN DE LOS NTERPRETACIN DE LOS MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGE

Por lo que la Ec. (c) puede reescribirse como

1

1

*

*

0 (f )

o

, 1,2, , (g)

1 (h)

ya que

(i)

La Ec. (h) da entonces

( j)

(k)

i i

i i i i

i i

i

n

ii i

n

ii i

h hf fx x x x

h f x i nx

f dfdb dxx

fdf dxx

df dfodb db

ordf db

=

=

+ = =

= =

= =

=

= =

=

Sustituyendo la Ec (g) en la Ec. (e), se obtiene:

As, ** denota la sensibilidad (o la tasa de cambio) de ff con respecto de bb o el cambio marginal o incremental en ff** con respecto de bb en x*x*. En otras palabras, ** indica qu tan fuertemente est ligada la restriccin en el punto ptimo.

IINTERPRETACIN DE LOSNTERPRETACIN DE LOS MMULTIPLICADORES DE ULTIPLICADORES DE LLAGRANGEAGRANGE

n Dependiendo del valor de **(+,,0)(+,,0) el siguiente significado fsico se puede atribuir a **:

1.1. ** > 0 > 0. En este caso, un decrementodecremento unitario en b es positivamente valorado, ya que se puede obtener un valor ms pequeo del mnimo de la funcin objetivo ff. De hecho, el decremento en ff** ser exactamente igual a ** ya que dfdf = = **(1) = (1) = ** < 0 < 0. De aqu, ** se puede interpretar como la ganancia marginalganancia marginal en ff** debido a un endurecimiento de la restriccin. Por otro lado, si bb aumenta en una unidad, ff tambin lo har a un nuevo nivel ptimo, con el aumento del incremento en ff** siendo determinado por la magnitud de ** ya que dfdf = = **(+1) > 0(+1) > 0. En este caso, ** puede pensarse como el (incremento) costo marginalcosto marginal en ff** debido a un relajamiento de la restriccin.



2.2. ** < 0 < 0. En este caso, un incremento unitario en b es positivamente valorado, ya que se puede disminuye el valor ptimo de ff. La ganancia marginalganancia marginal (reduccin) en f* debido a la relajacin de la restriccin por una unidad est determinado por el valor de ** ya que dfdf** = = **(+1) < 0(+1) < 0. Si disminuye el valor de bb en una unidad, el costo marginalcosto marginal (incremento) en f* por el endurecimiento de la restriccin es df* = df* = **((11) ) >> 00, ya que en este caso, el valor mnimo de la funcin objetivo incrementa.



3.3. ** = 0 = 0. En este caso, cualquier cambio incremental en bb no tiene absolutamente ningn efecto en el valor ptimo de ff y, de aqu, la ec. de restriccin no est vinculada. sto significa que la optimizacin de ff sujeta a h h = 0= 0 lleva al mismo punto ptimo xx** como en el caso de la optimizacin sin restricciones de ff.

CCONDICIONES DE ONDICIONES DE SSUFICIENCIAUFICIENCIAn Una condicin suficiente para que ff((xx)) tenga un

mnimo relativo en xx** es que el cuadrtico, QQ, definido por

evaluado en x = xx = x** debe ser positivo-definidopositivo-definido para todos los valores de ddxx para los cuales las restricciones sean satisfechas. La prueba de esta condicin es similar que para la de la matriz hessiana.

Si

es negativo negativo para todas las elecciones de las variaciones permisibles dxdxii, xx** ser un mximo mximo restringidorestringido de f(xx).

2

1 1

n n

i ji j i j

LQ dx dxx x

= =

=

( )2 * *1 1

,n n

i ji j i j

LQ dx dxx x

= =

=

x

CCONDICIONES DE ONDICIONES DE SSUFICIENCIAUFICIENCIAn Se ha demostrado que una condicin necesaria para que la forma

cuadrtica QQ sea positivapositiva (negativanegativa) definidadefinida para todas las variaciones admisibles ddxx es que cada raz del polinomio zzii, definido por el siguiente determinante, sean positivospositivos (negativosnegativos):

donde

11 12 13 1 11 21 1

21 22 23 2 12 22 2

1 2 3 1 2

11 12 13 1

21 22 23 2

1 2 3

00 0 00 0 0

0 0 0

n m

n m

n n n nn n n mn

n

n

m m m mn

L z L L L h h hL L z L L h h h

L L L L z h h hh h h hh h h h

h h h h

=

( )( )

2

,iji j

iij

j

LLx xhhx

=

=

* *

*

x

x

El determinante, en la expansin, lleva a un polinomio de orden (n m) en zz. Si alguna de las races de este polinomio son positivas mientras que las otras negativas, el punto xx** nono es un punto extremo.

( )

00 01 2

1 1 1*

00 01 2

m

m

n n n

hh hx x x

hh hx x x

=

h x

ht(x*)0 (mm)

((mmnn))

((nnmm))

CCONDICIONES DE ONDICIONES DE SSUFICIENCIAUFICIENCIASe desea resolver:optimizar optimizar ff((xx))s.t. s.t. hhii((xx) = 0 ) = 0 ii = 1,2,, = 1,2,,mmSea ((xx00,,00)) un punto que satisface las condiciones necesarias. Para lo cual es necesario calcular el determinante del arreglo:

( )

( ) ( )

0 0 011 12 1

0 0 021 22 2 0

0 0 01 2

0

0

n

n

n n nnt

L z L LL L z L

L L L zm m

=

h x

h x 0

donde es evaluada en ((xx00, , 00)) yla matriz hh es:

2011

1 1

LLx x

=

( )

00 01 2

1 1 1

000 0

1 2

m

m

n n n

hh hx x x

hh hx x x

=

h x

Las conclusiones respecto a la naturaleza de xx00 dependen de los signos de las (nm) races del polinomio en zz. Si todas las races son:

a) positivas, xx00 es un mnimomnimob) negativas, xx00 es un mximomximo

CCONDICIONES DE ONDICIONES DE SSUFICIENCIAUFICIENCIAn En la siguiente tabla se muestran las condiciones necesarias

y suficientes para la optimalidad

ProblemaProblema Condiciones necesariasCondiciones necesarias Tambin suficientes Tambin suficientes si:si:

UnaUna variable, no restringido f(x) cncava

MultivariableMultivariable, no restringido f(x) cncava

Restringido, slo restricciones de no

negatividadf(x) cncava

Problema general restringido

Condiciones de Karush-Kuhn-Tucker

f(x) cncava y gi(x) convexa

(i = 1, 2,,m)

0dfdx

=

( )0 1,2, ,j

f j nx

= =

( )( )

0 1,2, ,

o 0 si 0j

j

f j nx

x

= =

=

Se puede demostrar que el conjunto de todas las combinaciones lineales no-negativas de un conjunto finito de vectores es un cono convexo, esto es, que el conjunto R = {xx|xx = 1x1 + 2x2 + ... + mxm, i0, i=1, ..., m}es un cono convexo. Los vectores xx11, , xx22,..., ,..., xxmm se les llama generadoresgeneradores del cono.El cono est generado por los vectores [2,1] [2,4]. As, cualquier vector que pueda ser expresado como una combinacin lineal no-negativa de estos vectores cae en el cono. El vector [4,5] en el cono est dado por [4,5] = 1 [2,1] + 1 [2,4]

Condiciones de KarushKuhnTucker (KKT)Condiciones de KarushKuhnTucker (KKT)

1 2 43 5

1

2

3

4

5

(2,4)

(4,5)

(2,1)

Un cono es un conjunto de puntos R, tal que, si xx est en R, Tx est tambin en R para 0. Un cono convexocono convexo es un cono que est en un conjunto convexo.

OOPTIMIZACIN PTIMIZACIN MMULTIVARIABLE CON ULTIVARIABLE CON RRESTRICCIONES DE ESTRICCIONES DE DDESIGUALDADESIGUALDAD

Condiciones de KarushKuhnTucker (KKT)Condiciones de KarushKuhnTucker (KKT):: En cualquier ptimo local restringido, ningn cambio (pequeo) permitido en las variables del problema puede mejorar el valor de la funcin objetivo.

min f(x,y) = (x 2)2 + (y 1)2s.t. g1(x,y) = y + x2 0 g2(x,y) = x + y 2 g3(x,y) = y 0

1

2

1 2

(1,1)

Conjunto derestriccin

f

x + y 2 = 0

y + x2 0

y = 2x 1, tangente a g1

y = x2

x

y

(2,1)

El ptimo se encuentra en la interseccin de las restricciones 1 y 2 @ (1,1) Las restricciones 1 y 2 @ (1,1) son vlidas como igualdades, se les llama restricciones de atadura o activasactivas en dicho punto. La restriccin 3 es vlida como una desigualdad estricta en (1,1), y es una restriccin inactivainactiva, o de no-atadura, en este punto.

Una restriccin de igualdad es siempre activa. Una restriccin de desigualdad, ya sea del tipo o , solamente es activa si, al ser evaluada en condiciones ptimas, se mantiene la igualdad entre el lado izquierdo y el lado derecho.


Interpretacin geomtricaInterpretacin geomtrica



1

2

1 2

(1,1)

Conjunto derestriccin

f

x + y 2 = 0

y + x2 0

y = 2x 1, tangente a g1

y = x2

x

y

(2,1)

Se busca definir una direccin factibledireccin factible de bsqueda como un vector tal que un movimiento diferencial a lo largo de ste no viole las restricciones. En (1,1) el conjunto de todas las direcciones factibles cae entre la lnea x + y x + y 2 = 0 2 = 0 y la lnea tangente a yy = = xx22 en (1,1), i.e., la lnea yy = = 22xx 1 1. El conjunto de direcciones factibles es el cono generado por estas lneas (sombreadas).El vector ff apunta en la direccin de la mxima razn de cambio (decremento) de ff, y un pequeo movimiento a lo largo de cualquier direccin formando un ngulo (definido como positivo) de menos de 90 con respecto a ff har disminuir el valor de ff. As, en el ptimo, no hay direccin factible que tenga un ngulo menor de 90 entre sta y ff.





(1,1)

f

g2

g1

ff est contenido en el cono generado por gg11 y gg22. Si no lo estuviese:

Si ff estuviese ligeramente encima de gg22, el ngulo sera de menos de 90 con una direccin factible por debajo de la lnea x x + + y y 2 = 0 2 = 0. Si ff estuviera ligeramente debajo de gg11, hara un ngulo menor de 90 con una direccin factible por encima de la lnea yy = = 22xx 1 1.

Ningn caso puede ocurrir en el punto ptimo, y ambos casos estn excluidos si y slo si ff cae dentro del cono generado por gg11 y gg22. Lo anterior es lo mismo que requerir que ff caiga entre el cono generado por gg11 y gg22.





(1,1)

f

g2

g1

f est contenido en el cono generado por g1 y g2. Si no lo estuviese:

Si f estuviese ligeramente encima de g2, el ngulo sera de menos de 90 con una direccin factible por debajo de la lnea x + y 2 = 0. Si f estuviera ligeramente debajo de g1, hara un ngulo menor de 90 con una direccin factible por encima de la lnea y = 2x 1.

Ningn caso puede ocurrir en el punto ptimo, y ambos casos estn excluidos si y slo si f cae dentro del cono generado por g1 y g2. Lo anterior es lo mismo que requerir que f caiga entre el cono generado por g1 y g2.

Lo anterior lleva a decir que, si f y todas las gi son diferenciables, una condicin necesaria para que un punto x* sea un mnimo restringido del problema

min: f(x)s.t. gj(x) cj, j = 1,...,r

es que, en x*, f caiga dentro del cono generado por los gradientes negativos de las restricciones de atadura.





(1,1) fg2

g1 Para que f caiga dentro del cono descrito, debe ser una combinacin lineal no-negativa de los gradientes negativos de las restricciones de atadura; esto es, deben existir multiplicadores de Lagrange uj* tales que

e I es el conjunto de ndices de las restricciones de desigualdad de atadura.

( ) ( )* * *

*

donde0,

j jj I

j

f u g

u j I

=

x x ...(1)

...(2)


Enunciado AlgebraicoEnunciado Algebraico



(1,1) fg2

g1 Para que f caiga dentro del cono descrito, debe ser una combinacin lineal no-negativa de los gradientes negativos de las restricciones de atadura; esto es, deben existir multiplicadores de Lagrange uj* tales que

e I es el conjunto de ndices de las restricciones de desigualdad de atadura.

( ) ( )* * *

*

donde0,

j jj I

j

f u g

u j I

=

x x

Estos resultados se pueden reelaborar para incluir todas las restricciones definiendo el multiplicador uj* como cero si gj(x*) < cj. En el ejemplo, u3*, el multiplicador de la restriccin g3, es cero. Se puede decir que uj* 0 si gj(x*) = cj, y uj* = 0 si gj(x*) < cj, as el producto uj*[gj(x) cj] es cero para toda j. Esta propiedad de que las restricciones de desigualdad inactivas tengan multiplicadores cero, se llama holgura complementariaholgura complementaria. Condiciones (1) y (2) se convierten entonces en:

...(1)

...(2)

( ) ( )( )

( )

* * *

1

* * *

*

0

0, 0

, 1, ,

r

j jj

j j j j

j j

f x u g x

u u g x c

g x c j r

=

+ =

= =

...(3)

...(4a)

...(4b)

Condiciones de Kuhn-Tucker



Condiciones de KarushKuhnTucker (KKT)Condiciones de KarushKuhnTucker (KKT)::

( ) ( )( )

( )

* * *

1

* * *

*

0

0, 0

, 1, ,

r

j jj

j j j j

j j

f x u g x

u u g x c

g x c j r

=

+ =

= =

...(3)

...(4a)

...(4b)

Condiciones de Kuhn-Tucker

Multiplicadores de LagrangeMultiplicadores de LagrangeLas condiciones KTC estn ntimamente relacionadas con los resultados clsico de los multiplicadores de Lagrange para problemas con restricciones de igualdad. A partir de la forma lagrangiana:

donde uujj son vistos como los multiplicadores de Lagrange para las restricciones de desigualdad gj(x) cj. Las Ecs.(3) y (4) establecen que LL((x,ux,u)) deben ser estacionarios en x en ((xx**,u,u**)) con los multiplicadores uu** satisfaciendo las Ecs. (4). La estacionalidad de LL es la misma condicin que en el caso de restricciones de igualdad. Las condiciones adicionales en las Ec. (4) surgen porque las restricciones en este caso son desigualdades.

( ) ( ) ( )1

r

j j jj

L f u g c=

= + x,u x x



Condiciones Necesarias y Suficientes de Segundo OrdenCondiciones Necesarias y Suficientes de Segundo OrdenLas condiciones KT se satisfacen en cualquier mnimo local o mximo as como en los puntos de silla. Si (xx**, , **, , uu**) es un punto de Kuhn-Tucker, y las condiciones de segundo orden de suficiencia se satisfacen en dicho punto, la optimalidad est garantizada. Las condiciones de segundo orden involucran la matriz de segundas derivadas parciales con respecto de xx (la matriz hessiana de la funcin de Lagrange), y se pueden escribir como:

para todos los vectores no-cero yy tales que J(x*)y = 0 ...

(b)donde JJ((xx**)) es la matriz cuyas filas son los gradientes de las restricciones que son activasactivas en xx**. La ec. (b) define un conjunto de vectores yy que son ortogonales a los gradientes de las restricciones activas. Estos vectores constituyen el plano plano tangentetangente a las restricciones activas. De aqu, la ec. (a) requiere que la matriz hessiana de la funcin de Lagrange sea positiva-definida para todos los vectores yy en este plano tangente. Si el signo >> en la ec. (a) se reemplaza por , entonces las ecs. (a)(b) junto con las condiciones de KT con las condiciones necesarias de segundo orden para un mnimo mnimo local. Si no existen restricciones activas, entonces la ec. (a) debe ser vlida para todos los vectores yy, y los multiplicadores ** y uu** son cero, as xx22LL = = xx22ff. Por lo tanto el problema se reduce a que si la matriz hessiana de la funcin objetivo, evaluada en xx**, es positiva-definida, entonces xx** es un mnimo local no-restringido de ff.

( )2 ,t xL >* * *y x , u y 0


...(a)


n Se busca resolver ahora:min f(x)s.t. gj(x) 0, j = 1,2,,m (a)

Las restricciones de desigualdad en Ec. (a) se transforman a restricciones de igualdad al aadir variables de holguravariables de holgura no-negativas, sj2, como

gj(x) + sj2 = 0, j = 1,2,,mdonde los valores de las variables de holgura son desconocidos (an). El problema se convierte ahora en

min f(x)s.t. Gj(x,s) = gj(x) + sj2 = 0, j = 1,2,,m

donde ss = [s1 s2 sm]t es el vector de variables de holgura.El problema se puede resolver por el mtodo de los multiplicadores de Lagrange. Para esto, se construye la funcin lagrangiana LL como

donde = [1 2 m]t es el vector de multiplicadores de Lagrange

( ) ( ) ( )1

m

j jj

L f G=

= + x,s, x x,s


n Los puntos estacionarios de la funcin de Lagrange se encuentran al resolver las siguientes ecuaciones (condiciones necesarias):

Las ecs. (b)(d) representan (n+2m) ecuaciones en las (n+2m) incgnitas, xx, , y ss. La solucin de las ecs. (b)(d) dan como resultado el vector solucin xx**, el vector de multiplicadores de Lagrange *, y el vector de variables de holgura, ss**.

Las ecs. (c) aseguran que las restricciones gj(x) 0, j=1,2,,m, sean satisfechas, mientras que las ecs. (d) implican que ya sea que j = 0 o que sj = 0. Si j = 0, significa que la j-sima restriccin es inactivainactiva y de aqu que pueda ser ignorada. Por otro lado, si sj = 0, sto significa que la restriccin es activaactiva (gj = 0) en el ptimo.

( ) ( ) ( )( ) ( ) ( )( )

1

2

0, 1,2, ,

0, 1,2, ,

2 0, 1,2, ,

mj

jji i i

j j jj

j jj

gL f i nx x xL G g s j m

L s j ms

=

= + = =

= = + = =

= = =

x,s, x xx,s, x,s x

x,s,

(b)

(c)

(d)


n Las restricciones se pueden dividir en dos subconjuntos, J1 y J2. Sea J1 el conjunto de ndices de aquellas restricciones que son activasactivas en el ptimo, y J2 incluye los ndices de todas las restricciones inactivasinactivas.As para j J1, sj = 0 (las restricciones estn activas), para j J2, j = 0 (las restricciones estn inactivas), las ecs.(b) se pueden simplificar como

De igual forma, las Ecs. (c) se pueden escribir como gj(x) = 0, j J1gj(x) + sj2 = 0, j J2

Ecuaciones (e)(g) representan n + p + (m p) = n + m ecuaciones en las n + m incgnitas xi (i = 1,2,,n) j (j J1), y sj (j J2), donde p denota el nmero de restricciones activas.

1

0, 1,2, ,jjj Ji i

gf i nx x

+ = =

(e)(f)(g)


n Asumiendo que las primeras pp restricciones son activas, las ecs. (e) se pueden expresar como

que pueden escribirse colectivamente como

donde f y gj son los gradientes de la funcin objetivo y de la j-sima restriccin, respectivamente:f = [f/x1, f/x2 f/xn]t y gj = [gj/x1, gj/x2 gj/xn]t

La ec. (h) indica que el negativo del gradiente de la funcin objetivo se puede expresar como una combinacin lineal de los gradientes de las restricciones activas en el ptimo.

1 21 2 , 1, 2, ,

pp

i i i i

gg gf i nx x x x

= + + + =

1 1 2 2 , 1, 2, ,p pf g g g i n = + + + =

(h)

(i)

Met Analiticos s

Documents

Transcript of Met Analiticos s