1

DualidadDualidad

--

(*) Basado en Boyd y Vandenberghe. Convex Optimizationhttp://www.stanford.edu/~boyd/cvxbook/

2

El LagrangianoEl Lagrangiano Consideremos un problema de optimizacin en forma

estndar

donde La variable xn, El dominio es no vaco, No se asume que el problema sea convexo

(*)

3

Definicin de LagrangianoDefinicin de LagrangianoLa funcin

dada por

se denomina el Lagrangiano (Lagrangian) del problema (*). Las variables , se denominan los multiplicadores de Lagrange.

4

La funcin dual de LagrangeLa funcin dual de LagrangeLa funcin g:mn definida por

se denomina la funcin dual de Lagrange del problema (*).Como se trata del infimum de la combinacin lineal de una familia de funciones afines, la funcin dual siempre es concava (sin importar si el problema es convexo).

5

Cota inferior en el valor ptimoCota inferior en el valor ptimo Sea p* el valor ptimo del problema (*),

entonces se cumple que

es decir la funcin dual de Lagrange establece un mnimo del valor ptimo.

7

Interpretacin de la funcin Interpretacin de la funcin dual de Lagrangedual de Lagrange

Consideremos el problema sin restricciones:

donde se usan las funciones indicadoras:

8

Interpretacin como Interpretacin como aproximacin linealaproximacin lineal

Las funciones indicadoras capturan la "insatisfaccin" por no cumplir las restricciones.

En la forma 0, la funcin de con indicadores corresponde a una pared.

La funcin de Lagrange aproxima esta funcin utilizando una medida de insatisfaccin lineal: Cuando ms lejos este restriccin de su valor deseado, mayor la insatisfaccin.

9

Ejemplo: Mnimos cuadradosEjemplo: Mnimos cuadrados Sea el problema de optimizacin convexo

su Lagrangiano es

para encontrar su funcin dual, se minimiza el Lagrangiano, que por la condicin de optimalidad de primer orden:

12

Funcin dual de Lagrange Funcin dual de Lagrange para problemas LPpara problemas LP

La funcin dual de Langrange es entonces

Se observa que el trmino dependiente de x no est inferiormente acotado excepto si es cero, por lo tanto

13

El problema dual de LagrangeEl problema dual de Lagrange Cada pareja (,) define una cota inferior para

p* cuando 0. Surge entonces la pregunta cul es la mejor

cota (la ms grande) posible para una funcin g(,) dada?

Este problema puede plantearse as:

y se llama el problema dual de Lagrange.(**)

14

TerminologaTerminologa El problema (*) se denomina el problema

primal y (**) el problema dual. La solucin ptima (,) de (**) se conoce

como el ptimo dual o los multiplicadores ptimos de Lagrange.

El problema (**) es convexo dado que la funcin a maximizar es concava y las restricciones convexas. Esto sin importar como es el problema primal.

17

Dual de Lagrange para Dual de Lagrange para un problema LP con desigualdadesun problema LP con desigualdades

Dado un problema LP de la formaSu Lagrangiano es

y su funcin dual es

que de manera similar, solo esta acotada si el trmino lineal es cero.

21

Tranformaciones equivalentes paraTranformaciones equivalentes paraprogramas LP duales (3)programas LP duales (3)

El problema dual correspondiente es

que teniendo en cuenta que 0 y reorganizando trminos

22

Dualidad DbilDualidad Dbil(Weak duality)(Weak duality)

Sea d* la solucin ptima del problema dual. Por definicin este es el mejor limite inferior del valor ptimo p*,

d*p*

y aplica incluso cuando el problema primal no es convexo, o cuando bien sea el problema primal o el dual no son acotados.

23

Duality gapDuality gap La diferencia

p*-d*

siempre es cero o positiva y se conoce como el "gap de dualidad" (duality gap) entre el problema primal y su mejor cota inferior.

24

Dualidad FuerteDualidad Fuerte(Strong duality)(Strong duality)

Cuando la igualdad se cumplep*=d*

se dice que el problema cumple con la dualidad fuerte.

En general la dualidad fuerte no se cumple, por lo que resulta interesante explorar condiciones bajo las cuales se da.

25

Cuando se da la dualidad fuerte?Cuando se da la dualidad fuerte? Cuando el problema primal es convexo de la

forma:

usualmente si se cumple la dualidad fuerte. Condiciones especificas para que se cumpla la

dualidad fuerte se denominan cualificadores de restricciones (constraint qualifications).

26

La condicin de SlaterLa condicin de Slater Una cualificacin que nos garantiza la dualidad fuerte

de un problema. Sea x un punto perteneciente al interior relativo del

espacio factible

i.e.,

En este caso y siendo el problema convexo, la condicin de Slater establece que la dualidad fuerte se cumple.

El punto x se dice que es estrctamente factible.

27

Dualidad fuerte paraDualidad fuerte paramnimos cuadradosmnimos cuadrados

Para el problema de mnimos cuadrados su primal es

y el dual correspondiente es

La condicin de Slater se reduce a que el problema primal sea factible, y en ese caso el gap de dualidad es cero: p*=d*

28

Condicin de SlaterCondicin de Slatercuando hay restricciones afinescuando hay restricciones afines

Sean las k primeras funciones de restriccin afines,

En este caso la condicin de Slater se relaja para permitir que las desigualdades afines no se tengan que cumplir con desigualdad estrcta.

Para

29

Problemas con Problemas con restricciones linealesrestricciones lineales

En el caso que todas las restricciones sean igualdades y desigualdades afines, la condicin de Slater se reduce simplemente a la factibilidad (que D no sea vaco) y que el dominio de f0 sea abierto.

30

Condicin de Slater Condicin de Slater para problemas LPpara problemas LP

Por extensin del caso anterior, la dualidad fuerte siempre se satisface desde que el problema primal sea factible.

Asi mismo ocurre para los problemas duales. Existe la posibilidad (rara) de que ninguno de

los dos, el problema primal y el dual, sean factibles.

32

Interpretacin geomtrica (2)Interpretacin geomtrica (2)Y si el infimum es finito,

define un hiperplano de soporte de g(,).Teniendo presentes la condiciones 0, u0, v=0, se concluye

y siendo p*=inf{t}, entonces se concluye

33

Interpretacin usando el epigrafoInterpretacin usando el epigrafoDefinamos el conjunto

es decir, A se puede entender como el epigrafo de G.El ptimo del problema (*) se puede expresar como

34

Interpretacin usando el epigrafo (2)Interpretacin usando el epigrafo (2)La funcin dual se obtiene minimizando el producto (,,1)T(u,v,t) sobre A, para 0

que asi mismo, si el infimum es finito permite definir el hiperplano de soporte

Adems, como (0,0,p*) pertenece al limite de A, entonces

35

Interpretacin EconmicaInterpretacin Econmica La dualidad de Lagrange tambin puede ser

interpretada desde una perspectiva econmica. Sea x la variable que representa la condicin de

operacin de una compaia. E.g. recursos, energa, rea de planta, etc.

Sea f0(x) la funcin costo que mapea la condicin de operacin en el costo de la compaia.

Las restricciones representan limites en los recursos: Mxima capacidad de la planta, limitaciones regulatorias, etc.

37

Interpretacin econmica (3)Interpretacin econmica (3) La funcin dual de Lagrange g() se interpreta como

el costo ptimo de operacin (el mnimo de L(x,)) en funcin de los precios .

El mximo d* de g() es el costo ptimo de operacin bajo el vector * de precios ms desfavorable.

El costo en el segundo escenario siempre es mejor al costo en el primer escenario (si se puede pagar por exceder limites/vender capacidad no usada, el resultado nunca ser peor que en el primer escenario).

38

Interpretacin econmica (4)Interpretacin econmica (4) El duality gap se corresponde a la diferencia

entre el ptimo operando en el primer escenario f0(x*) y el ptimo en el segundo escenario para los precios * ms desventajosos.

Si se cumple la dualidad fuerte, entonces * es el conjunto de precios para los cuales no se obtiene ventaja al permitir comprar recursos extra o vender excedentes.

39

Interpretacin geomtrica para Interpretacin geomtrica para problemas LPproblemas LP

Tomemos la representacin del problema primal en espacio de requerimientos: Cada columna de A es un vector. Una base es un subconjunto de las columnas de A,

tales que b se puede escribir como una combinacin lineal de los vectores de la base.

Entonces, para el problema dual en espacio de actividades, cada restriccin define un semiespacio factible. El vector fila de AT es el vector normal del

hiperplano que define el semiespacio.

40

Interpretacin geomtrica para Interpretacin geomtrica para problemas LP (2)problemas LP (2)

Illustracin: Tomemos el siguiente problema LP en forma estndar:

Ejemplo tomado de:Luenberger and Ye. Linear and Nonlinear programming

41

Interpretacin geomtrica para Interpretacin geomtrica para problemas LP (3)problemas LP (3)

El dual de este problema es:

Los semiespacios definidos por cada restriccin son

Ejemplo tomado de:Luenberger and Ye. Linear and Nonlinear programming