Post on 07-Oct-2015
description
1
DualidadDualidad
--
(*) Basado en Boyd y Vandenberghe. Convex Optimizationhttp://www.stanford.edu/~boyd/cvxbook/
2
El LagrangianoEl Lagrangiano Consideremos un problema de optimizacin en forma
estndar
donde La variable xn, El dominio es no vaco, No se asume que el problema sea convexo
(*)
3
Definicin de LagrangianoDefinicin de LagrangianoLa funcin
dada por
se denomina el Lagrangiano (Lagrangian) del problema (*). Las variables , se denominan los multiplicadores de Lagrange.
4
La funcin dual de LagrangeLa funcin dual de LagrangeLa funcin g:mn definida por
se denomina la funcin dual de Lagrange del problema (*).Como se trata del infimum de la combinacin lineal de una familia de funciones afines, la funcin dual siempre es concava (sin importar si el problema es convexo).
5
Cota inferior en el valor ptimoCota inferior en el valor ptimo Sea p* el valor ptimo del problema (*),
entonces se cumple que
es decir la funcin dual de Lagrange establece un mnimo del valor ptimo.
7
Interpretacin de la funcin Interpretacin de la funcin dual de Lagrangedual de Lagrange
Consideremos el problema sin restricciones:
donde se usan las funciones indicadoras:
8
Interpretacin como Interpretacin como aproximacin linealaproximacin lineal
Las funciones indicadoras capturan la "insatisfaccin" por no cumplir las restricciones.
En la forma 0, la funcin de con indicadores corresponde a una pared.
La funcin de Lagrange aproxima esta funcin utilizando una medida de insatisfaccin lineal: Cuando ms lejos este restriccin de su valor deseado, mayor la insatisfaccin.
9
Ejemplo: Mnimos cuadradosEjemplo: Mnimos cuadrados Sea el problema de optimizacin convexo
su Lagrangiano es
para encontrar su funcin dual, se minimiza el Lagrangiano, que por la condicin de optimalidad de primer orden:
12
Funcin dual de Lagrange Funcin dual de Lagrange para problemas LPpara problemas LP
La funcin dual de Langrange es entonces
Se observa que el trmino dependiente de x no est inferiormente acotado excepto si es cero, por lo tanto
13
El problema dual de LagrangeEl problema dual de Lagrange Cada pareja (,) define una cota inferior para
p* cuando 0. Surge entonces la pregunta cul es la mejor
cota (la ms grande) posible para una funcin g(,) dada?
Este problema puede plantearse as:
y se llama el problema dual de Lagrange.(**)
14
TerminologaTerminologa El problema (*) se denomina el problema
primal y (**) el problema dual. La solucin ptima (,) de (**) se conoce
como el ptimo dual o los multiplicadores ptimos de Lagrange.
El problema (**) es convexo dado que la funcin a maximizar es concava y las restricciones convexas. Esto sin importar como es el problema primal.
17
Dual de Lagrange para Dual de Lagrange para un problema LP con desigualdadesun problema LP con desigualdades
Dado un problema LP de la formaSu Lagrangiano es
y su funcin dual es
que de manera similar, solo esta acotada si el trmino lineal es cero.
21
Tranformaciones equivalentes paraTranformaciones equivalentes paraprogramas LP duales (3)programas LP duales (3)
El problema dual correspondiente es
que teniendo en cuenta que 0 y reorganizando trminos
22
Dualidad DbilDualidad Dbil(Weak duality)(Weak duality)
Sea d* la solucin ptima del problema dual. Por definicin este es el mejor limite inferior del valor ptimo p*,
d*p*
y aplica incluso cuando el problema primal no es convexo, o cuando bien sea el problema primal o el dual no son acotados.
23
Duality gapDuality gap La diferencia
p*-d*
siempre es cero o positiva y se conoce como el "gap de dualidad" (duality gap) entre el problema primal y su mejor cota inferior.
24
Dualidad FuerteDualidad Fuerte(Strong duality)(Strong duality)
Cuando la igualdad se cumplep*=d*
se dice que el problema cumple con la dualidad fuerte.
En general la dualidad fuerte no se cumple, por lo que resulta interesante explorar condiciones bajo las cuales se da.
25
Cuando se da la dualidad fuerte?Cuando se da la dualidad fuerte? Cuando el problema primal es convexo de la
forma:
usualmente si se cumple la dualidad fuerte. Condiciones especificas para que se cumpla la
dualidad fuerte se denominan cualificadores de restricciones (constraint qualifications).
26
La condicin de SlaterLa condicin de Slater Una cualificacin que nos garantiza la dualidad fuerte
de un problema. Sea x un punto perteneciente al interior relativo del
espacio factible
i.e.,
En este caso y siendo el problema convexo, la condicin de Slater establece que la dualidad fuerte se cumple.
El punto x se dice que es estrctamente factible.
27
Dualidad fuerte paraDualidad fuerte paramnimos cuadradosmnimos cuadrados
Para el problema de mnimos cuadrados su primal es
y el dual correspondiente es
La condicin de Slater se reduce a que el problema primal sea factible, y en ese caso el gap de dualidad es cero: p*=d*
28
Condicin de SlaterCondicin de Slatercuando hay restricciones afinescuando hay restricciones afines
Sean las k primeras funciones de restriccin afines,
En este caso la condicin de Slater se relaja para permitir que las desigualdades afines no se tengan que cumplir con desigualdad estrcta.
Para
29
Problemas con Problemas con restricciones linealesrestricciones lineales
En el caso que todas las restricciones sean igualdades y desigualdades afines, la condicin de Slater se reduce simplemente a la factibilidad (que D no sea vaco) y que el dominio de f0 sea abierto.
30
Condicin de Slater Condicin de Slater para problemas LPpara problemas LP
Por extensin del caso anterior, la dualidad fuerte siempre se satisface desde que el problema primal sea factible.
Asi mismo ocurre para los problemas duales. Existe la posibilidad (rara) de que ninguno de
los dos, el problema primal y el dual, sean factibles.
32
Interpretacin geomtrica (2)Interpretacin geomtrica (2)Y si el infimum es finito,
define un hiperplano de soporte de g(,).Teniendo presentes la condiciones 0, u0, v=0, se concluye
y siendo p*=inf{t}, entonces se concluye
33
Interpretacin usando el epigrafoInterpretacin usando el epigrafoDefinamos el conjunto
es decir, A se puede entender como el epigrafo de G.El ptimo del problema (*) se puede expresar como
34
Interpretacin usando el epigrafo (2)Interpretacin usando el epigrafo (2)La funcin dual se obtiene minimizando el producto (,,1)T(u,v,t) sobre A, para 0
que asi mismo, si el infimum es finito permite definir el hiperplano de soporte
Adems, como (0,0,p*) pertenece al limite de A, entonces
35
Interpretacin EconmicaInterpretacin Econmica La dualidad de Lagrange tambin puede ser
interpretada desde una perspectiva econmica. Sea x la variable que representa la condicin de
operacin de una compaia. E.g. recursos, energa, rea de planta, etc.
Sea f0(x) la funcin costo que mapea la condicin de operacin en el costo de la compaia.
Las restricciones representan limites en los recursos: Mxima capacidad de la planta, limitaciones regulatorias, etc.
37
Interpretacin econmica (3)Interpretacin econmica (3) La funcin dual de Lagrange g() se interpreta como
el costo ptimo de operacin (el mnimo de L(x,)) en funcin de los precios .
El mximo d* de g() es el costo ptimo de operacin bajo el vector * de precios ms desfavorable.
El costo en el segundo escenario siempre es mejor al costo en el primer escenario (si se puede pagar por exceder limites/vender capacidad no usada, el resultado nunca ser peor que en el primer escenario).
38
Interpretacin econmica (4)Interpretacin econmica (4) El duality gap se corresponde a la diferencia
entre el ptimo operando en el primer escenario f0(x*) y el ptimo en el segundo escenario para los precios * ms desventajosos.
Si se cumple la dualidad fuerte, entonces * es el conjunto de precios para los cuales no se obtiene ventaja al permitir comprar recursos extra o vender excedentes.
39
Interpretacin geomtrica para Interpretacin geomtrica para problemas LPproblemas LP
Tomemos la representacin del problema primal en espacio de requerimientos: Cada columna de A es un vector. Una base es un subconjunto de las columnas de A,
tales que b se puede escribir como una combinacin lineal de los vectores de la base.
Entonces, para el problema dual en espacio de actividades, cada restriccin define un semiespacio factible. El vector fila de AT es el vector normal del
hiperplano que define el semiespacio.
40
Interpretacin geomtrica para Interpretacin geomtrica para problemas LP (2)problemas LP (2)
Illustracin: Tomemos el siguiente problema LP en forma estndar:
Ejemplo tomado de:Luenberger and Ye. Linear and Nonlinear programming
41
Interpretacin geomtrica para Interpretacin geomtrica para problemas LP (3)problemas LP (3)
El dual de este problema es:
Los semiespacios definidos por cada restriccin son
Ejemplo tomado de:Luenberger and Ye. Linear and Nonlinear programming