Optimización - Práctica 1

Optimización

Conjuntosconvexos

Funcionesconvexas

Funcionesconvexas yMinimización

OptimizaciónPráctica 1

Departamento de Matemática, FCEyN, Universidad de Buenos Aires

24/04/2020

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos IDefiniciónDecimos que Ω ⊂ Rn es convexo si dados x , y ∈ Ω,entonces tx + (1− t)y ∈ Ω para 0 ≤ t ≤ 1.

Figure: Ω1,Ω2 no son convexos pero Ω3,Ω4 si lo son.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos II

EjemploSea Ω = x0 + S donde x0 ∈ Rn y S es un subespacio (esdecir, un conjunto afín no vacío), entonces Ω es convexo.

I Pues si x , y ∈ Ω entonces x = x0 + v1 e y = x0 + v2con v1, v2 ∈ S.

I Luego tx + (1− t)y = x0 + tv1 + (1− t)v2 ∈ SI De hecho esto vale para todo t (definición de

conjunto afín).

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos III

Ejemplo

I Dada A ∈ Rm×n y b ∈ Rm entoncesΩ = x ∈ Rn |Ax = b es un conjunto afín, y luegoes convexo.

I De hecho todo afín es de esta forma.I Si Ω = x0 + S, sea a1, . . . ,ar base del complemento

ortogonal de S.I Luego Ω = x |Ax = b donde A es la matriz cuyos

vectores fila son aT1 , . . . ,a

Tr , y b = Ax0.

EjemploEn particular un hiperplano dado por H = x |aT x = bpara a ∈ Rn no nulo y b ∈ R es un conjunto convexo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos IVEjemplo(Semi-espacios) Dado a ∈ Rn no nulo, y b ∈ R entoncesel semi-espacio Ω = x ∈ Rn |aT x ≤ b es convexo.

I Si aT x ≤ b y aT y ≤ b entonces:

aT (tx +(1−t)y) = taT x +(1−t)aT y ≤ tb+(1−t)b = b

Figure:

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos VEjemplo(Poliedros) Dadas A ∈ Rm×n C ∈ Rp×n, b ∈ Rm y d ∈ Rp

entonces Ω = x ∈ Rn |Ax ≤ b, Cx = d es un conjuntoconvexo.

Figure: Ax ≤ b

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos VI

Ejemplo

I Decimos que K ⊂ Rn es un cono si x ∈ K y θ ≥ 0entonces θx ∈ K .

I Decimos que K es un cono convexo si es un cono yes convexo, equivalentemente θ1x + θ2y ∈ K six , y ∈ K y θ1, θ2 ≥ 0.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos VII

Figure: K es un cono.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos VIII

Figure: K es un cono convexo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos IX

Ejemplo

I Dado C ⊂ Rn entoncesC∗ = v ∈ Rn | vT x ≥ 0 ∀ x ∈ C es un conoconvexo.

I Si K es un cono K ∗ se llama su cono dual.I Geometricamente v ∈ C∗ si y solo si −v es el vector

normal a un hiperplano que soporta a C en el origen,i.e. vT x ≥ 0 para todo x ∈ C.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos X

Figure: v está en K ∗.

Optimización

Conjuntosconvexos

Funcionesconvexas


Conjuntos convexos XI

Figure: K y en azul K ∗.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas I

DefiniciónSea Ω ⊂ Rn convexo, decimos que f : Ω→ R es convexasi f (tx + (1− t)y) ≤ tf (x) + (1− t)f (y) para x , y ∈ Ω y0 ≤ t ≤ 1.Decimos que f es estrictamente convexa sif (tx + (1− t)y) < tf (x) + (1− t)f (y) para x 6= y y0 < t < 1.Dualmente f es concava si −f es convexa.

ProposiciónSi f ∈ C1(Ω) entonces f es convexa si y solo sif (y) ≥ f (x) +∇f (x)(y − x) para todos x , y ∈ Ω.Similarmente f es estrictamente convexa si y solo sif (y) > f (x) +∇f (x)(y − x) para x 6= y .

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas II

Figure: Desigualdad de Jensen

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas III

Figure: f convexa diferenciable.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas IVProposiciónSi Ω es convexo con interior no vacío y f ∈ C2(Ω),entonces f es convexa si y solo si ∇2f (x) 0 para todosx ∈ Ω.Si f es tal que ∇2f (x) 0 para todo x ∈ Ω entonces f esestrictamente convexa (no vale la vuelta f (x) = x4).

Ejemplo

I f (x) = eax es (estrictamente) convexa.I f (x) = − log(x) es (estrictamente) convexa.I f (x) = xa para a ≥ 1 o a ≤ 0 desde R++ es convexa

(estrictamente si a > 1 o a < 0), es concava si0 ≤ a ≤ 1.

I f (x) = x log(x) desde R++ es (estrictamente)convexa.

I f (x) = − log( ex

1+ex ) es (estrictamente) convexa.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas V

Ejemplo

I Dado a ∈ Rn y b ∈ R entonces f : Rn → R dada porf (x) = aT x + b es convexa (pero no estrictamente).

I Sea ‖−‖ una norma, entonces f (x) = ‖x‖ esconvexa.

I Sea f (x) = 12xT Px + qT x + c una función cuadrática

donde P ∈ Rn×n simétrica, q ∈ Rn y c ∈ R. Entoncesf es convexa si y solo si P 0. Además f esestrictamente convexa si y solo si P 0.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas VI

Proposiciónf y g son convexas y θ1, θ2 ≥ 0 entoncesh(x) = θ1f (x) + θ2g(x) es convexa.

Proposiciónf y g son convexas entonces h(x) = maxf (x),g(x) esconvexa.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas VII

ProposiciónSi f : Rn → Rm dada por f (x) = Ax + b (afín) yg : Rm → R es convexa, entonces g f es convexa.

ProposiciónSi f1, . . . , fk : Rn → R son convexas y seaf (x) = (f1(x), . . . , fk (x)). Si g : Rk → R es convexa y esno decreciente, entonces g f es convexa.

ObservaciónEn Rk usamos el orden (no total) x ≤ y si xi ≤ yi parai = 1, . . . , k . g es no decreciente si x ≤ y entoncesg(x) ≤ g(y). Por ejemplo si g es C1 y ∂g

∂xi(x) > 0 para

todo i , entonces g es no decreciente.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas VIII

Ejemplo

I f (x) = − log( exp(aT x+b)1+exp(aT x+b)) es convexa

(−log-verosimilitud de la regresión logística).I Si p ≥ 1 y f1, . . . , fk son convexas y no negativas,

entonces h(x) = (|f1(x)|p + · · ·+ |fk (x)|p)1/p esconvexa.

I Si f1, . . . , fk son convexas a ∈ Rk entoncesh(x) = exp(aT f (x) + b) es convexa.

I etc.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas IX

ObservaciónSea Ω ⊂ Rn y f : Ω→ R, entonces f es convexa si y solosi su epigrafo Ef = (x , r) ∈ Ω× R | f (x) ≤ r es convexo.

Figure: Epigrafo de f convexa.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas IX

ObservaciónSea Ω ⊂ Rn y f : Ω→ R convexa y r ∈ R entoncesSr = x ∈ Ω | f (x) ≤ r es convexo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas X

EjemploSi g(x) = sup

y∈Yf (x , y) y para cada y fijo, f (x , y) es

convexa en x , entonces g es convexa.

EjemploSea P ∈ Rn×n, P 0 entonces la elipseE = x | (x − x0)T P(x − x0) ≤ r es un convexo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización I

DefiniciónDado Ω ⊂ Rn, x∗ ∈ Ω y v ∈ Rn. Decimos que v es unadirección factible en x∗ si existe t0 > 0 tal quex∗ + tv ∈ Ω para 0 ≤ t ≤ t0.

ProposiciónSea f ∈ C1(Ω) y x∗ ∈ Ω un mínimo local, entonces∇f (x∗)v ≥ 0 para toda v dirección factible.

ObservaciónEl conjunto K de direcciones factibles en x∗ es un cono.La proposición nos dice que si x∗ es un mínimo localentonces ∇f (x∗) ∈ K ∗.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización II

Figure: En azul las curvas de nivel de f , en rojo el hiperplanotangente a f en x∗.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización III

ObservaciónSi Ω ⊂ Rn es convexo y x∗ ∈ Ω entonces para todo y ∈ Ωel vector v = y − x∗ es una dirección factible en x∗.

TeoremaSea Ω ⊂ Rn convexo, f ∈ C1(Ω) convexa y x∗ ∈ Ω.Entonces x∗ es mínimo global si y solo si∇f (x∗)(y − x∗) ≥ 0 para todo y ∈ Ω.

Proof.(⇐) Dado y ∈ Ω entonces:

f (y) ≥ f (x∗) +∇f (x∗)(y − x∗) ≥ f (x∗)

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización IV

I Geométricamente x∗ ∈ Ω es mínimo si y solo si∇f (x∗) ∈ (Ω− x∗)∗.

I Es decir, −∇f (x∗) es el normal de un hiperplano quepasa por el origen y que soporta a Ω− x∗.

I Esto es Ω ⊂ x | ∇f (x∗)(x − x∗) ≥ 0.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización VEjemploSea f (x) = 1

2xT Px − qT x + c una función cuadrática (Psimétrica), queremos resolver el problema de minimizar fsin restricciones.

I Si x∗ es un mínimo local entonces∇f (x) = xT P − qT = 0.

I Si P 0 entonces f tiene un único mínimo dado porx∗ = P−1q.

I Si P no es semi-definida positiva entonces existeλ < 0 autovalor, Px = λx para x 6= 0. Luegof (tx) = λtxT x − tqT x + c no tiene mínimo.

I Si P 0 sea x ∈ ker(P) entonces f (tx) = −tqT x + c.Si qT x 6= 0 no tiene mínimo. Siq ∈ ker(P)⊥ = Im(PT ) entonces q = µT P, luego si xes mínimo 0 = ∇f (x) = xT P − µT P, es decirx − µ ∈ ker(P), luego x = µ+ v con v ∈ ker(P) sonmínimos.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización VI

Figure: f1 tiene único mínimo (P 0), f2 tiene infinitos (P 0q ∈ ker(P)⊥), f3 no tiene mínimo (P 0 pero q /∈ ker(P)⊥) y f4no tiene mínimo (P indefinida).

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización VII

EjemploSea f : Rn → R convexa C1 y Ω = x ∈ Rn |aT x ≤ b.Queremos minimizar f en Ω. Supongamos que x∗ es unmínimo tal que aT x∗ = b.

I Si v esta en el hiperplano aT v = 0 entonces v esuna dirección factible, luego ∇f (x∗)v ≥ 0.

I Pero tomando −v entonces ∇f (x∗)v = 0, luego∇f (x∗) = λaT .

I Ahora con v = −a se tiene que −∇f (x∗)a ≥ 0, luegoλ ≤ 0.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización VIII

EjemploSea f (x , y) = x2 + y2 + x + y , y Ω = (x , y) | x + 2y ≥ 5,queremos minimizar f en Ω.

I ∇f (x , y) = (2x + 1,2y + 1). Si ∇f (x , y) = 0entonces (x , y) = (−1/2,−1/2), pero no está en Ω.

I Entonces el mínimo x∗ debe estar en el hiperplano(recta) aT x = b, donde a = [−1;−2], b = −5.

I Luego tenemos las ecuaciones:

−x − 2y = −5−2x − 1 = −λ−2y − 1 = −2λ

I Resuelvo y llegamos a (x , y)∗ = (45 ,

2110), y

−∇f ((x , y)∗) = 135 (−1,−2).

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización IX

EjemploSea f (x , y) = x2 + 2y2 + 2x + 2y + 2xy + 2, y seaΩ = (x , y) | 1

2x ≤ y ≤ 2x. Queremos minimizar f en Ω.I Notar que si (x , y) ∈ Ω entonces x , y ≥ 0.I ∇f (x , y) = (2x + 2 + 2y ,4y + 2 + 2x).I Luego ∇f (x , y) 6= 0 en Ω, por lo tanto no hay mínimo

interior.I Podemos escribir

Ω = (x , y) |2y − x ≥ 0,2x − y ≥ 0, y luego se veque no hay mínimo sobre las rectas 2y − x = 0 o2x − y = 0 para (x , y) 6= 0 pues el gradiente espositivo en ambas coordenadas.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XEjemplo(Cont’d)

I Luego solo queda (x , y) = (0,0). Basta chequearque ∇f (0,0)(x , y) ≥ 0 para (x , y) ∈ Ω.

I Pero ∇f (0,0) = (2,2), listo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XI

ProposiciónSi f : Rn → R es convexa C1, dada A ∈ Rm×n y b ∈ Rm yqueremos resolver:

min f (x)

s.t .Ax = b

Entonces x∗ es optimo si y solo si Ax∗ = b y ∃µ ∈ Rm talque ∇f (x∗) = µT A.

I Dado y ∈ Ω = x |Ax = b, entoncesy = x∗ + (y − x∗) = x∗ + v donde Av = 0, i.e.v ∈ ker(A).

I Si x∗ es mínimo entonces ∇f (x∗)(y − x∗) ≥ 0, comoes subespacio ∇f (x∗)v = 0 para todo v ∈ ker(A).

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XII

(Cont’d)

I Luego ∇f (x∗) ∈ ker(A)⊥ = Im(AT ). (Recuerdo:ker(A) = Im(AT )⊥).

I Luego ∇f (x∗) = µT A.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XIII

EjemploQueremos resolver

min f (x) =12

xT Px − qT x + c

s.t .Ax = b

para A ∈ Rm×n,b ∈ Rm, P ∈ Rn×n, P 0, q ∈ Rn, c ∈ R.I Por la proposición anterior en un mínimo∇f (x) = (x∗)T P − qT ∈ Im(AT ).

I Luego Px∗ − q = ATµ y Ax∗ = b en un mínimo.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XIV

Ejemplo(Cont’d)

I Luego una solución esta dada por resolver elsistema lineal de (n + m)× (n + m):[

P −AT

A 0

] [xµ

]=

[qb

]

I Notar que si P 0 y rank(A) = m entonces la matrizdada por bloques es inversible.

I Pues si Ax = 0 y Px − ATµ = 0 entonces x ∈ ker(A)y Px = ATµ.

I Luego xT Px = xT ATµ = (Ax)Tµ = 0, y como P 0entonces x = 0.

I Pero entonces ATµ = 0 y luego µ = 0.

Optimización

Conjuntosconvexos

Funcionesconvexas


Funciones convexas y Minimización XVEjemploSi f (x1, x2, x3) = 4x2

1 + 4x22 + 4x2

3 − 2x1x2 − 2x2x3 y

queremos minimizar en:

x1 − 2x3 = 3x1 + x2 − x3 = 2

I Entonces f (x) = 12xT Px donde P =

2 −1 0−1 2 −10 −1 2

I A =

[1 0 −21 1 −1

]y b =

[32

]. Luego el mínimo es

solución del sistema dado por:[P −AT

A 0

] [xµ

]=

[0b

]

I Luego x∗ = 19(7,1,−1) y µ = 1

9(8,5).

Optimización - Práctica 1

Documents

Transcript of Optimización - Práctica 1