OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONESOPTIMIZACIÓN

PRÁCTICA 3 - PARTE 2

Departamento de Matemática, FCEyN, Universidad de Buenos Aires

22/05/2020

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Ahora vamos a dar algoritmos para problemasoptimización con restricciones.

I Primero nos concentraremos en el caso derestricciones de igualdad.

I Más especificamente, restricciones de igualdadlineal.

I Consideremos el problema de minimización:

minimize f (x)

s.t. Ax = b

donde A ∈ Rk×n, b ∈ Rk con k = rank(A) < n.I El lagrangiano del problema es:

L(x , ν) = f (x) +

k∑i=1

νi(aTi x − bi) = f (x) + νT (Ax − b)

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Las condiciones de KKT del problema para que x∗

sea mínimo es que exista ν∗ ∈ Rk tal que:

0 = ∇f (x∗) + (ν∗)T A

Ax∗ = b

I Supongamos que tenemos un método de descensoxk+1 = xk + tkdk, por ejemplo dk = −∇f (xk)T engradient descent.

I Queremos hacer un método que empiece en unpunto factible, i.e. x0 tal que Ax0 = b, y sea tal que lasucesión (xk)k sea factible, i.e. Axk = b para todo k.

I Pero si Axk = b entonces:

Axk+1 = Axk + tkAdk = b ⇐⇒ Adk = 0

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Esto es, necesitamos que la dirección de descensodk ∈ ker(A) = Im(AT )⊥.

I La idea es que podemos tomar la proyecciónortogonal de dk sobre ker(A), y así obtener unadirección que nos mantiene factibles.

I Supongamos que q1, . . . ,qn es una b.o.n. de Rn talque qk+1, . . . ,qn es b.o.n. de ker(A), y supongamosque dk = −∇f (xk)T .

I Si ∇f (xk) =∑n

i=1 αiqi , entonces la proyecciónortogonal de dk, que notamos dk esta dada pordk = −

(∑ni=k+1 αiqi

).

I Luego:

〈∇f (xk), dk〉 = −

(n∑

i=k+1

α2i

)< 0

salvo que ∇f (xk) ∈ ker(A)⊥ = Im(AT ), pero en talcaso xk es óptimo por las condiciones de KKT.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Esto muestra que el algoritmo es un método dedescenso.

I Para calcular la proyección ortogonal a ker(A) sepueden usar métodos de ortogonalización, tambiendirectamente si A = UΣV T es la factorización fullSVD de A entonces las columnas de V nos dan unabase ortogonal de V cuyas columnas v∗,k+1, . . . , v∗,nson base ortogonal ker(A).

I Luego la proyección ortogonal esta dada por:

P =

0 . . . 0 v1,k+1 . . . v1,n...

. . ....

.... . .

...0 . . . 0 vn,k+1 . . . vn,n

V T

I Alternativamente, tenemos la siguiente fórmulaP = I − AT (AAT )−1A (ejercicio).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Los resultados de convergencia para descenso por elgradiente se extienden al caso de gradientesproyectados.

I Notar que como Rn = ker(A)⊕ Im(AT ), si el algoritmoconverge cuando ‖P(∇f (x))‖ ≤ ε donde P es laproyección ortogonal a ker(A) entonces‖∇f (x)T + ATν‖ ≤ ε, donde ν = −(AAT )−1A∇f (x)T , yaque AT (AAT )−1A es la proyección ortogonal sobreIm(AT ).

I Es decir, converge a una solución aproximada de lascondiciones de KKT.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

Algoritmo: Dada f ∈ C1(Rn) convexa*, A ∈ Rk×n derango k < n, b ∈ Rk y x0 tal que Ax0 = b. Dado ε > 0 yP : Rn → Rn la proyección ortogonal sobre ker(A).Mientras que ‖P(∇f (x))‖ > ε:

I Sea d = −P(∇f (x)).I Calcular t con una busqueda de linea, x+ = x + td.I Actualizar x = x+.

Output: x tal que ‖P(∇f (x))‖ ≤ ε.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

I Por ejemplo, consideremos el problema delconsumidor:

maximize u(x)

s.t. pT x = w

para u(x) = x0.31 x0.2

2 x0.43 , precios p = (2,1,3) y

endowment w = 100.I En realidad sabemos a priori que la solución está en

el hiperplano, por lo tanto podemos pensarlo comoun problema con restricciones de igualdad.

I Empezamos con nuestro guess inicialx0 = (20,30,10).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

FIG.: xk dados por projected gradient descent, sobre lasuperficie pT x = w.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

FIG.: xk dados por projected gradient descent, sobre lasuperficie pT x = w. − gráfico de los vectores ∇u(xk) desde xk.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

GRADIENTE PROYECTADO

FIG.: u∗ − u(xk) dados por projected gradient descent.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Ahora consideremos el método de Newton paraminimizar una función convexa f ∈ C2(Rn) sujeto aAx = b.

I Consideremos primero el caso de una cuadrática,i.e. f (x) = 1

2xT Px − qT x + c con P 0.I Las condiciones de KKT del problema para que x∗

sea mínimo es que exista ν∗ ∈ Rk tal que:

0 = (Px∗ − q) + ATν∗

Ax∗ = b

I Podemos reescribir el sistema en forma matricial:[P AT

A 0

] [x∗

ν∗

]=

[qb

]

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Vimos anteriormente que si P 0 y A fat de rango kentonces entonces la matriz del sistema KKT resultainversible, y uno puede calcular resolver el sistemapor Schur complement.

I Más generalmente se tiene que si P 0 y A ∈ Rk×n

de rango k < n, entonces son equivalentes:A) la matriz del sistema KKT es inversible.B) ker(P) ∩ ker(A) = 0.C) Si x 6= 0 tal que Ax = 0 entonces xT Px > 0, i.e. P es

definida positiva en ker(A).

(Ejercicio)I Ahora para derivar el método de Newton con

restricciones de igualdad, hacemos la aproximaciónde f de Taylor de segundo orden en el punto, sujetoal subespacio Ax = b.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Dado un x ∈ Rn fijo tal que Ax = b consideremos:

minimizev

f (x + v) = f (x) +∇f (x)v +12

vT∇2f (x)v

s.t. A(x + v) = b

I Luego la solución a este problema esta caracterizadapor el sistema matricial de KKT:[

∇2f (x) AT

A 0

] [dntν

]=

[−∇f (x)T

0

]

I Se define el decremento de Newton como antes,λ2(x) = dnt∇2f (x)dnt .

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

Algoritmo: Dada f ∈ C2(Rn) convexa*, A ∈ Rk×n derango k < n, b ∈ Rk y x0 tal que Ax0 = b. Sea x = x0 ydado ε > 0:

I Calcular dnt y λ2(x).I Si λ2(x)/2 < ε: Break.I Calcular t con una busqueda de linea, x+ = x + tdnt .I Actualizar x = x+.

Output: x tal que λ2(x)/2 < ε.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Para no tener que estudiar la convergencia, veremosque de hecho el método de Newton con restriccionesde igualdad coincide con hacer el método de Newtoneliminando variables.

I Esto es, supongamos que:

x ∈ Rn | Ax = b = x = x0 + By | y ∈ Rn−k

i.e. x0 es una solución particular y B ∈ Rn×(n−k) estal que sus columnas son base de ker(A).

I Sea f (y) = f (x0 + By), entonces afirmamos que lasucesión (yk)k dada por el método de Newtonempezando con y0 = 0, es tal que xk = x0 + Byk es lasucesión del método de Newton con restricciones deigualdad empezando en x0.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDADI Dados y ∈ Rn−k y x = x0 + By, entonces:

∇f (y)T = BT∇f (x)T , ∇2f (y) = BT∇2f (x)B

I De hecho, la matriz de KKT es inversible si y solo siBT∇2f (x)B lo es.

I Luego el paso de Newton (en y) sin restricciones dntes tal que:

BT∇2f (x)Bdnt = −BT∇f (x)T

I Sea deqnt = Bdnt , veamos que es el paso de Newton

con restricciones de igualdad. Hay que ver queexiste ν tal que:[

∇2f (x) AT

A 0

] [deq

ntν

]=

[−∇f (x)T

0

]

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Para la segunda ecuación observar queAdeq

nt = ABdnt = 0 ya que AB = 0.I Si multiplico a la primera ecuación por A entonces

tenemos que: A∇2f (x)deqnt + AATν = −A∇f (x)T

I Luego, como AAT es inversible tenemos que:

ν = −(AAT )−1A(∇2f (x)deqnt +∇f (x)T )

I Falta ver que ∇2f (x)deqnt + ATν = −∇f (x)T . Pero si

multiplico por BT :

BT (∇2f (x)deqnt + ATν) = BT∇2f (x)Bdnt = −BT∇f (x)T

donde uso nuevamente que AB = 0.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Luego tenemos que:[ABT

](∇2f (x)deq

nt + ATν +∇f (x)T ) = 0

I Pero la matriz es inversible ya que es cuadrada den × n, y si z esta en su núcleo entonces es tal queAz = 0, BT z = 0, pero si Az = 0 entoncesz ∈ ker(A) = Im(B) = ker(BT )⊥, con lo cual z = 0.

I Listo, luego deqnt = Bdnt es el paso de Newton con

restricciones de igualdad, por lo tanto las sucesionescoinciden ya que:

x+ = x+deqnt = x0+By+Bdnt = x0+B(y+dnt) = x0+By+

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Veamos como funciona el algoritmo en el ejemplo:

minimize − u(c,a) = −

(T∑

t=0

βt ln(ct)

)

s.t. ht(c,a) = ct+at+1−wt−(1+r)at = 0, t = 0, . . . ,T .

a0 = aT+1 = 0

I Sea y = (c0,a1, c1,a2, . . . ,aT , cT ,aT+1) ∈ R2(T+1), yb = (w0,w1, . . . ,wT ,0), entonces podemos escribir ala restricción como Ay = b donde A es la matriz:

A =

1 1 0 0 0 0 . . . 0 0 00 −(1 + r) 1 1 0 0 . . . 0 0 00 0 0 −(1 + r) 1 1 . . . 0 0 0...

......

......

.... . .

......

...0 0 0 0 0 0 . . . −(1 + r) 1 10 0 0 0 0 0 . . . 0 0 1

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Notemos que se cumple la hipótesis de que la matrizde KKT sea inversible para este problema.

I Dado un y ∈ R2(T+1), entoncesf (y) = −

(∑T+1t=1 βt−1 ln(y2t−1)

), luego P = ∇2f (y) es

diagonal, y en las entradas con t par vale cero, enlas entradas impares es βt−1

y22t−1

.

I Si z ∈ ker(P), entonces zt = 0 para todo t impar(consumo = 0).

I Pero entonces si z ∈ ker(A), z1 + z2 = 0, luego z2 = 0.Pero entonces −(1 + r)z2 + z3 + z4 = 0, implica quez4 = 0, etc.

I Luego z = 0, es decir ker(P) ∩ ker(A) = 0.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

FIG.: wt , ct , at de nuestro guess inicial.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

FIG.: wt , ct , at obtenidos por el método de gradientesproyectados. Número total de pasos k ≈ 14000.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

FIG.: wt , ct , at obtenidos por Newton con restricciones deigualdad. Número total de pasos k = 8.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDADI Podemos generalizar esto a problemas bastante

generales de control óptimo, solo necesitamos que ladinámica sea lineal (o linealizarla).

I Consideremos el problema:

minimizeN∑

t=1

φt(xt) +

N−1∑t=0

ψt(ut)

s.t. xt+1 = Atxt + Btut , t = 0, . . . ,N − 1.

I La variable xt = (x1,t , . . . , xk,t) ∈ Rk es llamadavariable de estado a tiempo t, mientras que lavariable ut ∈ Rl es llamada la variable de control. Seasume que x0 es dato.

I Las matrices son de tamaños At ∈ Rk×k, Bt ∈ Rk×l,pueden depender del tiempo o ser constantes.

I Asumimos que φt , ψt son strongly convex y C2.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Notemos y = (u0, x1,u1, x2, . . . ,uN−1, xN ) ∈ RN(k+l) yf (y) a la función a minimizar.

I Dado que la función es de variables separadas, elhessiano es diagonal en bloques:

∇2f (y) = diag(R0,S1, . . . ,RN−1,SN )

donde Rt = ∇2ψt(ut),St = ∇2ψt(xt).I Podemos juntar todas las ecuaciones de igualdad en

una gran matriz:

A =

−B0 I 0 0 . . . 0 0 0

0 −A1 −B1 I . . . 0 0 0...

......

......

......

...0 0 0 0 . . . −AN−1 −BN−1 I

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE NEWTON CON

RESTRICCIONES DE IGUALDAD

I Si definimos b =[A0x0 0 . . . 0

]T, luego la

restricción es Ay = b.I Este sistema puede ser enorme, pero uno puede

explotar fuertemente el hecho de que sea sparse, yes solo un bloque del sistema de KKT. De hecho estesistema se puede resolver de forma eficiente usandoel complemento de Schur, ya que este resultatridiagonal.

I Con este método se obtiene un método cuyo costo deresolver el paso de Newton es lineal en N , mientrasque el método trivial crece como N3.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Finalmente, queremos resolver un problema deoptimización de la forma:

minimize f0(x)

s.t. fi(x) ≤ 0, i = 1, . . . ,m.

Ax = b

con fi : Rn → R convexas C2 para i = 0, . . . ,m.I El método que vamos a describir es un método de

puntos interiores (interior-point method), con lo cualnecesitamos que el problema sea estríctamentefactible, es decir existe un punto x0 tal que fi(x0) < 0para i = 1, . . . ,m y Ax0 = b (i.e. satisface la condiciónde Slater).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERAI La idea es ir resolviendo una sucesión de problemas

cuya solución es un punto interior, que convergenasintóticamente a una solución de las condicionesde KKT.

I Por simplicidad, consideraremos en nuestro análisissolo restricciones de desigualdad, aunque esto no esnecesario.

I Recordemos que podemos ver nuestro problema enel orden primal, primero dado un x, maximizar ellagrangiano sobre λ ≥ 0:

supλ≥0

L(x , λ) = supλ≥0

(f0(x) +

m∑i=1

λifi(x)

)=

= f0(x) +

m∑i=1

I−(fi(x))

donde I− : R→ R es la función dada por:

I−(u) =

0 si u ≤ 0+∞ si u > 0

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I La solución del problema primal se encuentraminimizando en x esta función sin restricciones:

p∗ = infx

(f0(x) +

m∑i=1

I−(fi(x))

)

I Un problema es que esta nueva función no esdiferenciable.

I La idea del método de barrera logarítmica es“aproximar” a la función I− por funcionesdiferenciables para poder aplicar el método deNewton sin restricciones (o más generalmenterestricciones lineales de igualdad).

I La barrera logarítmica es una familia de funcionesdadas por:

It(u) = −(1/t) log(−u)

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

FIG.: Gráfico de −(1/t) log(−u) para

– t = 1 – t = 2– t = 4 – t = 8

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

EJERCICIOSea fi una función convexa con fi(x) < 0 en Ω, entoncesla función − log(−fi(x)) es convexa en Ω.

I Consideremos entonces para t > 0 el problema deminimización sin restricciones:

minimizex

(f0(x) +

m∑i=1

−(1/t) log(−fi(x))

)

I El dominio de la función a minimizar (i.e. los puntosen los que vale finito) esta implícito, es el dominio dela función f0 intersecado con el conjunto

D = x ∈ Rn | fi(x) < 0, i = 1, . . . ,m

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Esto no es un problema, ya que si nos movemos enpasos suficientemente chicos, nos mantenemosdentro de este conjunto ya que es abierto.

I Podemos reescribir el problema de minimizaciónequivalentemente de la siguiente forma:

minimizex

t f0(x) + φ(x)

donde φ(x) =∑m

i=1− log(−fi(x)) es llamada la funciónbarrera.

I Tenemos la siguiente fórmula para el gradiente:

∇φ(x) =

m∑i=1

1−fi(x)

∇fi(x)

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Para el hessiano tenemos la fórmula:

∇2φ(x) =

m∑i=1

1fi(x)2∇fi(x)T∇fi(x) +

m∑i=1

1−fi(x)

∇2fi(x)

I Dado t > 0, el central path x∗(t) esta definido por lasolución (asumimos que existe y es única) alproblema:

minimizex

t f0(x) + φ(x)

I Nuestra ilusión es que x∗(t)→ x∗ cuando t → +∞.I Por qué no poner directamente t 0 y resolver?

Muy poco eficiente y robusto en la práctica.I Mejor ir recorriendo el central path.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Podemos caracterizar a los puntos en el centralpath, x∗(t) es solución si y solo si:

0 = t∇f0(x∗(t)) +∇φ(x∗(t))

0 = t∇f0(x∗(t)) +

m∑i=1

1−fi(x∗(t))

∇fi(x∗(t))

fi(x∗(t)) < 0, i = 1, . . . ,m.

I Dado x∗(t) en el central path, podemos definirλ∗(t) ∈ Rm dual factible:

λ∗i (t) =1

−t fi(x∗(t))> 0

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Dado que el gradiente es cero, entonces x∗(t)minimiza el lagrangiano para λ∗(t), es decir:

g(λ∗(t)) = infxL(x , λ∗(t)) = inf

x

(f0(x) +

m∑i=1

λ∗i (t) fi(x)

)

i.e. g(λ∗(t)) = L(x∗(t), λ∗(t)).I Pero luego:

g(λ∗(t)) = L(x∗(t), λ∗(t)) =

f0(x∗(t)) +

m∑i=1

1−t fi(x∗(t))

fi(x∗(t)) = f0(x∗(t))− mt

I Como g(λ) siempre nos da una cota inferior del valordel problema, i.e. g(λ) ≤ p∗ entonces:

0 ≤ f (x∗(t))− p∗ ≤ mt

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Esto confirma la idea intuitiva de que x∗(t)→ x∗

cuando t → +∞, y también nos da un stopping ruleefectivo.

I Podemos garantizar que el problema del central pathtiene solución, es única y podemos encontrarla porel método de Newton si f0 es strongly convex, ya queluego t f0 + φ también resulta strongly convex.

I El problema es que cuando t → +∞ nuestra funcióncada vez es peor para el análisis clásico de Newton,ya que se sabe que el condition number de la matrizhessiana crece como Θ(t) en x∗(t).

I Esto es un problema más bien del análisis clásicoque del método en sí, pero hizo que el método debarrera perdiera popularidad por muchos años.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Ahora para el problema general, con la restricciónextra lineal Ax = b, el análisis es similar, x∗(t) estáen el central path si y solo si existe ν∗(t) ∈ Rk tal quese satisface KKT:

0 = t∇f0(x∗(t))T +∇φ(x)T + ATν∗(t)

Ax∗(t) = b, fi(x∗(t)) < 0, i = 1, . . . ,m.

I Podemos reinterpretar el central path como solucióndel siguiente sistema de KKT perturbado:

0 = ∇f0(x)T +

m∑i=1

λi ∇fi(x)T + ATν

λi fi(x) = −1/t, i = 1, . . . ,m.

Ax = b, fi(x) ≤ 0, i = 1, . . . ,m, λ ≥ 0.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I La única diferencia con el sistema de KKT es lacondición de holgura complementaria:

λifi(x) = 0, i = 1, . . . ,m.

I El método de barrera consiste en ir resolviendo:

minimizex

t f0(x) + φ(x)

s.t. Ax = b

para valores crecientes de t > 0 hasta que m/t < ε.I Dado t0 > 0 y µ > 1 empezando en t0 vamos a ir

incrementando t+ = µt y minimizando por Newton,este paso se llama paso de centrado.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

Algoritmo: Dado x0 estrictamente factible, t0 > 0, µ > 1y ε > 0. Sean x = x0 y t = t0.While True:

I Calcular x∗(t) minimizando t f0 + φ sujeto a Ax = b,empezando en x.

I Actualizar x := x∗(t).I Si m/t < ε: Break.I Actualizar t := µt.

Output: x tal que f (x)− p∗ ≤ ε.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Ahora lo que nos falta es un método para encontraruna solución estrictamente factible.

I En algunos casos uno tiene una solución factible ola puede construir a mano si entiende el problema.

I Los métodos para construir una soluciónestrictamente factibles se llaman métodos de faseuno.

I Queremos encontrar x0 tal que fi(x0) < 0 para todoi = 1, . . . ,m, y Ax0 = b.

I Para hacer esto resolvemos el siguiente problema:

minimize s

s.t. fi(x) ≤ s, i = 1, . . . ,m.

Ax = b

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERA

I Este problema siempre tiene una soluciónestrictamente factible.

I Tomamos x cualquiera tal que Ax = b y tomamos stal que s > max

i=1,...,mfi(x), y luego el par (x , s) es un

punto estrictamente factible.I Sea s∗ el mínimo de este problema. Hay tres casos

posibles a considerar:A) Si s∗ < 0 entonces el problema tiene una solución

estrictamente factible. Más aún si tenemos (x , s)factible para este problema con s < 0 entoncesfi(x) < 0 para i = 1, . . . ,m. Luego podemos terminarantes, no hace falta seguir optimizando.

B) Si s∗ > 0 el problema original es infactible. Más aúnpodemos terminar antes si encontramos un puntodual factible con g(λ) > 0 para este problema.

C) Si s∗ = 0 y el mínimo se alcanza en x∗ entonces haypuntos factibles pero no hay puntos estrictamentefactibles.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

MÉTODO DE BARRERAI Una alternativa al método anterior es resolver el

siguiente problema:

minimizem∑

i=1

si

s.t. fi(x) ≤ si , i = 1, . . . ,m.

Ax = b, s ≥ 0.

I El valor óptimo del problema es cero si y solo si lasdesigualdades son factibles, y usualmente en talcaso encontramos un punto estrictamente factible.

I Más importante es que nos da información valiosasobre cuales son las desigualdades que resultaninfactibles, y deben ser relajadas o eliminadas.

I Este conjunto de desigualdades violadas suele serpequeño (sparse), ya que estamos minimizando unanorma 1.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Como ejemplo de aplicación, veamos el discriminantelineal robusto.

I Supongamos que tenemos datos (xi ,yi) parai = 1, . . . ,m, donde xi ∈ Rn e yi ∈ −1,1.

I Supongamos que los datos son linealmenteseparables, es decir, existe un hiperplano tal queaT xi ≤ b si yi = 1 y dualmente aT xi ≥ b si yi = −1.

I Esto es equivalente a que las cápsulas convexas deambos conjuntos tengan intersección solo en puntosen la frontera.

I La idea es encontrar el mejor hiperplano que separelos datos. Mejor en el sentido de que maximiza ladistancia (mínima) del hiperplano a las dos clases depuntos.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONESI Si a es de norma uno y dado x ∈ Rn, entonces|aT x − b| es la distancia del punto x al hiperplano.

I Es decir, la idea es encontrar a ∈ Rn con ‖a‖ = 1,b ∈ R y t ∈ R+ máximo tal que aT xi − b ≤ −t si yi = 1y aT xi − b ≥ t si yi = −1.

I Entonces podemos plantear nuestro problema comoel siguiente problema convexo:

minimizea,b,t

− t

s.t. t + yi(aT xi − b) ≤ 0, i = 1, . . . ,m

a21 + · · ·+ a2

n − 1 ≤ 0

I Notar que reemplazamos ‖a‖ = 1 con ‖a‖2 ≤ 1, paraque el problema sea convexo. Esto no es unproblema, ya que en el óptimo se alcanza conigualdad (si puedo agrandar ‖a‖ (sin costo), puedoagrandar t que es mi objetivo).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: – recta aT x = b. – rectas aT x = b − t y aT x = b + t.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: – f (zk)− f ∗ donde z = (a,b, t) y zk es obtenida por unpaso de centrado, sobre el central path. µ = 10, t0 = 1.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: Para cada k = 1, . . . ,8, la barra muestra Nk el número depasos de Newton en cada paso de centrado. µ = 10, t0 = 1.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: f (zk)− f ∗ para

– µ = 2– µ = 10– µ = 50

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: Cantidad de pasos de Newton en cada paso de centrado

para

µ = 2 µ = 10 µ = 50

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONESI Consideremos ahora el problema de programación

lineal, podemos escribirlo como:

minimizex

cT x

s.t. Ax ≤ b

para A ∈ Rm×n y b ∈ Rm .I El método de barrera consiste en resolver para t > 0

el problema:

minimizex

tcT x +

m∑i=1

− log(bi − aTi x)

donde ai es el vector (columna) dado por la i-ésimafila de A.

I La condición de optimalidad del gradiente nos diceque x∗(t) satisface:

0 = tcT +∇φ(x∗(t)) = tcT −m∑

i=1

1bi − aT

i x∗(t)aT

i

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONESI Geométricamente, lo que nos dice es que en x∗(t) el

gradiente de la función barrera debe ser paralelo alvector c, que es el gradiente de f0.

I El hessiano de la función a minimizar es el hessianode φ:

∇2φ(x) =

m∑i=1

1(bi − aT

i x)2 aiaTi

I Para poder visualizar el central path vamos aconsiderar un problema en R2 dado por un poliedromuy sencillo de cuatro caras.

minimizex

3x1 + 2x2

s.t.

x1 + x2 ≤ 3

−x1 − x2 ≤ 2−(3/2)x1 + x2 ≤ 3(2/3)x1 − x2 ≤ 2

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: En el gráfico se ve el poliedro dado por Ax ≤ b y lascurvas de nivel de la barrera logaritmica φ(x). – x∗(t) el centralpath. – hiperplanos ortogonales a c para distintos niveles.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: – f (xk)− f ∗ para xk de cada paso de centrado.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: Cantidad de pasos de Newton en cada paso de centrado

para

µ = 2 µ = 10 µ = 50 µ = 100

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: – f (xk)− f ∗ para xk de cada paso de centrado, para un LPgenerado al azar con A ∈ R100×10.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Como siguiente aplicación, consideremos elproblema de Optimización de Portafolio de Markowitz.

I Tenemos n activos en los cuales podemos invertir.Denotamos por xj la fracción de nuestro capital ainvertir en el activo j-ésimo, xj ≥ 0. Un x ∈ Rn tal que∑n

j=1 xj = 1 y x ≥ 0 es llamado un portafolio.I Sea µj el retorno esperado del activo j-ésimo en el

período. Podemos estimar este retorno por ejemplocon retornos históricos pj(t + 1)/pj(t) de los últimosm períodos, donde pj(t) denota el valor del activo j atiempo t.

I Si R ∈ Rm×n denota los retornos en los últimos mperíodos para los n-activos, entonces µ ∈ Rn

podemos estimarlo por:

µ ≈ 1m

m∑t=1

rt

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Sea Σ la matriz de covarianzas de los retornos de losn activos. La podemos estimar por:

Σ ≈ 1m

(R − µ)T (R − µ) =1m

m∑t=1

(rt − µ)(rt − µ)T

donde rt es el vector (columna) de retornos a tiempot, i.e. rT

t la fila t-ésima de R.I La idea de un portafolio óptimo x ∈ Rn es que este

debe minimizar la varianza para un nivel de retornoesperado (mínimo) dado. Es decir, entre todos losportafolios que tienen un nivel de retorno (esperado),es el de menor varianza.

I El retorno esperado de un portafolio x ∈ Rn es µT xpor la linealidad de la esperanza. Mientras que lavarianza del portafolio es xT Σx por la bilinealidad dela covarianza.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I El problema de optimización de portafolio deMarkowitz (clásico) es:

minimize xT Σx

s.t. µT x ≥ rmin

x ≥ 0,n∑

j=1

xj = 1.

I La matriz de covarianzas Σ es definida positiva (salvoque los activos sean colineales, en el que essemi-definida positiva), luego el problema es convexoy el óptimo se alcanza en un único portafolio.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I En realidad, el problema es un ejemplo deoptimización multobjetivo.

I Queremos minimizar la varianza y maximizar elretorno (i.e. minimizar −µT x) del portafolio de formaconjunta.

I Cuando tenemos dos funciones objetivo perdemos lanoción de mínimo, aunque tenemos todavia lanoción de minimalidad, esto se debe a que R2 con elorden x ≤ y si y solo si xi ≤ yi para i = 1,2 es unposet pero no es totalmente ordenado.

I Decimos que un portafolio x∗ es óptimo Pareto si noexiste un portafolio x tal que µT x∗ ≤ µT x exT Σx ≤ (x∗)T Σx∗ con alguna de las dosdesigualdades de forma estricta.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Más generalmente si estamos minimizandof1, . . . , fk : Rn → R en Ω, decimos que x∗ ∈ Ω es óptimoPareto si no existe x ∈ Ω tal que(f1(x), . . . , fk(x)) (f1(x∗), . . . , fk(x∗)).

I Supongamos que x∗ es óptimo Pareto, las f1, . . . , fkson convexas, y denotemos f (x) = (f1(x), . . . , fk(x)).

I Si las funciones son convexas entonces el siguienteconjunto resulta convexo (ejercicio):

E = y = (y1, . . . ,yk) ∈ Rk | ∃ x ∈ Ω s.t. fi(x) ≤ yi

I Si x∗ es óptimo pareto entonces y∗ = f (x∗) está en lafrontera de E.

I Luego por el teorema del hiperplano soportadorexiste λ∗ ∈ Rk no nulo y c tal que (λ∗)T y ≥ c paratodo y ∈ E.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Luego x∗ es solución del problema de minimización:

minimizex∈Ω

(λ∗)T f (x) =

k∑i=1

λ∗i fi(x)

I Podemos interpretar los λ∗i como precios para cadafunción fi a minimizar.

I Es decir, λ∗j /λ∗i nos dice cuantas unidades de la

función i-ésima estamos dispuestos a aumentarpara disminuir en una unidad a la función j

I Es decir es el precio de una unidad de la función j entérminos de una unidad de la función i.

I Conversamente, si x∗ es tal que existe λ∗ ∈ Rk talque λ∗ > 0 y x∗ minimiza a (λ∗)T f (x) sujeto a x ∈ Ω,entonces x∗ es óptimo Pareto (ejercicio).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Volvamos al problema de optimización de portafoliode Markowitz, y veamos que es equivalente aminimizar poniendo un precio a menos los retornosen términos de la varianza, o a minimizar menos losretornos sujeto a que la varianza sea menor que unvalor σ2

max.I Es decir, nos dan tres parametrizaciones distintas

del problema multiobjetivo.I Recordemos que el problema original es:

minimize xT Σx

s.t. µT x ≥ rmin

x ≥ 0,n∑

j=1

xj = 1.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONESI Las condiciones de KKT para un portafolio óptimo x∗

de este problema (1) son que existanλ∗ ∈ R+, η

∗ ∈ Rk+, ν

∗ ∈ R tales que:

0 = Σx − λ∗µ−n∑

i=1

η∗i ei + ν∗(1, . . . ,1)

λ∗(rmin − µT x∗) = 0, η∗i x∗i = 0, i = 1, . . . ,n.

rmin − µT x∗ ≤ 0, x∗ ≥ 0,n∑

j=1

x∗j = 1.

I Ahora consideremos dado p > 0, el precio del retornoen unidades de varianza (trade-off). El problemaresulta entonces:

minimize − pµT x + xT Σx

s.t. x ≥ 0,n∑

j=1

xj = 1.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Las condiciones de KKT para un portafolio óptimo x∗

de este problema (2) son que existan η∗ ∈ Rk+, ν

∗ ∈ Rtales que:

0 = −pµ+ Σx −n∑

i=1

η∗i ei + ν∗(1, . . . ,1)

η∗i x∗i = 0, i = 1, . . . ,n.

x∗ ≥ 0,n∑

j=1

x∗j = 1.

I Dado (x∗, λ∗, ν∗, η∗) óptimo para (1) con rmin entoncesobtenemos un óptimo (x∗, ν∗, η∗) para el problema(2) con p = λ∗(rmin).

I Dado (x∗, ν∗, η∗) óptimo para el problema (2) con p,entonces definiendo λ∗ = p obtenemos un óptimo(x∗, λ∗, ν∗, η∗) para el problema (1) pararmin = µT x∗(p).

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

I Esto muestra que hay una correspondencia implícitaentre las soluciones de los problemas (1) y (2).

I Similarmente, se ve que el problema resulta tambiénequivalente al problema (3) de maximizar losretornos sujeto a la varianza del portafolio acotada:

minimize − µT x

s.t. xT Σx ≤ σ2max

x ≥ 0,n∑

j=1

xj = 1.

I Consideremos el siguiente ejemplo de dos activos:

µ = [10,8], Σ =

[25 −2−2 4

]

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: Curva de Pareto del problema de optimización deportafolio.

OPTIMIZACIÓN

GRADIENTE

PROYECTADO

MÉTODO DE NEWTON

CON RESTRICCIONES

DE IGUALDAD

MÉTODO DE

BARRERA

APLICACIONES

APLICACIONES

FIG.: Harry Markowitz (1927), Nobel Prize in Economics, fatherof portfolio theory and the branch and bound algorithm.