Tema 2Conjuntos convexos

Jose R. Berrendero

Departamento de MatematicasUniversidad Autonoma de Madrid

Contenidos del tema 2

I Conjuntos convexos. Propiedades basicas y ejemplos.

I Cierre e interior de un conjunto convexo.

I Teorema de la proyeccion.

I Teoremas de separacion.

I Caracterizacion de puntos extremos y direcciones extremas deS = {x : Ax = b, x ≥ 0}.

I Teorema de representacion.

Conjuntos afines y convexos

y = θx1 + (1− θ)x2 = x2 + θ(x1 − x2), x1, x2 ∈ Rn.22 2 Convex sets

PSfrag replacements x1

x2

θ = 1.2θ = 1

θ = 0.6

θ = 0θ = −0.2

Figure 2.1 The line passing through x1 and x2 is described parametricallyby θx1 +(1− θ)x2, where θ varies over R. The line segment between x1 andx2, which corresponds to θ between 0 and 1, is shown darker.

an affine set contains every affine combination of its points: If C is an affine set,x1, . . . , xk ∈ C, and θ1 + · · ·+ θk = 1, then the point θ1x1 + · · ·+ θkxk also belongsto C.

If C is an affine set and x0 ∈ C, then the set

V = C − x0 = {x− x0 | x ∈ C}is a subspace, i.e., closed under sums and scalar multiplication. To see this, supposev1, v2 ∈ V and α, β ∈ R. Then we have v1 + x0 ∈ C and v2 + x0 ∈ C, and so

αv1 + βv2 + x0 = α(v1 + x0) + β(v2 + x0) + (1 − α− β)x0 ∈ C,

since C is affine, and α + β + (1 − α − β) = 1. We conclude that αv1 + βv2 ∈ V ,since αv1 + βv2 + x0 ∈ C.

Thus, the affine set C can be expressed as

C = V + x0 = {v + x0 | v ∈ V },i.e., as a subspace plus an offset. The subspace V associated with the affine set Cdoes not depend on the choice of x0, so x0 can be chosen as any point in C. Wedefine the dimension of an affine set C as the dimension of the subspace V = C−x0,where x0 is any element of C.

Example 2.1 Solution set of linear equations. The solution set of a system of linearequations, C = {x | Ax = b}, where A ∈ Rm×n and b ∈ Rm, is an affine set. Toshow this, suppose x1, x2 ∈ C, i.e., Ax1 = b, Ax2 = b. Then for any θ, we have

A(θx1 + (1 − θ)x2) = θAx1 + (1 − θ)Ax2

= θb+ (1 − θ)b

= b,

which shows that the affine combination θx1 + (1 − θ)x2 is also in C. The subspaceassociated with the affine set C is the nullspace of A.

We also have a converse: every affine set can be expressed as the solution set of asystem of linear equations.

I Conjunto afın: si x1, x2 ∈ S , entonces θx1 + (1− θ)x2 ∈ S ,para todo θ ∈ R.

I Conjunto convexo: si x1, x2 ∈ S , entoncesθx1 + (1− θ)x2 ∈ S , para todo θ ∈ [0, 1].

Ejemplos de conjuntos convexos

I Hiperplanos: S = {x : p>x = α}, donde p ∈ Rn, α ∈ R.

I Semiespacios: S = {x : p>x ≤ α}, donde p ∈ Rn, α ∈ R.

I Interseccion arbitraria de convexos: Si Si es convexo paratodo i ∈ I , entonces S =

⋂Ii=1 Si es un conjunto convexo.

I Un poliedro (interseccion finita de semiespacios) es unconjunto convexo. Por ejemplo, S = {x : Ax ≤ b, x ≥ 0} esun conjunto convexo.

I Una bola B(x , r) = {x ∈ Rn : ‖x − x‖ < r} es un conjuntoconvexo (para cualquier norma).

Combinaciones afinesCombinacion afın de x1, . . . , xk ∈ Rn:

y = λ1x1 + · · ·+ λkxk ,

donde λ1 + · · ·+ λk = 1.

Cierre afın de S :

afin(S) =

{k∑

i=1

λixi : xi ∈ S ,k∑

i=1

λi = 1

}.

I Un conjunto es afın si y solo S = afin(S).

I Un conjunto es afın si y solo si es la traslacion de unsubespacio vectorial (unico)

I La dimension afın de un conjunto es la dimension de su cierreafın (que a su vez es la dimension del correspondientesubespacio vectorial).

Combinaciones convexas y cierre convexo

Combinacion convexa de x1, . . . , xk ∈ Rn:

y = λ1x1 + · · ·+ λkxk ,

donde λ1 + · · ·+ λk = 1 y λi ≥ 0, para todo i = 1, . . . , n.

Cierre convexo de S :

conv(S) =

{k∑

i=1

λixi : xi ∈ S , λi ≥ 0,k∑

i=1

λi = 1

}.

I Un conjunto S es convexo si y solo si S = conv(S).

I conv(S) es el menor conjunto convexo que contiene a S .

Cierre convexo

−2 −1 0 1 2

−2

−1

01

2

−2 −1 0 1 2−

2−

10

12

Teorema de Caratheodory

Cualquier punto del cierre convexo de un conjunto de Rn se puedeponer como combinacion lineal convexa de a lo mas n + 1 puntosdel conjunto.

Teorema: Sea S ⊂ Rn. Si x ∈ conv(S), entonces x =∑n+1

i=1 λixi ,con

∑n+1i=1 λi = 1, λi ≥ 0, xi ∈ S , para todo i = 1, . . . , n + 1.

Demostracion: Sea x ∈ conv(S), entonces x =∑k

i=1 λixi , con∑k

i=1 λi = 1, λi > 0,xi ∈ S .

1. Si k ≤ n + 1, hemos terminado.

2. Si k > n + 1, x2 − x1, . . . , xk − x1 son linealmente dependientes.

3. Existen µi (alguno estrictamente positivo) tales que∑k

i=1 µixi = 0.

4. Tenemos que x =∑k

i=1(λi − αµi )xi , donde

α = min{λj/µj : µj > 0} := λr/µr > 0.

5. Hemos conseguido expresar x como combinacion convexa de k − 1 elementos.Volvemos al paso 1. En un numero finito de iteraciones habremos terminado.

Interior relativo

Sea S ⊂ Rn un convexo cuyo cierre afın es afin(S). El interiorrelativo de S se define como el conjunto de puntos x ∈ S talesque existe r > 0 con B(x , r) ∩ afin(S) ⊂ S .

I ¿Cual es el interior relativo de{x ∈ R3 : −1 ≤ x1 ≤ 1, −1 ≤ x2 ≤ 1, x3 = 0}?

Teorema: Un conjunto convexo no vacıo en Rn tiene interiorrelativo no vacıo.

Teorema: El interior de un conjunto convexo en Rn es vacıo si ysolo si el conjunto esta contenido en un hiperplano de Rn.

Cierre e interior de un conjunto convexo

Lema: Sea S ⊂ Rn un conjunto convexo con int(S) 6= ∅. Seax1 ∈ S , x2 ∈ int(S). Entonces, θx1 + (1− θ)x2 ∈ int(S), para todoθ ∈ [0, 1).

Demostracion: Sea y = θx1 + (1− θ)x2.

1. Existe ε > 0 tal que B(x2, ε) ⊂ S .

2. Sea y ∈ B(y , η), con η = ε(1− θ).

3. Como x1 ∈ S , existe x1 ∈ S tal que

‖x1 − x1‖ <η − ‖y − y‖

θ⇔ ‖y − y‖+ θ‖x1 − x1‖ < η.

4. Sea x2 = (y − θx1)/(1− θ)⇔ y = θx1 + (1− θ)x2.

5. Se verifica

‖x2 − x2‖ =‖y − θx1 − y + θx1‖

1− θ≤

1

1− θ(‖y − y‖+ θ‖x1 − x1‖) <

η

1− θ= ε.

6. Por 1 y 5, x2 ∈ S. Por 4, y ∈ S . Como B(y , η) ⊂ S , y ∈ int(S).

Cierre e interior de un conjunto convexo

1. Si S ⊂ Rn es convexo, entonces tanto int(S) como S sonconjuntos convexos.

2. Si S ⊂ Rn es convexo, entonces int(S) = int(S). Si ademasint(S) 6= ∅, entonces S = int(S).

3. Si S ⊂ Rn es convexo, entonces ∂S = ∂S .

Teorema de la proyeccion

Teorema: Sea S ⊂ Rn un conjunto convexo, no vacıo y cerrado.Sea y ∈ Rn. Existe un unico x ∈ S (la proyeccion de y sobre S)tal que

‖y − x‖ ≤ ‖y − x‖, para todo x ∈ S .

Ademas, x es la proyeccion de y sobre S si y solo si

(y − x)>(x − x) ≤ 0. (1)

I ¿Como queda la condicion (??) cuando S es un conjunto afın?

I La aplicacion P : Rn → S , que a cada y le hace correspondersu proyeccion P(y) sobre S , es continua.

Teorema del hiperplano separador

Teorema: Sea S ⊂ Rn un conjunto convexo, no vacıo y cerrado.Sea y /∈ S . Entonces existe p ∈ Rn, p 6= 0, y α ∈ R tales que

I p>x ≤ α, para todo x ∈ S .

I p>y > α

Demostracion:

1. Sea x la proyeccion de y sobre S .

2. Se verifica (y − x)>(x − x) ≤ 0, para todo x ∈ S .

3. Definimos p = y − x y α = p>x . Comprobamos que cumplenlas condiciones requeridas:

I Si x ∈ S , p>x = (y − x)>(x − x) + α ≤ α.I p>y = (y − x)>(y − x) + α = ‖y − x‖2 + α > α.

Teorema del hiperplano soporte

Teorema: Sea S ⊂ Rn un conjunto convexo con interior no vacıo.Sea x ∈ ∂S , la frontera de S . Entonces existe p ∈ Rn, p 6= 0, talque p>(x − x) ≤ 0, para todo x ∈ S .

Demostracion:

1. x /∈ int(S) = int(S).

2. Para todo k ∈ N, existe yk ∈ B(x , 1/k) ∩ Sc

3. Existe pk ∈ Rn, ‖pk‖ = 1, con p>k yk > p>k x para todo x ∈ S.

4. Tenemos yk → x . Para una subsucesion, pk → p con ‖p‖ = 1.

5. Tomando lımites en 3, p>(x − x) ≤ 0, para todo x ∈ S .

Separacion de dos convexos disjuntos

Teorema: Sean S1, S2 ⊂ Rn conjuntos convexos, no vacıos, talesque S1 ∩ S2 = ∅. Entonces existe p ∈ Rn, p 6= 0, tal que

inf{p>x : x ∈ S1} ≥ sup{p>x : x ∈ S2}.

Demostracion: La idea es considerar

S = {x ∈ Rn : x = x1 − x2, x1 ∈ S1, x2 ∈ S2}

y aplicar los teoremas de separacion.

Teoremas de la alternativa

Teorema (Gordan): Sea A una matriz m × n. Uno y solo uno delos sistemas siguientes tiene solucion:

I Ax < 0 para algun x ∈ Rn.

I A>p = 0, p ≥ 0 y p 6= 0 para algun p ∈ Rm.

Demostracion:

I (1) tiene solucion ⇒ (2) no la tiene.

Sea x la solucion de (1) y supongamos que p fuese una solucion de (2).Consideramos p>Ax .

I (1) no tiene solucion ⇒ (2) sı la tiene.

Los conjuntos S1 = {z ∈ Rm : z = Ax , x ∈ Rn} y S2 = {z ∈ Rm : z < 0} sonconvexos, no vacıos y disjuntos. Existe p 6= 0 con p>Ax ≥ p>z para x ∈ Rn yz < 0. Se demuestra que p resuelve (2).

Teoremas de la alternativa

Ejemplo: ¿Existen x1, x2 y x3 tales que x1 + x2 + x3 < 0, x1 > 0 y2x1 − x2 − x3 < 0?

Teorema (Farkas): Sea A una matriz m× n y c ∈ Rn. Uno y solounos de los sistemas siguientes tiene solucion:

1. Ax ≤ 0 y c>x > 0 para algun x ∈ Rn.

2. A>y = c , y ≥ 0 para algun y ∈ Rm.

Demostracion: Ejercicio

Probar que (1) no tiene solucion cuando (2) sı la tiene es muy facil. Cuando (2) no

tiene solucion considera S = {x ∈ Rn : x = A>y , y ≥ 0} y observa que c /∈ S .

Teorema de representacion de poliedros

Los resultados hasta el final del tema se refieren al poliedroS = {x : Ax = b, x ≥ 0}, el conjunto factible de un problema deoptimizacion lineal (en forma estandar).

Suponemos que A es una matriz m × n (m < n) con rangor(A) = m.

Vamos a representar los puntos de S en terminos de los puntosextremos (vertices) de S y sus direcciones extremas.

Cualquier punto de S se puede expresar como unacombinacion convexa de sus puntos extremos mas unacombinacion lineal positiva de sus direcciones extremas.

Soluciones factibles basicas

Podemos dividir las columnas de A es dos grupos B y N, donde Bes m ×m con r(B) = m.

Ax = b ⇔ (B,N)

(xBxN

)= b ⇔ BxB + Nxn = b

Si hacemos xN = 0, xB = B−1b y se verifica B−1b ≥ 0, obtenemosunos puntos especiales de S que se llaman soluciones factiblesbasicas.

Algunas soluciones del sistema compatible indeterminado Ax = b,con r(A) = r(A, b) = m < n se consiguen fijando n −m incognitascomo 0 y despejando las m incognitas restantes. Si estassoluciones son no negativas, son soluciones factibles basicas.

Puntos extremos

Definicion: Sea S ⊂ Rn un conjunto convexo no vacıo. Se diceque x ∈ S es un punto extremo de S si x = λx1 + (1− λ)x2, conx1, x2 ∈ S , λ ∈ (0, 1), implica que x = x1 = x2.

Es decir, x es un punto extremo si no esta en el interior (relativo)del segmento definido por otros dos puntos del conjunto.

Piensa ejemplos de conjuntos convexos: con un unico puntoextremo, con un numero finito mayor que uno de puntos extremos,con infinitos puntos extremos, sin puntos extremos.

Direcciones extremas

Definicion: Sea S ⊂ Rn un conjunto convexo no vacıo. Se diceque d ∈ Rn, d 6= 0, es una direccion de S si para todo x ∈ S ypara todo λ ≥ 0, se cumple x + λd ∈ S .

¿Que condiciones caracterizan las direcciones deS = {x : Ax = b, x ≥ 0}?

Definicion: Sea S ⊂ Rn un conjunto convexo no vacıo. Se diceque d ∈ Rn, d 6= 0, es una direccion extrema de S sid = λ1d1 + λ2d2, con d1, d2 direcciones de S , λ1, λ2 > 0, implicaque d1 = αd2, para algun α > 0.

Piensa ejemplos de conjuntos convexos: con dos direccionesextremas, con una unica direccion extrema, sin direccionesextremas.

Caracterizacion de puntos extremos

Teorema: x es un punto extremo de S si y solo si x es unasolucion factible basica.

Demostracion: (⇐) Ejercicio. Demostramos (⇒).

1. Reordenando las coordenadas x = (x1, . . . , xk , 0, . . . , 0)>, con xi > 0. Spg.k ≥ 1 (el caso x = 0 es trivial).

2. Reordenamos igual las columnas de A: A = (a1, . . . , ak , resto de columnas).

3. Veamos que a1, . . . , ak son linealmente independientes. Si no fuera ası existirıaun vector λ 6= 0 tal que Aλ = 0.

4. Para α > 0 suficientemente pequeno, x1 = x + αλ y x2 = x − αλ pertenecen aS ⇒ x = (x1 + x2)/2 no es punto extremo.

5. Si k < m, anadimos columnas de manera que las columnas deB = (a1, . . . , ak , ak+1, . . . , am) formen una base.

Caracterizacion de puntos extremos

La demostracion implica que un punto extremo no puede tenermas de m coordenadas estrictamente positivas. El recıproco no escierto (veremos algun ejemplo mas adelante en los ejercicios).

Si una solucion factible basica tiene k < m coordenadasestrictamente positivas se llama solucion factible basicadegenerada.

En el caso degenerado puede haber dos bases distintas B y B ′ querepresenten el mismo punto extremo (¿por que?).

Caracterizacion de puntos extremos

Teorema: El numero de puntos extremos de S es finito(¿Por que?)

Teorema: S tiene al menos un punto extremo.(La demostracion es muy parecida a la del teorema deCaratheodory.)

Ejemplo: Obtener las soluciones factibles basicas del problema:

minimizar −x1 + 2x2

s.a. x1 + 2x2 ≤ 22x1 + x2 ≤ 1

x1 ≥ 0x2 ≥ 0

Caracterizacion de direcciones extremas

Es facil demostrar que d es una direccion de S si y solo si Ad = 0 yd ≥ 0. El resultado siguiente caracteriza las direcciones extremas:

Teorema: d ∈ Rn es una direccion extrema de S si y solo siA = (B,N), donde B es una matriz m ×m basica, de manera que

B−1aj ≤ 0 para alguna de las columnas de N y d = α(−B−1aj

ej

)para algun α > 0, donde ej ∈ Rn−m es un vector de ceros salvo un1 en la posicion correspondiente a aj .

Demostracion:(⇐) Ejercicio.

(⇒) No la hacemos. Es totalmente analoga a la del teorema de caracterizacion de

puntos extremos.

Ejemplo: Calcula las direcciones extremas del conjunto

S = {(x1, x2) ∈ R2 : x2 − x1 ≤ 1, x2 ≤ 2, x1 ≥ 0, x2 ≥ 0}.

Teorema de representacion

Teorema: Sean x1, . . . , xk los puntos extremos de S y seand1, . . . , d` sus direcciones extremas. Entonces,

x ∈ S ⇔ x =k∑

i=1

λixi +∑j=1

µjdj ,

donde λi ≥ 0, µj ≥ 0,∑k

i=1 λi = 1.

Consecuencias:

I Si S es acotado, cualquier punto de S es combinacion linealconvexa de sus puntos extremos.

I S tiene al menos una direccion extrema si y solo si S no esacotado.

¿Es el numero de direcciones extremas siempre un numero finito?

Demostracion del teorema de representacion

C = {x ∈ Rn : x =k∑

i=1

λixi +∑j=1

µjdj , λi ≥ 0, µj ≥ 0,k∑

i=1

λi = 1}

I C 6= ∅I C es convexo y cerrado.

I C ⊂ S

I Para probar S ⊂ C , supongamos que existe z ∈ S con z /∈ C .

I Existe p ∈ Rn (p 6= 0) y α ∈ R tales que p>z > α y p>x ≤ α para todo x ∈ C .

I Como consecuencia, p>dj ≤ 0 y p>xi ≤ α⇒ p>z > p>xi , i = 1, . . . , k.

I Sea x el punto extremo tal que p>x = maxi p>xi .

I Consideramos la particion A = (B,N) en parte basica y no basicacorrespondiente a x .

I Se comprueba 0 < p>z − p>x = (p>N − p>B B−1N)zN , lo que implica que para

algun j > m se tiene zj > 0 y pj − p>B B−1aj > 0.

I Se demuestra que yj := B−1aj � 0. (Por reduccion al absurdo ya que si yj ≤ 0,

entonces dj =(−yj

ej

)es una direccion extrema y por tanto pj − p>B B−1aj ≤ 0.)

Demostracion del teorema de representacion

I Definimos el vector

x =(b

0

)+ α

(−yjej

),

donde b = B−1b y α = min{

biyij

: yij > 0}

:= bryrj> 0.

I Comprobamos x ∈ S , xr = 0, xj > 0.

I Las columnas a1, a2, . . . , ar−1, ar+1, aj son linealmente independientes, es decir,x es un punto extremo de S.

I Pero p>x = p>x + α(pj − p>B B−1aj ) > p>x .

I Una contradiccion ya que habıamos supuesto p>x = maxi p>xi .