1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más...

77
1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad

Transcript of 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más...

Page 1: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

1

Condiciones de extremo

Proceso para derivar las condiciones De problema más simple a más complejo

Progresión de problemas: Problema sin restricciones Problema con restricciones de igualdad Problema con restricciones de desigualdad

Page 2: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

2

Condiciones de extremo

Caso sin restricciones: minx f (x )

Condición:

f (x ) f (y ) y { z : z - x } Dificultad:

comprobar dicha condición para todo y Solución:

Condiciones en x sobre f y sus derivadas

Page 3: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

3

Condiciones de extremo

El caso univariante:f’ (x ) = 0 , f’’ (x ) 0

Extensión natural al caso multivariante:

f (x ) = 0

2 f (x ) s.d.p.

Page 4: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

4

Condiciones de extremo

Justificación intuitiva Basada en aproximaciones locales

f (x +v ) - f (x ) f (x )T vf (x +v ) - f (x ) f (x )T v + ½vT2f (x )v

Hipótesis: si la función tiene un mínimo, la aproximación local también lo tiene

Condiciones para que las aproximaciones tengan mínimos

Page 5: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

5

Condiciones de extremo

Caso lineal: (v ;x ) = f (x )T v La aproximación lineal tiene un mínimo si

f (x ) = 0

Caso cuadrático: (v ;x ) = f (x )T v + ½vT2f (x )v

Aprox. cuadrática tiene mínimo en v = 0 sif (x ) + 2f (x )v = 0, 2f (x ) s.d.p.

Page 6: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

6

Condiciones de extremo

Ejemplo de condición de óptimo Ajustar los parámetros de un modelo:

medida de defectos en un producto

Distribución a ajustar: Gamma(a ,b ) Procedimiento: máxima verosimilitud

3311..00 22..8822 33..9988 44..0022 99..5500 44..5500 1111..44 1100..77 66..3311 44..995555..6644 55..5511 1133..44 99..7722 66..4477 1100..22 44..2211 1111..66 44..7755 66..8855

Page 7: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

7

Condiciones de extremo

Ejemplo Función objetivo:

f (a ,b ) = logL =

-nb loga - n log (b ) + (b -1) i logxi - i

xi /a Datos:n = 20, i logxi = 39.11, i xi = 167.5

Page 8: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

8

Condiciones de extremo

Ejemplo: derivadas

-nb /a + i xi /a2 f (x ) = -n loga - n log (b ) + i logxi

nb /a2 - 2i xi /a3 -n /a 2f (x ) = -n /a -n 2 log (b )

No es posible aplicar las condiciones directamente

Page 9: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

9

Condiciones de extremo

Ejemplo Para a = 1 y b = 1 tenemos f (x ) = -167.5, f (x ) = ( 147.5 50.7 )T Para a = 2.7 y b = 3.1 tenemos f (x ) = -61.0, f (x ) = ( 11.9 6.8 )T Para a = 2.6997 y b = 3.1022 tenemos f (x ) = -57.2, f (x ) = ( -3e-5 -6e-5 )T autovalores de 2f (x ) = -15.5 y -0.63

Page 10: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

10

Condiciones de extremo

Justificación formal Si x es solución, se deberá cumplir

f (x + v ) - f (x ) 0para todo v , v = 1 y todo > 0

pequeño Desarrollo en serie de Taylor: necesita

quef (x )T v + o () 0

y esto sólo se cumple si f (x ) = 0

Page 11: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

11

Condiciones de extremo

Justificación Si es pequeño, f (x )T v define el signo Si f (x ) 0, basta con tomar v = -f (x

)f (x + v ) - f (x ) - f (x ) 2 < 0

y x no puede ser solución local Si no se cumple la condición:

Moverse a lo largo de -f (x ) Existen direcciones mejores

Page 12: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

12

Condiciones de extremo

f (x ) = 0 , condición necesariaCondición necesaria de segundo orden Supongamos que f (x ) = 0 ,

f (x + v ) - f (x ) = ½2 vT2f (x )v + o ( 2 ) El signo de f (x + v ) - f (x ) viene

definido por el signo de vT2f (x )v Se tiene un mínimo si vT2f (x )v 0

v

Page 13: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

13

Condiciones de extremo

Condición necesaria de segundo orden Hace falta que 2f (x ) sea s.d.p. Si no se cumple la condición,

existen direcciones que cumplen

vT2f (x )v < 0 a lo largo de estas direcciones

f (x + v ) - f (x ) ½2 vT2f (x )v < 0

y x no puede ser un mínimo

Page 14: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

14

Condiciones de extremo

Condición suficiente Si f (x ) = 0 y 2f (x ) es d.p., se

tiene > 0, v, v = 1 vT2f (x )v

Esto implica que > 0 tal que ,½2vT2f (x )v +o (2) ¼2vT2f (x )v ¼2

y por tanto v, se tiene quef (x + v ) - f (x ) ¼2 > 0

luego x es un mínimo

Page 15: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

15

Condiciones de extremo

Utilidad de estas condiciones Comprobación de posibles soluciones:

Medida de la calidad de un candidato

Cálculo de extremos Resolver un sistema de ecuaciones no

lineales Métodos directos/Métodos iterativos aproximados

Comprobar la condición de segundo orden

Page 16: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

16

Condiciones de extremo

Ejemplo: x1min f (x )

(1+x12) (1+x2

2)

Calcular máximos y mínimos Resolver sistema de ecuaciones no

lineales para condiciones de primer orden Es posible en forma explícita en este caso En caso contrario, métodos numéricos

Page 17: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

17

Condiciones de extremo

Derivadas: Denotaremos a = 1+x1

2 , b = 1+x22

(1 - x12)/a2b

f (x ) = -2x1x2/ab2

2x1(x12 - 3)/a3b -2x1x2(1 -

x12)/a2b2

2f (x ) = -2x1x2(1 - x1

2)/a2b2 2x1(x22 -

1)/ab3

Page 18: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

18

Condiciones de extremo

Cálculo de soluciones para el ejemplo Igualando el gradiente a cero,1 - x1

2 = 0, -2x1x2 = 0 x2 = 0, x1 = 1 Estudiando las segundas derivadas,

En ( 1 0 )T -1/2 0

2f (x ) = 0 -1

En ( -1 0 )T 1/2 0 2f (x ) = 0 1

Page 19: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

19

Condiciones de extremo

Caso con restricciones de igualdadminx f (x )

s.a c (x ) = 0Condición:c (x ) = 0, f (x ) f (y ) y { z : c (z ) =

0 } Mismas dificultades que en caso anterior Valores y derivadas de f y c

Cómo tener en cuenta las restricciones

Page 20: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

20

Condiciones de extremo

Ejemplo Cartera con endeudamiento

r = ( 1.6 4.6 6.2 5.6 0.7 -0.4 )

28 59 27 40 19 -23 59 252 87 133 28 -21 R = 27 87 224 66 -21 -60 40 133 66 151 -16 -71 19 28 -21 -16 75 21 -23 -21 -60 -71 21 86

Condición sobre inversioneseT x = 1

Page 21: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

21

Condiciones de extremo

Ejemplo(a) min xT R x (b) max rT x - 0.1 xT R x (c) max rT

x s.a eT x = 1 s.a eT x = 1 s.a eT x

= 1

(d) max rT x - 0.1 xT R x s.a eT x = 1 vT x = 0.5

CCaassoo ((aa)) ((bb)) ((dd))xx11 00..6633 00..0077 00..5511xx22 --00..2222 --00..2222 --00..1177xx33 00..0077 00..1199 00..1166xx44 00..2200 00..4466 00..2255xx55 --00..0077 00..1122 --00..0099xx66 00..3399 00..3399 00..3355RReenntt 11..3344 22..7744 22..1199RRiieessggoo 44..0077 1111..0099 88..4499

Page 22: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

22

Condiciones de extremo

Intuición gráfica Para una restricción, en el punto solución

Gradiente de f. objetivo ortogonal a restricción Gradientes de f. objetivo y restricción paralelos Expresión formal: f (x ) = c (x )

Más de una restricción Gradientes paralelos? Gradiente de f. objetivo ortogonal a restricciones ¿Cómo se plantea (algebraicamente)

ortogonalidad?

Page 23: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

23

Condiciones de extremo

Planteamiento de ortogonalidad Gradiente f. obj. perpendicular a restricciones Perpendicular a vectores tangentes a cada

restricción Vect. tangentes a restricción j : cj (x )T d = 0 A todas simultáneamente: c (x ) d = 0 Gradiente perpendicular a las restricciones: f (x )T d = 0 d { u : c (x ) u = 0 }

Page 24: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

24

-2 -1 0 1 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

Condiciones de extremo

Representación gráfica (i)

Page 25: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

25

Condiciones de extremo

Representación gráfica (ii)

-2 -1 0 1 2-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

Page 26: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

26

Condiciones de extremo

Aproximación lineal mind f (x ) + f (x )Td

s.a c (x ) + c (x )d = 0 ¿Cuándo tiene un mínimo en x ?

Para tener un mínimo, debe ser constante sobre las restricciones

Para ello, el gradiente ha de ser perpendicular a dichas restricciones

Page 27: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

27

Condiciones de extremo

Condiciones necesariasc (x ) = 0, f (x ) = c (x )T

¿Son suficientes? No Aproximación de segundo orden:

mind f (x ) + f (x )Td + ½ dT 2f (x ) d

s.a c (x ) + c (x )d = 0 Función convexa sobre las restricciones

Page 28: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

28

Condiciones de extremo

Condiciones de segundo orden Se denota por Z una base de c (x )d

= 0 ¿Es ZT 2f (x )Z s.d.p. cond. necesaria? Ejemplo:

minx x12 + (x2 + 1)2

s.a x2 - x12 (x1 - ) = 0

Soluciones para valores de = 0, ½, 1

Page 29: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

29

Condiciones de extremo

Hace falta incluir las restricciones ZT 2L (x , )Z s.d.p. L (x , ) = f (x ) - c (x )T L función lagrangiana:

Combinación de f. objetivo y restricciones Condiciones de extremo con

restricciones: equivalentes a problema sin restricciones Función objetivo: función lagrangiana

Page 30: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

30

Condiciones de extremo

Ejemplo: Analizar los datos de la EPF para

buscar estructuras de interés Proyectar sobre direcciones que

maximicen el cuarto momento maxd i (xi

Td )4

s.a dTd = 1(datos estandarizados)

Page 31: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

31

Condiciones de extremo

Ejemplo Datos:

BBiieenn11 BBiieenn22 BBiieenn33 BBiieenn44 BBiieenn55 BBiieenn66 BBiieenn77 BBiieenn88 BBiieenn99 RReennttaa113333553366 00 4422002255 1199555566 22770000 44008800 550000 2244556600 2266000000 331144002244665500772288 118877115500 115599996644 113366551133 119933339966 773322223300 4477660000 221133004400 6688330000 22552200556644222277665566 5511330000 4400557766 4477334488 66990000 2255002266 3355000000 3322991166 00 224477442288228899448844 4433444400 221111332288 113377226600 1111110088 113366007700 2288880000 5544008800 117766880000 110022442233447700114488 4422000000 1133220000 00 00 00 00 00 00 7722111166332266556600 00 225544225500 77442200 00 3344220000 3333448800 227799776600 00 448855558800337700003322 8811448800 9911880000 8899660000 22775566 665577440000 1155554400 99667722 1111552255 774444997744115566667766 00 115566665566 2222889900 88000000 11553366 77004400 11880000 00 334466665500221166332200 8877660000 8800002244 1177448866 22440000 1122221166 11550000 00 00 444400008800223366660000 3366660000 112200660000 33558888 5577114400 7722663322 99550000 8899660000 1188555500 447744000000223377774444 111166440000 220022552200 112233558800 1111330000 110011002244 2211110000 3388556600 11220000 11008833000000338822330044 225511110000 334499442200 1144224400 1155000000 110099111166 4455666644 114499779922 55770000 11662244008888229922996688 4477770000 111199770000 44000000 00 888888663355 3300000000 00 1122000000 998844001122668899226600 7700880000 6611771133 7744009966 77880000 336677224422 117788336600 336677112200 110022663344 11445533449966336666002288 222222443388 118877883322 444444003355 1188889900 11001100994488 3355229900 00 22000000 11449966000000225566882288 1144770000 8899770044 3377991166 113355000000 1199668800 99338844 2266110044 55448811 441144449999883344228888 227722991100 8855000055 333355998888 00 557744008811 2211445500 112299222200 771100227755 22555511883366444477887766 00 119955668800 113344223355 5599228844 2222227700 00 00 22665500 11117799330000113344662288 00 55115500 44770000 00 445500 00 11119966 222255 115566886644117733773322 5522441100 113388224400 33996600 88996600 222288555533 11335500 00 22004400 772200000000114488440088 00 2288995500 2233229966 22220000 11995500 00 11663322 00 224400665566228822777766 3388001100 1133441199 8866777722 00 110099663388 00 99556688 5500 11441188008800223344557722 111122668800 112299118866 1177007722 2255774400 6677881100 4466770000 220055550044 1177886600 11228844000000334433556644 117799116600 110099882288 8888116644 2211115566 883399771188 220033333300 9988554444 22660000 770000000000112299668888 114455007700 7733007700 3366440044 552266448844 220000667788 6688881122 113355886600 2200224400 11115500000000335522330000 8844339900 335599559900 114411224466 335599008800 11000066559988 116688660000 336600448800 331199773399 22776655776644337777552200 3388007766 113399336600 112200662244 1144224488 221144887700 118800559944 7722665500 2299339966 11008877002244112233229922 7755220044 111111992200 77661166 44000000 7788330011 8822444400 8822883366 1122667755 555566882200

Page 32: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

32

Condiciones de extremo

Ejemplo: derivadasf (d ) = 4i (xi

Td )3xi , c (d ) = 2dT

Condiciones de extremo: Cuando f (d ) sea colineal con d No necesariamente cuando el gradiente

sea cero Sistema de ecuaciones con n ecuaciones e

incógnitas La solución no tiene por qué cumplir dTd = 1

Page 33: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

33

Condiciones de extremo

Deducción de las condiciones f (x +v ) = f (x ) + f (x )T v

+ ½vT2f (x )v + o(v 2) No cualquier v es aceptable

v, c (x + v ) = 0 Representación explícita de v

curvas parametrizadas

v ( ) = d +½ 2u +o ( 2) , c (x + v ( )) = 0

Page 34: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

34

Condiciones de extremo

Representación explícita Condiciones sobre los parámetros

Derivadas en = 0 iguales a cero

c (x + v ( ))’ = 0 c (x )d = 0c (x + v ( ))” = 0 c (x )u + dT 2c (x ) d = 0 Valores aceptables de d y u

Page 35: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

35

Condiciones de extremo

Condiciones de óptimo f (x +v ) = f (x ) + f (x )T v + o(v ) v = d + ½ 2u + o ( 2), c (x )d = 0 f (x +v ) = f (x ) + f (x )T d + o ( ) Condición necesaria

f (x )T d 0 d, c (x )d = 0

Page 36: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

36

Condiciones de extremo

Condición necesaria de primer orden Representa d :d = Zw para w

cualquiera Condición equivalente:

f (x )T Zw 0 w ZT f (x ) = 0 También equivalente a

, f (x ) = c (x )T Justificación Si la condición no se cumple ...

Page 37: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

37

Condiciones de extremo

Condición necesaria de segundo orden Suponemos que ZTf (x ) = 0

f (x +v ) = f (x ) + ½vT2f (x )v + o(v 2) v d + ½ 2u , c (x )u + dT2c (x )d = 0 f (x +v )=f (x )+½ 2 (f (x )Tu +dT2f (x )d ) + o(2 )

Problema: condiciones sobre u

Page 38: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

38

Condiciones de extremo

Condición de segundo orden De la condición de primer ordenf (x )Tu = Tc (x )u = -j j dT2cj (x )d

f (x +v ) = f (x ) + ½2 dT2(f (x ) - Tc (x ))d + o(2 )

Condición necesaria: dT2(f (x )-Tc (x ))d 0 ZT2L (x,)Z

s.d.p.

Page 39: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

39

Condiciones de extremo

Cálculo de óptimos: Resolución de sistema de ecuaciones

no lineales f (x ) = c (x )T c (x ) = 0 n + m ecuaciones e incógnitas Comprobación de condición de 2o

orden para las soluciones

Page 40: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

40

Condiciones de extremo

Ejemplo: x1 min (1+x1

2) (1+x22)

s.a x1x2 = 1 Cálculo de soluciones:

(1 - x12)/a2b = x2

-2x1x2/ab2 = x1

x1x2 = 1 Solución: x1=3, x2=1/3, =33/32

Page 41: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

41

Condiciones de extremo

Condiciones de regularidad ¿Basta con las condiciones anteriores? Cálculo de soluciones de

minx (x32 + 1)(x1

2 + x2) s.a x2 - (x1 - 1)2 = 0 x2 = 0

El punto (1,0,0) es la solución pero no cumple las condiciones de primer orden

Page 42: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

42

Condiciones de extremo

¿Qué sucede en este caso? 1 0

Z = 0 0 , Z T f (x ) = ( 2 0 )T

0 1 Parece posible moverse a lo largo de

curvas con d = - Z Z T f (x ) Pero se viola la primera restricción Mala representación de curvas

factibles

Page 43: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

43

Condiciones de extremo

Información lineal no es adecuada Problema: cambios bruscos de

dimensión en espacios El problema no existe si c (x ) tiene

rango completo Es condición suficiente, pero existen

otras condiciones menos exigentes cualificaciones de restricciones

Page 44: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

44

Condiciones de extremo

Condición necesaria general Condiciones de Fritz-John 0f (x ) = c (x )T , (0 , ) 0

c (x ) = 0 Se cumplen independientemente de la

cualificación de restricciones Son equivalentes a KKT si 0 0 Si c (x ) tiene rango máximo, 0 0

Page 45: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

45

Condiciones de extremo

Condiciones de regularidad Condiciones bajo las que se cumple 0 0 Ejemplos:

Cono de tangentes = direcciones de descenso La matriz Jacobiana en la solución tiene rango

máximo Condiciones también suficientes para el

caso con restricciones de desigualdad

Page 46: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

46

Condiciones de extremo

Interpretación de los multiplicadores Propiedad:

minx f (x )

s.a c (x ) = ej con solución x* ( ) Entonces df (x* ( ))

= j d =0

Sensibilidad de función objetivo a cambios en el lado derecho de las restricciones

Page 47: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

47

Condiciones de extremo

Ejemplo: Derivadas f (d ) = 4i (xi

Td )3xi , c (d ) = 2dT

2L (d, ) = 12i (xiTd )2xi xi

T - 2I Para el punto d = (1/n) ( 1 ... 1 )T,

f (d )=163.3, c (d )=0, c (d )=( 1 1 1 1 )

f (d ) = ( 135.9 249.5 491.6 429.6 )T

Page 48: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

48

Condiciones de extremo

Ejemplo: ¿Es solución? -1 -1 -1 1 0 0 113.6 Z = 0 1 0 , ZT f (d ) = 355.7 0 0 1 293.7 ¿Cómo obtener mejores soluciones?ZZT f (d )=( -763.0 113.6 355.7

293.7 )T

Page 49: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

49

Condiciones de extremo

Ejemplo: Supongamos d = ( 0.02 0.14 0.98 0.11 )T

f (d ) = 534.9, c (d ) 0,

c (d ) = ( 0.04 0.28 1.97 0.22 )

f (d ) = ( -42 -300 -2105 -234 )T

ZT f (d ) = 0 , = -1070

autovalores de ZT 2LZ = -92, -103, -46821

Page 50: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

50

Condiciones de extremo

Ejemplo: 2 1

min ( -2 1 ) x + ½xT x 1 -1 s.a ( 1 1 ) x = 2

Comprobar si son solución:

x = ( 1/3 4/3 )T , ( 3/2 1/2 )T , ( 1 1 )T

Encontrar la solución

Page 51: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

51

Condiciones de extremo

Caso con restricciones de desigualdad minx f (x )

s.a c (x ) 0 Similar caso con restricciones de igualdad

Conociendo restricciones activas en solución Restricciones activas: cj (x ) = 0 Soluciones locales no dependen de

restricciones lejanas

Page 52: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

52

Condiciones de extremo

Diferencias con el caso de igualdad: Es posible moverse hacia el interior de

la región factible Es necesario estudiar dos posibilidades:

Comportamiento del problema sobre las restricciones activas

Comportamiento del problema hacia el interior de la región factible

Page 53: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

53

Condiciones de extremo

Motivación de las condiciones Cumplimiento de restricciones

c (x ) 0 Comportamiento sobre las

restricciones: cond. primer orden restricciones activas

ZT f (x ) = 0 , f (x ) = ĉ (x )T

ĉ denota las restricciones activas

Page 54: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

54

Condiciones de extremo

Motivación de las condiciones Movimiento hacia interior de región

factible

cj (x ) 0cj (x )

x* (0)

x* () f (x* ()) - f (x* (0)) 0 ?

Page 55: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

55

Condiciones de extremo

Motivación de las condiciones Movimiento hacia interior de región

factible Condición: 0 Si j < 0 y f (x ) = ĉ (x )T , definimos d

ĉ (x ) d = ej

f (x + d ) = f (x ) + f (x )Td + o ( ) f (x + d ) - f (x ) = Tĉ (x ) d + o ( ) f (x + d ) - f (x ) = j + o ( ) < 0

Page 56: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

56

Condiciones de extremo

Justificación de las condiciones: Empleo de curvas parametrizadas

Para que no exista solución:

D ={ d : f (x )Td < 0 }, S ={ d : ĉ (x ) d 0 }

D S = En el caso con restricciones de igualdad

D ={ d : f (x )Td < 0 }, S ={ d : c (x ) d = 0 }

ZT f (x ) = 0 D S =

Page 57: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

57

Condiciones de extremo

Justificación de las condiciones: Con restricciones de desigualdad, f (x ) = ĉ (x )T , 0 D S = Resultado: Lema de Farkas f (x ) = ĉ (x )T ĉ (x ) d = 0 y 0 f (x )T d < 0

Solo uno de los dos sistemas tiene solución

Page 58: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

58

Condiciones de extremo

Lema de Farkas Justificación

Si el primer sistema tiene solución

f (x ) = ĉ (x )T f (x )Td = Tĉ (x )d 0

Si el primer sistema no tiene solución f (x ) { u : u = ĉ (x )T , 0 }

Hiperplano separador

w , f (x )Tw < 0 , Tĉ (x )w 0 0 ĉ (x )Tw 0

Page 59: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

59

Condiciones de extremo

Condiciones de segundo orden Condición necesaria

Comportamiento sobre las restricciones, ZT 2L (x,) Z s.d.p. Las columnas de Z forman una base del

subespacio { d : ĉ (x ) d = 0 } ¿Y en direcciones al interior de la región

factible? Signo de los multiplicadores

Page 60: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

60

Condiciones de extremo

Condición suficiente Para las restricciones activas,

ZT 2L (x,) Z d.p. Si j> 0, condición suficiente

Si j= 0 para algún j, hace falta estudiar curvatura hacia el interior de región factible

Ampliar el subespacio generado por Z

Page 61: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

61

Condiciones de extremo

Condición suficiente Si existen multiplicadores iguales a

cero Z+

T 2L (x,) Z+ d.p. Z+ denota una matriz cuyas columnas

forman una base del subespacio

{ d : cj (x )T d = 0 , j j 0 }

¿Es condición necesaria? No

Page 62: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

62

Condiciones de extremo

Condición suficiente Ejemplo 6 3 min (-9 -4) x + ½xT x 3 1 s.a x1

2 + x22 2

¿Qué se cumple en (1,1)?

Page 63: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

63

Condiciones de extremo

Resumen de condiciones Factibilidad: c (x ) 0 C. primer orden: f (x ) = ĉ (x )T Signo multiplicadores: 0 C. segundo orden: ZT 2L (x , ) Z

s.d.p. Cond. suficiente:

Anteriores más Z+T 2L (x , ) Z+ d.p.

Page 64: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

64

Condiciones de extremo

Justificación formal: Factibilidad: trivialmente necesaria Otras condiciones: curvas parametrizadas

v ( ) = d +½ 2u +o ( 2), c (x +v ( )) 0 Condiciones sobre parámetros Restricciones activas, cj (x ) = 0 , en = 0,

cj (x + v ( ))’ 0 cj (x )Td 0 Si cj (x + v ( ))’ = 0 , entonces

cj (x +v ( ))” 0 cj (x )Tu +dT 2cj (x )d 0

Page 65: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

65

Condiciones de extremo

Si primer orden no se cumple, ZT f (x ) 0

Función objetivo a lo largo de curva factible

f (x + v ( )) - f (x ) = f (x )Td + o ( ) Si se toma d = - ZZT f (x ) , se cumple

0 = ĉ (x )d 0

luego tenemos una curva factible, y

f (x + v ( )) - f (x ) = - ZT f (x ) 2 +o ( ) < 0

Page 66: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

66

Condiciones de extremo

Justificación formal Si no se cumple la condición sobre el

signo de los multiplicadores, j , j < 0 Si definimos d tal que ĉ (x )d = ej ,

ĉ (x )d = ej 0

luego tenemos una curva factible, y f (x + v ( )) - f (x ) = f (x )Td + o ( ) = Tĉ (x )d + o ( ) = j + o ( ) < 0

Page 67: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

67

Condiciones de extremo

Justificación formal Si segundo orden no se cumple, w , wTZT 2L (x , )Zw < 0 Cambio en la función objetivo

f (x +v ( )) = f (x ) + f (x )Td + ½2(dT2f (x )d + f (x )Tu ) + o (2)

Como se cumplen las condiciones de primer orden

f (x )Td = Tĉ (x )d 0 Si Tĉ (x )d > 0 , x es óptimo a lo largo de d

Page 68: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

68

Condiciones de extremo

Justificación formal Direcciones d tales que ĉ (x )d = 0 d =

Zw Condiciones sobre curva de movimiento,

cj (x )Tu + dT 2cj (x ) d 0 Seleccionar u de manera que se cumpla

cj (x )Tu + dT 2cj (x ) d = 0

dT2f (x )d + f (x )Tu = dT2f (x )d + Tĉ (x )u

= dT2L (x , )d = wTZT 2L (x , )Zw < 0

Page 69: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

69

Condiciones de extremo

Condiciones suficientes Desarrollo en serie sobre una curva factible

f (x +v ( )) - f (x ) = f (x )Td + ½ 2(dT2f (x )d + f (x )Tu ) + o (2)

De las condiciones, ĉ (x )d 0 , 0 Tĉ (x )d 0 f (x )Td

0 Si f (x )Td = 0, entonces

bien cj (x )d = 0 o bien j = 0

Page 70: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

70

Condiciones de extremo

Condiciones suficientes Por tanto, si f (x )Td = 0 entonces d = Z+w El desarrollo en serie tiene ahora la forma

f (x +v ( )) - f (x ) = ½2(dT2f (x )d + f (x )Tu ) + o (2)

pero f (x )Tu = Tĉ (x )u = - j j dT2cj (x )d Sustituyendo en el desarrollo en serie

f (x +v ( ))-f (x ) = ½2wTZ+T2L (x , )Z+w +o (2)

Page 71: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

71

Condiciones de extremo

Aplicación de las condiciones Sistema de ecuaciones y

desigualdades:

c (x ) 0 , 0 Procedimiento:

Seleccionar posibles desigualdades activas

Soluciones con restricciones de igualdad Comprobar restantes desigualdades

Page 72: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

72

Condiciones de extremo

Problema de optimización de carteras min ½xTRx s.a rTx eTx = 1 x 0

Derivadas de las funciones del problema: f (x ) = Rx , c (x ) = ( r e I )T , 2L (x , ) = R

Valores de los parámetros: r = ( 1.6 4.6 6.2 5.6 0.7 -0.4 ), = 5

Page 73: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

73

Condiciones de extremo

Ejemplo Valores de los parámetros 26 56 28 45 21 -19 56 248 89 141 31 -15 R = 28 89 223 63 -22 -63 45 141 63 137 -22 -82 21 31 -22 -22 72 16 -19 -15 -63 -82 16 77 Comprobar condiciones para x = ( 0 0 1 0 0 0 )T

Page 74: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

74

Condiciones de extremo

Ejemplo Cumplimiento de las restricciones rTx - = 1.2, eTx - 1 = 0, x 0 Condiciones de primer orden f (x ) = Rx = ( 28 89 223 63 -22 -73 )T

ĉ (x ) = ( e e1 e2 e4 e5 e6 )T ,

= ( 223 -195 -134 -160 -245 -296 )T

2, 3, 4, 5, 6 < 0

Page 75: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

75

Condiciones de extremo

Ejemplo Dirección de mejora:

ĉ (x )p = ej p = ( 0 0 -1 0 0 1 )T

Otro valor a comprobar x = ( 0 0 0.32 0.55 0 0.13 )T

rTx - = 0, eTx - 1 = 0, x 0f (x ) = Rx = ( 31 104 96 84 -17 -58 )T

ĉ (x )=( r e e1 e2 e5 )T , =( 23 -48 40 44 15 )T

Page 76: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

76

Condiciones de extremo

Ejemplo: 2 1

min ( -2 1 ) x + ½xT x 1 -1 s.a ( 1 1 ) x 2 x 0

Comprobar si es solución:

x = ( 2 0 )T

Encontrar la solución

Page 77: 1 Condiciones de extremo Proceso para derivar las condiciones De problema más simple a más complejo Progresión de problemas: Problema sin restricciones.

77

Condiciones de extremo

Ejemplo: x1 min (1+x1

2) (1+x22)

s.a -x1 + x2 ½ 2x1 - x2 1 4x1 + 2x2 -1

Probar las combinaciones posibles (7) Para cada una, resolver problema con

restricciones de igualdad Número combinatorio de posibilidades