14408911121
-
Upload
drizz-yosser-house-rousseau -
Category
Documents
-
view
213 -
download
0
Transcript of 14408911121
-
7/24/2019 14408911121
1/90
Clase 2: Programacion dinamica
Clase 2: Programacion dinamicaMatematica avanzada para macroeconoma
Hamilton Galindo
Junio - Agosto2015
-
7/24/2019 14408911121
2/90
Clase 2: Programacion dinamica
Contenido
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF
3 Programacion dinamica: detallesPrincipio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
-
7/24/2019 14408911121
3/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF
3 Programacion dinamica: detalles
Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Cl 2 P i di i
-
7/24/2019 14408911121
4/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
Que tipo de problema queremos resolver? I
Queremos resolver un problema de optimizacion dinamica, al cual lla-
maremosProblema Secuencial (PS):
Problema secuencial (PS)
sup
{ut}
t=0tr(xt, ut) (1)
s.a :
xt+1 = g(xt, ut)
ut (xt), t= 0, 1, 2,...
x0 X dado
Donde:
1 r(xt, ut) :funcion de retorno (instantaneo)
r(xt, ut) :XxRm
R
Cl 2 P i di i
-
7/24/2019 14408911121
5/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
Que tipo de problema queremos resolver? II
2 : factor de descuento, [0, )
3 xt : vector de variables de estado (xt Rn)
4 ut :vector de variables de control (ut Rm)
5 g(xt, ut) :funcion que describe la evolucion de la variables de estado(funcion de transicion o ley de movimiento):
g(xt, ut) :XxRm X
6 (xt) :es una correspondenciaque describe las posibilidades de lavariable de control cuando la economa se encuentra en el estadoxt.
:X Rm
7 X: es el espacio de los valores que puede tomar la variable de estado(X Rn)
8 x0 :el valor inicial de la variable de estado (estado inicial)
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
6/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
Ejemplo: crecimiento optimo (Brock y Mirman, 1972) I
El modelo basico de crecimiento esta descrito por el siguiente problema(en terminos generales):
Max{ct,kt+1}t=0
t=0
tlnct
s.a:
kt+1 = (1 )kt+it
ct+it=f(kt)
ct, kt0tA este problema lo llamamosproblema secuencial(PS). Considerando lassiguientes forma funcionales
u(ct)lnct, f(kt) = k
t
, y supuestos
(0, 1), = 1 y k0 dado
se tiene:
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
7/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
Ejemplo: crecimiento optimo (Brock y Mirman, 1972) II
Problema secuencial: Brock y Mirman (1972)
Max{ct,kt+1}t=0
t=0
t
lnct
s.a:kt+1 =k
t ct
ct, kt0
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
8/90
Clase 2: Programacion dinamica
Problema de optimizacion dinamica
Formas de resolver un problema de optimizacion dinamica
Tres formas de resolver este tipo de problemas:
1 Metodo de aproximaciones sucesivas
2 Programacion dinamicaEs el estudio de problemas de optimizacion dinamica a traves del
analisis de ecuaciones funcionales.
3 Metodo de Lagrange
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
9/90
Clase 2: Programacion dinamica
Programacion dinamica: panorama
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF
3 Programacion dinamica: detalles
Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
10/90
g
Programacion dinamica: panorama
Funcion valor
Funcion valor
Bellman (1974) indica que el PS tiene una propiedad recursiva. Esto per-mite transformar el PS en un Problema Funcional (PF).
Funcion valor
1 Se define una funcion valor V(x0) que indica el valor maximo de
la funcion objetivo para cada x0 0.
V(x0) = max{ut}
t=0
tr(xt, ut)
(2)
2
Por ejemplo: en t= 1 se tiene x1
V(x1) = max{ut}
t=1
t1r(xt, ut)
(3)
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
11/90
g
Programacion dinamica: panorama
Ecuacion de Bellman
Ecuacion de Bellman I
Ecuacion de Bellman
Bellman (1974) transformo la funcion objetivo del PS en una ecuacionfuncional:
V(x0) = max{ut}
t=0
t
r(xt, ut)= max
{ut}
r(x0, u0) +r(x1, u1) +
2r(x2, u2)...
= max{ut}r(x0, u0) + r(x1, u1) +2r(x2, u2)... V(x1)
V(x0) = max
{ut}
r(x0, u0) +V(x1)
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
12/90
Programacion dinamica: panorama
Ecuacion de Bellman
Ecuacion de Bellman II
A esta ultima ecuacion se le conoce como ecuacion de Bellman. Es-ta ecuacion es una ecuacion funcional; es decir, es una ecuacion cuyasolucion es una funcion (funcion valor).
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
13/90
Programacion dinamica: panorama
Problema funcional
Problema funcional I
Al reemplazar la ecuacion de Bellman en el PS se obtiene el PF (para t):
Problema funcional
V(xt) = max{ut}
r(x0, u0) +V(g(xt, ut))
(4)
s.a :
ut (xt), t= 0, 1, 2,...
x0 X dado
1
El problema de infinitos periodos (PS) se ha convertido en un proble-ma de dos periodos.
2 Se esta utilizando (explotando) la recursividad del PS.
3 Ahora el problema consiste en encontrar la funcion que resuelve el PF;es decir, la funcion valor.
Clase 2: Programacion dinamica
-
7/24/2019 14408911121
14/90
Programacion dinamica: panorama
Del PS al PF
Proceso de transformacion del PS al PF
Clase 2: Programacion dinamicaP i di i
-
7/24/2019 14408911121
15/90
Programacion dinamica: panorama
Del PS al PF
Principales hipotesis, proposiciones y teoremas
Clase 2: Programacion dinamicaP og a acio di a ica detalles
-
7/24/2019 14408911121
16/90
Programacion dinamica: detalles
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman
Problema funcionalDel PS al PF
3 Programacion dinamica: detalles
Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
17/90
Programacion dinamica: detalles
Principio de optimalidad
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman
Problema funcionalDel PS al PF
3 Programacion dinamica: detalles
Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
18/90
Programacion dinamica: detalles
Principio de optimalidad
Principio de optimalidad I
Bellman (1974) propuso un principio el cual permita encontrar una relacionentre la solucion del PS y el PF. A este principio se le conoce como elPrincipio de optimalidad.
Teorema 1 (Principio de optimalidad)
La solucion V del PF, evaluado en x0, brinda el valor del supremo
en el PS cuando el estado inicial es x0. Ademas, una secuencia
{ut}t=0 alcanza el supremo si y solo si esta secuencia satisface [5]:
V(xt) =r(xt, ut) +V(xt+1) (5)
La pregunta que surge es:Bajo que condiciones el principio de optimalidadse mantiene?
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
19/90
Programacion dinamica: detalles
Principio de optimalidad
Bajo que condiciones el principio de optimalidad se mantiene? I
Cuatro proposiciones juntas establecen condiciones bajo las cuales la so-
lucion del PS y del PF coinciden exactamente, y que la polticas optimasson aquellas que satifacen[5]:
1 Proposicion 1: establece que la funcion del supremoV para el PSsatisface el PF (del PS al PF). No obstante, la ecuacion funcional
(ademas deV) puede tener otras soluciones.2 Proposicion 2:establece lo inverso de manera parcial (del PF al PS).
Es parcial porque se impone una condicion de acotamiento. Esta pro-posicion impide que la ecuacion funcional tenga otras soluciones por-que no cumplen la condicion de transversalidad fuerte. La unica solu-cion que cumple dicha condicion esV.3 Proposicion 3:Muestra que si {ut}t=0 es una secuencia que alcanzael supremo en el PS, entonces este satisface[5]para:
V
sol. del PF=
V
sol. del PS
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
20/90
g
Principio de optimalidad
Bajo que condiciones el principio de optimalidad se mantiene? II
4 Proposicion 4:Establece que cualquier secuencia {ut}t=0que satisface
[5]paraV =Vy que tambien satisface una condicion de acotamiento,entonces tambien alcanza el supremo en el PS.
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
21/90
Principio de optimalidad
Definiciones
Antes de ver las hipotesis que sustentan las cuatro proposiciones es impor-
tante mencionar algunas definiciones:1 Dinamica factible desde x0: es una sucesion de estados y controles
{(xt, ut)}t=0 en XxR
m para el PS si: ut (xt) y xt+1 = g(xt, ut)para todo t= 0, 1, 2...
2 (x0
):conjunto de todas las dinamicas factibles desde x0
.
(x0) :
{(xt, ut)}
t=0 tal que ut(xt), t= 0, 1, 2...
3 Plan factible desde x0:es una sucesion de controles {(ut)}t=0
4 Plan optimo desde x0: es un plan factible {(ut)}t=0 que permite al-canzar el supremo del PS.
5 Cabe mencionar que un plan factible determina unvocamente unadinamica factible. Por tanto, un plan optimo {(ut)}
t=0 determina
una dinamica optima {(xt, ut)}
t=0.
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
22/90
Principio de optimalidad
Hipotesis que sustentan las proposiciones I
Las cuatro proposiciones anteriores estan basadas en tres hipotesis:
Hipotesis 1: (x)
(x)= para todo xX.
La hipotesis 1 asegura que (x0) (conjunto de dinamicas factiblesdesde x0) no sea vaco x0 X. Esto indica que todos los planesfactibles pueden ser evaluados usando r(x, u) y .
En el PS,
t=0tr(xt, ut)podra tomar tres valores: un numero finito,
+ o . Deseamos que esta funcion objetivo este acotada: es decirque la sumatoria infinita tenga un valor finito.
La hipotesis 2 elimina la posibilidad que
t=0tr(xt, ut) sea +.
Para ello se restringe el conjunto de dinamicas factibles de tal formaque dicha sumatoria este acotada (superiormente).
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
23/90
Principio de optimalidad
Hipotesis que sustentan las proposiciones II
Hipotesis 2: funcion objetivo
Para todo x0 X, Mx0 R, tal que
t=0tr(xt, ut) Mx0 para toda
dinamica factible {(xt, ut)}t=0,1,2... desde x0.
No obstante, la funcion objetivo (suma infinita) aun puede tomar,para ciertas dinamicas factibles, el valor de. Lahipotesis 3buscaacotar dicha dinamicas.
Hipotesis 3: funcion objetivo
Para todo x0 X, una dinamica factible {(xt, ut)}t=0,1,2... desde x0 yun mx0 R, tal que la sucesion de sumas parciales {Sn}t=0,1,2...Sn =n
t=0tr(xt, ut) satisface mx0 Sn.
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
-
7/24/2019 14408911121
24/90
Principio de optimalidad
Hipotesis que sustentan las proposiciones III
Por tanto, las hipotesis 2 y 3 tienen como unico fin garantizar laexistencia de un valor finito para el supremo del PS; es decir, quela funcion objetivo este bien definida para cada dinamica factible{(xt, ut)} (x0).
Segun las condiciones anteriores podemos definir la funcion supremoV :X R que sea el valor supremo del PS:V(x0) = sup
{(xt,ut)}(x0)
t=0
tr(xt, ut) (6)
DondeV(x0) es el valor supremo del PS. A esta funcionVse le llamafuncion valor.
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
P i i i d i lid d
-
7/24/2019 14408911121
25/90
Principio de optimalidad
Funcion supremo
Nota: Por definicion, la funcion supremoV : X R es unica ysatisface tres condiciones (condiderando una funcion objetivo generica(x)):
V(x0) = sup
x(x0)
(x)
1 Si | V(x0)| < , entonces:V(x0) (x), (para todo) x(x0)Para cualquier >0:V(x0) (x) + , para algun x(x0)
2 Si |
V(x0)| = +, entonces existe una secuencia {x
k} en (x0) tal
que:Limk
(xk) = +
3 Si | V(x0)|= , entonces (x) =, para todo x(x0)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
P i i i d ti lid d
-
7/24/2019 14408911121
26/90
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad I
Proposicion 1 (del PS al PF)
Bajo las hipotesis 1, 2 y 3,V resuelve el PF.Demostracion (proposicion 1):
La estrategia de demostracion tiene dos pasos: el primero es encontrar la relacionentre la funcion supremoVy la ecuacion funcional para dos valores iniciales distintosx1 y x0. El segundo consiste en unir el resultado del paso 1 para x1 y x0.
1 Evaluando en x1:Sea >0, u0(x0) y x1 =g(x0, u0)
Como
V(x1) es el valor supremo del PS con valor inicial x1(t = 1),
entonces una dinamica factible desde x1, {(x1, u1), (x2, u2),...} talque (por la propiedad del supremo):
t=1
t1
r(xt, ut)V(x1) (7)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
27/90
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad II
Se sabe que {(x0, u0), (x1, u1),...} (x0) y que por la propiedad delsupremo:
V(x0) t=0
tr(xt, ut)
r(x0, u0) +
t=1
t1r(xt, ut)
r(x0, u0) + V(x1) V(x0) r(x0, u0) + V(g(x0, u0)) Para pasar de la segunda a la tercera lnea se utiliza laecuacion [7].Como laultima ecuaciones verdad para todo >0 y u0 es cualquierelemento de (x0), entonces tenemos que:
V(x0) r(x0, u0) + V(g(x0, u0)), u0 (x0)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
28/90
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad III
Como la ecuacion anterior se cumple para todo u0, entonces:
V(x0) supu0(x0)
r(x0, u0) + V(g(x0, u0))
Generalizando para todo t:
V(x) supu(x)
r(x, u) + V(g(x, u)) (8)2 Evaluando en x0: Sea > 0, entonces por definicion del supremo,
una dinamica factible desde x0 {(x0, u0), (x1, u1),...} tal que:
V(x0) t=0
tr(xt, ut) +
V(x0) r(x0, u0) +V(x1) +
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
29/90
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad IV
Como es arbitrario, entonces:V(x0) r(x0, u0) + V(g(x0, u0))V(x0) sup
u0(x0)
r(x0, u0) + V(g(x0, u0))
Generalizando para todo t:
V(x) supu(x)
r(x, u) + V(g(x, u)) (9)
3 Uniendo resultados:uniendo las dos ecuaciones[8] y[9] se tiene:
supu(x)
r(x, u)+V(g(x, u))V(x) sup
u(x)
r(x, u)+V(g(x, u))
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
30/90
p p
Las 4 proposiciones que sutentan el principio de optimalidad V
4 Por tanto:
V(x) = sup
u(x)
r(x, u) +
V(g(x, u))
(10)
Lo cual indica que la funcion supremo (o funcion valor) es una solucionde la ecuacion funcional (PF).
5 La proposicion 1 indica queV es una solucion del PF, pero no in-dica que sea la unica. Con el fin de asegurar que esta sea la unica
solucion del PF se impone una restriccion adicional: condicion detransversalidad fuerte. Laproposicion 2asegura lo anterior.
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
31/90
p p
Las 4 proposiciones que sutentan el principio de optimalidad I
Proposicion 2 (del PF al PS)
Segun las hipotesis 1, 2 y 3, Vresuelve el PF, y si ademas secumple la condicion de transversalidad fuerte:
Limt
tV(xt) = 0
para todo x0 X y dinamica factible {(xt, ut)} desde x0, entoncesV =V (es decir, V resuelve el PS).Demostracion (proposicion 2):En este caso hay que demostrar que V es la funcion supremoV. La estrategiade demostracion tiene dos pasos: el primero es demostrar que para toda dinamicafactible desde x0 se cumple que V(x0)
t=0
tr(xt, ut). El segundo es demostrar
que para todo > 0, una dinamica factible {(xt, ut)} desde x0 de modo que:
V(x0)
t=0tr(xt, ut) +. Ambos pasos aseguran que V es la funcion supremo
(o funcion valor).
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
32/90
Las 4 proposiciones que sutentan el principio de optimalidad II
1
Paso 1a: Como V es solucion del PF, entonces dinamica factible{(xt, ut)} (x0) tenemos:
V(x0) r(x0, u0) +V(x1) (por propiedad del supremo)
V(x1) r(x1, u1) +V(x2) (para x1)
r(x0, u0)+V(x1) r(x0, u0)+r(x1, u1) +V(x2)por transitividad en la 1era inecuacion:
V(x0) r(x0, u0) +r(x1, u1) +2V(x2)
V(x0) 1
t=0tr(xt, ut) +
2V(x2) (en forma compacta)
Por induccion (k pasos):
V(x0) k
t=0
tr(xt, ut) +k+1V(xk+1) (11)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
33/90
Las 4 proposiciones que sutentan el principio de optimalidad III
2 Paso 1b:Haciendo k y usando la condicion de transversalidadfuerte:
V(x0) Limk
kt=0
tr(xt, ut) +k+1V(xk+1)
V(x0) Limk
kt=0
tr(xt, ut)
+ Limk
k+1V(xk+1)
por condicion de transversalidad fuerte:
V(x0)
t=0 tr(xt, ut) +0
V(x0) t=0
tr(xt, ut) (12)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
34/90
Las 4 proposiciones que sutentan el principio de optimalidad IV
3 Paso 2a: Sea > 0 y {t}t=0,1,2... una sucesion de numeros reales
positivos, tal que: t=0
tt (13)
4 Paso 2b:ComoVresuelve el PF, entonces u0 (x0) de modo que:
(por propiedad del supremo)
V(x0) r(x0, u0) + V(x1) + 0
tambien existe u1 (x1) tal que:
V(x1) r(x1, u1) + V(x2) + 1
r(x0, u0)+V(x1) r(x0, u0)+r(x1, u1) +
V(x2)
+1
por transitividad en la 1era inecuacion:
V(x0) r(x0, u0) + r(x1, u1) +2V(x2) + 1
(en forma compacta)
V(x0) 1
t=0
tr(xt, ut) + 2V(x2) +
1t=1
tt
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
35/90
Las 4 proposiciones que sutentan el principio de optimalidad V
5 Paso 2c:Por induccion (k pasos):
V(x0) k
t=0
tr(xt, ut) +k+1V(xk+1) +
kt=1
tt
6 Paso 2d:Haciendo k y usando la expresion[13]:
V(x0) Limk
kt=0
tr(xt, ut) + k+1V(xk+1) +
kt=1
tt
V(x0) Limk
kt=0
tr(xt, ut)
+ Lim
k
k+1V(xk+1)
+ Lim
k
kt=1
tt
por condicion de transversalidad fuerte y[13]:
V(x0) t=0
tr(xt, ut) +0+
V(x0) t=0
tr(xt, ut) + (14)
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
36/90
Las 4 proposiciones que sutentan el principio de optimalidad VI
7 De las inecuaciones [12] y[14] se concluye queVes la funcion supremo(funcion valor).
8 El PF puede tener muchas soluciones, pero laproposicion 2muestraque dichas soluciones (exceptoV) violan la condicion de transversa-lidad fuerte y la unica que satisface dicha condicion esV. Por tantoV =V
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
37/90
Las 4 proposiciones que sutentan el principio de optimalidad I
Proposicion 3 (dinamica factible del PS al PF)
Bajo las hipotesis 1,2 y 3: sea {(xt, ut)} una dinamica factible
desde x0 que permite alcanzar el supremo del PS, entonces dicha
dinamica factible cumple con [5]:V(xt) =r(xt, ut) + V(xt+1) (15)Es decir, permite alcanzar el supremo en el PF.
Demostracion (proposicion 3):La estrategia de demostracion tiene dos pasos:primero demostramos que la ecuacion [15] se cumple para t = 0. El segundo esextender este resultado para todo t= 1, 2, 3 (por induccion).
Clase 2: Programacion dinamicaProgramacion dinamica: detalles
Principio de optimalidad
-
7/24/2019 14408911121
38/90
Las 4 proposiciones que sutentan el principio de optimalidad II
1 Paso 1a: debido a que {(xt, ut)} es una dinamica factible desde x
0
que permite alcanzar el supremo del PS, entonces se cumple:
V(x0 ) = t=0
tr(xt, ut)
t=0tr(xt, u
t) = r(x
0 , u
0 ) +
t=0tr(xt+1, u
t+1) (16)
2 Paso 1b:para toda dinamica factible{(x1 , u1), (x2, u2), (x3, u3),...} (x1 ), por la definicion del supremo se cumple:
t=0
t
r(x
t, u
t) r(x
0 , u
0 ) +
t=0
t
r(xt+1, ut+1) (17)
Por tanto, de la expresion[16] y[17]se tiene que:
t=0 tr(xt+1, u
t+1)
t=0 tr(xt+1, ut+1) (18)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
L 4 i i l i i i d i lid d III
-
7/24/2019 14408911121
39/90
Las 4 proposiciones que sutentan el principio de optimalidad III
3 Paso 1c:ademas, como la dinamica factible {(x1 , u1 ), (x
2 , u
2 ), (x
3 , u
3 ),...}
(x1 ), entonces se cumple que t=0tr(xt+1, ut+1) tiene que ser elvalor supremo con valor inicial en x1 :
V(x1 ) =
t=0
tr(xt+1, ut+1) (19)
4 Paso 1d:reemplazando la expresion [19]en [16]se tiene:
V(x0 ) =r(x0 , u0 ) +V(x1 ) (20)5 Paso 2a:se probo que:
V(x0 ) = r(x0 , u0 ) +V(x1 )V(x1 ) =
t=0
tr(xt+1, ut+1)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
L 4 i i l i i i d i lid d IV
-
7/24/2019 14408911121
40/90
Las 4 proposiciones que sutentan el principio de optimalidad IV
6 Paso 2b:se propone una hipotesis inductiva:
V(xk) =r(xk, uk) +V(xk+1) (21)DondeV(xk)k N se define como:
V(xk) = t=0
tr(xt+k, ut+k) (22)
Si la hipotesis (ecuacion [21]) se cumple para k+ 1, entonces lahipotesis es verdadera.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
L 4 i i t t l i i i d ti lid d V
-
7/24/2019 14408911121
41/90
Las 4 proposiciones que sutentan el principio de optimalidad V
7 Paso 2c:verificando para k+ 1:
de[21]y de [22]
r(xk, uk) +
V(xk+1) = V(xk) = t=0
tr(xt+k, ut+k)
r(xk, uk) +V(x
k+1) = r(x
k, u
k) +
t=0 tr(xt
+(k
+1)
, ut+(
k+1)
)
V(xk+1) =t=0
tr(xt+(k+1), ut+(k+1))
V(xk+1) = r(x
k+1, u
k+1) +
t=0
tr(xt+(k+2), ut+(k+2))
V(xk+1) = r(xk+1, uk+1) + V(xk+2) (23)Por tanto la hipotesis inductiva es verdadera y generalizable para
todo t=0, 1, 2, ...
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
Las 4 o osiciones e s tentan el inci io de o timalidad I
-
7/24/2019 14408911121
42/90
Las 4 proposiciones que sutentan el principio de optimalidad I
Proposicion 4 (dinamica factible del PF al PS)
Bajo las hipotesis 1,2 y 3: si {(xt, ut)} una dinamica factible desde
x0 que satisface[15] y se cumple la condicion de transversalidaddebil:
Limt
tV(xt) 0,
entonces {(xt, ut)} resuelve el PS.
Demostracion (proposicion 4):La estrategia es la siguiente: que{(xt , u
t)} resuelve el PS significa que permite al-
canzar el supremo:
V(x0) = sup
{ut}
t=0
tr(xt, ut)
. Es decir,
V(x0) =
t=0
tr(xt , ut).
Esto ultimo es lo que tenemos que demostrar.1 Paso 1:Como{(xt, u
t)}es una dinamica factible desde x0, entonces:
V(x0 )
t=0
tr(xt, ut) (24)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad II
-
7/24/2019 14408911121
43/90
Las 4 proposiciones que sutentan el principio de optimalidad II
2 Paso 2:Ademas, {(xt, ut)} satisface[15]; es decir, permite alcanzar
el supremo en el PF:
V(xt) = r(x
t, u
t) +
V(xt+1)
t = 0,1,2, ... :V(x0 ) = r(x0 , u0 ) +V(x1 )V(x1 ) = r(x1 , u1 ) +V(x2 )
V(x2 ) = r(x
2 , u
2 ) +
V(x3 )
...V(xk) = r(xk, uk) +V(xk+1)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad III
-
7/24/2019 14408911121
44/90
Las 4 proposiciones que sutentan el principio de optimalidad III
3 Paso 3:reemplazandoV(x2 ) enV(x1 ):V(x2 ) = r(x2 , u2 ) +V(x3 )V(x1 ) = r(x1 , u1 ) +
r(x2 , u
2 ) +
V(x3 )
reemplazando V(x1 ) en V(x0):
V(x0 ) = r(x0 , u0 ) +r(x1 , u1 ) +r(x2 , u2 ) +2V(x3 )de forma compacta:
V(x0 ) =
2
t=0tr(xt, u
t) +
3
V(x3 )
por induccion (k pasos):
V(x0 ) = kt=0
tr(xt, ut) +
k+1V(xk+1) (25)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad IV
-
7/24/2019 14408911121
45/90
Las 4 proposiciones que sutentan el principio de optimalidad IV
4 Paso 4:tomando k en la ecucion [25]:
V(x0 ) = Lim
k
kt=0
tr(xt, ut) +
k+1
V(xk+1)
V(x0 ) = t=0
tr(xt, ut) + Lim
k
k+1V(xk+1)
por condicion de transversalidad debil: Limt
tV(xt) 0
V(x0 )
t=0
t
r(xt, u
t) (26)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Principio de optimalidad
Las 4 proposiciones que sutentan el principio de optimalidad V
-
7/24/2019 14408911121
46/90
Las 4 proposiciones que sutentan el principio de optimalidad V
5 Paso 5:de la inecuacion [24]y [26]se tiene:
t=0
tr(xt, ut)
V(x0 ) t=0
tr(xt, ut) (27)
Por tanto:
V(x0 ) = t=0
tr(xt, ut) (28)
Lo cual indica que la dinamica factible {(xt, ut)} resuelve el PS.
Conclusion
Las proposiciones 1 al 4 implican que (bajo las hipotesis 1, 2 y 3) la soluciona la ecuacion[5]:V(xt) =r(xt, ut)+ V(xt+1) (PF) coincide exactamente(en terminos de valores y planes optimos) con la solucion del PS. Es decir,el principio de optimalidad se mantiene.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
-
7/24/2019 14408911121
47/90
1
Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman
Problema funcionalDel PS al PF
3 Programacion dinamica: detallesPrincipio de optimalidad
Metodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Metodo para solucionar el PF I
-
7/24/2019 14408911121
48/90
Metodo para solucionar el PF I
1 Hasta aqu se ha estudiado la relacion entre el PS y el PF, pero no seha dado ningun metodo para solucionar el PF.
2
Lo interesante de la programacion dinamica es que ofrece varios meto-dos de solucion del PF: metodos teoricos y numericos.
3 El principal metodo es considerar al PF como unproblema de puntofijo (PptoFijo). Para ello necesitamos dos hipotesis adicionales: sobrela correspondencia (x) y la funcion de retorno r(x, u).
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Hipotesis que permiten considerar el PF como un PptoFijo I
-
7/24/2019 14408911121
49/90
potes s que pe te co s de a e co o u pto jo
Hipotesis 4: (x)
:X Xes una correspondencia de valores compactos (i.e. (x) escompacto para todo x), continua y (x)= para todo x.
Hipotesis 5: y r(x, u)(0, 1) y r(xt, ut) es acotada y continua sobre el grafo de .Donde:
Grafo de :
(x, u) XxRm tal que u(x)
Lashipotesis 4 y 5implican lashipotesis 1, 2 y 3. Por tanto, las pro-posiciones 1 al 4 se mantienen, y por ende el principio de optimalidad.
Por lahipotesis 5,V(y por lo tanto V por el principio de optima-lidad) que es una funcion real, tambien es a acotada y continua.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Hipotesis que permiten considerar el PF como un PptoFijo II
-
7/24/2019 14408911121
50/90
p q p p j
Definamos Ca(X) : Espacio de las funciones reales, continuas y aco-
tadas. Entonces:V =V Ca(X).Definimos un operadorT: Ca(X) Ca(X)del PF:T[V](x) = sup
{u}(x)
r(x, u) +V(g(x, u))
(29)
Del PF sabemos:
V(x) = sup{u}(x)
r(x, u) +V(g(x, u))
(30)
De [29] y [30], el PF se convierte en un Problema de punto fijo(PptoFijo):
T[V](x) =V(x) (31)
Donde la funcionVes el punto fijo. Si encontramos la funcion V queresuelve[31] (PptoFijo), entonces tendremos la solucion del PF y por
el principio de optimalidadtendremos la solucion del PS.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Hipotesis que permiten considerar el PF como un PptoFijo III
-
7/24/2019 14408911121
51/90
p q p p j
Debido a que se tiene la funcion valor, se puede encontrar el planoptimo:
Forma 1:resolviendo paso a paso el problema del maximo queaparece en el PF (i.e. encontrar la funcion de poltica).
Forma 2:resolviendo el sistema de ecuaciones:
V(xt) =r(xt, u
t) + V(x
t+1), t= 0, 1, 2, 3...
Necesitamos un teorema que asegure que el operador T : Ca(X) Ca(X) tiene ununico punto fijoy por tanto una solucion alPptoFijo. Elteorema del punto fijo para contraccionesasegura lo anterior.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Teorema del punto fijo
-
7/24/2019 14408911121
52/90
Teorema 2 (Punto fijo para contracciones)
Bajo las hipotesis 4 y 5: sea Ca(X) (espacio de las funciones reales,continuas y acotadas sobre X) con la norma del supremo ,entonces el operador T definido en Ca(X) es una aplicacion deeste espacio en s mismo, T: Ca(X) Ca(X) , definido como:
T[V](x) =supr(xt, ut) + V(g(xt, ut)) (32)sujeto a: ut(xt), Satisface:
1 T[V] Ca(X)
2 T tiene un unico punto fijo V: T[V] =V
3 Para cualquier V0 Ca(X) se tiene:
Tn(V0)V nV0 V
En particular:Limn
Tn(V0) =V
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Teorema del punto fijo
-
7/24/2019 14408911121
53/90
Nota:la norma del supremo esta definido como:
f= sup{|f(x)|} (33)
El teorema del punto fijo ofrece un metodo de solucion del PF: la
convergencia de iteraciones sucesivas de una funcion contractiva alpunto fijo, la cual consiste en: la sucesion de funciones {Vn}
n=0
definida como:Vn =T[Vn1], n1 (34)
converge al punto fijo (V) de la contraccion T; es decir:
Limn
Vn =V (35)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Teorema del punto fijo: demostracion I
-
7/24/2019 14408911121
54/90
Demostracion (teorema 2):
1 Paso 1:bajo las hipotesis 4, 5 y 8 se tiene que para cadaf Ca(X) xXel problema del punto de fijo:
T[f](x) = maxut(X)
r(xt, ut) +f(ut)
(36)
se reduce a maximizar la funcion continua:r(xt, ) +f()
(37)
sobre el conjunto compacto (X). Esto permite alcanzar el maximo.
Una pregunta que tenemos que responder es: T[f ] es acotada ycontinua? se sabe que su dominio lo es.
2 Paso 2a:debido a que r(xt, ut) y f(ut) son acotadas, entonces:
T[f], tambien es acotada.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Teorema del punto fijo: demostracion II
-
7/24/2019 14408911121
55/90
3 Paso 2b: debido a que r(xt, ut) y f(ut) son continuas, y (X) escompacto, entonces: por el teorema del maximo se tiene que T[f] es
continua.
Por tanto, del paso 2ay 2bse tiene que: T[f ] es continua y acotada, ydado que Tfue definido (dominio) en Ca(X), entonces se obtiene que eloperador T[f] es:
T[f] :
Ca(X
)C
a(X
)4 Paso 4:T es una contraccion?
S. Esto se debe a que el operador Tcumple con las condiciones deBlackwell.
5 Paso 5:T tiene un unico punto fijo?
S. Debido a que Ca(X) es un espacio de Banach, entonces por elteorema de la aplicacion contractiva, T tiene un unico punto fijoV Ca(X) y se cumple que:
Tn(V0) V nV0 V
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) I
-
7/24/2019 14408911121
56/90
El modelo basico de crecimiento esta descrito por el siguiente problema(en terminos generales):
Max{ct,kt+1}t=0
t=0
tlnct
s.a:kt+1 = (1 )kt+it
ct+it=f(kt)
ct, kt0t
A este problema lo llamamosproblema secuencial(PS). Considerando lassiguientes forma funcionales
u(ct)lnct, f(kt) = k
t
, y supuestos
(0, 1), = 1 y k0 dado
se tiene:
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) II
-
7/24/2019 14408911121
57/90
Problema secuencial: Brock y Mirman (1972)
Max{ct,kt+1}t=0
t=0
tlnct
s.a:
kt+1 =k
t ctct, kt0
La ecuacion funcional (o de Bellman) es:
V(kt) = Max{ct,kt+1}t=0lnct+V(kt+1)
Al reemplazar la restriccion en la ecuacion de Bellman kt+1 =k
t ct, elproblema funcional asociado queda descrito de la siguiente manera:
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) III
-
7/24/2019 14408911121
58/90
Problema funcional: Brock y Mirman (1972)
V(kt) = Max{ct}t=0
lnct+V(k
t ct)
0 ctk
t
Encontrando la funcion valor
1 Para resolver el PF utilizaremos el metodo de iteracion de la funcionvalor (propuesto por el teorema del punto fijo para contracciones), la
expresion[34]:Vn =T[Vn1], n1 (38)
Se inicia con la funcion mas sencilla: V0 = 0
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) IV
-
7/24/2019 14408911121
59/90
2 Encontrando V1
V1 = T[V0]
= Max{ct}t=0
lnct+V0(k
t ct)
=0
= Max{ct}t=0
lnct
(39)(a) En esta etapa se aplica la condicion de primer orden:
funcion objetivoct
= 0
No obstante, en este caso, por ser ln monotona entonces el valormaximo se alcanza cuando ct=k
t (ver la restriccion del PF).
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) V
-
7/24/2019 14408911121
60/90
(b) Reemplazando ctque maximiza la funcion objetivo en [39]se obtieneT[V0] y por ende V1:
V1 = T[V0] =lnk
t
V1 = lnkt (40)
3
Encontrando V2
V2 = T[V1]
= Max{ct}t=0
lnct+V1(k
t ct)
=ln(kt ct) = Max
{ct}t=0
lnct+ln(k
t ct)
(41)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) VI
-
7/24/2019 14408911121
61/90
(a) En esta etapa se aplica la condicion de primer orden:
funcion objetivo
ct= 0
ct= kt
1 + (42)
(b) Reemplazando ctque maximiza la funcion objetivo en [41]se obtieneT[V1] y por ende V2:
V2 = T[V1] =(1 + )lnkt+ ln
1 +
ln(1 + )
V2 = (1 + )lnkt+ ln
1 +
ln(1 + ) (43)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) VII
-
7/24/2019 14408911121
62/90
4 De igual forma podemos hacer paraV3y luego en forma general vemosque:
Vn(kt) =An+
n1i=0
()ilnkt
(44)
Donde hacemos que n por la propiedad [35]:
LimnVn =V
Limn
Vn(kt) = Limn
An+ Limn
n1
i=0()ilnkt
V = A+
i=0
()ilnkt
V = A+
1 lnkt (45)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) VIII
-
7/24/2019 14408911121
63/90
La constante A la podemos encontrar reemplazando V y la dinamicaoptima en la ecuacion de Bellman.
Encontrando la funcion de poltica
Dado que ya conocemos la funcion valor (V), la cual reemplazamos en laecuacion de Bellman del PF.
1
Reemplezando la funcion valor en el PF:
V(kt) = Max{ct}t=0
lnct+
ln(kt ct)
0 ctk
t
El problema funcional se convierte en un problema de optimizacionestandar (en t), a la cual se puede aplicar las condiciones de primerorden.Aplicando CPO:
funcion objetivo
ct
= 0
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) IX
-
7/24/2019 14408911121
64/90
Encontramos lafuncion de poltica: ct=h(kt)
ct= (1 )k
t (46)
2 Encontrando la constante A: reemplazando la funcion valor y lafuncion de poltica en la ecuacion de Bellman (el max desapareceporque la funcion de poltica permite alcanzar dicho maximo):
A+
1 lnkt=ln(h(kt)) +
ln(kt h(kt))
Resolviendo e igualando los coeficientes de los terminos similares:
A= 11 (ln(1 ) + 1 ln)Encontrando la dinamica optima
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 1: modelo de Brock y Mirman (1972) X
-
7/24/2019 14408911121
65/90
1 La dinamica optima:es la sucesion {ct, kt}t=0 descrita por este
sistema de ecuaciones (con k0 dado):
Ec. de evolucion de la variable de estado
kt+1 = k
t (1 )k
t =k
t (47)
Funcion de poltica
ct = (1 )k
t (48)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo para solucionar el PF
Ejemplo 2: modelo con habitos de consumo
-
7/24/2019 14408911121
66/90
Max{ct,kt+1}t=0
t=0 t(lnct+lnct
1)
sujeto a:ct+kt+1Ak
t
Donde: (0, 1), 0 y (0, 1). k0 y c1 dado.
1 Escribir la ecuacion de Bellman.
2 Demuestre que la solucion de dicha ecuacion tiene la forma:
v(kt, ct1) =E+Flnkt+Glnct1
3 Demostrar que la dinamica optima del capital tiene la forma:
lnkt+1=I+Hlnkt
Donde E,F,G,H,I son constantes. De formulas explcitas para estasconstantes en terminos de los parametros del problema.
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
-
7/24/2019 14408911121
67/90
1 Problema de optimizacion dinamica
2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman
Problema funcionalDel PS al PF
3 Programacion dinamica: detallesPrincipio de optimalidad
Metodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Metodo de calculo diferencial para solucionar el PF
-
7/24/2019 14408911121
68/90
Para aplicar los metodos de calculo diferencial en la solucion de proble-mas de optimizacion dinamica se requiere que la funcion valor tenga trespropiedades importante:
1 Monotonicidad:
2 Concavidad:
3 Diferenciabilidad:
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt)
-
7/24/2019 14408911121
69/90
Hipotesis 6: r(x, u) y g(x, u)
Para cada u Rm, las funciones:
r(xt, u) : X R es estrictamente crecienteg(xt, u) : X X es creciente
Hipotesis 7: (x)
es monotona (i.e. si x
>x(x
) (x) )
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt) I
-
7/24/2019 14408911121
70/90
Proposicion 5 (monotonicidad de V(x))
Bajo las hipotesis 4 al 7, entonces la funcion valor es
estrictamente creciente.
Demostracion (proposicion 5):La estrategia tiene dos pasos: el primero es demostrar que T[f] es una funcion
estrictamente creciente; el segundo paso es considerar el PptoFijo y de all derivarque V es tambien estrictamente creciente.
1 Sabemos:
Ca(X)es el espacio de las funciones reales, continuas y acotadas conla norma del supremo.Cc(X
)C
a(X
)es el espacio de las funciones reales, continuas, aco-tadas ycrecientes.Se observa queCc(X) es un subespacio cerrado en Ca(X), y por tantoes un espacio completo en la norma del supremo.
2 Paso 1: vamos a probar que si f Ca(X) es creciente, entoncesT[f] es una funcion estrictamente creciente
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt) II
-
7/24/2019 14408911121
71/90
3 Paso 1a:por lahipotesis 6: six xentoncesg(x, u) g(x, u) u.
dado que f es creciente:
f(g(x, u)) f(g(x, u))
r(x, u)+f(g(x, u)) r(x, u)+f(g(x, u))
por la hipotesis 6 r(x,u) es creciente:
r(x,u) r(x,u), entonces:
r(x, u)+f(g(x, u)) > r(x, u)+f(g(x, u)) (49)
4 Paso 1b:Aplicando max en la relacion[49]:
maxu(x)
r(x, u) +f(g(x, u))> maxu(x)
r(x, u) +f(g(x, u))(50)
5 Paso 1c:por lahipotesis 7se tiene que: si x x(x) (x)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt) III
-
7/24/2019 14408911121
72/90
Donde u (x), entonces u (x). Reemplazando este resultadoen [50]se tiene:
maxu(x)
r(x, u) +f(g(x, u))> maxu(x)
r(x, u) +f(g(x, u))(51)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt) IV
P 1d l d fi i i d l d T f i f
-
7/24/2019 14408911121
73/90
6 Paso 1d: por la definicion del operador T para una funcion fcualquiera:
T[f](x) = sup{u}(x)
r(x, u) +f(g(x, u))
La expresion [51] se convierte en:
T[f](x)>T[f](x) (52)
Es decir T[f] es estrictamente creciente.
Conclusion 1
Por tanto se cumple lo que queriamos probar en el paso 1:si f Ca(X) es creciente, entoncesT[f] es una funcion estrictamentecreciente
7 Paso 2: como Cc(X) es un subespacio cerrado de Ca(X), entoncesla funcion valor V esta en Cc(X):
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Monotonicidad de V(xt) V
-
7/24/2019 14408911121
74/90
Ademas, como T[V] =V, y Tes estrictamente creciente entoncesV tambien es estrictamente creciente.
Conclusion 2
Por tanto la funcion valor (V) es estrictamente creciente.
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) I
-
7/24/2019 14408911121
75/90
Hipotesis 8: X
Xes un subconjunto convexo de Rn.
Definicion conjunto convexo:el conjunto X es convexo si para doselementos de dicho conjunto x e y, la combinacion lineal (con t
[0, 1]) tambien se encuentra dentro de dicho conjunto. Es decir: xyX y t[0, 1] se cumple que[(1 t)x+ty] X
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) II
-
7/24/2019 14408911121
76/90
Hipotesis 9: r(x, u) y g(x, u)
r(xt, ut) es estrictamente concava y g(xt, ut) es concava.
Definicion funcion concava:una funcion real definida en un conjuntoconvexo (dominio) es concava, si para dos puntos x e y cualesquieradefinidas en su dominio, y para cualquier t[0, 1] se cumple:
f(tx+ (1 t)y) tf(x) + (1 t)f(y)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) III
-
7/24/2019 14408911121
77/90
Hipotesis 10: (x)
(xt) es convexa; es decir:
1 (x) es un conjunto convexo para todo xX.
2 Dado [0, 1], x, x X y x=x, entoncessi u(x) yu (x) implica que:
u+ (1 )u (x+ (1 )x)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) I
-
7/24/2019 14408911121
78/90
Proposicion 6 (concavidad de V(x))
Segun las hipotesis 4,5,8,9 y 10, la funcion valor es estrictamente
concava y la correspondencia de poltica es una funcion
continua.
Demostracion (proposicion 6):La estrategia tiene dos pasos: el primero es demostrar que T[f] es una funcion
creciente y estrictamente concava; el segundo paso es considerar el PptoFijo y de
all derivar que V tambien es creciente y estrictamente concava.
1 Paso 1: vamos a probar que si f Ca(X) es creciente y concava,entonces T[f ] es una funcion creciente y estrictamente concava.
(que sea creciente lo sabemos de la proposicion 5).
2 Paso 1a: dado [0, 1], x, x X y x = x, y sea u, u tales queresuelven el problema del maximo definido por: T[f](x) y T[f](x)respectivamente.
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) II
3 Paso 1b: ademas por la hipotesis 10 se tiene que:
-
7/24/2019 14408911121
79/90
3 Paso 1b:ademas, por la hipotesis 10 se tiene que:
u+ (1 )u (x+ (1 )x)
entonces, tenemos que (por la definicion del supremo):
T[f](
x) r(
x,
u) +f(g(
x,
u)) (53)
Donde:
x = x+ (1 )x
u = u+ (1 )u
4 Paso 1c:pero r(, ) es estrictamente concava (hipotesis 9), entoncespara r(x,u) que es igual a r(x+ (1 )x, u+ (1 )u) se tieneque:
r(x+ (1 )x, u+ (1 )u)> r(x, u) + (1 )r(x, u) (54)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) III
-
7/24/2019 14408911121
80/90
5 Paso 1d:ademas, dado que g(, ) es concava (hipotesis 9), entoncesse tiene que:
g(x,u) g(x, u) + (1 )g(x, u) (55)y dado que f es creciente, entonces aplicando f a la ecuacion an-
terior (ecu.55):
f(g(x,u)) f(g(x, u) + (1 )g(x, u)) (56)y como f esconcava:
f(g(x, u) + (1 )g(x, u)) f(g(x, u)) + (1 )f(g(x, u))(57)
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) IV
-
7/24/2019 14408911121
81/90
6 Paso 1e: introduciendo la expresion [54] y [57] (multiplicada por )en la expresion inicial [53]se tiene:
T[f](x) r(x,u) + f(g(x,u))> r(x, u) + (1 )r(x, u) + [f(g(x, u)) + (1 )f(g(x, u))]
>
r(x, u) + f(g(x, u))
+
(1 )r(x, u) + (1 )f(g(x, u
> r(x, u) + f(g(x, u)) T[f](x)
+ (1 ) r(x, u) + f(g(x, u))
T[f](x)
T[f](x) > T[f](x) + (1 )T[f](x)
Conclusion 1Por tanto se cumple lo que queriamos probar en el paso 1:
si f Ca(X) es creciente y concava, entonces T[f] es una funcioncreciente y estrictamente concava
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Concavidad de V(xt) V
P 2 C (X ) ( t d l f i t i t t
-
7/24/2019 14408911121
82/90
7 Paso 2:comoCc(X) (acotado para las funciones estrictamente conca-va) es un subespacio cerrado deCa(X),entoncesla funcion valor Vesta en Cc(X) (acotado para las funciones estrictamente concava):
Ademas, como T[V] = V, y Tes estrictamente concava entonces
V tambien es estrictamente concava.
Conclusion 2
Por tanto la funcion valor (V) es estrictamente concava.
Clase 2: Programacion dinamica
Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF
Diferenciabilidad de V(xt) I
-
7/24/2019 14408911121
83/90
Hipotesis 11: r(x, u) y g(x, u)
r(xt, ut) y g(xt, ut) son continuamente diferenciables en el interior delgrafo de (xt).
Hipotesis 12: diferenciabilidad
Sea (x, u) en el interior del grafo de , tal que una funciondiferenciable definida en una vecindad abierta V de x tal que:
:V U
y para todo xV :(x) (x) y g(x, (x)) =g(x, u)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Diferenciabilidad de V(xt) II
-
7/24/2019 14408911121
84/90
Teorema 3 (Diferenciabilidad de la funcion valor(Benveniste-Scheinkman 1))
Bajo las hipotesis 4, 5, 8, 9, 10, 11 y 12; si x0 Int(X) y h(x0) Int((x0)), en-tonces la funcion valor escontinuamente diferenciableen x0 y su derivadaesta dada por:
V(x0)
x0 =
r(x0, h(x0))
x0 +
V(g(x0, h(x0)))
x0 (58)
Esto es generalizado para todo t.
1 Este teorema es un paso previo para demostrar el teorema del envol-vente.
2 Requiere que en la ecuacion de Bellman se introduzca la funcion depoltica h(x) (ademas de la ecuacion de movimiento de la variable deestado g(x, h(x))).
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Diferenciabilidad de V(xt) III
-
7/24/2019 14408911121
85/90
3 Las hipotesis descritas aseguran que la funcion valor sea dos veces
diferenciable (Stokey y Lucas, 1989. pag 84), la cual asegura que lafuncion de poltica h(x) sea diferenciable. Esta propiedad es recogidaen el teorema de BS (1 y 2).
Teorema 4 (Teorema de la envolvente
(Benveniste-Scheinkman 2))Bajo las hipotesis 4, 5, 8, 9, 10, 11 y 12; si x0 Int(X) y h(x0) Int((x0)), ycumpiendose el teorema BS 1, entonces para x, use cumple:
V(x0)
x0=
r(x0, u0)
u0(59)
Esto es generalizado para todo t.
1 Este teorema asegura una relacion entre la funcion de valor y la funcionde utilidad.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Pasos para utilizar el metodo de BS
-
7/24/2019 14408911121
86/90
1 En la ecuacion de Bellman aplicar las CPO. Es decir, derivar el ladoderecho de dicha ecuacion con respecto a la variable de control.
2 Aplicar el teorema del envolvente. Recordar que el teorema de la di-ferenciabilidad es solo para demostrar el teorema del envolvente.
Nota:
Este metodo (teorema de BS) brinda explicitamente las CPO sin necesidadde conocer la funcion valor; no obstante, no brinda la solucion al problema;es decir, no especifica lafuncion de poltica.
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Ejemplo: aplicacion del teorema de la envolvente I
Un ejemplo tpico del consumidor:
-
7/24/2019 14408911121
87/90
j p p
Problema de optimizacion de un consumidor
Max{ct,wt+1}t=0
t=0
tu(ct)
sujeto a:
wt+1 = (1 +r)(wt+ct)Donde: (0, 1), wtes la riqueza del individuo y w0 dado.
Solucion:
Ecuacion de Bellman
V(wt) = Max{ct}t=0
u(ct) +V(wt+1)
Introduciendo la ecuacion de la variable de estado:
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Ejemplo: aplicacion del teorema de la envolvente II
-
7/24/2019 14408911121
88/90
V(wt) = Max{ct}t=0u(ct) +V((1 +r)(wt+ct)) (60)
Condiciones de primer orden
Derivamos el lado derecho de la ecuacion de Bellman con respecto a la
variable de control ct:
u(ct)
ct+
V(wt+1)
wt+1
[(1 +r)(wt+ct)]
ct= 0
u(ct)
ct+
V(wt+1
)
wt+1(1)(1 +r) = 0
u(ct)
ct=(1 +r)
V(wt+1)
wt+1(61)
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Ejemplo: aplicacion del teorema de la envolvente III
Teorema de la envolvente
-
7/24/2019 14408911121
89/90
El teorema del envolvente indica:
V(wt)
wt=
u(ct)
ct(62)
Un periodo hacia adelante:
V(wt+1)
wt+1=
u(ct+1)
ct+1(63)
Encontrando la ecuacion de Euler
Introduciendo la ecuacion [63](teorema de la envolvente) en la ecuacion[64](CPO), se tiene la ecuacion de Euler:
u(ct)
ct=(1 +r)
V(wt+1)
wt+1
Clase 2: Programacion dinamica
Programacion dinamica: detalles
Metodo de calculo diferencial para solucionar el PF
Ejemplo: aplicacion del teorema de la envolvente IV
-
7/24/2019 14408911121
90/90
u(ct)
ct =(1 +r)
u(ct+1)
ct+1 (64)