14408911121

download 14408911121

of 90

Transcript of 14408911121

  • 7/24/2019 14408911121

    1/90

    Clase 2: Programacion dinamica

    Clase 2: Programacion dinamicaMatematica avanzada para macroeconoma

    Hamilton Galindo

    Junio - Agosto2015

  • 7/24/2019 14408911121

    2/90

    Clase 2: Programacion dinamica

    Contenido

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF

    3 Programacion dinamica: detallesPrincipio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

  • 7/24/2019 14408911121

    3/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF

    3 Programacion dinamica: detalles

    Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Cl 2 P i di i

  • 7/24/2019 14408911121

    4/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    Que tipo de problema queremos resolver? I

    Queremos resolver un problema de optimizacion dinamica, al cual lla-

    maremosProblema Secuencial (PS):

    Problema secuencial (PS)

    sup

    {ut}

    t=0tr(xt, ut) (1)

    s.a :

    xt+1 = g(xt, ut)

    ut (xt), t= 0, 1, 2,...

    x0 X dado

    Donde:

    1 r(xt, ut) :funcion de retorno (instantaneo)

    r(xt, ut) :XxRm

    R

    Cl 2 P i di i

  • 7/24/2019 14408911121

    5/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    Que tipo de problema queremos resolver? II

    2 : factor de descuento, [0, )

    3 xt : vector de variables de estado (xt Rn)

    4 ut :vector de variables de control (ut Rm)

    5 g(xt, ut) :funcion que describe la evolucion de la variables de estado(funcion de transicion o ley de movimiento):

    g(xt, ut) :XxRm X

    6 (xt) :es una correspondenciaque describe las posibilidades de lavariable de control cuando la economa se encuentra en el estadoxt.

    :X Rm

    7 X: es el espacio de los valores que puede tomar la variable de estado(X Rn)

    8 x0 :el valor inicial de la variable de estado (estado inicial)

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    6/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    Ejemplo: crecimiento optimo (Brock y Mirman, 1972) I

    El modelo basico de crecimiento esta descrito por el siguiente problema(en terminos generales):

    Max{ct,kt+1}t=0

    t=0

    tlnct

    s.a:

    kt+1 = (1 )kt+it

    ct+it=f(kt)

    ct, kt0tA este problema lo llamamosproblema secuencial(PS). Considerando lassiguientes forma funcionales

    u(ct)lnct, f(kt) = k

    t

    , y supuestos

    (0, 1), = 1 y k0 dado

    se tiene:

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    7/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    Ejemplo: crecimiento optimo (Brock y Mirman, 1972) II

    Problema secuencial: Brock y Mirman (1972)

    Max{ct,kt+1}t=0

    t=0

    t

    lnct

    s.a:kt+1 =k

    t ct

    ct, kt0

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    8/90

    Clase 2: Programacion dinamica

    Problema de optimizacion dinamica

    Formas de resolver un problema de optimizacion dinamica

    Tres formas de resolver este tipo de problemas:

    1 Metodo de aproximaciones sucesivas

    2 Programacion dinamicaEs el estudio de problemas de optimizacion dinamica a traves del

    analisis de ecuaciones funcionales.

    3 Metodo de Lagrange

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    9/90

    Clase 2: Programacion dinamica

    Programacion dinamica: panorama

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de BellmanProblema funcionalDel PS al PF

    3 Programacion dinamica: detalles

    Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    10/90

    g

    Programacion dinamica: panorama

    Funcion valor

    Funcion valor

    Bellman (1974) indica que el PS tiene una propiedad recursiva. Esto per-mite transformar el PS en un Problema Funcional (PF).

    Funcion valor

    1 Se define una funcion valor V(x0) que indica el valor maximo de

    la funcion objetivo para cada x0 0.

    V(x0) = max{ut}

    t=0

    tr(xt, ut)

    (2)

    2

    Por ejemplo: en t= 1 se tiene x1

    V(x1) = max{ut}

    t=1

    t1r(xt, ut)

    (3)

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    11/90

    g

    Programacion dinamica: panorama

    Ecuacion de Bellman

    Ecuacion de Bellman I

    Ecuacion de Bellman

    Bellman (1974) transformo la funcion objetivo del PS en una ecuacionfuncional:

    V(x0) = max{ut}

    t=0

    t

    r(xt, ut)= max

    {ut}

    r(x0, u0) +r(x1, u1) +

    2r(x2, u2)...

    = max{ut}r(x0, u0) + r(x1, u1) +2r(x2, u2)... V(x1)

    V(x0) = max

    {ut}

    r(x0, u0) +V(x1)

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    12/90

    Programacion dinamica: panorama

    Ecuacion de Bellman

    Ecuacion de Bellman II

    A esta ultima ecuacion se le conoce como ecuacion de Bellman. Es-ta ecuacion es una ecuacion funcional; es decir, es una ecuacion cuyasolucion es una funcion (funcion valor).

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    13/90

    Programacion dinamica: panorama

    Problema funcional

    Problema funcional I

    Al reemplazar la ecuacion de Bellman en el PS se obtiene el PF (para t):

    Problema funcional

    V(xt) = max{ut}

    r(x0, u0) +V(g(xt, ut))

    (4)

    s.a :

    ut (xt), t= 0, 1, 2,...

    x0 X dado

    1

    El problema de infinitos periodos (PS) se ha convertido en un proble-ma de dos periodos.

    2 Se esta utilizando (explotando) la recursividad del PS.

    3 Ahora el problema consiste en encontrar la funcion que resuelve el PF;es decir, la funcion valor.

    Clase 2: Programacion dinamica

  • 7/24/2019 14408911121

    14/90

    Programacion dinamica: panorama

    Del PS al PF

    Proceso de transformacion del PS al PF

    Clase 2: Programacion dinamicaP i di i

  • 7/24/2019 14408911121

    15/90

    Programacion dinamica: panorama

    Del PS al PF

    Principales hipotesis, proposiciones y teoremas

    Clase 2: Programacion dinamicaP og a acio di a ica detalles

  • 7/24/2019 14408911121

    16/90

    Programacion dinamica: detalles

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman

    Problema funcionalDel PS al PF

    3 Programacion dinamica: detalles

    Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    17/90

    Programacion dinamica: detalles

    Principio de optimalidad

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman

    Problema funcionalDel PS al PF

    3 Programacion dinamica: detalles

    Principio de optimalidadMetodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    18/90

    Programacion dinamica: detalles

    Principio de optimalidad

    Principio de optimalidad I

    Bellman (1974) propuso un principio el cual permita encontrar una relacionentre la solucion del PS y el PF. A este principio se le conoce como elPrincipio de optimalidad.

    Teorema 1 (Principio de optimalidad)

    La solucion V del PF, evaluado en x0, brinda el valor del supremo

    en el PS cuando el estado inicial es x0. Ademas, una secuencia

    {ut}t=0 alcanza el supremo si y solo si esta secuencia satisface [5]:

    V(xt) =r(xt, ut) +V(xt+1) (5)

    La pregunta que surge es:Bajo que condiciones el principio de optimalidadse mantiene?

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    19/90

    Programacion dinamica: detalles

    Principio de optimalidad

    Bajo que condiciones el principio de optimalidad se mantiene? I

    Cuatro proposiciones juntas establecen condiciones bajo las cuales la so-

    lucion del PS y del PF coinciden exactamente, y que la polticas optimasson aquellas que satifacen[5]:

    1 Proposicion 1: establece que la funcion del supremoV para el PSsatisface el PF (del PS al PF). No obstante, la ecuacion funcional

    (ademas deV) puede tener otras soluciones.2 Proposicion 2:establece lo inverso de manera parcial (del PF al PS).

    Es parcial porque se impone una condicion de acotamiento. Esta pro-posicion impide que la ecuacion funcional tenga otras soluciones por-que no cumplen la condicion de transversalidad fuerte. La unica solu-cion que cumple dicha condicion esV.3 Proposicion 3:Muestra que si {ut}t=0 es una secuencia que alcanzael supremo en el PS, entonces este satisface[5]para:

    V

    sol. del PF=

    V

    sol. del PS

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    20/90

    g

    Principio de optimalidad

    Bajo que condiciones el principio de optimalidad se mantiene? II

    4 Proposicion 4:Establece que cualquier secuencia {ut}t=0que satisface

    [5]paraV =Vy que tambien satisface una condicion de acotamiento,entonces tambien alcanza el supremo en el PS.

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    21/90

    Principio de optimalidad

    Definiciones

    Antes de ver las hipotesis que sustentan las cuatro proposiciones es impor-

    tante mencionar algunas definiciones:1 Dinamica factible desde x0: es una sucesion de estados y controles

    {(xt, ut)}t=0 en XxR

    m para el PS si: ut (xt) y xt+1 = g(xt, ut)para todo t= 0, 1, 2...

    2 (x0

    ):conjunto de todas las dinamicas factibles desde x0

    .

    (x0) :

    {(xt, ut)}

    t=0 tal que ut(xt), t= 0, 1, 2...

    3 Plan factible desde x0:es una sucesion de controles {(ut)}t=0

    4 Plan optimo desde x0: es un plan factible {(ut)}t=0 que permite al-canzar el supremo del PS.

    5 Cabe mencionar que un plan factible determina unvocamente unadinamica factible. Por tanto, un plan optimo {(ut)}

    t=0 determina

    una dinamica optima {(xt, ut)}

    t=0.

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    22/90

    Principio de optimalidad

    Hipotesis que sustentan las proposiciones I

    Las cuatro proposiciones anteriores estan basadas en tres hipotesis:

    Hipotesis 1: (x)

    (x)= para todo xX.

    La hipotesis 1 asegura que (x0) (conjunto de dinamicas factiblesdesde x0) no sea vaco x0 X. Esto indica que todos los planesfactibles pueden ser evaluados usando r(x, u) y .

    En el PS,

    t=0tr(xt, ut)podra tomar tres valores: un numero finito,

    + o . Deseamos que esta funcion objetivo este acotada: es decirque la sumatoria infinita tenga un valor finito.

    La hipotesis 2 elimina la posibilidad que

    t=0tr(xt, ut) sea +.

    Para ello se restringe el conjunto de dinamicas factibles de tal formaque dicha sumatoria este acotada (superiormente).

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    23/90

    Principio de optimalidad

    Hipotesis que sustentan las proposiciones II

    Hipotesis 2: funcion objetivo

    Para todo x0 X, Mx0 R, tal que

    t=0tr(xt, ut) Mx0 para toda

    dinamica factible {(xt, ut)}t=0,1,2... desde x0.

    No obstante, la funcion objetivo (suma infinita) aun puede tomar,para ciertas dinamicas factibles, el valor de. Lahipotesis 3buscaacotar dicha dinamicas.

    Hipotesis 3: funcion objetivo

    Para todo x0 X, una dinamica factible {(xt, ut)}t=0,1,2... desde x0 yun mx0 R, tal que la sucesion de sumas parciales {Sn}t=0,1,2...Sn =n

    t=0tr(xt, ut) satisface mx0 Sn.

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

  • 7/24/2019 14408911121

    24/90

    Principio de optimalidad

    Hipotesis que sustentan las proposiciones III

    Por tanto, las hipotesis 2 y 3 tienen como unico fin garantizar laexistencia de un valor finito para el supremo del PS; es decir, quela funcion objetivo este bien definida para cada dinamica factible{(xt, ut)} (x0).

    Segun las condiciones anteriores podemos definir la funcion supremoV :X R que sea el valor supremo del PS:V(x0) = sup

    {(xt,ut)}(x0)

    t=0

    tr(xt, ut) (6)

    DondeV(x0) es el valor supremo del PS. A esta funcionVse le llamafuncion valor.

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    P i i i d i lid d

  • 7/24/2019 14408911121

    25/90

    Principio de optimalidad

    Funcion supremo

    Nota: Por definicion, la funcion supremoV : X R es unica ysatisface tres condiciones (condiderando una funcion objetivo generica(x)):

    V(x0) = sup

    x(x0)

    (x)

    1 Si | V(x0)| < , entonces:V(x0) (x), (para todo) x(x0)Para cualquier >0:V(x0) (x) + , para algun x(x0)

    2 Si |

    V(x0)| = +, entonces existe una secuencia {x

    k} en (x0) tal

    que:Limk

    (xk) = +

    3 Si | V(x0)|= , entonces (x) =, para todo x(x0)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    P i i i d ti lid d

  • 7/24/2019 14408911121

    26/90

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad I

    Proposicion 1 (del PS al PF)

    Bajo las hipotesis 1, 2 y 3,V resuelve el PF.Demostracion (proposicion 1):

    La estrategia de demostracion tiene dos pasos: el primero es encontrar la relacionentre la funcion supremoVy la ecuacion funcional para dos valores iniciales distintosx1 y x0. El segundo consiste en unir el resultado del paso 1 para x1 y x0.

    1 Evaluando en x1:Sea >0, u0(x0) y x1 =g(x0, u0)

    Como

    V(x1) es el valor supremo del PS con valor inicial x1(t = 1),

    entonces una dinamica factible desde x1, {(x1, u1), (x2, u2),...} talque (por la propiedad del supremo):

    t=1

    t1

    r(xt, ut)V(x1) (7)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    27/90

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad II

    Se sabe que {(x0, u0), (x1, u1),...} (x0) y que por la propiedad delsupremo:

    V(x0) t=0

    tr(xt, ut)

    r(x0, u0) +

    t=1

    t1r(xt, ut)

    r(x0, u0) + V(x1) V(x0) r(x0, u0) + V(g(x0, u0)) Para pasar de la segunda a la tercera lnea se utiliza laecuacion [7].Como laultima ecuaciones verdad para todo >0 y u0 es cualquierelemento de (x0), entonces tenemos que:

    V(x0) r(x0, u0) + V(g(x0, u0)), u0 (x0)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    28/90

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad III

    Como la ecuacion anterior se cumple para todo u0, entonces:

    V(x0) supu0(x0)

    r(x0, u0) + V(g(x0, u0))

    Generalizando para todo t:

    V(x) supu(x)

    r(x, u) + V(g(x, u)) (8)2 Evaluando en x0: Sea > 0, entonces por definicion del supremo,

    una dinamica factible desde x0 {(x0, u0), (x1, u1),...} tal que:

    V(x0) t=0

    tr(xt, ut) +

    V(x0) r(x0, u0) +V(x1) +

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    29/90

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad IV

    Como es arbitrario, entonces:V(x0) r(x0, u0) + V(g(x0, u0))V(x0) sup

    u0(x0)

    r(x0, u0) + V(g(x0, u0))

    Generalizando para todo t:

    V(x) supu(x)

    r(x, u) + V(g(x, u)) (9)

    3 Uniendo resultados:uniendo las dos ecuaciones[8] y[9] se tiene:

    supu(x)

    r(x, u)+V(g(x, u))V(x) sup

    u(x)

    r(x, u)+V(g(x, u))

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    30/90

    p p

    Las 4 proposiciones que sutentan el principio de optimalidad V

    4 Por tanto:

    V(x) = sup

    u(x)

    r(x, u) +

    V(g(x, u))

    (10)

    Lo cual indica que la funcion supremo (o funcion valor) es una solucionde la ecuacion funcional (PF).

    5 La proposicion 1 indica queV es una solucion del PF, pero no in-dica que sea la unica. Con el fin de asegurar que esta sea la unica

    solucion del PF se impone una restriccion adicional: condicion detransversalidad fuerte. Laproposicion 2asegura lo anterior.

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    31/90

    p p

    Las 4 proposiciones que sutentan el principio de optimalidad I

    Proposicion 2 (del PF al PS)

    Segun las hipotesis 1, 2 y 3, Vresuelve el PF, y si ademas secumple la condicion de transversalidad fuerte:

    Limt

    tV(xt) = 0

    para todo x0 X y dinamica factible {(xt, ut)} desde x0, entoncesV =V (es decir, V resuelve el PS).Demostracion (proposicion 2):En este caso hay que demostrar que V es la funcion supremoV. La estrategiade demostracion tiene dos pasos: el primero es demostrar que para toda dinamicafactible desde x0 se cumple que V(x0)

    t=0

    tr(xt, ut). El segundo es demostrar

    que para todo > 0, una dinamica factible {(xt, ut)} desde x0 de modo que:

    V(x0)

    t=0tr(xt, ut) +. Ambos pasos aseguran que V es la funcion supremo

    (o funcion valor).

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    32/90

    Las 4 proposiciones que sutentan el principio de optimalidad II

    1

    Paso 1a: Como V es solucion del PF, entonces dinamica factible{(xt, ut)} (x0) tenemos:

    V(x0) r(x0, u0) +V(x1) (por propiedad del supremo)

    V(x1) r(x1, u1) +V(x2) (para x1)

    r(x0, u0)+V(x1) r(x0, u0)+r(x1, u1) +V(x2)por transitividad en la 1era inecuacion:

    V(x0) r(x0, u0) +r(x1, u1) +2V(x2)

    V(x0) 1

    t=0tr(xt, ut) +

    2V(x2) (en forma compacta)

    Por induccion (k pasos):

    V(x0) k

    t=0

    tr(xt, ut) +k+1V(xk+1) (11)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    33/90

    Las 4 proposiciones que sutentan el principio de optimalidad III

    2 Paso 1b:Haciendo k y usando la condicion de transversalidadfuerte:

    V(x0) Limk

    kt=0

    tr(xt, ut) +k+1V(xk+1)

    V(x0) Limk

    kt=0

    tr(xt, ut)

    + Limk

    k+1V(xk+1)

    por condicion de transversalidad fuerte:

    V(x0)

    t=0 tr(xt, ut) +0

    V(x0) t=0

    tr(xt, ut) (12)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    34/90

    Las 4 proposiciones que sutentan el principio de optimalidad IV

    3 Paso 2a: Sea > 0 y {t}t=0,1,2... una sucesion de numeros reales

    positivos, tal que: t=0

    tt (13)

    4 Paso 2b:ComoVresuelve el PF, entonces u0 (x0) de modo que:

    (por propiedad del supremo)

    V(x0) r(x0, u0) + V(x1) + 0

    tambien existe u1 (x1) tal que:

    V(x1) r(x1, u1) + V(x2) + 1

    r(x0, u0)+V(x1) r(x0, u0)+r(x1, u1) +

    V(x2)

    +1

    por transitividad en la 1era inecuacion:

    V(x0) r(x0, u0) + r(x1, u1) +2V(x2) + 1

    (en forma compacta)

    V(x0) 1

    t=0

    tr(xt, ut) + 2V(x2) +

    1t=1

    tt

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    35/90

    Las 4 proposiciones que sutentan el principio de optimalidad V

    5 Paso 2c:Por induccion (k pasos):

    V(x0) k

    t=0

    tr(xt, ut) +k+1V(xk+1) +

    kt=1

    tt

    6 Paso 2d:Haciendo k y usando la expresion[13]:

    V(x0) Limk

    kt=0

    tr(xt, ut) + k+1V(xk+1) +

    kt=1

    tt

    V(x0) Limk

    kt=0

    tr(xt, ut)

    + Lim

    k

    k+1V(xk+1)

    + Lim

    k

    kt=1

    tt

    por condicion de transversalidad fuerte y[13]:

    V(x0) t=0

    tr(xt, ut) +0+

    V(x0) t=0

    tr(xt, ut) + (14)

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    36/90

    Las 4 proposiciones que sutentan el principio de optimalidad VI

    7 De las inecuaciones [12] y[14] se concluye queVes la funcion supremo(funcion valor).

    8 El PF puede tener muchas soluciones, pero laproposicion 2muestraque dichas soluciones (exceptoV) violan la condicion de transversa-lidad fuerte y la unica que satisface dicha condicion esV. Por tantoV =V

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    37/90

    Las 4 proposiciones que sutentan el principio de optimalidad I

    Proposicion 3 (dinamica factible del PS al PF)

    Bajo las hipotesis 1,2 y 3: sea {(xt, ut)} una dinamica factible

    desde x0 que permite alcanzar el supremo del PS, entonces dicha

    dinamica factible cumple con [5]:V(xt) =r(xt, ut) + V(xt+1) (15)Es decir, permite alcanzar el supremo en el PF.

    Demostracion (proposicion 3):La estrategia de demostracion tiene dos pasos:primero demostramos que la ecuacion [15] se cumple para t = 0. El segundo esextender este resultado para todo t= 1, 2, 3 (por induccion).

    Clase 2: Programacion dinamicaProgramacion dinamica: detalles

    Principio de optimalidad

  • 7/24/2019 14408911121

    38/90

    Las 4 proposiciones que sutentan el principio de optimalidad II

    1 Paso 1a: debido a que {(xt, ut)} es una dinamica factible desde x

    0

    que permite alcanzar el supremo del PS, entonces se cumple:

    V(x0 ) = t=0

    tr(xt, ut)

    t=0tr(xt, u

    t) = r(x

    0 , u

    0 ) +

    t=0tr(xt+1, u

    t+1) (16)

    2 Paso 1b:para toda dinamica factible{(x1 , u1), (x2, u2), (x3, u3),...} (x1 ), por la definicion del supremo se cumple:

    t=0

    t

    r(x

    t, u

    t) r(x

    0 , u

    0 ) +

    t=0

    t

    r(xt+1, ut+1) (17)

    Por tanto, de la expresion[16] y[17]se tiene que:

    t=0 tr(xt+1, u

    t+1)

    t=0 tr(xt+1, ut+1) (18)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    L 4 i i l i i i d i lid d III

  • 7/24/2019 14408911121

    39/90

    Las 4 proposiciones que sutentan el principio de optimalidad III

    3 Paso 1c:ademas, como la dinamica factible {(x1 , u1 ), (x

    2 , u

    2 ), (x

    3 , u

    3 ),...}

    (x1 ), entonces se cumple que t=0tr(xt+1, ut+1) tiene que ser elvalor supremo con valor inicial en x1 :

    V(x1 ) =

    t=0

    tr(xt+1, ut+1) (19)

    4 Paso 1d:reemplazando la expresion [19]en [16]se tiene:

    V(x0 ) =r(x0 , u0 ) +V(x1 ) (20)5 Paso 2a:se probo que:

    V(x0 ) = r(x0 , u0 ) +V(x1 )V(x1 ) =

    t=0

    tr(xt+1, ut+1)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    L 4 i i l i i i d i lid d IV

  • 7/24/2019 14408911121

    40/90

    Las 4 proposiciones que sutentan el principio de optimalidad IV

    6 Paso 2b:se propone una hipotesis inductiva:

    V(xk) =r(xk, uk) +V(xk+1) (21)DondeV(xk)k N se define como:

    V(xk) = t=0

    tr(xt+k, ut+k) (22)

    Si la hipotesis (ecuacion [21]) se cumple para k+ 1, entonces lahipotesis es verdadera.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    L 4 i i t t l i i i d ti lid d V

  • 7/24/2019 14408911121

    41/90

    Las 4 proposiciones que sutentan el principio de optimalidad V

    7 Paso 2c:verificando para k+ 1:

    de[21]y de [22]

    r(xk, uk) +

    V(xk+1) = V(xk) = t=0

    tr(xt+k, ut+k)

    r(xk, uk) +V(x

    k+1) = r(x

    k, u

    k) +

    t=0 tr(xt

    +(k

    +1)

    , ut+(

    k+1)

    )

    V(xk+1) =t=0

    tr(xt+(k+1), ut+(k+1))

    V(xk+1) = r(x

    k+1, u

    k+1) +

    t=0

    tr(xt+(k+2), ut+(k+2))

    V(xk+1) = r(xk+1, uk+1) + V(xk+2) (23)Por tanto la hipotesis inductiva es verdadera y generalizable para

    todo t=0, 1, 2, ...

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    Las 4 o osiciones e s tentan el inci io de o timalidad I

  • 7/24/2019 14408911121

    42/90

    Las 4 proposiciones que sutentan el principio de optimalidad I

    Proposicion 4 (dinamica factible del PF al PS)

    Bajo las hipotesis 1,2 y 3: si {(xt, ut)} una dinamica factible desde

    x0 que satisface[15] y se cumple la condicion de transversalidaddebil:

    Limt

    tV(xt) 0,

    entonces {(xt, ut)} resuelve el PS.

    Demostracion (proposicion 4):La estrategia es la siguiente: que{(xt , u

    t)} resuelve el PS significa que permite al-

    canzar el supremo:

    V(x0) = sup

    {ut}

    t=0

    tr(xt, ut)

    . Es decir,

    V(x0) =

    t=0

    tr(xt , ut).

    Esto ultimo es lo que tenemos que demostrar.1 Paso 1:Como{(xt, u

    t)}es una dinamica factible desde x0, entonces:

    V(x0 )

    t=0

    tr(xt, ut) (24)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad II

  • 7/24/2019 14408911121

    43/90

    Las 4 proposiciones que sutentan el principio de optimalidad II

    2 Paso 2:Ademas, {(xt, ut)} satisface[15]; es decir, permite alcanzar

    el supremo en el PF:

    V(xt) = r(x

    t, u

    t) +

    V(xt+1)

    t = 0,1,2, ... :V(x0 ) = r(x0 , u0 ) +V(x1 )V(x1 ) = r(x1 , u1 ) +V(x2 )

    V(x2 ) = r(x

    2 , u

    2 ) +

    V(x3 )

    ...V(xk) = r(xk, uk) +V(xk+1)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad III

  • 7/24/2019 14408911121

    44/90

    Las 4 proposiciones que sutentan el principio de optimalidad III

    3 Paso 3:reemplazandoV(x2 ) enV(x1 ):V(x2 ) = r(x2 , u2 ) +V(x3 )V(x1 ) = r(x1 , u1 ) +

    r(x2 , u

    2 ) +

    V(x3 )

    reemplazando V(x1 ) en V(x0):

    V(x0 ) = r(x0 , u0 ) +r(x1 , u1 ) +r(x2 , u2 ) +2V(x3 )de forma compacta:

    V(x0 ) =

    2

    t=0tr(xt, u

    t) +

    3

    V(x3 )

    por induccion (k pasos):

    V(x0 ) = kt=0

    tr(xt, ut) +

    k+1V(xk+1) (25)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad IV

  • 7/24/2019 14408911121

    45/90

    Las 4 proposiciones que sutentan el principio de optimalidad IV

    4 Paso 4:tomando k en la ecucion [25]:

    V(x0 ) = Lim

    k

    kt=0

    tr(xt, ut) +

    k+1

    V(xk+1)

    V(x0 ) = t=0

    tr(xt, ut) + Lim

    k

    k+1V(xk+1)

    por condicion de transversalidad debil: Limt

    tV(xt) 0

    V(x0 )

    t=0

    t

    r(xt, u

    t) (26)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Principio de optimalidad

    Las 4 proposiciones que sutentan el principio de optimalidad V

  • 7/24/2019 14408911121

    46/90

    Las 4 proposiciones que sutentan el principio de optimalidad V

    5 Paso 5:de la inecuacion [24]y [26]se tiene:

    t=0

    tr(xt, ut)

    V(x0 ) t=0

    tr(xt, ut) (27)

    Por tanto:

    V(x0 ) = t=0

    tr(xt, ut) (28)

    Lo cual indica que la dinamica factible {(xt, ut)} resuelve el PS.

    Conclusion

    Las proposiciones 1 al 4 implican que (bajo las hipotesis 1, 2 y 3) la soluciona la ecuacion[5]:V(xt) =r(xt, ut)+ V(xt+1) (PF) coincide exactamente(en terminos de valores y planes optimos) con la solucion del PS. Es decir,el principio de optimalidad se mantiene.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

  • 7/24/2019 14408911121

    47/90

    1

    Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman

    Problema funcionalDel PS al PF

    3 Programacion dinamica: detallesPrincipio de optimalidad

    Metodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Metodo para solucionar el PF I

  • 7/24/2019 14408911121

    48/90

    Metodo para solucionar el PF I

    1 Hasta aqu se ha estudiado la relacion entre el PS y el PF, pero no seha dado ningun metodo para solucionar el PF.

    2

    Lo interesante de la programacion dinamica es que ofrece varios meto-dos de solucion del PF: metodos teoricos y numericos.

    3 El principal metodo es considerar al PF como unproblema de puntofijo (PptoFijo). Para ello necesitamos dos hipotesis adicionales: sobrela correspondencia (x) y la funcion de retorno r(x, u).

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Hipotesis que permiten considerar el PF como un PptoFijo I

  • 7/24/2019 14408911121

    49/90

    potes s que pe te co s de a e co o u pto jo

    Hipotesis 4: (x)

    :X Xes una correspondencia de valores compactos (i.e. (x) escompacto para todo x), continua y (x)= para todo x.

    Hipotesis 5: y r(x, u)(0, 1) y r(xt, ut) es acotada y continua sobre el grafo de .Donde:

    Grafo de :

    (x, u) XxRm tal que u(x)

    Lashipotesis 4 y 5implican lashipotesis 1, 2 y 3. Por tanto, las pro-posiciones 1 al 4 se mantienen, y por ende el principio de optimalidad.

    Por lahipotesis 5,V(y por lo tanto V por el principio de optima-lidad) que es una funcion real, tambien es a acotada y continua.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Hipotesis que permiten considerar el PF como un PptoFijo II

  • 7/24/2019 14408911121

    50/90

    p q p p j

    Definamos Ca(X) : Espacio de las funciones reales, continuas y aco-

    tadas. Entonces:V =V Ca(X).Definimos un operadorT: Ca(X) Ca(X)del PF:T[V](x) = sup

    {u}(x)

    r(x, u) +V(g(x, u))

    (29)

    Del PF sabemos:

    V(x) = sup{u}(x)

    r(x, u) +V(g(x, u))

    (30)

    De [29] y [30], el PF se convierte en un Problema de punto fijo(PptoFijo):

    T[V](x) =V(x) (31)

    Donde la funcionVes el punto fijo. Si encontramos la funcion V queresuelve[31] (PptoFijo), entonces tendremos la solucion del PF y por

    el principio de optimalidadtendremos la solucion del PS.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Hipotesis que permiten considerar el PF como un PptoFijo III

  • 7/24/2019 14408911121

    51/90

    p q p p j

    Debido a que se tiene la funcion valor, se puede encontrar el planoptimo:

    Forma 1:resolviendo paso a paso el problema del maximo queaparece en el PF (i.e. encontrar la funcion de poltica).

    Forma 2:resolviendo el sistema de ecuaciones:

    V(xt) =r(xt, u

    t) + V(x

    t+1), t= 0, 1, 2, 3...

    Necesitamos un teorema que asegure que el operador T : Ca(X) Ca(X) tiene ununico punto fijoy por tanto una solucion alPptoFijo. Elteorema del punto fijo para contraccionesasegura lo anterior.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Teorema del punto fijo

  • 7/24/2019 14408911121

    52/90

    Teorema 2 (Punto fijo para contracciones)

    Bajo las hipotesis 4 y 5: sea Ca(X) (espacio de las funciones reales,continuas y acotadas sobre X) con la norma del supremo ,entonces el operador T definido en Ca(X) es una aplicacion deeste espacio en s mismo, T: Ca(X) Ca(X) , definido como:

    T[V](x) =supr(xt, ut) + V(g(xt, ut)) (32)sujeto a: ut(xt), Satisface:

    1 T[V] Ca(X)

    2 T tiene un unico punto fijo V: T[V] =V

    3 Para cualquier V0 Ca(X) se tiene:

    Tn(V0)V nV0 V

    En particular:Limn

    Tn(V0) =V

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Teorema del punto fijo

  • 7/24/2019 14408911121

    53/90

    Nota:la norma del supremo esta definido como:

    f= sup{|f(x)|} (33)

    El teorema del punto fijo ofrece un metodo de solucion del PF: la

    convergencia de iteraciones sucesivas de una funcion contractiva alpunto fijo, la cual consiste en: la sucesion de funciones {Vn}

    n=0

    definida como:Vn =T[Vn1], n1 (34)

    converge al punto fijo (V) de la contraccion T; es decir:

    Limn

    Vn =V (35)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Teorema del punto fijo: demostracion I

  • 7/24/2019 14408911121

    54/90

    Demostracion (teorema 2):

    1 Paso 1:bajo las hipotesis 4, 5 y 8 se tiene que para cadaf Ca(X) xXel problema del punto de fijo:

    T[f](x) = maxut(X)

    r(xt, ut) +f(ut)

    (36)

    se reduce a maximizar la funcion continua:r(xt, ) +f()

    (37)

    sobre el conjunto compacto (X). Esto permite alcanzar el maximo.

    Una pregunta que tenemos que responder es: T[f ] es acotada ycontinua? se sabe que su dominio lo es.

    2 Paso 2a:debido a que r(xt, ut) y f(ut) son acotadas, entonces:

    T[f], tambien es acotada.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Teorema del punto fijo: demostracion II

  • 7/24/2019 14408911121

    55/90

    3 Paso 2b: debido a que r(xt, ut) y f(ut) son continuas, y (X) escompacto, entonces: por el teorema del maximo se tiene que T[f] es

    continua.

    Por tanto, del paso 2ay 2bse tiene que: T[f ] es continua y acotada, ydado que Tfue definido (dominio) en Ca(X), entonces se obtiene que eloperador T[f] es:

    T[f] :

    Ca(X

    )C

    a(X

    )4 Paso 4:T es una contraccion?

    S. Esto se debe a que el operador Tcumple con las condiciones deBlackwell.

    5 Paso 5:T tiene un unico punto fijo?

    S. Debido a que Ca(X) es un espacio de Banach, entonces por elteorema de la aplicacion contractiva, T tiene un unico punto fijoV Ca(X) y se cumple que:

    Tn(V0) V nV0 V

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) I

  • 7/24/2019 14408911121

    56/90

    El modelo basico de crecimiento esta descrito por el siguiente problema(en terminos generales):

    Max{ct,kt+1}t=0

    t=0

    tlnct

    s.a:kt+1 = (1 )kt+it

    ct+it=f(kt)

    ct, kt0t

    A este problema lo llamamosproblema secuencial(PS). Considerando lassiguientes forma funcionales

    u(ct)lnct, f(kt) = k

    t

    , y supuestos

    (0, 1), = 1 y k0 dado

    se tiene:

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) II

  • 7/24/2019 14408911121

    57/90

    Problema secuencial: Brock y Mirman (1972)

    Max{ct,kt+1}t=0

    t=0

    tlnct

    s.a:

    kt+1 =k

    t ctct, kt0

    La ecuacion funcional (o de Bellman) es:

    V(kt) = Max{ct,kt+1}t=0lnct+V(kt+1)

    Al reemplazar la restriccion en la ecuacion de Bellman kt+1 =k

    t ct, elproblema funcional asociado queda descrito de la siguiente manera:

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) III

  • 7/24/2019 14408911121

    58/90

    Problema funcional: Brock y Mirman (1972)

    V(kt) = Max{ct}t=0

    lnct+V(k

    t ct)

    0 ctk

    t

    Encontrando la funcion valor

    1 Para resolver el PF utilizaremos el metodo de iteracion de la funcionvalor (propuesto por el teorema del punto fijo para contracciones), la

    expresion[34]:Vn =T[Vn1], n1 (38)

    Se inicia con la funcion mas sencilla: V0 = 0

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) IV

  • 7/24/2019 14408911121

    59/90

    2 Encontrando V1

    V1 = T[V0]

    = Max{ct}t=0

    lnct+V0(k

    t ct)

    =0

    = Max{ct}t=0

    lnct

    (39)(a) En esta etapa se aplica la condicion de primer orden:

    funcion objetivoct

    = 0

    No obstante, en este caso, por ser ln monotona entonces el valormaximo se alcanza cuando ct=k

    t (ver la restriccion del PF).

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) V

  • 7/24/2019 14408911121

    60/90

    (b) Reemplazando ctque maximiza la funcion objetivo en [39]se obtieneT[V0] y por ende V1:

    V1 = T[V0] =lnk

    t

    V1 = lnkt (40)

    3

    Encontrando V2

    V2 = T[V1]

    = Max{ct}t=0

    lnct+V1(k

    t ct)

    =ln(kt ct) = Max

    {ct}t=0

    lnct+ln(k

    t ct)

    (41)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) VI

  • 7/24/2019 14408911121

    61/90

    (a) En esta etapa se aplica la condicion de primer orden:

    funcion objetivo

    ct= 0

    ct= kt

    1 + (42)

    (b) Reemplazando ctque maximiza la funcion objetivo en [41]se obtieneT[V1] y por ende V2:

    V2 = T[V1] =(1 + )lnkt+ ln

    1 +

    ln(1 + )

    V2 = (1 + )lnkt+ ln

    1 +

    ln(1 + ) (43)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) VII

  • 7/24/2019 14408911121

    62/90

    4 De igual forma podemos hacer paraV3y luego en forma general vemosque:

    Vn(kt) =An+

    n1i=0

    ()ilnkt

    (44)

    Donde hacemos que n por la propiedad [35]:

    LimnVn =V

    Limn

    Vn(kt) = Limn

    An+ Limn

    n1

    i=0()ilnkt

    V = A+

    i=0

    ()ilnkt

    V = A+

    1 lnkt (45)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) VIII

  • 7/24/2019 14408911121

    63/90

    La constante A la podemos encontrar reemplazando V y la dinamicaoptima en la ecuacion de Bellman.

    Encontrando la funcion de poltica

    Dado que ya conocemos la funcion valor (V), la cual reemplazamos en laecuacion de Bellman del PF.

    1

    Reemplezando la funcion valor en el PF:

    V(kt) = Max{ct}t=0

    lnct+

    ln(kt ct)

    0 ctk

    t

    El problema funcional se convierte en un problema de optimizacionestandar (en t), a la cual se puede aplicar las condiciones de primerorden.Aplicando CPO:

    funcion objetivo

    ct

    = 0

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) IX

  • 7/24/2019 14408911121

    64/90

    Encontramos lafuncion de poltica: ct=h(kt)

    ct= (1 )k

    t (46)

    2 Encontrando la constante A: reemplazando la funcion valor y lafuncion de poltica en la ecuacion de Bellman (el max desapareceporque la funcion de poltica permite alcanzar dicho maximo):

    A+

    1 lnkt=ln(h(kt)) +

    ln(kt h(kt))

    Resolviendo e igualando los coeficientes de los terminos similares:

    A= 11 (ln(1 ) + 1 ln)Encontrando la dinamica optima

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 1: modelo de Brock y Mirman (1972) X

  • 7/24/2019 14408911121

    65/90

    1 La dinamica optima:es la sucesion {ct, kt}t=0 descrita por este

    sistema de ecuaciones (con k0 dado):

    Ec. de evolucion de la variable de estado

    kt+1 = k

    t (1 )k

    t =k

    t (47)

    Funcion de poltica

    ct = (1 )k

    t (48)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo para solucionar el PF

    Ejemplo 2: modelo con habitos de consumo

  • 7/24/2019 14408911121

    66/90

    Max{ct,kt+1}t=0

    t=0 t(lnct+lnct

    1)

    sujeto a:ct+kt+1Ak

    t

    Donde: (0, 1), 0 y (0, 1). k0 y c1 dado.

    1 Escribir la ecuacion de Bellman.

    2 Demuestre que la solucion de dicha ecuacion tiene la forma:

    v(kt, ct1) =E+Flnkt+Glnct1

    3 Demostrar que la dinamica optima del capital tiene la forma:

    lnkt+1=I+Hlnkt

    Donde E,F,G,H,I son constantes. De formulas explcitas para estasconstantes en terminos de los parametros del problema.

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

  • 7/24/2019 14408911121

    67/90

    1 Problema de optimizacion dinamica

    2 Programacion dinamica: panoramaFuncion valorEcuacion de Bellman

    Problema funcionalDel PS al PF

    3 Programacion dinamica: detallesPrincipio de optimalidad

    Metodo para solucionar el PFMetodo de calculo diferencial para solucionar el PF

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Metodo de calculo diferencial para solucionar el PF

  • 7/24/2019 14408911121

    68/90

    Para aplicar los metodos de calculo diferencial en la solucion de proble-mas de optimizacion dinamica se requiere que la funcion valor tenga trespropiedades importante:

    1 Monotonicidad:

    2 Concavidad:

    3 Diferenciabilidad:

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt)

  • 7/24/2019 14408911121

    69/90

    Hipotesis 6: r(x, u) y g(x, u)

    Para cada u Rm, las funciones:

    r(xt, u) : X R es estrictamente crecienteg(xt, u) : X X es creciente

    Hipotesis 7: (x)

    es monotona (i.e. si x

    >x(x

    ) (x) )

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt) I

  • 7/24/2019 14408911121

    70/90

    Proposicion 5 (monotonicidad de V(x))

    Bajo las hipotesis 4 al 7, entonces la funcion valor es

    estrictamente creciente.

    Demostracion (proposicion 5):La estrategia tiene dos pasos: el primero es demostrar que T[f] es una funcion

    estrictamente creciente; el segundo paso es considerar el PptoFijo y de all derivarque V es tambien estrictamente creciente.

    1 Sabemos:

    Ca(X)es el espacio de las funciones reales, continuas y acotadas conla norma del supremo.Cc(X

    )C

    a(X

    )es el espacio de las funciones reales, continuas, aco-tadas ycrecientes.Se observa queCc(X) es un subespacio cerrado en Ca(X), y por tantoes un espacio completo en la norma del supremo.

    2 Paso 1: vamos a probar que si f Ca(X) es creciente, entoncesT[f] es una funcion estrictamente creciente

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt) II

  • 7/24/2019 14408911121

    71/90

    3 Paso 1a:por lahipotesis 6: six xentoncesg(x, u) g(x, u) u.

    dado que f es creciente:

    f(g(x, u)) f(g(x, u))

    r(x, u)+f(g(x, u)) r(x, u)+f(g(x, u))

    por la hipotesis 6 r(x,u) es creciente:

    r(x,u) r(x,u), entonces:

    r(x, u)+f(g(x, u)) > r(x, u)+f(g(x, u)) (49)

    4 Paso 1b:Aplicando max en la relacion[49]:

    maxu(x)

    r(x, u) +f(g(x, u))> maxu(x)

    r(x, u) +f(g(x, u))(50)

    5 Paso 1c:por lahipotesis 7se tiene que: si x x(x) (x)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt) III

  • 7/24/2019 14408911121

    72/90

    Donde u (x), entonces u (x). Reemplazando este resultadoen [50]se tiene:

    maxu(x)

    r(x, u) +f(g(x, u))> maxu(x)

    r(x, u) +f(g(x, u))(51)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt) IV

    P 1d l d fi i i d l d T f i f

  • 7/24/2019 14408911121

    73/90

    6 Paso 1d: por la definicion del operador T para una funcion fcualquiera:

    T[f](x) = sup{u}(x)

    r(x, u) +f(g(x, u))

    La expresion [51] se convierte en:

    T[f](x)>T[f](x) (52)

    Es decir T[f] es estrictamente creciente.

    Conclusion 1

    Por tanto se cumple lo que queriamos probar en el paso 1:si f Ca(X) es creciente, entoncesT[f] es una funcion estrictamentecreciente

    7 Paso 2: como Cc(X) es un subespacio cerrado de Ca(X), entoncesla funcion valor V esta en Cc(X):

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Monotonicidad de V(xt) V

  • 7/24/2019 14408911121

    74/90

    Ademas, como T[V] =V, y Tes estrictamente creciente entoncesV tambien es estrictamente creciente.

    Conclusion 2

    Por tanto la funcion valor (V) es estrictamente creciente.

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) I

  • 7/24/2019 14408911121

    75/90

    Hipotesis 8: X

    Xes un subconjunto convexo de Rn.

    Definicion conjunto convexo:el conjunto X es convexo si para doselementos de dicho conjunto x e y, la combinacion lineal (con t

    [0, 1]) tambien se encuentra dentro de dicho conjunto. Es decir: xyX y t[0, 1] se cumple que[(1 t)x+ty] X

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) II

  • 7/24/2019 14408911121

    76/90

    Hipotesis 9: r(x, u) y g(x, u)

    r(xt, ut) es estrictamente concava y g(xt, ut) es concava.

    Definicion funcion concava:una funcion real definida en un conjuntoconvexo (dominio) es concava, si para dos puntos x e y cualesquieradefinidas en su dominio, y para cualquier t[0, 1] se cumple:

    f(tx+ (1 t)y) tf(x) + (1 t)f(y)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) III

  • 7/24/2019 14408911121

    77/90

    Hipotesis 10: (x)

    (xt) es convexa; es decir:

    1 (x) es un conjunto convexo para todo xX.

    2 Dado [0, 1], x, x X y x=x, entoncessi u(x) yu (x) implica que:

    u+ (1 )u (x+ (1 )x)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) I

  • 7/24/2019 14408911121

    78/90

    Proposicion 6 (concavidad de V(x))

    Segun las hipotesis 4,5,8,9 y 10, la funcion valor es estrictamente

    concava y la correspondencia de poltica es una funcion

    continua.

    Demostracion (proposicion 6):La estrategia tiene dos pasos: el primero es demostrar que T[f] es una funcion

    creciente y estrictamente concava; el segundo paso es considerar el PptoFijo y de

    all derivar que V tambien es creciente y estrictamente concava.

    1 Paso 1: vamos a probar que si f Ca(X) es creciente y concava,entonces T[f ] es una funcion creciente y estrictamente concava.

    (que sea creciente lo sabemos de la proposicion 5).

    2 Paso 1a: dado [0, 1], x, x X y x = x, y sea u, u tales queresuelven el problema del maximo definido por: T[f](x) y T[f](x)respectivamente.

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) II

    3 Paso 1b: ademas por la hipotesis 10 se tiene que:

  • 7/24/2019 14408911121

    79/90

    3 Paso 1b:ademas, por la hipotesis 10 se tiene que:

    u+ (1 )u (x+ (1 )x)

    entonces, tenemos que (por la definicion del supremo):

    T[f](

    x) r(

    x,

    u) +f(g(

    x,

    u)) (53)

    Donde:

    x = x+ (1 )x

    u = u+ (1 )u

    4 Paso 1c:pero r(, ) es estrictamente concava (hipotesis 9), entoncespara r(x,u) que es igual a r(x+ (1 )x, u+ (1 )u) se tieneque:

    r(x+ (1 )x, u+ (1 )u)> r(x, u) + (1 )r(x, u) (54)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) III

  • 7/24/2019 14408911121

    80/90

    5 Paso 1d:ademas, dado que g(, ) es concava (hipotesis 9), entoncesse tiene que:

    g(x,u) g(x, u) + (1 )g(x, u) (55)y dado que f es creciente, entonces aplicando f a la ecuacion an-

    terior (ecu.55):

    f(g(x,u)) f(g(x, u) + (1 )g(x, u)) (56)y como f esconcava:

    f(g(x, u) + (1 )g(x, u)) f(g(x, u)) + (1 )f(g(x, u))(57)

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) IV

  • 7/24/2019 14408911121

    81/90

    6 Paso 1e: introduciendo la expresion [54] y [57] (multiplicada por )en la expresion inicial [53]se tiene:

    T[f](x) r(x,u) + f(g(x,u))> r(x, u) + (1 )r(x, u) + [f(g(x, u)) + (1 )f(g(x, u))]

    >

    r(x, u) + f(g(x, u))

    +

    (1 )r(x, u) + (1 )f(g(x, u

    > r(x, u) + f(g(x, u)) T[f](x)

    + (1 ) r(x, u) + f(g(x, u))

    T[f](x)

    T[f](x) > T[f](x) + (1 )T[f](x)

    Conclusion 1Por tanto se cumple lo que queriamos probar en el paso 1:

    si f Ca(X) es creciente y concava, entonces T[f] es una funcioncreciente y estrictamente concava

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Concavidad de V(xt) V

    P 2 C (X ) ( t d l f i t i t t

  • 7/24/2019 14408911121

    82/90

    7 Paso 2:comoCc(X) (acotado para las funciones estrictamente conca-va) es un subespacio cerrado deCa(X),entoncesla funcion valor Vesta en Cc(X) (acotado para las funciones estrictamente concava):

    Ademas, como T[V] = V, y Tes estrictamente concava entonces

    V tambien es estrictamente concava.

    Conclusion 2

    Por tanto la funcion valor (V) es estrictamente concava.

    Clase 2: Programacion dinamica

    Programacion dinamica: detallesMetodo de calculo diferencial para solucionar el PF

    Diferenciabilidad de V(xt) I

  • 7/24/2019 14408911121

    83/90

    Hipotesis 11: r(x, u) y g(x, u)

    r(xt, ut) y g(xt, ut) son continuamente diferenciables en el interior delgrafo de (xt).

    Hipotesis 12: diferenciabilidad

    Sea (x, u) en el interior del grafo de , tal que una funciondiferenciable definida en una vecindad abierta V de x tal que:

    :V U

    y para todo xV :(x) (x) y g(x, (x)) =g(x, u)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Diferenciabilidad de V(xt) II

  • 7/24/2019 14408911121

    84/90

    Teorema 3 (Diferenciabilidad de la funcion valor(Benveniste-Scheinkman 1))

    Bajo las hipotesis 4, 5, 8, 9, 10, 11 y 12; si x0 Int(X) y h(x0) Int((x0)), en-tonces la funcion valor escontinuamente diferenciableen x0 y su derivadaesta dada por:

    V(x0)

    x0 =

    r(x0, h(x0))

    x0 +

    V(g(x0, h(x0)))

    x0 (58)

    Esto es generalizado para todo t.

    1 Este teorema es un paso previo para demostrar el teorema del envol-vente.

    2 Requiere que en la ecuacion de Bellman se introduzca la funcion depoltica h(x) (ademas de la ecuacion de movimiento de la variable deestado g(x, h(x))).

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Diferenciabilidad de V(xt) III

  • 7/24/2019 14408911121

    85/90

    3 Las hipotesis descritas aseguran que la funcion valor sea dos veces

    diferenciable (Stokey y Lucas, 1989. pag 84), la cual asegura que lafuncion de poltica h(x) sea diferenciable. Esta propiedad es recogidaen el teorema de BS (1 y 2).

    Teorema 4 (Teorema de la envolvente

    (Benveniste-Scheinkman 2))Bajo las hipotesis 4, 5, 8, 9, 10, 11 y 12; si x0 Int(X) y h(x0) Int((x0)), ycumpiendose el teorema BS 1, entonces para x, use cumple:

    V(x0)

    x0=

    r(x0, u0)

    u0(59)

    Esto es generalizado para todo t.

    1 Este teorema asegura una relacion entre la funcion de valor y la funcionde utilidad.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Pasos para utilizar el metodo de BS

  • 7/24/2019 14408911121

    86/90

    1 En la ecuacion de Bellman aplicar las CPO. Es decir, derivar el ladoderecho de dicha ecuacion con respecto a la variable de control.

    2 Aplicar el teorema del envolvente. Recordar que el teorema de la di-ferenciabilidad es solo para demostrar el teorema del envolvente.

    Nota:

    Este metodo (teorema de BS) brinda explicitamente las CPO sin necesidadde conocer la funcion valor; no obstante, no brinda la solucion al problema;es decir, no especifica lafuncion de poltica.

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Ejemplo: aplicacion del teorema de la envolvente I

    Un ejemplo tpico del consumidor:

  • 7/24/2019 14408911121

    87/90

    j p p

    Problema de optimizacion de un consumidor

    Max{ct,wt+1}t=0

    t=0

    tu(ct)

    sujeto a:

    wt+1 = (1 +r)(wt+ct)Donde: (0, 1), wtes la riqueza del individuo y w0 dado.

    Solucion:

    Ecuacion de Bellman

    V(wt) = Max{ct}t=0

    u(ct) +V(wt+1)

    Introduciendo la ecuacion de la variable de estado:

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Ejemplo: aplicacion del teorema de la envolvente II

  • 7/24/2019 14408911121

    88/90

    V(wt) = Max{ct}t=0u(ct) +V((1 +r)(wt+ct)) (60)

    Condiciones de primer orden

    Derivamos el lado derecho de la ecuacion de Bellman con respecto a la

    variable de control ct:

    u(ct)

    ct+

    V(wt+1)

    wt+1

    [(1 +r)(wt+ct)]

    ct= 0

    u(ct)

    ct+

    V(wt+1

    )

    wt+1(1)(1 +r) = 0

    u(ct)

    ct=(1 +r)

    V(wt+1)

    wt+1(61)

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Ejemplo: aplicacion del teorema de la envolvente III

    Teorema de la envolvente

  • 7/24/2019 14408911121

    89/90

    El teorema del envolvente indica:

    V(wt)

    wt=

    u(ct)

    ct(62)

    Un periodo hacia adelante:

    V(wt+1)

    wt+1=

    u(ct+1)

    ct+1(63)

    Encontrando la ecuacion de Euler

    Introduciendo la ecuacion [63](teorema de la envolvente) en la ecuacion[64](CPO), se tiene la ecuacion de Euler:

    u(ct)

    ct=(1 +r)

    V(wt+1)

    wt+1

    Clase 2: Programacion dinamica

    Programacion dinamica: detalles

    Metodo de calculo diferencial para solucionar el PF

    Ejemplo: aplicacion del teorema de la envolvente IV

  • 7/24/2019 14408911121

    90/90

    u(ct)

    ct =(1 +r)

    u(ct+1)

    ct+1 (64)