Ecuaciones diferenciales parciales

Optimización, programación dinámica y la ecuación de Hamilton- Jacobi- Bellman.

¿Qué es la optimización?

En muchas situaciones de la vida cotidiana se busca una forma adecuada (según nuestras necesidades, restricciones y objetivos), de abordar un problema de forma que se alcance el objetivo deseado, de la mejor manera posible. Un ejemplo de esto es buscar el mejor camino para desplazarse de un punto A a un punto B dentro de una ciudad. Aquí hay muchas formas de interpretar la frase “mejor camino”; para algunos, el mejor camino será en el que se recorra menos tiempo; para otras personas será el de consumo de menos gasolina, etc.

Un problema clásico es el problema de la princesa fenicia Dido y la leyenda de la fundación de Cartago :

En este problema se requiere maximizar el área que se pueda formar con una piel de toro.

La solución: una circunferencia.

La optimización es el acto de obtener el mejor resultado bajo condiciones dadas (fijas).

El acto de optimizar presenta frecuentemente un problema matemático de tal forma que se intenta maximizar o minimizar una cierta función de varias variables con algunas restricciones impuestas en las variables mismas; dicha función que representa el criterio de ejecución del sistema es llamada función objetivo.

El optimizador tiene bajo control algunas variables a las que llamaremos variables de decisión. Su problema es el de encontrar valores para las variables de decisión considerando las restricciones del problema en cuestión, y de esa forma poder maximizar o minimizar la función objetivo

La secuencia de decisiones que tome el optimizador la llamaremos política óptima.

Técnicas de Optimización.

Éstas son algunas técnicas de optimización:

Método directo de cálculo.Método del cálculo diferencial clásico.Programación lineal y no lineal.

El Cálculo de las variaciones.Teoría de Control Óptimo. Programación Dinámica.

El cálculo de las variaciones.

El Cálculo del as variaciones es un método analítico clásico de optimización en donde lo que se desea minimizar o maximizar es una funcional del tipo

Dos aplicaciones del Calc. De las Var. son: el problema de la Braquistocrona; el teorema de Bonnet- Myers (GeomRiemmaniana).

[ , ( ), '( )]J F x y x y x dx= ∫

Teoría de Control Óptimo.

Muchos fenómenos naturales con una evolución temporal son modelados con sistemas dinámicos. Las fuerzas que actúan sobre estos sistema pueden ser divididas en dos: aquellas que dependen del estado ydel sistema y aquellas que no.

El proceso de modificar aquellas fuerzas que pueden ser reguladas para obtener un objetivo deseado es conocido como proceso de control.

Problemas en los cuales se seleccionan controles para optimizar la ejecución del sistema dinámico son conocidos como problemas de control óptimo.

En este caso nuestro problema es el de encontrar un (control) tal que u U∈

[ , ( ), ( )]J F x y x u x dx= ∫Sea máximo o mínimo.

Lo que distingue a los problemas de control óptimo de los del cálculo de las variaciones es el hecho de que solo podemos regular el estado del sistema por medio de los controles y no directamente.

El cálculo de las variaciones estudia fenómenos donde la naturaleza ya ha hecho el control y la optimización, y nos deja a nosotros encontrar el estado óptimo.

En el control óptimo se busca manipular las variables de tal forma que se pueda llegar al estado óptimo.

Programación dinámica.

El origen del término programación dinámica tiene muy poco que ver con el de escribir un código. Richard Bellman fue el primero en dar esta definición en la década de 1950, cuando el uso de las computadoras era muy escaso. En aquella época el término programación significaba planeación, y la prog dinámica fue desarrollada para planear óptimamente procesos multi-etápicos.

Veamos un ejemplo

Una persona desea desplazarse del punto Aal punto B de la mejor manera posible.

!

¿?

El Principio de Optimalidad.

Una secuencia óptima de decisiones (política óptima) de un proceso de decisión multi-etápico, tiene la propiedad de que cualquiera que haya sido el estado y la decisión inicial, el resto de las decisiones deben constituir una secuencia de decisiones óptima para el resto del problema, es decir cualquier subsecuenciadebe ser también óptima.

Deducción de la Ecuación de HJB.

Veremos que la ecuación de HJ se sigue de manera simple del principio de optimalidad, en conjunto con el principio de Hamilton de que una partícula se mueve de forma que miniimiza el lagrangiano

Sea x, un vector que describe el estado del sistema (x es un punto en el espacio de configuración) y sea x’ la variable de decisión que se quiere escoger de manera óptima. Lo que se busca es transforma el estado al de forma que minimice al lagrangiano en T.

( , , ')L t x x dx∫

( , ( ))t x t ( , ( ))T x T

Consideremos la función

con el valor mínimo de la integral del punto a .

Luego si partimos el intervalo en yla ecuación anterior podrá ser vista como

( , ) min ( , , ')T

xt

S t x L t x x dt= ∫( , )S t x ( , ( ))t x t

( , ( ))T x T

[ , ]t T [ , ]t t + ∆ [ , ]T T−∆

[ ][ ]

'( )

'( )

( , ) min ( , , ') ( , ' )

( , ) min ( , , ') ( , ' )x T

x t

S t x L T x x S T x x

S t x L t x x S t x x

= ∆ + −∆ − ∆

= ∆ + −∆ − ∆

En el tiempo t

implica que si definimos a como el momentum P

.

En el tiempo general T,

( )0 min '( )x tS SL x tx t

∂ ∂⎡ ⎤= + +⎢ ⎥∂ ∂⎣ ⎦

'L S Px x∂ ∂

= − =∂ ∂

0 '( ) ,

'

S SL x Tx T

L S px x

∂ ∂= − −

∂ ∂∂ ∂

= =∂ ∂

'Lx

∂∂

Definiendo el hamiltoniano

como

la ecuación anterior se convierte en la EDP de Hamilton-Jacobi- Bellman

0 ( , , ( ))S SH T x Tx T∂ ∂

= +∂ ∂

( , , ( ))H T p X T '( )px T L−

La ecuación de HJB es muy importante en la teoría de control óptimo puesto que es una condición suficiente para que un control sea óptimo.

Si podemos resolver HJB entonces podemos encontrar un control u que alcanza el mínimo.

Este método también puede ser generalizado al caso estocástico de gran importancia para las aplicaciones de teoría de control.