Ajustando el Algoritmo al problema Universidad Nacional Oscar Lozano.

Ajustando el Algoritmo Ajustando el Algoritmo al problemaal problema

Universidad Nacional

Oscar Lozano

TemarioTemario• IntroducciónIntroducción

• Control de Parámetros en A. Evolutivos.Control de Parámetros en A. Evolutivos.

• Ilustrando el caso con un NLPIlustrando el caso con un NLP

• Taxonomía de las técnicas de control.Taxonomía de las técnicas de control.

• Posibilidades para los parámetros de control.Posibilidades para los parámetros de control.

– Representación.Representación.

– Función de EvaluaciónFunción de Evaluación

– Operadores de mutación y sus posibilidades.Operadores de mutación y sus posibilidades.

– Operadores de cruce y sus posibilidades.Operadores de cruce y sus posibilidades.

– Selección de padres.Selección de padres.

– Población.Población.

• Formas de combinar parámetros de control.Formas de combinar parámetros de control.

IntroducciónIntroducción

• En general, todos los algoritmos son En general, todos los algoritmos son controlados por algún conjunto de parámetros.controlados por algún conjunto de parámetros.Ej: Simulated Annealing Ej: Simulated Annealing Temperatura.Temperatura.

Cronograma de Cronograma de Reduc. de la T.Reduc. de la T.

Hill Climbing Hill Climbing Control del tamaño de la Pobla. Control del tamaño de la Pobla.Tabu Search Tabu Search Reglas para la memoria. Reglas para la memoria.

• Los algoritmos evolutivos tienen aún más Los algoritmos evolutivos tienen aún más parámetros que es necesario controlar.parámetros que es necesario controlar.

Introducción (2)Introducción (2)

Se deben considerar muchas otras cosas:Se deben considerar muchas otras cosas:

• La representación.La representación.

• La función de evaluación.La función de evaluación.

• Los operadores de evaluación.Los operadores de evaluación.

• Tamaño de la población.Tamaño de la población.

• El criterio de parada.El criterio de parada.

““Es necesario hacer un gran esfuerzo”Es necesario hacer un gran esfuerzo”

Introducción (3)Introducción (3)

• El método de ensayo y error para encontrar El método de ensayo y error para encontrar valores a los parámetros es una aventura valores a los parámetros es una aventura tediosa y costosa en tiempo. tediosa y costosa en tiempo.

• Lo ideal es que exista teoría que guie el Lo ideal es que exista teoría que guie el proceso, pero desafortunadamente la que proceso, pero desafortunadamente la que existe solo funciona para algunos casos existe solo funciona para algunos casos específicos. específicos.

• Buscar formas automatizadas para Buscar formas automatizadas para optimizar los parámetros. optimizar los parámetros. Ej: Evolución de la evolución.Ej: Evolución de la evolución.

Parámetros de control en Parámetros de control en AE(Algoritmos Evolutivos)AE(Algoritmos Evolutivos)El reto:El reto:

Una vez tendido el puente entre el problema Una vez tendido el puente entre el problema y el algoritmo (Función de Evaluación). y el algoritmo (Función de Evaluación).

¿Qué puede seguir?¿Qué puede seguir?

Los operadores de variación a usar (Generar Los operadores de variación a usar (Generar los hijos (offspring)).los hijos (offspring)).

¿Mutación, y/ó, Combinación?¿Mutación, y/ó, Combinación?

Si usamos combinación (CrossOver(One-Si usamos combinación (CrossOver(One-Point, Two-Point, n-point, Uniform,Arithmetic) Point, Two-Point, n-point, Uniform,Arithmetic) ó Majority Logic).ó Majority Logic).

Parámetros de control en Parámetros de control en AE(2)AE(2)

¿Cuál escoger?¿Cuál escoger?

Escoger Majority Logic(Comparar mínimo 3).Escoger Majority Logic(Comparar mínimo 3).

¿Cuántos Padres tomar para decidir? ¿Cuántos Padres tomar para decidir?

Escogemos 20 de la población para decidir. Escogemos 20 de la población para decidir.

¿Voto mayoritario o Probabilidad?¿Voto mayoritario o Probabilidad?

Ej: (1,0,...,0,1) (1,1,...,0,1) (0,0,...,0,1) Ej: (1,0,...,0,1) (1,1,...,0,1) (0,0,...,0,1) ...... (1,0,...,1,1) (1,0,...,1,0) 20 en total. ...... (1,0,...,1,1) (1,0,...,1,0) 20 en total.

Parámetros de control en Parámetros de control en AE (3)AE (3)• Cualquier decisión que se tome es muy Cualquier decisión que se tome es muy

importante.importante.Malas deciciones Malas deciciones Resultados Pobres. Resultados Pobres.

• Sea cual fuere el método hay que ajustar Sea cual fuere el método hay que ajustar los parámetros al problema particular.los parámetros al problema particular.

¿Lo que funcionó bien para otros, ¿Lo que funcionó bien para otros, funcionará bien para mi problema?funcionará bien para mi problema?Ej: De Jong – Grefenstette – DavisEj: De Jong – Grefenstette – Davis5 Problemas NLP(s).5 Problemas NLP(s).

“El espacio de configuración de parámetros “El espacio de configuración de parámetros “óptimos” es necesariamente reducido”“óptimos” es necesariamente reducido”

Parámetros de control en Parámetros de control en AEAEManualmente -Manualmente -ExperimentaciónExperimentación• Una alternativa de ajustar parámetros Una alternativa de ajustar parámetros

manualmente, ó, haciendo muchas manualmente, ó, haciendo muchas pruebas: pruebas: Confiar en el análisis matemático.Confiar en el análisis matemático.

• Ajustar los parámetros manualmente esta Ajustar los parámetros manualmente esta lleno de problemas.lleno de problemas.Solo un parámetro a la vez (Interacción Solo un parámetro a la vez (Interacción compleja). compleja).

• Ajustarlos simultaneamente implica realizar Ajustarlos simultaneamente implica realizar una gran cantidad de experimentación.una gran cantidad de experimentación.

Desventajas de la experimentación:Desventajas de la experimentación:

Los parámetros no son independientes, Los parámetros no son independientes, pero tratar de hacer todas las posibles pero tratar de hacer todas las posibles combinaciones es imposible.combinaciones es imposible.

El proceso de ajuste de los parámetros El proceso de ajuste de los parámetros requiere de muchos tiempo, aún si son requiere de muchos tiempo, aún si son optimizados uno a la vez.optimizados uno a la vez.

Los resultados a menudo son malos, aún Los resultados a menudo son malos, aún cuando se ha hecho una gran gasto de cuando se ha hecho una gran gasto de tiempo.tiempo.

““Se logra, ó, se «muere» en el intento.”Se logra, ó, se «muere» en el intento.”

Parámetros de control en Parámetros de control en AEAEManualmente -Manualmente -ExperimentaciónExperimentación

Parámetros de control en Parámetros de control en AEAE

Analogía - teoríaAnalogía - teoría

• Confiar en la aparente similitud(analogía) Confiar en la aparente similitud(analogía) de el problema con otro(s). de el problema con otro(s). No es muy claro como medir la similitud No es muy claro como medir la similitud entre problemas. entre problemas.

• Se puede confiar en una teoría que ayuda Se puede confiar en una teoría que ayuda en la escogencia de parámetros, pero en en la escogencia de parámetros, pero en la actualidad esas teorías son muy la actualidad esas teorías son muy escasas y con un rango muy pequeño de escasas y con un rango muy pequeño de problemas.problemas.


Cambio en el tiempoCambio en el tiempo• Los algoritmos AE son dinámicos e Los algoritmos AE son dinámicos e

involucran procesos adaptativos. involucran procesos adaptativos. Ej: En un principio se necesitan Ej: En un principio se necesitan mutaciones muy grandes(recorrer el mutaciones muy grandes(recorrer el espacio de búsqueda), pero pequeñas espacio de búsqueda), pero pequeñas mutaciones al final para refinar o ajustar mutaciones al final para refinar o ajustar la búsqueda.la búsqueda.

Solución:Solución:

Cambiar P por una función p(t), donde Cambiar P por una función p(t), donde t es un contador de generaciones.t es un contador de generaciones.


Usándose a sí mismoUsándose a sí mismo• Una última opción es hacer uso de un AE Una última opción es hacer uso de un AE

para ajustar el algoritmo de un problema para ajustar el algoritmo de un problema en particular. en particular.

Usar alguna regla heurística.Usar alguna regla heurística.Retroalimentación. Retroalimentación.

Incorporar parámetros a la estructura Incorporar parámetros a la estructura que representa la solución que representa la solución

(Evolucionar los parámetros).(Evolucionar los parámetros).

Ilustrando el caso con un Ilustrando el caso con un NLPNLPEjemplo:Ejemplo:

Optimizar f(x) = f(xOptimizar f(x) = f(x11,……..,X,……..,Xnn).).

Sujeto a: Sujeto a: ggii(x) <= 0 (i=1,2,….,q) y(x) <= 0 (i=1,2,….,q) y

hhjj(x) = 0(j=q+1,….,m).(x) = 0(j=q+1,….,m).

Dominio de las variables:lDominio de las variables:lii<=x<=xii<=u<=uii para para 1<=i<=n.1<=i<=n.

Cada individuo se representa como un vector Cada individuo se representa como un vector de valores de punto flotante:de valores de punto flotante:x=(xx=(x11,……..,X,……..,Xnn). ).

Ilustrando el caso con un Ilustrando el caso con un NLPNLP

MutaciónMutaciónSe usa una mutación aleatoria Gausiana Se usa una mutación aleatoria Gausiana

N(0,N(0,))(0 = Media (0 = Media = desviación estandar) = desviación estandar)

Mutación (Para cada componente):Mutación (Para cada componente):

x’x’ii = x = xii + N(0,1) + N(0,1)

Variar Variar , puede ser beneficioso:, puede ser beneficioso:

Primero: Remplazar el parámetro Primero: Remplazar el parámetro por una por una función función (t). (t). Ej: Ej: (t) = 1-0.9(t\T).(t) = 1-0.9(t\T).


MutaciónMutación

Segundo: Incorporando retroalimentación:Segundo: Incorporando retroalimentación:if (t mod n =0) thenif (t mod n =0) then

(t-n)/c, (t-n)/c, si psi ps s > 1/5> 1/5(t) (t) (t-n)*c, (t-n)*c, si psi ps s < 1/5< 1/5

(t-n), (t-n), si psi ps s = 1/5= 1/5elseelse

(t) (t) (t-1) (t-1) n = un número de generaciones.n = un número de generaciones.ppss = frecuencia relativa de mutación = frecuencia relativa de mutación

exitosa.exitosa.

Tercero: Asignar una mutación específica Tercero: Asignar una mutación específica para cada vector. para cada vector.

x=(xx=(x11,…..x,…..xnn, , ).).

rige como los valores de xrige como los valores de xii pueden mutar pueden mutar y esta sujeta a si misma a variación.y esta sujeta a si misma a variación.

’ = ’ = * e * eN(0, N(0, 00

),),

00 = 1/(n)= 1/(n)1/21/2

x’i= xi + N(0, x’i= xi + N(0, ’) ’)


MutaciónMutación

Ahora podemos aplicar variaciones a cada Ahora podemos aplicar variaciones a cada uno de los componentes del individio(no uno de los componentes del individio(no al individuo como tal).al individuo como tal).

x=(xx=(x11,…..x,…..xnn,,11,…, ,…, nn).).

Usando la misma variación que la anterior.Usando la misma variación que la anterior.


MutaciónMutación

Taxonomía de las Taxonomía de las Técnicas de Control.Técnicas de Control.

• Aspectos a considerar:Aspectos a considerar:1. Qué es exactamente lo que está siendo

modificado(representación, función de evaluación, operadores, proceso de selección, rata de mutación)?

2. Comó es que estos cambios se están haciendo(heurística determinística, heurística basada en retroalimentación, ó, autoadaptativos)?

3.3. Cuál es el alcance o nivel del Cuál es el alcance o nivel del cambio(Poblacional, Individual)?cambio(Poblacional, Individual)?

4.4. Qué estadística o Qué estadística o evidencia evidencia se usa para se usa para afectar los cambios(monitoreo del rendimiento afectar los cambios(monitoreo del rendimiento de los operadores, la diversidad de población)?de los operadores, la diversidad de población)?

Taxonomia de las Taxonomia de las Técnicas de Control. Técnicas de Control. (Que (Que es lo que cambia)es lo que cambia)• Un lista de todos los componentes del AE.Un lista de todos los componentes del AE.

– Representación de individuos.Representación de individuos.

– La función de evaluación.La función de evaluación.

– Los operadores de evaluación y sus Los operadores de evaluación y sus probabilidades asociadas.probabilidades asociadas.

– El operador de selección (o remplazo) y El operador de selección (o remplazo) y las reglas asociadas.las reglas asociadas.

– La población en términos del tamaño, La población en términos del tamaño, topología, etc.topología, etc.

Taxonomia de las Taxonomia de las Técnicas de Control. Técnicas de Control. (Que (Que es lo que cambia)es lo que cambia)• Cada componente puede ser Cada componente puede ser

parametrizado.parametrizado.Ej: Combinación aritmética.Ej: Combinación aritmética.V = (V = (11xx11,…..,,…..,nnxxnn).).

Tamaño y número de subpoblaciones.Tamaño y número de subpoblaciones.Ratas de migración entre subpoblaciones.Ratas de migración entre subpoblaciones.

Etc..Etc..

Taxonomía de las Taxonomía de las Técnicas de Control. Técnicas de Control. (Que (Que es lo que cambia)es lo que cambia)

• ““Manteniendo la atención en lo que Manteniendo la atención en lo que cambia, podemos localizar donde un cambia, podemos localizar donde un específico mecanismo tuvo efecto específico mecanismo tuvo efecto directo”directo”

Taxonomía de las Taxonomía de las Técnicas de Control. Técnicas de Control. (Qué (Qué es lo que cambia)es lo que cambia)Clasificación de métodos para el cambio de Clasificación de métodos para el cambio de

valoresvalores

• Determinístico: El valor de los parámetros varía Determinístico: El valor de los parámetros varía con una regla determinística.con una regla determinística.

• Adaptativos: Cuando se utiliza alguna forma de Adaptativos: Cuando se utiliza alguna forma de retroalimentación de la búsqueda, para retroalimentación de la búsqueda, para determinar la dirección y/o la magnitud del determinar la dirección y/o la magnitud del cambio. cambio.

• Autoadaptativos: La idea de la evolución de la Autoadaptativos: La idea de la evolución de la evolución. Los parámetros son codificados y evolución. Los parámetros son codificados y colocados en la estructura de datos, y los mejores colocados en la estructura de datos, y los mejores son usados en el algoritmo.son usados en el algoritmo.

Taxonomía GlobalTaxonomía GlobalConfiguración de parámetros

Ajuste de Parámetros

Parámetros de Control

Adaptativos Auto-adaptativosDeterminístico

offline online

• Cualquier cambio puede afectar un Cualquier cambio puede afectar un componente, un individuo, a toda la componente, un individuo, a toda la población ,ó, a la función de evaluación. población ,ó, a la función de evaluación.

Ej: Un cambio en la desviación estandar Ej: Un cambio en la desviación estandar puede afectar todo.puede afectar todo.

Taxonomía de las Taxonomía de las Técnicas de Control. Técnicas de Control. (Espacio o nivel de (Espacio o nivel de adaptación)adaptación)

Posibilidades para los Posibilidades para los parámetros de control - parámetros de control - RepresentaciónRepresentación

• Los mayores esfuerzsos se han Los mayores esfuerzsos se han concentrado en estructuras binarias.concentrado en estructuras binarias.Ej: Hamming Clift. Ej: 7 y 8 en binarios es Ej: Hamming Clift. Ej: 7 y 8 en binarios es 0111 y 1000).0111 y 1000).

• Hay manera de hacer la representación de Hay manera de hacer la representación de forma adaptativa.forma adaptativa.Ej: Usando parámetros de control Ej: Usando parámetros de control adaptativos.adaptativos.

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Función Función de Evaluaciónde Evaluación

• Incorporar funciones de castigo dentro de la Incorporar funciones de castigo dentro de la evaluación de una solución, permite adaptar evaluación de una solución, permite adaptar la función durante la búsqueda evolutiva. la función durante la búsqueda evolutiva.

• Variar los castigos de acuerdo a un programa Variar los castigos de acuerdo a un programa predefinido determinístico.predefinido determinístico.Ej: Ej:

eval(X,eval(X,)=f(X) + 1/(2 )=f(X) + 1/(2 )*)*ff22jj(x)(x)

se disminuye cada vez que el algoritmo se disminuye cada vez que el algoritmo converge.converge.

• Resolver problemas de satisfacer Resolver problemas de satisfacer restricciones, que cambian la función de restricciones, que cambian la función de evaluación del rendimiento en una evaluación del rendimiento en una ejecución.ejecución.Ej: Aumentar los pesos a las restricciones Ej: Aumentar los pesos a las restricciones que viola el mejor individio.que viola el mejor individio.

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Función Función de Evaluaciónde Evaluación

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – MutaciónMutación

• Una opción es determinar la rata de mutación.Una opción es determinar la rata de mutación.Ej: Con base en datos experimentales, Ej: Con base en datos experimentales, determinarla (Funciona solo para ejemplos determinarla (Funciona solo para ejemplos específicos).específicos).

• Han determinado que la rata de mutación para Han determinado que la rata de mutación para funciones binarias de problemas de optimización funciones binarias de problemas de optimización que son linealmente separable por: 1/L (L número que son linealmente separable por: 1/L (L número de var. Binarias.)de var. Binarias.)

• Cambio de los parámetros de mutación para Cambio de los parámetros de mutación para el problema de counting-ones problem.el problema de counting-ones problem.

Pm(t) = (Pm(t) = (//))1/21/2 * ((exp(- * ((exp(-t/2)/(t/2)/(*L*L1/21/2))),))),

Donde Donde ,, y y son constantes, son constantes, es tamaño de es tamaño de la población y t el tiempo(contador de la población y t el tiempo(contador de generaciones).generaciones).


• Bäck and Schútz restringieron una función Bäck and Schútz restringieron una función para el control de la probabilidad de la para el control de la probabilidad de la mutación inciando desde Pmutación inciando desde Pmm(0)= 0.5 y (0)= 0.5 y usando Pusando Pmm(T)= 1/L como un máximo valor (T)= 1/L como un máximo valor de T evaluaciones:de T evaluaciones:

PPmm= (2+((L-2/T)*t)= (2+((L-2/T)*t)-1-1, , si 0<= t <= T.si 0<= t <= T.

• Uso de mutaciones no uniformes.Uso de mutaciones no uniformes.Ej: Buscar uniformemente al principio y Ej: Buscar uniformemente al principio y muy localmente al final.muy localmente al final.

• Auto adaptaciónAuto adaptación


• Determinar ratas combinación con base en trabajos Determinar ratas combinación con base en trabajos previos realizados.previos realizados.Ej: Entre 0.6 y 0.95 (Para representaciones Ej: Entre 0.6 y 0.95 (Para representaciones binarias). binarias).

• Premiando a los que más éxito tengan en la Premiando a los que más éxito tengan en la optención de hijos.optención de hijos.

• Autoadaptativas, agregando un bit extra a cada Autoadaptativas, agregando un bit extra a cada individuo, que indica que tipo de combinación usar individuo, que indica que tipo de combinación usar para cada uno(Dos diferentes opciones).para cada uno(Dos diferentes opciones).

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Operadores de Combina.Operadores de Combina.

• Determinar el número y localización de puntos de Determinar el número y localización de puntos de combinación. Introduciendo marcas en la combinación. Introduciendo marcas en la representación indicando donde debe ocurrir la representación indicando donde debe ocurrir la combinación.combinación.

• Aplicar combinación a diferentes padres(más de dos). Aplicar combinación a diferentes padres(más de dos). - Se divide la población en subpoblaciones - Se divide la población en subpoblaciones - Cada una con diferentes tipos de combinación.- Cada una con diferentes tipos de combinación.- Migración. - Migración.

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Operadores de Combina.Operadores de Combina.

• El criterio de Metrópolis para definir la presión El criterio de Metrópolis para definir la presión de selección ( Cronograma de “Enfriamiento”). de selección ( Cronograma de “Enfriamiento”).

p[aceptada j] = exp(Ep[aceptada j] = exp(Eii – E – Ejj/k/kbb * T) * T)

EEi i y Ey Ej j == niveles de energía. niveles de energía. KKb b = Kte. de Boltzmann.= Kte. de Boltzmann.T = temperatura.T = temperatura.

• Ranking Lineal (proprocional a cada individuo)Ranking Lineal (proprocional a cada individuo)

p(i)= [((2- b + 2i(b-1)/ t. población))/ t. p(i)= [((2- b + 2i(b-1)/ t. población))/ t. población]población]

b = Número de hijos esperados.b = Número de hijos esperados.

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Selección de padres.Selección de padres.

• Definida desde un principio.Definida desde un principio.

• Usando experimentación.Usando experimentación.

• Variando en función de la Variando en función de la calidad(modificar el tamaño).calidad(modificar el tamaño).

• «Etiquetando» a los individuos «Etiquetando» a los individuos («esperanza» de vida basado en la («esperanza» de vida basado en la calidad.)calidad.)

Posibilidades para los Posibilidades para los parámetros de control – parámetros de control – Población.Población.

• La gran mayoría se basan en controlar un La gran mayoría se basan en controlar un solo aspecto a la vez.solo aspecto a la vez.- Se realizó experimentalmente.- Se realizó experimentalmente.- Es más fácil obtener resultados.- Es más fácil obtener resultados.

• Es muy difícil.Es muy difícil.- No se entiende aún como puede afectar.- No se entiende aún como puede afectar.

• La mayoría de estudios empíricos tratan La mayoría de estudios empíricos tratan de entender la interación entre varios de entender la interación entre varios parámetros.parámetros.- Modelos estocásticos (Cadenas de - Modelos estocásticos (Cadenas de Markov) Markov)

Formas de combinar Formas de combinar parámetros de controlparámetros de control..

• El más común es el relacionado con mutación.El más común es el relacionado con mutación.- Nivel global.- Nivel global.- Para cada solución- Para cada solución- Un componente dentro de una soluc.- Un componente dentro de una soluc.

• Combinar la adaptación a diferentes Combinar la adaptación a diferentes parámetros de mutación.parámetros de mutación.- Gaussiana, Cauchy con la desviación - Gaussiana, Cauchy con la desviación estandar.estandar.

• La combinación de adaptar múltiples La combinación de adaptar múltiples parámetros de control que gobiernen parámetros de control que gobiernen diferentes componentes en AE. diferentes componentes en AE.

Formas de combinar Formas de combinar parámetros de control(2)parámetros de control(2)..

Mientras la adaptación de parámetros estáticos Mientras la adaptación de parámetros estáticos para varios componentes de un AE es para varios componentes de un AE es compleja, lo es mucho mas la adaptación compleja, lo es mucho mas la adaptación dinámica de los mismos. La autoadaptación dinámica de los mismos. La autoadaptación parece ser la forma más prometedora de parece ser la forma más prometedora de hacerlo.hacerlo.

Formas de combinar Formas de combinar parámetros de control(3)parámetros de control(3)..

Los algoritmos evolutivos son una Los algoritmos evolutivos son una herramienta nueva para la búsqueda de herramienta nueva para la búsqueda de soluciones, donde mucho está por hacer.soluciones, donde mucho está por hacer.

CONCLUSIÓNCONCLUSIÓN

Ajustando el Algoritmo al problema Universidad Nacional Oscar Lozano.

Documents

Transcript of Ajustando el Algoritmo al problema Universidad Nacional Oscar Lozano.