FEBRERO 2003 ESCOM I P N 1

FEBRERO 2003 ESCOM I P N 2

AprendizajeEl aprendizaje es el proceso por medio

del cual, los parámetros libres de una red neuronal son adaptados a través de un proceso de estimulación por el ambiente en el cual la red se encuentra inmersa.

El tipo de aprendizaje es determinada por la manera en la cual el cambio de parámetros tiene lugar.

Mendel and Mc Claren (1970)

FEBRERO 2003 ESCOM I P N 3

Tipos de AprendizajeAprendizaje Supervisado

entrada, salida, objetivo

Aprendizaje Autosupervisadoentrada, salida

Aprendizaje por Reforzamiento.Recompensa/castigo

FEBRERO 2003 ESCOM I P N 4

AprendizajeSupervisado

Entrada, salida, objetivo

Se le proporciona salidas deseadas, su meta es aprender una correcta salida dada una nueva entrada

FEBRERO 2003 ESCOM I P N 5

Aprendizaje Supervisado

Se realiza mediante un entrenamiento controlado por un agente externo (supervisor, maestro), que determina la respuesta que debería generar la red apartir de una entrada determinada.

FEBRERO 2003 ESCOM I P N 6

Aprendizaje por Reforzamiento

Recompensa/castigoEste produce acciones las cuales

afectan el edo del mundo, y recibe recompensas (o castigo). Su meta es aprender a actuar de tal forma que maximise las reconpensas a largo plazo.

FEBRERO 2003 ESCOM I P N 7

Aprendizaje por Reforzamiento

El aprendizaje da una comparación entrada/salida se desempeña a través de la interacción continua del medio ambiente de tal forma que se minimice un índice escalar de su desempeño.

FEBRERO 2003 ESCOM I P N 8

Aprendizaje por Reforzamiento

Se basa en la idea de no disponer de un ejemplo completo del comportamiento deseado, es decir, la función del supervisor se reduce a indicar mediante una señal de refuerzo si la salida de la red se ajusta a la deseada (éxito=1, fracaso= -1) y en función de ello se ajustan los pesos basándose en un mecanismo de probabilidades.

FEBRERO 2003 ESCOM I P N 9

Aprendizaje Autosupervisado

Entrada y salida.

Su meta es construir representaciones de la entrada que puedan ser usadas para razonamiento, toma de decisiones, prediccion, comunicación, etc.

FEBRERO 2003 ESCOM I P N 10

Aprendizaje AutosupervisadoNo hay un maestro

o critico externo para supervisar el proceso de aprendizaje.

No existen ejemplos etiquetados de la función que será aprendida por la red

FEBRERO 2003 ESCOM I P N 11

Aprendizaje AutosupervisadoEsta constituido por un conjunto de

reglas que dan a la red la habilidad de aprender asociaciones entre los patrones que ocurren en conjunto frecuentemente.

Una vez aprendido como asociación permite a las redes realizar tareas útiles de reconocimiento de patrones y recordar.

FEBRERO 2003 ESCOM I P N 12

El aprendizaje No Supervisado no involucra valores objetivo. De hecho, los objetivos son los mismos que las entradas.

En otras palabras, el aprendizaje no supervisado usualmente realiza la misma tarea que una red autoasociativa, la compresión de la información de las entradas.

FEBRERO 2003 ESCOM I P N 13

Metas del aprendizaje Autosupervisado

Encontrar representaciones utiles de los datos.

Encontrar Clusters. p/ej. K-means, ART.

Reduccion de dimensionalidad. P/ej. Aprendizaje Hebbiano, PCA, Escalamiento multidimensional (MDS)

FEBRERO 2003 ESCOM I P N 14

Metas del aprendizaje Autosupervisado (2)

Construcción de mapas topograficos. P/ej. Mapas de Kohonen, Redes elasticas.

Encontrar causas ocultas o fuentes de datos

Modelado de densidad de datos

FEBRERO 2003 ESCOM I P N 15

Usos del Aprendizaje Autosupervisado

Compresion de DatosDeteccion de bordesClasificación Hacer otras tareas de aprendizaje

mas faciles.Una teoría del aprendizaje

humano y la percepción.

FEBRERO 2003 ESCOM I P N 16

Clustering

Cluster: Separar en subconjuntos dado un conjunto de datos Los patrones en el

mismo cluster son tan similares como sea posible.

Los patrones de diferente cluster son tan distintos como sea posible

FEBRERO 2003 ESCOM I P N 17

ClusteringDivide un conjunto de datos en

subconjuntos.P/ej. Las flores se pueden agrupar de

acuerdo a colores y numero de pétalos

FEBRERO 2003 ESCOM I P N 18

Cuantización de Vectores

Regiones de Voronoi Cada región se

representa usando un solo vector llamado “code book vector”.

Cada punto del espacio de entrada corresponde a una de estas regiones.

El espacio se divide en varias regiones conectadas llamadas regiones de Voronoi

FEBRERO 2003 ESCOM I P N 19

Cuantización de Vectores

Usado para compresión de información voluminosa de entrada en un pequeño numero de vectores de pesos

FEBRERO 2003 ESCOM I P N 20

Investigadores del Aprendizaje No Supervisado

D.O. Hebb

James Anderson

Teuvo Kohonen

Stephan Grossberg

FEBRERO 2003 ESCOM I P N 21

Tipos de aprendizaje Autoupervisado

Aprendizaje Asociativo

Aprendizaje Competitivo y Cooperativo

FEBRERO 2003 ESCOM I P N 22

Aprendizaje Asociativo

ESTIMULO

A B

•No CondicionadoNo Condicionado

•CondicionadoCondicionado

RESPUESTA

•Un concepto Un concepto

•Una acciónUna acción

FEBRERO 2003 ESCOM I P N 23

Aprendizaje Competitivo y Cooperativo

Un neurona o un grupo de ellas compiten entre si por ser la ganadora; activandose solamente la ganadora y las demás colaboran inhibiendose.

FEBRERO 2003 ESCOM I P N 24

Wake up!

FEBRERO 2003 ESCOM I P N 25

Dudas ???

FEBRERO 2003 ESCOM I P N 26

Hasta la próxima !!!

FEBRERO 2003 ESCOM I P N 27

Ejemplos de algoritmos que usan el Aprendizaje por Refuerzo

Algoritmo Lineal con Recompensa y penalización (Linear Reward - Penalty), Narendra /Thathacher.

Algoritmo Asociativo con recompensa y penalización (Barto / Anandan).

Adaptive Heuristic Critic (Barto, Sutton, Anderson).