Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

22
Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Transcript of Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Page 1: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Un ejemplo ilustrativo

Clasificador de frutas

(After Hagan, 1994)

Page 2: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

2

Objetivos Consideraremos un problema de

reconocimiento de patrones simple

Mostraremos como puede ser resuelto usando tres arquitecturas diferentes de redes neuronales.

No espere entender bien estas redes despues de leer este ejemplo

Este ejemplo es simplemente para tener una idea de lo que se puede hacer con las redes neuronales

Page 3: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

3

Clasificador de manzanas/Bananos

Page 4: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

4

Vectores de prototipos s

Page 5: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

5

Tres aproximaciones

Feedforward network El perceptron Rosenblatt, 1958

Competitive network La red de Hamming Lippman, 1987

Recurrent network La red de Hopfield Hopfield, 1982

Page 6: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Primera aproximacion

El preceptron

Page 7: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

7

Perceptron: una sola capa

El objetivo del perceptron es clasificar un conjunto de estimulos externos x1, x2, … , xp en una de dos clases C1, C2.

Red Feedforward

Page 8: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

8

Separabilidad lineal del perceptron Vemos que la salida del combinador lineal es (la entrada al

hard limiter):

Tenemos dos regiones de decision separadas por el hiper-plano definido por

1

p

i ii

z w x

1

0p

i ii

w x

Red Feedforward

Page 9: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

9

Caso de dos entradas

w1 1 1= w1 2 2=

Wp b+ 0=Frontera de decision

Red Feedforward

Page 10: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

10

El problema del reconocer una manzana o un banano

¿Cuanto valen los pesos?

Page 11: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

11

El problema del reconocer una manzana o un banano

La frontera de decision debe separar los vectores prototipo

p1 0=

El vector de pesos es ortogonal a la frontera de decision, y debe apuntar

en la direccion del vector que produce una salida de 1

1 0p

Page 12: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

12

Prueba de la red perceptron

Banana:

Apple:

“Rough” Banana:a har dlims 1– 0 0

1–1–

1–

0+

1 b anana = =

Red Feedforward

Page 13: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Segunda aproximacion

Red Hamming

Page 14: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

14

Red HammingRed competitiva

Page 15: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

15

Capa feedforwardRed competitiva

Page 16: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

16

Capa recurrenteRed competitiva

Page 17: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Tercera aproximacion

Red Hopfield

Page 18: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

18

Red Hopfield ss

Recurrent network

Page 19: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

19

Conclusiones Las tres aproximaciones de redes pueden

clasificar la entrada:

Feedforward: la salida se calcula directamente de la entrada, sin realimentacion

Competitivas: Se efectua una competicion para determinar cual neurona representa el patron mas cercano a la entrada

Recurrentes: La salida de la red es realimentada

Page 20: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

20

Conclusiones: Quedan algunas preguntas El preceptron:

¿Si las categorias a reconocer no son linealmente separables, ¿como resolver el problema?

Red de Haming: ¿Podemos aprender los pesos de la red de Hamming

cuando no conocemos los vectores prototipo?

Red de Hopfield ¿Cómo sabemos que la red de Hopfield converge?

Page 21: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

21

Conclusiones El ejemplo mostrado es trivial

El reconocimiento de patrones es un area de aplicación importante de las NNs

Sin embargo, en control las NNs son usadas sobretodo como aproximadores de funciones

Page 22: Un ejemplo ilustrativo Clasificador de frutas (After Hagan, 1994)

Octubre 2006 PIAI Unicauca

22

Fuente M.T. Hagan, H.B. Demuth, and M. Beale,

Neural Network Design, PWS Publishing Co., 1995