Enero 2000 ESCOM I P N 1

Unidad IIUnidad II Redes Neuronales Monocapa Redes Neuronales Monocapa

con Conexiones en Cascadacon Conexiones en Cascada

El PerceptrónEl Perceptrón

Enero 2000 ESCOM I P N 2

El PerceptrónFrank Rosenblatt Frank Rosenblatt

invento el perceptrón invento el perceptrón en 1957 en el en 1957 en el Laboratorio de Laboratorio de Aeronautica de Aeronautica de Cornell en un intento Cornell en un intento de comprender la de comprender la memoria humana, el memoria humana, el aprendizaje, y el aprendizaje, y el proceso cognocitivo. proceso cognocitivo.

Enero 2000 ESCOM I P N 3

El Perceptrón

En junio de 1960, En junio de 1960, demostró la MARK demostró la MARK I Perceptrón, la I Perceptrón, la primera maquina primera maquina que podía que podía aprender a aprender a reconocer e reconocer e identificar identificar patrones ópticos.patrones ópticos.

Enero 2000 ESCOM I P N 4

Enero 2000 ESCOM I P N 5

Características del Perceptrón

Aprendizaje Aprendizaje Supervisado (offline)Supervisado (offline)

Aprendizaje por Aprendizaje por corrección de errorcorrección de error

Reconocimiento de Reconocimiento de patrones sencillospatrones sencillos

Clasificación de Clasificación de patrones linealmente patrones linealmente separables separables

Enero 2000 ESCOM I P N 6

Arquitectura Arquitectura del Perceptróndel Perceptrón

Dos CapasDos Capas 1a Capa 1a Capa

compuesta de compuesta de varias neuronasvarias neuronas

2a. Capa formada 2a. Capa formada por una sola por una sola neuronaneurona

Función de Función de transferencia en transferencia en escalón .escalón .

Enero 2000 ESCOM I P N 7

PerceptrónPerceptrón Basic building block Basic building block

Comprised of Synaptic Comprised of Synaptic

Weights and NeuronWeights and Neuron

Weights scale the Weights scale the

input valuesinput values

Combination of Combination of

weights and transfer weights and transfer

function F(x) transform function F(x) transform

inputs to needed inputs to needed

output Ooutput O

Trained by changing Trained by changing

weights until desired weights until desired

output is achievedoutput is achieved

F(x)

Bias

I1

I2

In

I3 XO

W1

W2

W3

Wn

Inputs SynapticWeights Neuron

Enero 2000 ESCOM I P N 8

Single-Neuron Single-Neuron PerceptronPerceptron

a hardlim wT

1 p b+ hardlim w1 1 p1 w1 2 p2 b+ + = =

w1 1 1= w1 2 1= b 1–=

Enero 2000 ESCOM I P N 9

Perceptrón MultiplePerceptrón Multiple

Enero 2000 ESCOM I P N 10

Enero 2000 ESCOM I P N 11

Soluciona Problemas Soluciona Problemas linealmente Separableslinealmente Separables

Enero 2000 ESCOM I P N 12

Incapaz de Resolver Problemas no

linealmente separables

Enero 2000 ESCOM I P N 13

Aprendizaje del Aprendizaje del PerceptronPerceptron

Regla de aprendizaje: Es un Regla de aprendizaje: Es un procedimiento para modificar los procedimiento para modificar los pesos y los niveles de umbral de pesos y los niveles de umbral de activación en una red neuronal.activación en una red neuronal.

La principal aportación de F. La principal aportación de F. Rosemblatt fue el desarrollo de una Rosemblatt fue el desarrollo de una regla de aprendizaje simple y regla de aprendizaje simple y automática aplicada al automática aplicada al reconocimiento de patrones.reconocimiento de patrones.

Enero 2000 ESCOM I P N 14

Aprendizaje del Aprendizaje del PerceptronPerceptron

La red aprendía de sus errores y se La red aprendía de sus errores y se inicializaba con valores aleatorios.inicializaba con valores aleatorios.

La regla de aprendizaje siempre La regla de aprendizaje siempre

convergirá a los pesos correctos de convergirá a los pesos correctos de la red si es que existen los pesos la red si es que existen los pesos que solucionen dicho problema.que solucionen dicho problema.

Enero 2000 ESCOM I P N 15

Regla de Aprendizaje Regla de Aprendizaje del Perceptróndel Perceptrón

El entrenamiento comienza El entrenamiento comienza asignandole valores iniciales asignandole valores iniciales pequeños (aleatorios) a los pequeños (aleatorios) a los parámetros de la red (W y b).parámetros de la red (W y b).

Enero 2000 ESCOM I P N 16

Donde:Donde:

W es el peso sináptico.W es el peso sináptico. P es el patrón de entrada, o P es el patrón de entrada, o

elementos de entrada.elementos de entrada. B es el umbral de activación de B es el umbral de activación de

la neuronala neurona e es el error entre el valor e es el error entre el valor

objetivo (t) y el valor de salida de objetivo (t) y el valor de salida de la neurona.la neurona.

Enero 2000 ESCOM I P N 17

La Red fue muy criticada por M. Minsky y

S. Paper en Perceptrons

Enero 2000 ESCOM I P N 18

Ejemplos de clasificación Ejemplos de clasificación de Patrones de de Patrones de

orden 1 (M. Minsky)orden 1 (M. Minsky)

Algunas Funciones Lógicas P/ Algunas Funciones Lógicas P/ ej.ej.•ANDAND•OROR

Patrones linealmente Patrones linealmente separablesseparables

Enero 2000 ESCOM I P N 19

Clasificación de Clasificación de Patrones por medio Patrones por medio

del Perceptróndel Perceptrón

Método GráficoMétodo Gráfico

Enero 2000 ESCOM I P N 20

Decision BoundaryDecision BoundarywT

1 p b+ 0= wT1 p b–=

• All points on the decision boundary have the same inner product with the weight vector.

• Therefore they have the same projection onto the weight vector, and they must lie on a line orthogonal to the weight vector

Enero 2000 ESCOM I P N 21

Example - ORExample - OR

p10

0= t1 0=

p20

1= t2 1=

p31

0= t3 1=

p41

1= t4 1=

Enero 2000 ESCOM I P N 22

OR SolutionOR Solution

w10.5

0.5=

wT1 p b+ 0.5 0.5

0

0.5b+ 0.25 b+ 0= = = b 0.25–=

Weight vector should be orthogonal to the decision

boundary.

Pick a point on the decision boundary to find the bias.

Enero 2000 ESCOM I P N 23

Clasificación de Clasificación de Patrones por medio Patrones por medio

del Perceptróndel Perceptrón

““La regla de La regla de aprendizaje aprendizaje

del perceptrón”del perceptrón”

Enero 2000 ESCOM I P N 24

Ejemplo 1. Ejemplo 1. Clasificación de 2 Clasificación de 2 tipos de patronestipos de patrones

a) Resuelva el a) Resuelva el problema de problema de clasificación con la clasificación con la regla de aprendizaje regla de aprendizaje del perceptrón.del perceptrón.

B) Escriba el código B) Escriba el código para simularlo en para simularlo en Neural Network Neural Network Tolbox.Tolbox.

Enero 2000 ESCOM I P N 25

Learning Rule Test Learning Rule Test ProblemProblemp1 t1{ , } p2 t2{ , } pQ tQ{ , }

p11

2= t1 1=

p21–

2= t2 0=

p30

1–= t3 0=

Enero 2000 ESCOM I P N 26

Starting PointStarting Point

w11.0

0.8–=

Present p1 to the network:

a hardlim wT1 p1 hardlim 1.0 0.8–1

2

= =a hardlim 0.6– 0= =

Random initial weight:

Incorrect Classification.

Enero 2000 ESCOM I P N 27

Tentative Learning Rule• Set

1w to p

1

– Not stable

• Add p1 to

1w

If t 1 and a 0, then w1new

w1old

p+== =

w1new w1

ol d p1+ 1.0

0.8–

1

2+ 2.0

1.2= = =

Tentative Rule:

Enero 2000 ESCOM I P N 28

Second Input Second Input VectorVector

If t 0 and a 1, then w1new

w1old

p–== =

a hardlim wT1 p2 hardlim 2.0 1.2

1–

2

= =

a ha rdlim 0.4 1= = (Incorrect Classification)

Modification to Rule:

w1new

w1ol d

p2–2.0

1.2

1–

2–

3.0

0.8–= = =

Enero 2000 ESCOM I P N 29

Third Input Third Input VectorVector

Patterns are now correctly classified.

a hardlim wT

1 p3 hardlim 3.0 0.8–0

1–

= =

a hardlim 0.8 1= =

(Incorrect Classification)

w1new w1

ol d p3– 3.00.8–

01–

– 3.00.2

= = =

If t a, then w1new w1

o ld.==

Enero 2000 ESCOM I P N 30

Unified Learning Unified Learning RuleRule

e t a–=

w1new

w1ol d

ep+ w1ol d

t a– p+= =

bnew

bol d

e+=

A bias is aweight with

an input of 1.

Enero 2000 ESCOM I P N 31

Multiple-Neuron Multiple-Neuron PerceptronsPerceptrons

winew wi

olde ip+=

binew

biol d

ei+=

Wnew Wol d epT+=

bnew

bol d

e+=

To update the ith row of the weight matrix: Matrix form:

Enero 2000 ESCOM I P N 32

Apple/Banana Apple/Banana ExampleExample

W 0.5 1– 0.5–= b 0.5=

Training Set

Initial Weights

p1

1–

11–

t1 1= =

p2

1

11–

t2 0= =

Enero 2000 ESCOM I P N 33

Perceptron Rule Perceptron Rule CapabilityCapability

The perceptron rule will always converge to weights which

accomplish the desired classification, assuming that

such weights exist.

Enero 2000 ESCOM I P N 34

Matlab Neural Matlab Neural Network ToolboxNetwork Toolbox

Simulación del Simulación del PerceptrónPerceptrón

Enero 2000 ESCOM I P N 35

Perceptrón Perceptrón ArchitectureArchitecture

ai har dlim ni hardlim wTi p bi+ = =

W

w1 1 w1 2 w1 R

w2 1 w2 2 w2 R

wS 1 wS 2 wS R

=

wi

wi 1

wi 2

wi R

= W

wT

1

wT

2

wT

S

=

Enero 2000 ESCOM I P N 36

Simulación de Perceptrones Simulación de Perceptrones en Neural Network Toolboxen Neural Network Toolbox

[W, b] = [W, b] = initp(P,T)initp(P,T)

[dW,db] = [dW,db] = learnp(p, e)learnp(p, e)

Esta función Esta función inicializa los pesos inicializa los pesos y el umbral en el y el umbral en el intervalo [+1,-1].intervalo [+1,-1].

Calcula los cambios Calcula los cambios en los pesos y el en los pesos y el umbral (P,T).umbral (P,T).

Enero 2000 ESCOM I P N 37

Simulación de Simulación de PerceptronesPerceptronesen Neural Network en Neural Network ToolboxToolbox

[W,b,ep,tr] = [W,b,ep,tr] = trainp(W,b,ep,trtrainp(W,b,ep,tr))

simup(P,W,b)simup(P,W,b)

Efectua lazos de Efectua lazos de entrenamiento entrenamiento (epoch).(epoch).

Simula una capa Simula una capa de perceptronde perceptron. .

Enero 2000 ESCOM I P N 38

Código de Código de Simulación Simulación

clear;echo on;clc;nntwarn off;clear;echo on;clc;nntwarn off; P= [ -1 -1 0 ; 1 -1 0 ]; T= [ 1 1 0 ]; [W,b]= initp(P,T) tp=[2 200] [W,b]= trainp(W,b,P,T,tp) pause %hit a letter plotpv(P,T) plotpc(W,b) a= simup(P,W,b) echo offecho off

Enero 2000 ESCOM I P N 39

Some Some Question ???Question ???

Enero 2000 ESCOM I P N 40

Sorry !!!, I See Sorry !!!, I See youyou

Enero 2000 ESCOM I P N 41

Enero 2000 ESCOM I P N 42

Enero 2000 ESCOM I P N 43

Enero 2000 ESCOM I P N 44

Enero 2000 ESCOM I P N 45

Enero 2000 ESCOM I P N 46

Enero 2000 ESCOM I P N 47

Enero 2000 ESCOM I P N 48

Enero 2000 ESCOM I P N 49

Enero 2000 ESCOM I P N 50

Enero 2000 ESCOM I P N 51

Enero 2000 ESCOM I P N 52

Enero 2000 ESCOM I P N 53

Enero 2000 ESCOM I P N 54

Enero 2000 ESCOM I P N 55

Enero 2000 ESCOM I P N 56

Enero 2000 ESCOM I P N 57