Redes Neuronales Monocapa con Conexiones en Cascada PERCEPTRON

Enero 2000 ESCOM I P N 1

Unidad IIUnidad II Redes Neuronales Monocapa Redes Neuronales Monocapa

con Conexiones en Cascadacon Conexiones en Cascada

El PerceptrónEl Perceptrón


El PerceptrónFrank Rosenblatt Frank Rosenblatt

invento el perceptrón invento el perceptrón en 1957 en el en 1957 en el Laboratorio de Laboratorio de Aeronautica de Aeronautica de Cornell en un intento Cornell en un intento de comprender la de comprender la memoria humana, el memoria humana, el aprendizaje, y el aprendizaje, y el proceso cognocitivo. proceso cognocitivo.


El Perceptrón

En junio de 1960, En junio de 1960, demostró la MARK demostró la MARK I Perceptrón, la I Perceptrón, la primera maquina primera maquina que podía que podía aprender a aprender a reconocer e reconocer e identificar identificar patrones ópticos.patrones ópticos.


Características del Perceptrón

Aprendizaje Aprendizaje Supervisado (offline)Supervisado (offline)

Aprendizaje por Aprendizaje por corrección de errorcorrección de error

Reconocimiento de Reconocimiento de patrones sencillospatrones sencillos

Clasificación de Clasificación de patrones linealmente patrones linealmente separables separables


Arquitectura Arquitectura del Perceptróndel Perceptrón

Dos CapasDos Capas 1a Capa 1a Capa

compuesta de compuesta de varias neuronasvarias neuronas

2a. Capa formada 2a. Capa formada por una sola por una sola neuronaneurona

Función de Función de transferencia en transferencia en escalón .escalón .


PerceptrónPerceptrón Basic building block Basic building block

Comprised of Synaptic Comprised of Synaptic

Weights and NeuronWeights and Neuron

Weights scale the Weights scale the

input valuesinput values

Combination of Combination of

weights and transfer weights and transfer

function F(x) transform function F(x) transform

inputs to needed inputs to needed

output Ooutput O

Trained by changing Trained by changing

weights until desired weights until desired

output is achievedoutput is achieved

F(x)

Bias

I1

I2

In

I3 XO

W1

W2

W3

Wn

Inputs SynapticWeights Neuron


Single-Neuron Single-Neuron PerceptronPerceptron

a hardlim wT

1 p b+ hardlim w1 1 p1 w1 2 p2 b+ + = =

w1 1 1= w1 2 1= b 1–=


Perceptrón MultiplePerceptrón Multiple


Soluciona Problemas Soluciona Problemas linealmente Separableslinealmente Separables


Incapaz de Resolver Problemas no

linealmente separables


Aprendizaje del Aprendizaje del PerceptronPerceptron

Regla de aprendizaje: Es un Regla de aprendizaje: Es un procedimiento para modificar los procedimiento para modificar los pesos y los niveles de umbral de pesos y los niveles de umbral de activación en una red neuronal.activación en una red neuronal.

La principal aportación de F. La principal aportación de F. Rosemblatt fue el desarrollo de una Rosemblatt fue el desarrollo de una regla de aprendizaje simple y regla de aprendizaje simple y automática aplicada al automática aplicada al reconocimiento de patrones.reconocimiento de patrones.


Aprendizaje del Aprendizaje del PerceptronPerceptron

La red aprendía de sus errores y se La red aprendía de sus errores y se inicializaba con valores aleatorios.inicializaba con valores aleatorios.

La regla de aprendizaje siempre La regla de aprendizaje siempre

convergirá a los pesos correctos de convergirá a los pesos correctos de la red si es que existen los pesos la red si es que existen los pesos que solucionen dicho problema.que solucionen dicho problema.


Regla de Aprendizaje Regla de Aprendizaje del Perceptróndel Perceptrón

El entrenamiento comienza El entrenamiento comienza asignandole valores iniciales asignandole valores iniciales pequeños (aleatorios) a los pequeños (aleatorios) a los parámetros de la red (W y b).parámetros de la red (W y b).


Donde:Donde:

W es el peso sináptico.W es el peso sináptico. P es el patrón de entrada, o P es el patrón de entrada, o

elementos de entrada.elementos de entrada. B es el umbral de activación de B es el umbral de activación de

la neuronala neurona e es el error entre el valor e es el error entre el valor

objetivo (t) y el valor de salida de objetivo (t) y el valor de salida de la neurona.la neurona.


La Red fue muy criticada por M. Minsky y

S. Paper en Perceptrons


Ejemplos de clasificación Ejemplos de clasificación de Patrones de de Patrones de

orden 1 (M. Minsky)orden 1 (M. Minsky)

Algunas Funciones Lógicas P/ Algunas Funciones Lógicas P/ ej.ej.•ANDAND•OROR

Patrones linealmente Patrones linealmente separablesseparables


Clasificación de Clasificación de Patrones por medio Patrones por medio

del Perceptróndel Perceptrón

Método GráficoMétodo Gráfico


Decision BoundaryDecision BoundarywT

1 p b+ 0= wT1 p b–=

• All points on the decision boundary have the same inner product with the weight vector.

• Therefore they have the same projection onto the weight vector, and they must lie on a line orthogonal to the weight vector


Example - ORExample - OR

p10

0= t1 0=

p20

1= t2 1=

p31

0= t3 1=

p41

1= t4 1=


OR SolutionOR Solution

w10.5

0.5=

wT1 p b+ 0.5 0.5

0

0.5b+ 0.25 b+ 0= = = b 0.25–=

Weight vector should be orthogonal to the decision

boundary.

Pick a point on the decision boundary to find the bias.


Clasificación de Clasificación de Patrones por medio Patrones por medio

del Perceptróndel Perceptrón

““La regla de La regla de aprendizaje aprendizaje

del perceptrón”del perceptrón”


Ejemplo 1. Ejemplo 1. Clasificación de 2 Clasificación de 2 tipos de patronestipos de patrones

a) Resuelva el a) Resuelva el problema de problema de clasificación con la clasificación con la regla de aprendizaje regla de aprendizaje del perceptrón.del perceptrón.

B) Escriba el código B) Escriba el código para simularlo en para simularlo en Neural Network Neural Network Tolbox.Tolbox.


Learning Rule Test Learning Rule Test ProblemProblemp1 t1{ , } p2 t2{ , } pQ tQ{ , }

p11

2= t1 1=

p21–

2= t2 0=

p30

1–= t3 0=


Starting PointStarting Point

w11.0

0.8–=

Present p1 to the network:

a hardlim wT1 p1 hardlim 1.0 0.8–1

2

= =a hardlim 0.6– 0= =

Random initial weight:

Incorrect Classification.


Tentative Learning Rule• Set

1w to p

1

– Not stable

• Add p1 to

1w

If t 1 and a 0, then w1new

w1old

p+== =

w1new w1

ol d p1+ 1.0

0.8–

1

2+ 2.0

1.2= = =

Tentative Rule:


Second Input Second Input VectorVector

If t 0 and a 1, then w1new

w1old

p–== =

a hardlim wT1 p2 hardlim 2.0 1.2

1–

2

= =

a ha rdlim 0.4 1= = (Incorrect Classification)

Modification to Rule:

w1new

w1ol d

p2–2.0

1.2

1–

2–

3.0

0.8–= = =


Third Input Third Input VectorVector

Patterns are now correctly classified.

a hardlim wT

1 p3 hardlim 3.0 0.8–0

1–

= =

a hardlim 0.8 1= =

(Incorrect Classification)

w1new w1

ol d p3– 3.00.8–

01–

– 3.00.2

= = =

If t a, then w1new w1

o ld.==


Unified Learning Unified Learning RuleRule

e t a–=

w1new

w1ol d

ep+ w1ol d

t a– p+= =

bnew

bol d

e+=

A bias is aweight with

an input of 1.


Multiple-Neuron Multiple-Neuron PerceptronsPerceptrons

winew wi

olde ip+=

binew

biol d

ei+=

Wnew Wol d epT+=

bnew

bol d

e+=

To update the ith row of the weight matrix: Matrix form:


Apple/Banana Apple/Banana ExampleExample

W 0.5 1– 0.5–= b 0.5=

Training Set

Initial Weights

p1

1–

11–

t1 1= =

p2

1

11–

t2 0= =


Perceptron Rule Perceptron Rule CapabilityCapability

The perceptron rule will always converge to weights which

accomplish the desired classification, assuming that

such weights exist.


Matlab Neural Matlab Neural Network ToolboxNetwork Toolbox

Simulación del Simulación del PerceptrónPerceptrón


Perceptrón Perceptrón ArchitectureArchitecture

ai har dlim ni hardlim wTi p bi+ = =

W

w1 1 w1 2 w1 R

w2 1 w2 2 w2 R

wS 1 wS 2 wS R

=

wi

wi 1

wi 2

wi R

= W

wT

1

wT

2

wT

S

=


Simulación de Perceptrones Simulación de Perceptrones en Neural Network Toolboxen Neural Network Toolbox

[W, b] = [W, b] = initp(P,T)initp(P,T)

[dW,db] = [dW,db] = learnp(p, e)learnp(p, e)

Esta función Esta función inicializa los pesos inicializa los pesos y el umbral en el y el umbral en el intervalo [+1,-1].intervalo [+1,-1].

Calcula los cambios Calcula los cambios en los pesos y el en los pesos y el umbral (P,T).umbral (P,T).


Simulación de Simulación de PerceptronesPerceptronesen Neural Network en Neural Network ToolboxToolbox

[W,b,ep,tr] = [W,b,ep,tr] = trainp(W,b,ep,trtrainp(W,b,ep,tr))

simup(P,W,b)simup(P,W,b)

Efectua lazos de Efectua lazos de entrenamiento entrenamiento (epoch).(epoch).

Simula una capa Simula una capa de perceptronde perceptron. .


Código de Código de Simulación Simulación

clear;echo on;clc;nntwarn off;clear;echo on;clc;nntwarn off; P= [ -1 -1 0 ; 1 -1 0 ]; T= [ 1 1 0 ]; [W,b]= initp(P,T) tp=[2 200] [W,b]= trainp(W,b,P,T,tp) pause %hit a letter plotpv(P,T) plotpc(W,b) a= simup(P,W,b) echo offecho off


Some Some Question ???Question ???


Sorry !!!, I See Sorry !!!, I See youyou

Redes Neuronales Monocapa con Conexiones en Cascada PERCEPTRON

Education

Transcript of Redes Neuronales Monocapa con Conexiones en Cascada PERCEPTRON