Profesor: Dr. Héctor AllendeRedes Neuronales Artificiales1 La Memoria de BAM/Hopfield Uso de parte...

Profesor: Dr. Héctor Allende Redes Neuronales Artificiales 1

La Memoria de BAM/HopfieldUso de parte de la Información para recuperar el remanente

asociado

Capítulo 4


Memoria Asociativa• Definición: Sean P pares de vectores {(x1,y1),..,

(xP,yP)} con xpRN e yp RK, conjunto llamado

muestra. Entonces la función

M: RNRK con N,K y P N+ se llama una Memoria Hetereoasociativa ssi:– M(xp)=yp p=1,..,P

– M(x)=yp para todo x tal que ||x-xp||<|| x-xl|| l=1,..,P, lp


Memoria Asociativa

• Definición: Sean P pares de vectores {(x1,y1),..,(xP,yP)} con xpRN e yp RK, conjunto llamado muestra. Entonces la función

• M: RNRK se llama memoria asociativa interpolativa ssi:

P1,..,p ,)( entonces si ie,

,

)( que tal

P1,..,p y )( p

pp

KN

pp

p

yxMyxx

ed

eydxMed

xM


Memoria Asociativa

La memoria asociativa interpolativa se puede construir desde un conjunto ortonormal de vectores {xp} , p=1,.. P. Entonces la función M se define como

xxyxMP

p

Tpp

1

)(


Memoria Asociativa

• Definición:Sean un conjunto de P vectores {x1,..,xP} con xpRN , N, PN+ conjunto llamado muestra. Entonces la función M: RNRN se dice que implementa una memoria autoasociativa ssi:

plPlxxxxxxxM

xM

lpp

p

,..,1 |||||||| : )(

P1,..,p x )( p


La Arquitectura BAM

• BAM(Bidirectional Associative Memory): Implementa una memoria asociativa interpolativa y consiste en dos capas de neuronas totalmente conectadas.

• La entrada y salida se pueden cambiar intercambiar , i.e., las direcciones de las flechas se invierten.


Estructura de una red BAM


La Arquitectura BAM• Matriz de Pesos:

– {xp}p=1, P conjunto ortogonal.

• Salida de la red: y=W x

• Función de activación: f (x)=x

• Si {yp} es ortogonal, entonces la red es reversible: x = Wt y

• La red puede ser usada como memoria autoasociativa considerando xy,

entonces:

P

p

TppxyW

1

P

p

TppxxW

1


Dinámica de la BAM– En las ANN-BAM los pesos no son ajustados

durante el período de entrenamiento. Se calculan desde la partida a partir de un conjunto de vectores a ser almacenados: {xp,yp}p=1,..,P

– Se usan vectores bipolares (con valores -1 o 1) pertenecientes al espacio de Hamming.

– x = 2x* -1 ( con valores “0” o “1”)

– A partir de {xp } e {yp } ortonormales BAM

– El proceso de trabaja en tiempo discreto.


Distancia de Hamming


Procedimiento

• En t=0, x= 0 es aplicado a la red y se calcula y(0)=W x(0)

• La salida de las capas x e y son propagadas hacia adelante y atrás hasta que se alcanza un estado estable usando:

0̂))1(())(( :estableCondición

)(|))1((|))1(()1(

)(|))((|))(()1(

:matricial forma

0)1(:),( si 1

K1,..,j ,0)1(:),( si )(

0)1(:),( si 1

))1(:),(()1(

0)()(:, si 1

N1,..,i ,0)()(:, si )(

0)()(:, si 1

))()(:,()1(

txWsigntyWsign

tytxWsigntxWsignty

txtyWsigntyWsigntx

txjW

txjWty

txjW

txjWfty

tyiW

tyiWtx

tyiW

tyiWftx

TT

cTT

cTT

T

Tj

T

j

T

Ti

T

Ti


Procedimiento

– Cuando se trabaja en el proceso inverso y(0) es aplicado a la red, x(0)=WT y(0) es calculado a partir :

– El sistema resultante es un sistema dinámico : Solución estable

– El proceso converge a la solución en tiempo finito

0̂))1(())(( :estableCondición

)(|))1((|))1(()1(

)(|))((|))(()1(

tyWsigntxWsign

txtWysigntWysigntx

tytWxsigntWxsignty

TT

C

C


Función de Energia de la BAM• Función de Energía de la BAM:

E(x,y)=-yt W x

• Teorema:La función de energía tiene las siguientes propiedades:

ij

jiwEii,

min ||)

tt EEEiii 1)

))(),(())1(),1(() 1 tytxEtytxEi tt


Función de Lyapunov

Obervaciones • Se puede verificar que la función de Energia es una

función de Lyapunov y por lo tanto el sistema dinámico posee una solución estable.

• En esencia la matriz de pesos determina una superficie con valles ( depresiones atractivas ) y colinas similares al BPL

• BAM se parece a un sistema fisico disipativo, en el que la función E, corresponde a la energía del sistema fisico

• Inicialmente los cambios de E(x,y) son grandes y a medida que los vectores x e y , van alcanzando su estado estable el valor de E tiene cambios más pequeños


•Proposición: Si el patrón de entrada xl es igual al guardado {xp}

entonces se obtiene yl

DEM:

llpl

P

pp

P

pl

tpp

yysignysign

xxysigntWxsigny

)()(

)())((

1

1


• Observación:– El proceso de ejecución es convergente y la solución se

alcanza en tiempo finito.

– El numero máximo de vectores que pueden ser guardados son 2N-1.

– Los vectores de Hamming son simétricos con respecto a la notación 1. Por lo tanto el vector de Hamming lleva la misma información que su complemento xc.

• Como xC = -x e yp= W xp,

se tiene: ypC = - yp = W xp = W(-xp) = W xp

c

– La BAM guarda la dirección de los vectores de la muestra y no sus valores.


El Algoritmo de la BAM• Inicialización de la red: Calcular la matriz de pesos W.

• Red recursiva Forward:– Dado x(0), calcular y(0) =W x(0)

– Calcular:

Hasta estabilizar la red

• Red recursiva Backward:– Dado y(0), calcular x(0) = WT y(0)

– Calcular:

Hasta estabilizar la red.

)(|))1((|))1(()1(

)(|))((|))(()1(

tytxWsigntxWsignty

txtyWsigntyWsigntx

cTT

cTT

)(|))1((|))1(()1(

)(|))((|))(()1(

txtWysigntWysigntx

tytWxsigntWxsigntyC

C


La Estructura de Memoria Autoasociativa


Memoria de Hopfield Discreta

• Consiste en una memoria autoasociativa con una capa totalmente conectada la que adicionalmente recibe una señal de entrada externa x.

P

p

Tpp yyW

1


La Memoria de Hopfield


Memoria discreta de Hopfield

• Características:– Trabaja con vectores binarios {0,1}.– Matriz peso:

con la diagonal igual a 0.– Función de actualización:

donde {tj}j=1,K = t es el vector umbral– Notación matricial:

P

p

Tpp yyW

1

)1̂2)(1̂2(

K

jii

jjiji

K

jii

jjijij

K

jii

jjiji

j

txyw

txywty

txyw

ty

1

1

1

si 0

si )(

si 1

)1(

)(|)(|]|)(|1̂)([2

1)1(

))(()(

tytAtAtAty

txtWysigntA

cc


Función de Energía

• Función de energía de la memoria discreta de Hopfield:

• Teorema: Propiedades de la función de energía:

• El proceso de iteración converge en tiempo finito.

)(2

1txyWyyE TT

)]([)]1([) 1 tyEtyEi tt

KwEiiij

ji ||2

1)

,min

tt EEEiii 1)


Memoria Continua de Hopfield

• Función de activación:

• Inversa de la función de activación:

ganancia de parámetro

) 2

)tanh(1()(

a

af

]1

ln[2

1)()1(

y

yyf


Memoria de Hopfield Continua

• Ecuación diferencial que describe la evolución:

• En aproximación de tiempo discreto, el procedimiento de actualización:

atxWydt

da

atxywdt

da K

jii

jjjijij

1

:matricialNotación

1

1

)](1̂[)()(1̂

)(ln

1)()()1( tyty

ty

tytxtWytyty


Memoria de Hopfield Continua• Función de Energía de la memoria de Hopfield:

• Teorema: Propiedades de la función de energia:–

– El proceso iterativo es convergente. +, entonces se tiene el caso discreto– 0, existe solo 1 estado estable

K

j

y

j

K

jjj

K

jiji

ijij

j

dyyftyxywyE1 0

)1(

11,

')'(1

2

1

0) dt

dEi

K

ijij

ji KwEii1,

min ||2

1)

1̂2

1y

Profesor: Dr. Héctor AllendeRedes Neuronales Artificiales1 La Memoria de BAM/Hopfield Uso de parte...

Documents

Transcript of Profesor: Dr. Héctor AllendeRedes Neuronales Artificiales1 La Memoria de BAM/Hopfield Uso de parte...