Redes Neuronales

Adaline y Madaline

Isadora Antoniano Villalobos

Saúl Murillo Alemán

Julio Alvarez Monroy

Arturo Garmendia Corona

Eduardo Martínez Moreno

Ulises Juárez Miranda

Introducción

Historia 1943 McCulloch y Pitts modelan red neuronal con

circuitos eléctricos 1949 Hebb escribe Organizational Behavior 1950’s IBM hace posible simular una red neuronal 1959 Widrow y Hoff desarrollan los modelos

ADALINE y MADALINE 1965 Dartmouth Summer Research Project on AI Decepción – 20 años desperdiciados 1982 Hopefield demuestra matemáticamente la viabilidad

de las redes neuronales

Adaline

ADAptive LINear Element

Proceso de Aprendizaje

1. Inicializar pesos (w1, ..., wn) y threshold (w0)

2. Presentar vector de entrada (x1,...,xn) y la salida deseada d(t)

3. Calcular la salida donde Fh(a) = 1 si a>0 y

= -1 si a<=0

n

iiih txtwFty

0

)(*)()(

Proceso de Aprendizaje

4. Adaptar los pesos

donde 0 < i < n y es la tasa de aprendizaje

5. Repetir los pasos 2 a 4 hasta que las salidas reales y las deseadas sean iguales para todos los vectores del conjunto de entrenamiento

)(*)(*)()(*)()1(0

txtxtwtdtwtw i

n

kkkii

Least Mean Square

El error cuadrático para un conjunto de entrenamiento particular es:

El error puede reducirse ajustando el peso wi en la dirección del gradiente negativo

2

1

)()()(

n

iii tXtWtdE

iW

E

Least Mean Square

El error local será reducido más rápidamente si se ajustan los pesos de acuerdo a la regla delta:

)()()()()1(1

1 tXtXtWtdtW i

n

kkk

)()()()(2

)()()()()(2)(

1

2

11

2

tXtXtWtdW

E

tXtWtXtWtdtdE

ik

n

kk

i

k

n

kki

n

ii

Madaline

Many ADALINEs (Multiple ADAptive LINear Element)

Proceso de Aprendizaje

1. Inicializar pesos (w1, ..., wn) y threshold (w0)

2. Presentar vector de entrada (x1,...,xn) y la salida deseada dk(t)

3. Calcular la salida donde Fh(a) = 1 si a>0 y

= -1 si a<=0

yk(t) es la salida del Adaline k

4. Determinar la salida del Madaline

M(t)=Fmayoría(yk(t))

n

iikihk txtwFty

0

)(*)()(

Proceso de Aprendizaje

5. Determinar el error y actualizar los pesosSi M(t) = salida deseada no se actualizan de otro modo, los elementos Adaline compiten y se

actualiza el ganador

donde 0 < i < n y es la tasa de aprendizaje. c representa al Adaline ganador

6. Repetir los pasos 2 a 5 hasta que las salidas reales y las deseadas sean iguales para todos los vectores del conjunto de entrenamiento

)(*)(*)()(*)()1(0

txtxtwtdtwtw i

n

llclcici

Aplicaciones

Cancelación de Ruido

Cancelación de Ruido (Cont.)

Cancelación de la interferencia de 60hz en un ECG

Cancelación de la interferencia de 60hz en un ECG

Cancelación del ECG Materno durante un ECG Fetal

Cancelación del ECG Materno durante un ECG Fetal

Cancelación del ECG Materno durante un ECG Fetal