Redes Neuronales Artificiales Entrenamiento por Retropropagación

del Error-Backpropagation

Dr. Pedro Ponce CruzEGIA-MCI

Consultar Libro de TextoInteligencia Artificial con aplicaciones a la ingeniería

Redes multicapa

1

o

o

o

o

pi

p1

pn

F(·)

F(·)

F(·)

F(·)

F(·)

F(·)

1o

wj iu1

u j

u m

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

h1

h j

h m

s 1

s k

s r

o 1

o k

o r

v k j- +

- +

- +

d1

d k

d r

.

.

.

.

.

.

e1

e k

e r

entrada capa oculta capa de salida valoresdeseados

Las redes multicapa que se entrenan con el método de Backpropagationrequieren de encontrar el valor del error que se define como la diferencia delvalor deseado y el valor de salida. Es una topología de entrenamiento supervisado

Si definimos la red multicapa, empleando 6 neuronas

Cada neurona se compone de una función de activación

La función Sigmoidal es de las más empleadas dentro de las redes multicapa

• La función sigmoidal se define como

Dentro de cada neurona se tiene el valor de x que se presenta en la función Sigmoidal como la sumatoria de los pesos por las entradas

-5 -4 -3 -2 -1 0 1 2 3 4 50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1Funcion de activacion Sigmoidal

x

Sig

moi

dal(x

)

Función Sigmoidal y su derivada

Encontrando la derivada f’(x)

Las derivadas de las funciones empleadas en redes multicapas se puede resumir

2)(1)('

)(

Tanh

)(1)()('1

1)(

1)('

)(

Lineal

xfxf

ee

eexf

xfxfxfe

xf

Sigmoidal

xf

xxf

xx

xx

x

Graficas de la función sigmoidal y su derivada

-8 -6 -4 -2 0 2 4 6 80

0.2

0.4

0.6

0.8

1Función sigmoidal

-8 -6 -4 -2 0 2 4 6 80

0.1

0.2

0.3

0.4Derivada de la función sigmoidal

Evaluación de entradas en una red multicapa

Representación grafica del método Backpropagation

Representación grafica del método Backpropagation

Deducción de la regla de entrenamiento Backpropagation• Definiendo el gradiente del error con

respecto a los pesos.

i

kj

e

2

Deducción de la regla de entrenamiento Backpropagation

Donde

Backpropagation

si δ es la sensibilidad del error

Backpropagation

Para una función sigmoidal

Regla para la capa de salida , se tiene el valor deseado (d), en está capa

Capas intermedias

Capas intermedias

Regla general para todas las capas ocultas

Ejemplo de Backpropagation

Algoritmo backpropagation• Pasos 1- Definir la estructura de la Red

• Paso 2- Poner pesos de manera aleatoria en cada neurona

• Paso 3- Calcular la salida de la Red

• Paso 4- Calcular Coef. De Sensibilidad del error

• Paso 5-Calcular nuevos pesos

• Paso 6- Regresar al paso 3 si no se alcanzar la tolerancia o número de iteraciones , en otro caso detener algoritmo