Maestra en Ciencias de la

Computacin INTELIGENCIA ARTIFICIAL

Perceptrn Multicapa

Presenta: J. Jair Vzquez Palma

Perceptrn Simple Limitaciones Resuelve solo problemas linealmente separables Es decir clasificar entre 2 clases (0,1)

Perceptrn Multicapa El primer algoritmo de entrenamiento para las redes multicapa fue desarrollado por Paul Werbos en 1974. Al principio no fue Aceptada por la comunidad de los desarrolladores del Redes Neuronales. Fue asta los 80s el Backpropagation redescubierto por David Rumelhart (1986), Geoffrey Hinton - Rolal Williams, David Parker y Yann Le Cun.

Perceptrn Multicapa

La Perceptrn Multicapa surge de para resolver problemas que no son linealmente separables

Perceptrn Multicapa Pasos Aprendizaje (Propagacin hacia delante, hacia atrs): a) Definir la Topologa (numero de capas, funcin de

activacin o transferencia). b) Inicializar lo pesos aleatoriamente. c) Ingresar los patrones. d) Realizar la propagacin. e) Comparar salidas. f) Calcular el error. g) Propagar hacia tras h) Actualizar pesos.

Perceptrn Multicapa

Ingreso de los patrones

Perceptrn Multicapa

Calculando Funcin Net

Perceptrn Multicapa

Funcin de Transferencia. Se utiliza para acotar la salida de la neurona y generalmente viene dada por la interpretacin que queramos darle a dichas salidas. Las ms utilizadas son: Funcin sigmoidea: para obtener valores en el intervalo [0,1] casi nunca toca a 0 logsig salida positiva: f(n)=1/[1+e^(-n)] Funcin tangente hiperblica Para obtener valores en el intervalo [-1,1] pasando por el 0. f(n)=[e^n - e^-n] / [e^n + e^-n]

Perceptrn Multicapa

Aplicando Funcin de Transferencia. Salida positiva: f(n)=1/[1+e^(-n)]

Todo este proceso se realiza con cada una de las neuronas. Funcin Net Funcin de Activacin Los resultados de la primera capa sern la entrada de la siguiente capa.

Perceptrn Multicapa

El cambio de la topologa de la red (nmero de capas) depender de la satisfaccin del porcentaje de error, si el error no es satisfactorio se aumentara una capa capas a la Red Neuronal.

Podemos observar una tendencia. Se elige el numero que sea mas cerca a 1.

Perceptrn Multicapa

Se comparan la salida Real con las Salida Esperada, si los resultados no son los adecuados se entrena la Red Neuronal.

Los resultados son diferentes, entonces se necesita aplicar el entrenamiento.

Perceptrn Multicapa

Para conocer los valores esperados ahora tenemos:

Perceptrn Multicapa

Aprendizaje: Tipo de aprendizaje Supervisado. La propagacin se da desde la primera a la ultima capa hasta generar una salida Se calcula el error medio cuadrtico: compara la salida real(a) con la salida deseada(t) Las salidas de error se propagan hacia atrs, partiendo de la capa de salida hacia las neuronas que contribuyen directamente a la salida. BackPropagation.

Perceptrn Multicapa

En backpropagation, el mtodo general de entrenamiento se resume en los siguientes pasos: Pasos hacia delante: 1. Selecciona un vector de entrada desde el conjunto de entrenamiento. 2. Aplica esta entrada a la red y calcula la salida. Pasos hacia atrs: 3. Calcular el error entre la salida calculada y la salida deseada de la entrada usada. 4. Ajustar los pesos para que el error cometido entre la salida calculada y la salida deseada sea disminuido. 5. Se continua propagando el error hacia atrs y ajustando los pesos hasta que se alcance la capa de entradas. 6. Este proceso se repetir con los diferentes datos de entrenamiento.

Perceptrn Multicapa

Ajustando pesos: Regla Delta

La actualizacin de los pesos de la ultima capa se realiza mediante:

Nota: se ocupa cuando existe una sola salida.

Perceptrn Multicapa

Ajustando pesos: Regla Delta

La actualizacin de los pesos entre las capas ocultas sera calculando el (delta) propagando hacia atrs desde la capa de salida. Zpj = resultado de la neurona

Nota: se ocupa cuando existen mas de una salida.

Perceptrn Multicapa

Ejercicio

Asuma una funcin sigmoide para la funcin Z Asuma =1y todos los pesos inicialmente a 1.0. Patron 1: 0, 0 salida deseada o esperada 1 Patron 2: 0, 1 salida deseada o esperada 0 El primer patrn de entrada 0, 0 salida 1

Perceptrn Multicapa

Calculando el error:

Los nuevos pesos despus de la primer par de entrenamiento se realiza mediante: