Redes neuronales

William Caicedo Torres

Redes neuronales artificiales

• Simplificación del funcionamiento del sistema nervioso.

• Modelo computacional Turing - equivalente.• Conocido como el enfoque “conexionista” de la

inteligencia artificial.• Capacidad de “aprender” de la experiencia.• Muchas aplicaciones en la ingeniería:– Predicción.– Aproximación.– Reconocimiento de patrones.

Neurona biológica

Estructura de una neurona. Fuente: "Anatomy and Physiology" por el programa de vigilancia, epidemiología y medición del instituto nacional del cáncer, Estados Unidos de América

Neurona artificial

• Modelo McCulloch-Pitts (1943)

Neurona Artificial

• El conocimiento se almacena en los pesos asociados a las sinapsis de la neurona.

• La salida de la neurona depende de una función de activación o transferencia.

• La neurona producirá una salida si la suma ponderada de las entradas supera un umbral establecido.

Modelos neuronales

• Arreglos de neuronas interconectadas.• Se producen comportamientos emergentes.• Bajo los algoritmos adecuados son capaces de

aprender.

Representación de una red neuronal de 2 capas. Tomado de http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Print_Version

Modelos neuronales - Aprendizaje

• Supervisado.– Se usan ejemplos de comportamiento correcto.

• No supervisado.– No se usan ejemplos de comportamiento correcto.

La red “aprende” por si sola.• Refuerzo.– La red “memoriza” por la presentación repetida de

datos.

Modelos neuronales - Hitos

• Perceptron (Frank Rosenblatt - 1958)– Basado en la neurona McCulloch – Pitts– Aprendizaje supervisado. Regla del perceptron– Resuelve problemas de clasificación linealmente

separables.– Función de transferencia Hard Limit– Regla de entrenamiento:

Estructura de un Perceptron. Derivado de http://es.wikipedia.org/wiki/Perceptrón

Modelos neuronales - Hitos

Perceptron

Estructura de ADALINE. Derivado de http://es.wikipedia.org/wiki/Perceptrón

Modelos neuronales - Hitos

• ADALINE (Bernard Widrow, Marcian Hoff - 1960)– ADAptive LINear Element.– Entrenamiento supervisado. Delta Rule. Más robusto que

el Perceptron.– Resuelve problemas linealmente separables.– Función de transferencia lineal.– Regla de entrenamiento:

Modelos neuronales - Hitos

• ADALINE

Estructura de ADALINE. Derivado de http://es.wikipedia.org/wiki/Perceptrón

Modelos neuronales - Hitos

• Problemas linealmente separables (Minsky; Papert - 1969).

Problema linealmente separable. Tomado de http://www.ece.utep.edu/research/webfuzzy/docs/kk-thesis/kk-thesis-html/node19.html

Modelos neuronales - Hitos

• Multilayer Perceptron (Rumelhart, Hinton, Williams, Parker, Le Cun - 1985) .

• Aprendizaje supervisado. Algoritmo Backpropagation (Werbos - 1974).

• Funciones de transferencia logística, lineal, tangente hiperbólica, gaussiana, entre otras.

• Aplicacion exitosa en multitud de áreas.

Modelos neuronales - Hitos

• Multilayer Perceptron

Red Neuronal Feedforward Multicapa. Tomado de http://en.wikibooks.org/wiki/Artificial_Neural_Networks/Print_Version.

Modelos neuronales - Hitos

• Multilayer Perceptron – Aprendizaje:

Redes neuronales - separabilidad

Modelos neuronales - Hitos

• Redes competitivas: Básica, SOM, Malsburg, Adaptive Resonance Theory-ART(Kohonen, Von der Malsburg, Grossberg – 1970 ~).

• Aprendizaje no supervisado. Auto-organización.

• Competición entre neuronas.

Modelos neuronales - Hitos

• Redes competitivas

Red competitiva. Derivado de http://es.wikipedia.org/wiki/Perceptrón

Modelos neuronales - Hitos

• Adaptive Resonance Theory (ART)– Grossberg, Carpenter (1986)– Inspirada en la visión de los mamíferos• Featural filling-in• Contrast enhancement

– Resuelve el dilema estabilidad – plasticidad• Match

– ART1, ART2, FuzzyART, ARTMAP

Modelos neuronales - Hitos

• ART1

Actualidad del campo

• Metaheurísticas• Hibridización