Unidad VII Redes Neuronales
Maestría en Sistemas ComputacionalesClave: MPSCO-0108 6 Créditos
Sesiones Sábados 10-13
Rafael Vázquez Pérez
sábado 29 de noviembre de 14
7.1 Introducción a las Redes Neurales (ANN)7.2 Tipos de ANN7.3 Aplicaciones7.4 Implementación
Agenda
sábado 29 de noviembre de 14
Introducción• Durante varias décadas los científicos han perseguido la construcción de
algoritmos capaces de procesar información al igual que el cerebro humano
• En la actualidad existe un gran número de estructuras diferentes de redes de neuronas artificiales.
• Se caracterizan porque gozan de propiedades como la capacidad de aprendizaje a partir de ejemplos
• Las redes de neuronas se utilicen para abordar problemas de: Aproximación, Predicción, Clasificación, Agrupación
• Se aplican a áreas como:
• reconocimiento de patrones (imagen, voz, caracteres)
• compresión y análisis de datos
• robótica
• medicina
• ....
sábado 29 de noviembre de 14
¿Qué es una Red Neuronal artificial (ANN)?• Es un Modelo Matemático-Informático de
cómo procesan la información las neuronas biológicas.
sábado 29 de noviembre de 14
Neurofisiología Elemental
• Es importante conocer los conceptos básicos que nos permitan una mejor comprensión del estudio de las bases neurales de la cognición
sábado 29 de noviembre de 14
El Cerebro Humano
• Parte del sistema nervioso central
• Contiene cerca de 1010 neuronas
• La neurona es la célula activa de la función cerebral
• Cada neurona se activa aproximadamente cada 5 ms
• Cada neurona se conecta aproximadamente con otras 104 neuronas
• Dando un total de 1014 conexiones
sábado 29 de noviembre de 14
Partes principales de una Neurona
• Sinapsis
• Espacio adyacente entre las neuronas cuyas señales químicas son transmitidas
• Dendritas
• Contactos sinapticos que reciben información de otras neuronas: ENTRADA
• Cuerpo de la célula o soma
• Centro metabólico de la neurona: PROCESO
• Axón
• Es la extensión del cuerpo de la neurona: SALIDA
sábado 29 de noviembre de 14
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Sinapsis
sábado 29 de noviembre de 14
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Sinapsis
sábado 29 de noviembre de 14
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Sinapsis
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Sinapsis
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
30 mv
K+
K+
K+
K+
Axón Dendrita
NeuroTransmisores- Acetilcolina
- Norepinefrina- Dopamina- Serotonina
Na-
Sinapsis
Na-
Na-
Na-
sábado 29 de noviembre de 14
Abstracción
Oposición o
Facilidad
Salida de otraneurona
Entrada
Neurona
sábado 29 de noviembre de 14
wk1 x1
Input Signals
wk2 x2
wkm xm
Φ(.) Σ Output
yk
Bias wk0
Synaptic Weights
Summing Junction
Activation Function
Primer Modelo de la Neurona Artificial
sábado 29 de noviembre de 14
wk1 x1
Input Signals
wk2 x2
wkm xm
Φ(.) Σ Output
yk
Bias wk0
Synaptic Weights
Summing Junction
Activation Function
Análisis del modelo de la neurona artificial
Conección fuerte: Pesos SinápticosPesos de cada entradaExcitatoria: pesos positivosInhibitoria: pesos negativos
Suma:Procesamiento metabólicode las entradas
Threshold: función de activaciónLa suma de los pesos exceden al
umbral? La señal de salida 0 no se dispara, 1 disparo
sábado 29 de noviembre de 14
¿ Porque una red Neuronal ?
• Inspiración Biológica
• Para resolver problemas donde se requiere tener un beneficio de usar una computadora pero donde es impráctico programar la respuesta para todas las posibles salida (knowledge engineering bottleneck)
• Tolerancia al ruido
• Principios del aprendizaje de maquina
sábado 29 de noviembre de 14
Ventajas de las ANN
• Aprendizaje adaptativo (entrenamiento)
• Auto organización (auto organizan la información)
• Tolerancia a Fallos (destrucción parcial de la red)
• Operación en tiempo real (calculo en paralelo)
• Fácil inserción dentro de la tecnología existente
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Biología
• Aprender mas acerca del cerebro
• Obtención de modelos de la retina
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Empresa
• Identificación de Candidatos para posiciones especificas
• Explotación de bases de datos
• Optimización de plazas y horarios en lineas aéreas
• Reconocimiento de Caracteres Escritos
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Medio Ambiente
• Analizar Tendencias y Patrones
• Previsión del Tiempo
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Finanzas
• Previsión de la evolución de los precios
• Valoración del riesgo de los créditos
• Identificación de Falsificaciones
• Interpretación de Firmas
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Manufactura
• Sistemas de visión artificial
• Control de producción en lineas de proceso
• Inspección de la calidad
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Medicina
• Analizadores del Habla para la ayuda de audición de sordos
• Diagnósticos y tratamiento a partir de síntomas y/o datos analíticos (electrocardiogramas, Encefalogramas, análisis sanguíneos)
• Predicción de reacciones Adversas a los medicamentos
• Lectores de rayos X
sábado 29 de noviembre de 14
Aplicaciones de las ANN
• Clasificación de Patrones
• Reconstrucción de Patrones
sábado 29 de noviembre de 14
Elemento básico: La Neurona Artificial
wk1 x1
wk2 x2
wkm xm
Σ Φ(.)
Output
yk
Synaptic Weights
Summing Junction
Activation Function
wk0
wk0 Bias
Input Signals
sábado 29 de noviembre de 14
Elemento básico: La Neurona Artificial
• Entradas x1, x2, …, xm
• Codifica la entrada a la red neural
• Bias wk0
• Codifica el valor del umbral
• Equivale a una entrada constante x0 = 1
• Pesos de conexión/ sinapsis
• Conexión fuerte a la entrada de la neurona.
• Negativo es inhibitorio
• Positivo es excitatorio
sábado 29 de noviembre de 14
Elemento básico: La Neurona Artificial
• Suma(entrada total)
• Adición acumulativa
• Sin tomar en cuenta el bias
• Función de Activación
• Usa la entrada total para determinar cuando se debe disparar la neurona (threshold)
• Salida
• Salida de la función de activación
∑=
+=m
jjkjkk xwxwv
100
∑=
=m
jjkjk xwv
0
( )kk vy ϕ=
sábado 29 de noviembre de 14
Funciones de Activación
• Umbral Fuerte• Binario: salidas 0 o 1• Bipolar: salidas –1 o 1• función Heaviside / Step / Signum o
Piecewise-linear
sábado 29 de noviembre de 14
Funcion Heaviside( )
!"
!#$
<
≥=
0 if0
0 if1
v
vvϕBinaria Bipolar ( )
!!"
!!#
$
<−
=
>
=
0 if1
0 if0
0 if1
v
v
v
vϕ
sábado 29 de noviembre de 14
Función Tangente Hiperbólica
( ) ( )
avav
avav
eeeeavv
−
−
+
−=
= tanhϕ
Bipolar
sábado 29 de noviembre de 14
Ejemplo básico
wk1 x1
wk2 x2
wkm xm
Σ Φ(.)
Output
yk
Synaptic Weights
Summing Junction
Activation Function
wk0 Bias
Tenemos una Neurona de 2 entradas , con valor de umbral x0=1 y el peso w0=1
Los pesos w1=1.14 y w2= 0.45
La función de activación será Heaviside binaria
Debemos calcular la salida
Para una entrada X1=2 y X2= 5.2
sábado 29 de noviembre de 14
Solución• Paso 1, Calcular la entrada Neta ∑ (en mucha
literatura le llaman NET)
• NET = x0w0+x1w1+x2w2
• NET=(1)(1)+(2)(1.14)+(5.2)(0.45)
• NET= 5.62
∑=
+=m
jjkjkk xwxwv
100
∑=
=m
jjkjk xwv
0
( )kk vy ϕ=
sábado 29 de noviembre de 14
Solución
• Paso 2 Calcular la salida en base a la función de activación
• NET=V
• Salida = 1
( )!"
!#$
<
≥=
0 if0
0 if1
v
vvϕBinaria Bipolar
sábado 29 de noviembre de 14
Modelo Computacional ANN
• Una red de neuronas artificiales viene determinada por
• Conjunto de unidades de proceso o neuronas artificiales
• Conexiones entre las unidades
• Regla de propagación, para emitir señales a través de las conexiones
• Regla de aprendizaje para modificar los pesos de las conexiones
• Se necesita un conjunto de ejemplos (muestras, datos, patrones) que representen el problema, a partir del cual se realiza el aprendizaje
sábado 29 de noviembre de 14
Modelo Computacional ANN• Arquitectura de la red: Distribución de las neuronas y conexión
entre ellas• La estructura básica: Red multicapa• Capa de entrada, Capas ocultas y Capa de salida • Propagación de la señal hacia delante • El valor de la señal se modifica según el peso de la conexión • Los pesos se ajustan en la fase de aprendizaje
sábado 29 de noviembre de 14
Interconexión de los elementos básicos
• I1 O1
• I2 O2
• Im Om
• Nivel de Niveles Nivel de • Entrada Ocultos Salida
sábado 29 de noviembre de 14
Capas• La distribución de neuronas dentro de la red se realiza formando
niveles o capas de un numero determinado de neuronas cada una.
• Se pueden distinguir 3 tipos de capas:
• De entrada.- Es la capa que recibe directamente la información proveniente de las fuentes externas a la red
• Ocultas: Son internas a la red y no tienen contacto directo con el entorno exterior. El numero de niveles ocultos puede estar entre cero y un numero elevado.
• Las neuronas de las capas ocultas pueden estar interconectadas de distintas maneras, lo que determina junto con su numero, las distintas tipologías de redes neuronales.
• De Salida.- Transfieren Información de la red hacia el exterior.
sábado 29 de noviembre de 14
Clasificación de la redes entérminos topologicos• Redes de una Sola Capa o nivel de
neuronas.
• Redes de capas multiples (2 o 3) o Multicapas
sábado 29 de noviembre de 14
Redes Monocapa
• Ejemplos tipicos son HOPFIELD y BRAIN-STATE-IN-BOX
• Conexiones laterales entre las neuronas que pertenecen a la unica capa que constituyen la red
sábado 29 de noviembre de 14
Redes Multicapa
• Las redes multicapa son aquellas que disponen de conjuntos de neuronas agrupadas en varios (2 o 3) niveles o capas
• En estos casos, una forma para distinguir la capa a la que pertenece una neurona, consistiría en fijarse en el origen de las señales que recibe a la entrada y el destino de la señal de salida.
sábado 29 de noviembre de 14
Redes Multicapa
• Ejemplos Típicos
• Adaline
• Perceptrón
• LVQ
• BAM
• BOLTZMAN
• Back-propagation
sábado 29 de noviembre de 14
Software para implementación
• Típicos
• Matlab, Scilab (para entrenamiento y Ejecución)
• Herramientas Case
• Neuralworks, Predictdemo (instalación como complementos de excel) (para entrenamiento y ejecución)
• Lenguajes de Programación con fuerte soporte numérico
sábado 29 de noviembre de 14
Aprendizaje• El proceso de aprendizaje consiste en
• Introducir paulatinamente todos los ejemplos de aprendizaje
• Modificar los pesos siguiendo una ley o ecuación de aprendizaje
• Cuando se han introducido todos, se comprueba si se cumple cierto criterio de convergencia. Si no se cumple, se repite el proceso.
sábado 29 de noviembre de 14
Top Related