FEBRERO 2003 M en C. José Luis Calderón O. 1
IntroducciónIntroducción
FEBRERO 2003 M en C. José Luis Calderón O. 3
La corteza cerebralLa corteza cerebral
La corteza es, en esencia, una capa extensa (de 1m2 aprox., en humanos adultos) y fina (entre 2 y 4 mm de grosor) que consta de seis capas de neuronas de distintos tipos y densidades.
FEBRERO 2003 M en C. José Luis Calderón O. 4
Nuestro CerebroNuestro Cerebro
FEBRERO 2003 M en C. José Luis Calderón O. 5
Mapas en Mapas en NeurobiologiaNeurobiologia
– Mapa Retinóptico: visión, colliculus superior
– Mapa Fonotópico: auditivo, corteza auditiva.
– Mapa Somatotópico: Tacto, corteza somatosensoria.
Mapa de las funciones neuronales relacionadas con las regiones identificables del cerebro.
FEBRERO 2003 M en C. José Luis Calderón O. 6
““El Homunculus”El Homunculus”
Es una representación distorsionada de la relación entre las partes del cuerpo y las regiones del cerebro que controlan a ellas
FEBRERO 2003 M en C. José Luis Calderón O. 7
Professor of Computer Science, Computer Science Department, Biology Department, Department for Physics and Astronomy.
Director, Laboratory of Computational and Biological VisionDirector, Institut für Neuroinformatik, Ruhr-Universität Bochum, Germany
Ph D. Christoph von der Malsburg(1970´s)
FEBRERO 2003 M en C. José Luis Calderón O. 8
His research areas are the theory of self-organization, associative memories, neural networks, and pattern recognition, in which he has published over 300 research papers and four monography books. His fifth book is on digital computers. His more recent work is expounded in the tercera edicion extendida (2001)
Teuvo Kohonen
Dr. Eng., Emeritus Professor of the Academy of Finland; Academician
of his book Self-Organizing Maps.
(1980´s)
FEBRERO 2003 M en C. José Luis Calderón O. 9
Información generalInformación general
Para la emulación de un sistema biológico sin conexiones de tipo no lineal centro-encendido/contorno-apagado, Kohonen diseño un método simple.
Creó los Self-organizing Feature Map (SOFM) que significa “Red de Mapas Auto-organizativos”.
FEBRERO 2003 M en C. José Luis Calderón O. 10
AUTOORGANIZACIÓNAUTOORGANIZACIÓN
• Consiste en la modificación de la red completa para llevar a cabo un objetivo específico.
• Generalización es la facultad de las redes de responder adecuadamente cuando se les presentan datos o situaciones a las que nunca había sido expuesta anteriormente.
ArquitecturaArquitectura
FEBRERO 2003 M en C. José Luis Calderón O. 12
ARQUITECTURAARQUITECTURAArquitectura no-supervisada.Consiste de un número de neuronas organizadas en
una red n-dimensional.Cada neurona es conectada a todas las otras
neuronas, pero es localmente conectada solo a sus vecinas.
Cada neurona tiene un vector de pesos W de entrada asociado y la neurona con el vector de peso más cercano a la entrada P se activará.
FEBRERO 2003 M en C. José Luis Calderón O. 13
FEBRERO 2003 M en C. José Luis Calderón O. 14
CaracterísticasCaracterísticas
FEBRERO 2003 M en C. José Luis Calderón O. 16
Aprendizaje competitivoAprendizaje competitivo
• Las neuronas compiten unas con otras para llevar a cabo una tarea dada.
• Tienen conexiones recurrentes de autoexitación y de inhibición por parte de neuronas vecinas.
• La competición entre neuronas se realiza en todas las capas de la red.
FEBRERO 2003 M en C. José Luis Calderón O. 17
• Este aprendizaje, categoriza (cluster) los datos introducidos en la red.
• Las clases o categorías deben ser creadas por la propia red.
• Estas neuronas tiene asignado un peso total, que es la suma de todos los pesos que tiene a su entrada.
FEBRERO 2003 M en C. José Luis Calderón O. 18
SOMSOMEs una red no supervisada, se entrena solo con
patrones de entradaLas entradas se conectan a una única capa de
neuronas donde cada nodo se conecta a su vecino y solo puede haber una neurona activa
La conexión puede ser lineal, cuadrada, hexagonal, irregular, etc.
La red detecta grupos similares o “clusters” en los datos de entrada
FEBRERO 2003 M en C. José Luis Calderón O. 19
FEBRERO 2003 M en C. José Luis Calderón O. 20
EspecificacionesEspecificaciones
Se pueden usar arreglos unidimensionales, bidimensionales, tridimensionales, n-dimensionales, etc.
Kohonen sugirió vecindarios rectangulares y hexagonales para una implementación eficiente.
El desempeño de la red es insensible a la forma que tome el vecindario.
FEBRERO 2003 M en C. José Luis Calderón O. 21
VecindadesVecindadesN 13 1 8 12 13 14 18 =
N 13 2 3 7 8 9 11 12 13 14 15 17 18 19 23 =
FEBRERO 2003 M en C. José Luis Calderón O. 22
Redes Redes Autoorganizativas Autoorganizativas
•Aprenden a detectar regularidades y
correlaciones en sus entradas.
•Adaptan sus respuestas futuras
conforme a sus entradas.
FEBRERO 2003 M en C. José Luis Calderón O. 23
El mapa consiste de una cuadricula regular de unidades de procesamiento, “neuronas”.
Un modelo de algunas observaciones multidimensionales, eventualmente un vector, de caracteristicas es asociado con cada unidad.
FEBRERO 2003 M en C. José Luis Calderón O. 24
Ejemplo de Ejemplo de funcionamiento:funcionamiento:
FEBRERO 2003 M en C. José Luis Calderón O. 25
ConvergenciaConvergencia
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1-1
-0.8
-0.6
-0.4
-0.2
0
0.2
0.4
0.6
0.8
1
FEBRERO 2003 M en C. José Luis Calderón O. 26
Función sombrero Función sombrero mexicano (Mexican-Hat)mexicano (Mexican-Hat)
FEBRERO 2003 M en C. José Luis Calderón O. 27
VentajasVentajasEntrenamiento no supervisadoNo precisa de pares entrada/salida
tan solo patrones de entrada.Simplemente se autoorganiza de
forma autónoma para adaptarse lo mejor posible a los datos usados en el entrenamiento
FEBRERO 2003 M en C. José Luis Calderón O. 28
LimitacionesLimitacionesSolo proporciona información de que
zona del espacio de entrada pertenece un cierto patrón.
Es preciso interpretar esa informaciónEl proceso de interpretación necesita
datos para los que se conoce su clasificación
FEBRERO 2003 M en C. José Luis Calderón O. 29
DesventajasDesventajasLos mapas pueden fallar al ajustarse la
topología desde su espacio de entrada. Ocurre cuando dos partes de la red cortan la
topología separando en partes el espacio de entrada, en este caso la red forma un nudo entre las partes.
Esta división es difícil de remover porque las dos partes de la red son clasificaciones estables en regiones diferentes.
Algoritmo deAlgoritmo deAprendizajeAprendizaje
FEBRERO 2003 M en C. José Luis Calderón O. 31
Entrenamiento Entrenamiento de SOM’sde SOM’s
Los Mapas Autoorganizativos difieren del aprendizaje competitivo convencional en la manera en que las neuronas actualizan sus pesos.
En los SOM’s, no solo se actualiza los pesos de la neurona que resulta ganadora en el aprendizaje, sino que se actualizan también los de la vecindad.
FEBRERO 2003 M en C. José Luis Calderón O. 32
Entrenamiento Entrenamiento de SOM’sde SOM’s
La propiedad anterior, da como resultado que las neuronas vecinas producen vectores de pesos similares para vectores de entrada similares.
En forma concreta, la diferencia entre los SOM’s y las redes competitivas, es que los primeros producen varias salidas activadas
FEBRERO 2003 M en C. José Luis Calderón O. 33
ProcedimientoProcedimientoPrimero determina a la neurona ganadora
i* usando algún procedimiento de acuerdo al nivel competitivo.
Despues el peso de los vectores para todas las neuronas dentro de cierto vecindario de la neurona ganadora son actualizados usando la regla de Kohonen.
FEBRERO 2003 M en C. José Luis Calderón O. 34
Regla de AprendizajeRegla de Aprendizajede los SOMde los SOM
i Ni d
Actualización de los vectores de pesos en una vecindad de la neurona ganadora.
N i d j di j d =
)1()()1()( *** qWqpqWqW iT
ii
)()1(1)( ** qpqWqW Tii
REGLA DE
KOHONEN
FEBRERO 2003 M en C. José Luis Calderón O. 35
Donde:Donde:
Ni* (d) es la vecindad que contiene el indice para todas las neuronas que radican dentro del radio d
d es el radio alrededor de la neurona ganadora
i* es la neurona ganadora
FEBRERO 2003 M en C. José Luis Calderón O. 36
De esta forma:De esta forma:
Ni* (d) ={ j, dij d}
Conforme p se este presentando, los pesos de la neurona ganadora y de su vecindad se acercarán cada vez más a p
FEBRERO 2003 M en C. José Luis Calderón O. 37
ALGORITMOALGORITMO
En cada vector se presenta la siguiente secuencia de pasos:
–Encontrar el nodo k cuyo vector de peso esté más próximo al vector de entrada actual.
–Entrenar el nodo k y todos los nodos más próximos a este.
FEBRERO 2003 M en C. José Luis Calderón O. 38
ALGORITMOALGORITMO
–Decrementar suavemente la razón de aprendizaje.
–Después de M ciclos, decrementarel tamaño de la vecindad.
FEBRERO 2003 M en C. José Luis Calderón O. 39
EntrenamientoEntrenamientoSe inicializan los pesos de forma
aleatoria.Se presenta un vector de entrenamiento.La neurona mas cercana al vector es la
única que se activaSolo se modifican los pesos de la
neurona activa y de sus vecinas
FEBRERO 2003 M en C. José Luis Calderón O. 40
Modificación de pesosModificación de pesos
Se modifican los pesos de la neurona activa y de sus vecinas
Los pesos se mueven hacia el vector de entrada
oldi
Toldi
newi WpWW ***
FEBRERO 2003 M en C. José Luis Calderón O. 41
Modificación de los Modificación de los parámetrosparámetros
La tasa de aprendizaje se reduce con el numero de iteraciones
001 1
Tt
Donde: T0 es el numero total de iteraciones0 es la razón inicial de aprendizaje
FEBRERO 2003 M en C. José Luis Calderón O. 42
Modificación de los Modificación de los parámetrosparámetros
La vecindad se modifica de igual forma
001 1
Tt
Donde: 0 es el numero total de iteraciones0 =1/2 # neuronas en la capa
FEBRERO 2003 M en C. José Luis Calderón O. 43
Variaciones al Variaciones al algoritmo Básicoalgoritmo Básico
Modificar las neuronas vecinas en función de su lejanía
Utilizar un factor de conciencia que hace que una neurona que se activa con frecuencia, tienda ano activarse.
Diferentes patrones de vecindadModificación de las vecindades con el
tiempo
AplicacionesAplicaciones
FEBRERO 2003 M en C. José Luis Calderón O. 45
AplicacionesAplicacionesEs el algoritmo de RNA más
popular dentro de la arquitectura no-supervisada.
En muchos proyectos industriales son utilizadas como una herramienta que resuelve problema del mundo real.
FEBRERO 2003 M en C. José Luis Calderón O. 46
AplicacionesAplicacionesMuchos campos de la ciencia han
adoptado los SOM como una herramienta analítica estándar en: estadística, procesamiento de señales, teoría de control, análisis financiero, experimentos físicos, químicos y médicos.
FEBRERO 2003 M en C. José Luis Calderón O. 47
AplicacionesAplicaciones
El SOM es un algoritmo para visualizar e interpretar conjuntos de datos multidimensionales.
Tiene aplicaciones practicas (tipica) en el proceso de visualizacion de procesos de estados o resultados financieros financieros a traves de la representacion de dependencias centrales dentro de los datos en el mapa.
FEBRERO 2003 M en C. José Luis Calderón O. 48
Los SOM resuelven problemas difíciles no lineales y de alta-dimensión, así como, extracción de características y clasificación de imágenes y patrones acústicos, control adaptativo de robots, ecualización, demodulación y transmisión de tolerancia de error de señales en telecomunicaciones.
Aplicaciones
FEBRERO 2003 M en C. José Luis Calderón O. 49
La máquina de escribir
neuronal fonética.
FEBRERO 2003 M en C. José Luis Calderón O. 50
AplicacionesAplicaciones
"Self Organizing Maps" Help Analyze Thousands Of Genes.
Usando este algoritmo sofisticado , un equipo de científicos en el instituto de Whitehead ha diseñado una nueva técnica para analizar las cantidades masivas de datos generados por los micro arreglos de DNA
EjerciciosEjercicios
FEBRERO 2003 M en C. José Luis Calderón O. 52
Ejemplo 1:Ejemplo 1:Entrene un SOM para: Una vecindad de radio
d=1, = 0.1
a)Efectue 3 iteraciones
b)Redibuje el diagrama
89.0
0.0
45.0
2W
89.0
45.0
0.0
6W
82.0
41.0
41.0
3W
82.0
41.0
41.0
7W
89.0
45.0
0.0
1W
89.0
0.0
45.0
8W
0.1
0.0
0.0
5W
82.0
41.0
41.0
9W
82.0
41.0
41.0
1W
T
n
T
T
ij
W
W
W
W
2
1
74.0
07.0
67.0
P
FEBRERO 2003 M en C. José Luis Calderón O. 53
Antes Después
Código en MatlabCódigo en MatlabNNTNNT
FEBRERO 2003 M en C. José Luis Calderón O. 55
ARQUITECTURA SOMARQUITECTURA SOM
FEBRERO 2003 M en C. José Luis Calderón O. 56
Inicio Final
Mapa Bidimensional
Simulación enSimulación en
Matlab / NNT Matlab / NNT
FEBRERO 2003 M en C. José Luis Calderón O. 58
Initsm:
Esta funcion inicializa los pesos Wij de una capa S de un mapa autoorganizado.
La funcion toma la matriz de los vectores de entrada ejemplo P y un numero de neuronas S, y regresa los pesos para un SOM con S neuronas.
Los mapas autoorganizados no requieren de umbrales B.
FEBRERO 2003 M en C. José Luis Calderón O. 59
Recuerde que cada i-esima fila de P debe contener valores maximos y minimos para cada entrada i-esima
W= initsm(P,S)Ejemplo
W= initsm(P,3)
FEBRERO 2003 M en C. José Luis Calderón O. 60
trainsm
Se usa para entrenar redes autoorganizadas con la regla de Kohonen. La funcion anterior regresa una nueva matriz de pesos W despues de ser entrenados los pesos iniciales con los vectores de entrada P con los parametros tp.
Semantica, W = trainsm (W,b,P,tp)tp = [disp-freq max-epoch lr]
FEBRERO 2003 M en C. José Luis Calderón O. 61
Valores por omisióndisp-freq =25 max-epoch =100 lr= 1
FEBRERO 2003 M en C. José Luis Calderón O. 62
simusmSimula un mapa autoorganizado. La funcion toma una matriz de vectores
de entrada P, la matriz de pesos W, y la matriz de vecindad M, de un SOM, regresando la salidas de la capa.
Cada vector de salida tiene un uno para la neurona i con la entrada mas grnade de la red, y 0.5 para las neuronas j con una distancia de 1 (Mij <=1) de la neurona gandora
FEBRERO 2003 M en C. José Luis Calderón O. 63
EjemploW= initsm([.2 2;0 5],6)M= nbman(2,3)a= simusm ([1;2],W,M)Existen tres funciones para
crear la matriz de vecindades. Cada una calcula las distancias de forma diferente
nbgrid, nbman, nbdist
FEBRERO 2003 M en C. José Luis Calderón O. 64
nbgridCrea una matriz de vecindades usando
una distancia en cuadricula.Sintaxis:nbgrid(d1) nbgrid(d1,d2) nbgrid(d1,d2,..d5) La distancia de la cuadricula entre las dos
neuronas es la magnitud del elemento maximo y el vector obtenido de la resta de las neuronas coordinadas
FEBRERO 2003 M en C. José Luis Calderón O. 65
nbgrid(d1): Regresa una matriz de vecindades d1xd1 para una capa con con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia entre la cuadricula entre la neurona i y j.
nbgrid(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.
FEBRERO 2003 M en C. José Luis Calderón O. 66
Ejemplo M= nbgrid(2,2)
M= 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0
FEBRERO 2003 M en C. José Luis Calderón O. 67
nbmanCalcula la matriz de vecindades usando
la distancia Manhattan.Sintaxisnbman(d1) nbman(d1,d2) nbman(d1,d2,..d5)La distancia Manhattan entre dos
neuronas es la suma de los elementos absolutos en el vector obtenido de la resta de las neuronas coordinadas.
FEBRERO 2003 M en C. José Luis Calderón O. 68
nbman(d1): Regresa una matriz de vecindades d1xd1 para una capa con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre la neurona i y j.
nbman(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.
FEBRERO 2003 M en C. José Luis Calderón O. 69
Ejemplo M= nbman(2,2) M= 0 1 1 2 1 0 2 1 1 2 0 1 2 1 1 0
FEBRERO 2003 M en C. José Luis Calderón O. 70
nbdist Calcula la matriz de vecindades usando la
distancia vectorial.Sintaxisnbdist(d1) nbdist(d1,d2) nbdist(d1,d2,..d5)Las neuronas en un SOM pueden ser
artregladas de cualquier forma. Estos arreglos son representadso por matrices de vecindades que mantienen las distancias entre cada una de las neuronasen la capa.
FEBRERO 2003 M en C. José Luis Calderón O. 71
nbdist(d1): Regresa una matriz de vecindades d1xd1 para una capa con con d1 neuronas arregladas en una dimension. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre la neurona i y j.
nbdist(d1, d2): Regresa una matriz de vecindades (d1*d2)x (d1*d2) para una capa con d1*d2 neuronas arregladas en dos dimensiones. Cada elemento ij de la matriz de vecindades es la distancia vectorial entre las neuronas i y j.
FEBRERO 2003 M en C. José Luis Calderón O. 72
Ejemplo M= nbdist(2,2) M= 0 1.0000 1.0000 1.4142 1.0000 0 1.4142 1.0000 1.0000 1.4142 0 1.0000 1.4142 1.0000 1.0000 0
FEBRERO 2003 M en C. José Luis Calderón O. 73
Ejemplo 1:Ejemplo 1:clear;echo on;clc;nntwarn off;P= rands(3, 10);S=9;W= initsm(P,S)M= nbdist(9,1);tp= [50 800 1];[W]= trainsm(W,M,P,tp)echo off
FEBRERO 2003 M en C. José Luis Calderón O. 74
Ejemplo de Codificación 2:Ejemplo de Codificación 2:clear;echo on;clc;nntwarn off;P= rands(2, 100);W= initsm(P,9);M= nbman(3,3);tp= [10 500];[W]= trainsm(W,M,P,tp)echo off
FEBRERO 2003 M en C. José Luis Calderón O. 75
Inicio Final
Mapa Lineal
BibliografíaBibliografía
FEBRERO 2003 M en C. José Luis Calderón O. 77
Articulos OriginalesArticulos Originales
Von der Malsburg, C. 1973. “Self-organization of orientation sensitive cells in the striate cortex”, Kibernetik, vol 14,pp. 85-100.
Willshaw, D. J. And C. Von der Malsburg, 1976, “how patterned neural connections can be set up by self-organization”, Proceedings of the Royal Society of London series B, vol. 194. pp. 431-445.
FEBRERO 2003 M en C. José Luis Calderón O. 78
Articulos OriginalesArticulos Originales
Kohonen T., 1982, “Self-Organized formation of topologically correct feature maps”, Biological Cybernetics, vol 43, pp.59-69.
FEBRERO 2003 M en C. José Luis Calderón O. 79
Dudas ???Dudas ???
FEBRERO 2003 M en C. José Luis Calderón O. 80
Hasta la próxima !!!Hasta la próxima !!!
Top Related