CIMEPB - Centro de Procesos Básicos, Metodología y Educación

Facultad de Psicología – U.N.M.D.P.

En base a A Practical Guide to Neural Nets

M. Nelson y W. Illingworth

REDES NEURONALESDr. Jorge Vivas

El elemento de Proceso Simple (PE)

O Neurona Artificial

Entradas 1

2 Salida

3

4

A) LOS COMPONENTES BÁSICOS

PE

• Evaluar señales de entrada determinando en “peso” de cada una.

• Calcula el total para cualquier combinación de entradas y lo compara para cualquier nivel.

• Determina que salida debe realizar

1) FUNCIONES(3 de las 150 funciones reales)

• Las E ingresan simultáneamente al PE. De acuerdo a un umbral la neurona “dispara o no” una salida. Varias Entradas una sola Salida.• Algunas Redes aceptan la inclusión de mecanismos para otras influencias distintas de las Entradas. • Estos extra-inputs se llaman términos de predisposición o forzamiento. Incluye los de olvido para desaprender.

2) ENTRADAS Y SALIDAS

• Cada Entrada puede tener un Peso relativo que afecta el impacto como entrada.

• Los Pesos son Coeficientes Adaptativos dentro de la red. Determinan la intensidad de la Entrada (Fuerza de la conexión).

• El Peso inicial para un PE puede ser modificado en función de las E y las propias reglas de modificación de la red.

3) FACTOR PESO

• La Entrada Total en un PE es el producto de dos vectores: (e1 , e 2, e 3 . . . e n) y (P1 , P2,

P3 . . . Pn) E1 = e1 * P1 ; E2 = e1 * P1 etc

• La Entrada Total es el escalar E1 + E2 . . .En. • Donde: Si los vectores van en el mismo sentido el producto es el máximo. Si apuntan en sentidos opuestos el producto es mínimo.

3) FACTOR PESO

• Si ∑ eX * PX es mayor que el umbral entonces genera una señal de salida. e1 P1

e2 P2

S = ∑ eX * PX

e3 p3

p4

e4

4) FUNCIONES NEURONALESa) Función Sumatoria

• El resultado de la ∑ debería ingresar a una Función de Activación antes que a una función de Transferencia. Esto permite variar la salida en función del tiempo y la experiencia e1 P1

e2 P2

S = ∑ eX * PX

e3 p3

p4

e4

4) FUNCIONES NEURONALESb) Función de Activación

∑

T

• El Umbral o Función de Transferencia es generalmente no lineal. Las funciones lineales son limitadas y no muy útiles (x or) para decidir si se prende una célula fotoeléctrica. • Las Funciones de Transferencia más utilizadas son las escalonadas, en rampa o las sigmoideas. • O las decisiones en base a lógica difusa.

4) FUNCIONES NEURONALESc) Función de Transferencia

1 1

1 -1

X < 0 ^ Y = -1 X < 0 ^ Y = 0 Y = 1 / (1 + e x )X > 0 ^ Y = 1 0 ≤ X ≤ 1 ^Y = X

X > 1 ^ Y = 1

4) FUNCIONES NEURONALESc) Función de Transferencia

5) COMBINANDO ELEMENTOS PEs

• Si se combinan varios PEs da lugar a una “capa”. • Las entradas se conectan a varios nodos (Pes) con distinto peso. La salida sigue por un nodo.

• Una Capa

6) COMBINANDO CAPAS

• Se pueden interconectar varias capas. La capa que recibe las entradas se llama “capa de entrada” y su función es un buffer de inputs. La “capa de salida” genera los outputs. • Entre una y otra puede haber n “capas ocultas”. • Las interconexiones se ponderan por un peso asociado a cada conexión particular. • Una red es “full connected” si para cada salida de una capa existe una conexión para cada nodo de la próxima capa.

6) COMBINANDO CAPAS

7) OPCIONES DE CONECTIVIDAD

• La conectividad alude a como las salidas pueden ser usadas como canales para ser entradas de otras neuronas:

1. Si la salida de un PE no puede ser entrada de un PE de la misma capa o de capas precedentes de llama “feedforward”.

2. Si una salida puede ser entrada de su misma capa o de capas precedentes se llama “feedback”. (Recursivas).

•

8) FILTROS

• Las capas pueden actuar como filtros generando representaciones intermedias. Ej. La Matriz de puntos de la letra “A” (5 por 7).• La salida activa una representación ASCII 0100 0001

. . • . .. • . • .

• . . . •• . . . • • • • • •• . . . •

• . . . •

B) LOS MECANISMOS BÁSICOS

DE APRENDIZAJE• La Función de Transferencia se establece en el diseño y no puede ser modificada durante la ejecución (para cada PE). • Cada PE puede ajustar su peso dinámicamente • Cuando muchos PE´s ajustan su peso colectivamente se dice que la red se ensambla “inteligentemente”.• Esto se logra por medio de distintos mecanismos de Aprendizaje

MODOS Y RANGOS DE APRENDIZAJE

Los Modos aprendizajes pueden ser:

1.Supervisado: Con un tutor que REFUERZA hasta congelar los pesos.

2.No supervisado: Aprende de detectar regularidades.Los Rangos de aprendizaje pueden ser:

1.Rápido: Poco training → Discriminación baja.

2.Lento: Mucho training (off line) → Discriminación fina.

El rango es una medida de CONVERGENCIA de la red

TÉCNICAS DE ENTRENAMIENTO

• Las Redes Aprenden la relación entre Entradas y Salidas “mirando” ejemplos de varias Entradas y Salidas.

• La habilidad para determinar como procesar los datos de entrada se llama “autoorganización”.

• El proceso por el cual lo logran se denomina “adaptación” o “aprendizaje”

LEYES DE APRENDIZAJELey de Hebb y Regla Delta

• Ley de Hebb:

Si un PE recibe un input de otro PE y si ambos son altamente activos (= signo), el peso entre los PE´s debería potenciarse

• Regla DELTA:

Para un PE la regla continuamente modifica el nivel de discrepancia (DELTA) entre el output deseado y el output real corriente (Ej. Windrow & Hoff – Adaline)

LEYES DE APRENDIZAJERegla del descenso y Kohonen• Regla del descenso del gradiente:

Los pesos son modificados por un monto proporcional a la primera derivada del error respecto del peso.• Ley de Aprendizaje de Kohonen:

Los PE´s compiten entre sí para tener oportunidad de aprendizaje. El PE con mayor salida se declara “ganador” y obtiene la posibilidad de: 1) inhibir a los competidores 2) ajustar sus pesos con los de sus vecinos (aliados).

El ganador se define como quien tienen la mas estrecha coincidencia con los patrones de entrada. Las leyes Kohonen modelan la distribución de los inputs.

LEYES DE APRENDIZAJEPropagacíón hacia atrás

• Aprendizaje Back Propagation (dos fases con 3 o más capas):

1)Fase Forward: El input es propagado hacia la salida. Calcula el valor del output para cada PE. Se compara con el valor deseado y se calcula el error.

2)Fase Backward: el error es ejecutado en dirección hacia atrás.

LEYES DE APRENDIZAJERed de Grossberg

• Teoría del Refuerzo (Simula Pavlov):

El PE es condicionado para que ciertos inputs trabajen como REFUERZOS y otros como INHIBIDORES.

La salida se mide por frecuencia más que por intensidad

c) Qué podemos hacer con Redes Neuronales?

Aplicaciones• Reconocimiento de Caracteres: El reconocimiento de caracteres es cada vez más importante en nuestra sociedad. Los dispositivos manuales como la Palm Pilot son cada vez más populares. Las redes neuronales se pueden utilizar para reconocer caracteres manuscritos.

• Medicina: Una de las áreas que ha ganado la atención es el diagnóstico cardiopulmonar. Un paciente puede tener chequeos regulares en un área particular, aumentando la posibilidad de detectar una enfermedad o una disfunción. Los datos pueden incluir ritmo cardíaco, la presión arterial, el ritmo respiratorio, etc. Los modelos pueden incluir variaciones de edad, sexo y actividad física. Los datos de cada individuo se comparan con los datos anteriores y/o a los datos de los varios modelos genéricos. Las desviaciones de la norma se comparan a las causas sabidas de las desviaciones para cada dolencia. La red neuronal puede aprender estudiando las diversas condiciones y modelos, combinándolos para formar un cuadro conceptual completo y después diagnostica la condición de un paciente basada sobre los modelos.

• Compresión de imagen: La redes neuronales pueden recibir y procesar extensas cantidades de información inmediatamente, haciéndolas útiles en la compresión de imagen. Con la explosión del Internet y más sitios usando más imágenes en sus sitios, las redes son una alternativa eficaz.

c) Qué podemos hacer con Redes Neuronales?

Aplicaciones• El problema del viajante: Es bastante interesante. Las redes pueden ayudar a resolver estos problemas de optimización, pero solo hasta cierto grado de aproximación.

• La nariz electrónica: La idea de una nariz química puede parecer un poco absurda, pero tiene varios usos en el mundo real. La nariz electrónica se compone de un sistema de detección químico y de una red que reconoce ciertos patrones de productos químicos. Un olor se pasa sobre el arsenal químico del sensor, se traducen de formato y la red identifica el producto químico.

• Seguridad: Ya de usa el CATCH. U n acrónimo para el seguimiento y caracterización de homicidios. Aprende sobre un crimen existente, su localización y las características particulares. Se subdivide en diversas herramientas, que ponen énfasis en una característica o grupo de ellas. Permite que el usuario quite ciertas características que determine que no tienen relación.

• Predicción de la bolsa: El negocio cotidiano de la bolsa es extremadamente complicado. Muchos factores pesan para que una acción suba o baje en cualquier momento. Dado que las redes neuronales pueden examinar mucha información rápidamente y ordenarla, pueden ser utilizadas para predecir precios de las acciones.