11 /67/67

Mg. Samuel Oporto Díaz Lima, enero 2006

Redes Neuronales Redes Neuronales ArtificialesArtificiales

22 /67/67

Tabla de Contenido

1. Objetivos

2. Inteligencia Natural

3. Inteligencia Artificial

4. Redes Neuronales

5. Aplicaciones

6. Tipos de Redes Neuronales• Redes de Nivel Simple• Redes de Nivel Múltiple

33 /67/67

Objetivos

• Exponer los aspectos básicos de la inteligencia natural.• Situar la Inteligencia artificial como una disciplina

orientada a la emulación de la inteligencia natural.• Presentar a las redes neuronales como una técnica

inspirada en las neuronas naturales.• Presentar el modelo matemático de las redes

neuronales.• Exponer las redes neuronales de nivel simple y de

múltiples nivel.

44 /67/67

INTELIGENCIA NATURAL

55 /67/67

¿Inteligencia?

• Es la facultad que tienen las personas de conocer, analizar, comprender situaciones.

• Es un conjunto de habilidades, destrezas y experiencias sobre cierto dominio.

• Es la capacidad de resolver problemas.

¿tienen inteligencia los animales?

¿el libre albedrío es inteligencia?

¿la conciencia de si mismo es inteligencia?

66 /67/67

Aspectos de la Inteligencia Natural

1. Percepción y Aprendizaje

2. Memoria y Asociación

3. Comunicación

4. Solución de problemas

5. Razonamiento

6. El pensamiento abstracto.

7. Conciencia

8. Imaginación o Creatividad

77 /67/67

¿?

• ¿Donde se genera la inteligencia?• ¿Donde se almacenan los datos?• ¿Cómo se procesa la información?• ¿Cómo se inicia una nueva acción?• ¿Cómo se inicia un nuevo pensamiento?

88 /67/67

Cerebro Humano

• 1011 Neuronas (procesadores)

• Poder desconocido• 1000 – 10000

conecciones por neurona

• Capacidad basada en las conexiones.

• Cada neurona es muy compleja.

• Almacenamiento redundante.

• No binario, no estable y no síncrono.

99 /67/67

Neuronas

¿Cómo funciona ?

Color

Sabor

Olor

Sonido

Tersura

información

acciones

Conexiones

1010 /67/67

Unidad de Procesamiento: La Neurona

Cuerpo

DendritasAxon

Señal

Sinapsis

(Información)

1111 /67/67

Neurona en Reposo

1212 /67/67

Potencial de acción

Na+K+

Na+K+

Na+K+Na+K+

Na+K+Na+K+

1313 /67/67

Propagación del potencial de acción

1414 /67/67

Sinapis

• Región donde las neuronas entran en contacto– Los impulsos son transmitidos desde el

axón de una neurona hacia las dentritas de otra neurona.

– Efecto excitatorio: estimula la acción de la neurona.

– Efecto inhibitorio: efecto contrario

axón dendrita

1515 /67/67

Conexiones del Sistema Nervioso.

GENÉTICO.• El niño nace con un conjunto de conexiones por defecto

(definidas genéticamente)

EXPERIENCIA.• Nuevas conexiones se crean en el proceso de

aprendizaje.• Las conexiones se refuerzan con la repetición.• Las conexiones se refuerzan cuando se crean redes de

resonancia.

1616 /67/67

• adaptabilidad • aprendizaje continuo

• distribución del procesamiento y del “almacenamiento”• alta redundancia• plasticidad (creación/modificación de sinapsis).• tolerante a fallas

• 10 a 100 billones de neuronas, cada una conectado a otras 10.000 neuronas

• Los humanos pierden prox. 1000 neuronas por dia.

Características del Sistema Nervioso

1717 /67/67

Aprendizaje

Patrones de actividad.• Ésta forma de aprendizaje es la que explica la memoria de corto

plazo.

Cambios físicos y químicos en las neuronas.• En este aprendizaje se modifican las conexiones entre unidades

haciendo que grupos de neuronas se vuelvan más o menos eficientes para excitar o inhibir a otras neuronas.

• Explica la memoria de largo plazo.

Creación de nuevas conexiones.• En este aprendizaje se crean nuevas conexiones.

1818 /67/67

INTELIGENCIA ARTIFICIAL

1919 /67/67

Inteligencia Artificial

• Es una ciencia que intenta la creación de programas para máquinas que imiten el comportamiento y la comprensión humana, que sea capaz de aprender, reconocer y pensar.

• Se orienta a la construcción de entidades inteligentes como a su comprensión.

• Usa una serie de técnicas.

2020 /67/67

Técnicas de la IA

• Sistemas Basados en Conocimiento.• Visión Computacional• Procesamiento de Voz y Lenguaje Natural• Lógica Difusa• Redes Neuronales• Computación Evolutiva• Sistemas Multiagente• Robótica• Aprendizaje Mecánico.• Técnicas Heurísticas (recocido simulado)

2121 /67/67

Modelos Inspirados en la Naturaleza

• Neuronas Red Neuronal• Evolución Natural Algoritmo genético• Experiencia Sistema Experto• Razonamiento Lógica Difusa• Enfriamiento de metales Recocido Simulado• Hormigas Colonia de Hormigas

2222 /67/67

REDES NEURONALES

2323 /67/67

Redes Neuronales.

• Intento de producir sistemas de aprendizaje inspirados en la naturaleza (basado en modelos abstratos de cómo

pensamos y cómo funciona el cerebro)• Modelo matemático inspirado en el funcionamientos de

las neuronas biológicas• Conformado por varias unidades de procesamiento

(neuronas) interligadas por conexiones (sinapsis)• Eficiente donde los métodos tradicionales son

considerados inadecuados.• El aprendizaje se logra en la actualización de esos

pesos.

2424 /67/67

Red Neuronal

Neuronas intermedias

Neuronas de salída

Neuronas de Entrada

Conexiones

Arquitectura

2525 /67/67

Elemento ProcesadorEntrada / Función de Transferencia / Salida

Señal

Entrada Salida

f

elementoprocesador

2626 /67/67

Elemento ProcesadorEntrada / Función de Transferencia / Salida

2727 /67/67

Elemento Procesador

n

k

1

u

...

...

X1

Xk

Xn

W1u

Wku

Wnu

Entrada Neta u = Xi Wiu

n

i 1

Yu = f (Entrada Neta u )

Yu = f ( Xi Wiu )

n

i 1

Yu

2828 /67/67

Función de Transferencia

n

k

1

u

...

...

X1

Xk

Xn

W1u

Wku

Wnu

Entrada Neta u = Xi Wiu

n

i 1

Yu = f (Entrada Neta u )

Función de Activación o Transferencia

Yu = f ( Xi Wiu )

n

i 1

Yu

Entrada Neta u = Xi Wiu

p

i 1

y = f ( Xi Wiu )

p

i 1

Elemento Procesador

Na+K+

Na+K+

Na+K+Na+K+

Na+K+Na+K+

3030 /67/67

Entrada Neta u = Xi Wiu

n

i 1y = f ( Xi Wiu )

n

i 1

Elemento Procesador

3131 /67/67

Valores de entrada / salida

• Las señales de e/s de una RNA son generalmente números reales

• Estos números deben encontrarse dentro de un intervalo

• típicamente entre [0,1] o [–1,1]

• Técnica de codificación mas simples es la binaria

2 5 9 3 0 5

6 2 1 3 5 4

3 4 5 7 3 1

5 5 2 3 1 4

3232 /67/67

Conexiones

• Semejantes a la sinapsis.

• Las unidades son conectadas a través de conexiones

• Codifican el conocimiento de la red– conexiones poseen valores asociados (pesos)

• Tipos de conexiones

– excitatorias wij > 0

– inhibitorias wij < 0

– inexistentes wij = 0

wij

3333 /67/67

Aprendizaje

¿Cómo aprenden?

Depende del tipo de red

3434 /67/67

APLICACIONES

3535 /67/67

Aplicaciones

• Se usan para la clasificación y reconocimiento de patrones.

• Problemas donde es importante el patrón más que los datos exactos.

• Aplicaciones:1. Clasificación.2. Predicción3. Clustering4. Aproximación de curvas5. Optimización.6. Reconocimiento de patrones.

3636 /67/67

Clasificación

3737 /67/67

Predicción

3838 /67/67

Clustering

3939 /67/67

Aproximación de curvas

4040 /67/67

Optimización

4141 /67/67

TIPOS DE REDES NEURONALES

4242 /67/67

Topologia o Arquitectura de RNClasificación de RN por el tipo de sus Conexiones

A) Redes Feedforward (No recurrentes) Conexiones unidireccionales:

Una Capa:Perceptron, Adaline (ADAptive LInear Neuron),

Multicapa: MLP

4343 /67/67

B) Redes Feedback (recurrentes)

Presenta conexiones de Retorno

Topologia o Arquitectura de RNClasificación de RN por el tipo de sus Conexiones

4444 /67/67

Tipos de Aprendizaje Artificial

Aprendizaje Supervizado

Aprendizaje No Supervizado

??

4545 /67/67

Aprendizaje Supervizado

• Se logra comparando la salida de la red con la respuesta correcta ya conocida por el MAESTRO.

• La diferencia de esta comparación permite ajustar los pesos de las conexiones entre sus neuronas, para buscar una salida mas aproximada a la correcta.

• El aprendizaje se da a través de un proceso iterativo de ajuste aplicado a sus pesos sinápticos

4646 /67/67

Aprendizaje No Supervizado

• No requiere influencia externa para ajustar sus pesos de las conexiones entre sus neuronas.

• No recibe ninguna información del entorno que le indique si la salida generada respecto a una determinada entrada es o no correcta.

• Por ello se dice que estas RN son capaces de Autoorganizarce.

4747 /67/67

• Redes de nivel simple• Redes de Multiple nivel• Redes recurrentes

Tipos de Redes Neuronales

4848 /67/67

REDES DE NIVEL SIMPLE

4949 /67/67

Perceptrón

• Separa espacio con hiperplanos

y = f ( w1 u1 + w2 u2 + ... + wn un ), f(s) = { 1 si s0, 0 si s<0 }

• Puede incluir offset w0.

• Importante históricamente– estudiado muy detalladamente (Minsky y Papert ‘69)

• Es un clasificador lineal en 2 clases.– bueno si patrones linealmente separables– problema XOR

wt.u=0

u1

u2

5050 /67/67

Perceptrón

5151 /67/67

Perceptrón

5252 /67/67

Perceptrón

5353 /67/67

Perceptrón

5454 /67/67

Perceptrón

5555 /67/67

Adaline

• Adaptive Linear Element• Estructura:

– Como un Perceptrón pero con función lineal a la salida.

• Permite trabajar con problemas más generales que usando el perceptrón.

ippip

ppp

n

iii

xytw

ytE

wxwy

2

01

21

y=0

5656 /67/67

Adaline

5757 /67/67

Adaline

5858 /67/67

REDES DE MÚLTIPLE NIVEL

5959 /67/67

Perceptrón Multicapa

• Werbos (1972)• Red lineal• Activaciones dependen:

– entradas– activaciones de neuronas

precedentes

• Derivadas ordenadas backpropagation

1

2

3

4

57

6Wij

1 Wij2

u1

u2

y1

y2

Wij3

u1

u2

y1

y21 2 3 4 5 6 7

i

i

j

ni

kkikjijii uwxwfx

1

1 1

0

6060 /67/67

Perceptrón Multicapa

w11=1 w12=1w21=1 w22=1

w31=1 w32=-1.5b1=0.5 b2=1.5 b3=0.5

6161 /67/67

Retropropagación

• Procedimiento para encontrar el vector gradiente de una función error asociada a la salida de la red con respecto a los parámetros de la misma

• El nombre backpropagation surge pues el cálculo se hace en el sentido inverso de la red, propagándose desde los nodos de salida hacia los nodos de entrada

• Esto permite poder aplicar a posteriori alguno de los muchos métodos de optimización con gradiente para obtener el comportamiento deseado de la red

6262 /67/67

Retropropagación

f()

entradasPesos

k = capa

sumatoria

constanteb

función detransferenciaresultado

net =ok(n)salida

calculadayk(n)

x1(n)wk1 (n)

x2(n)

x3(n)

wk2 (n)

wk3 (n)ek(n) = dk(n) – yk(n)

salidadeseadadk(n)

ek(n)

6363 /67/67

Función de transferencia

6464 /67/67

Aprendizaje

entrada neta a ij i

salida de i

error de la salida k

error total

regla de aprendizaje

η: velocidad de aprendizaje

6565 /67/67

Regla de Aprendizaje

Si j es una unidad de salida

Si no

6666 /67/67

CONCLUSIONES

• Las redes neuronales se aplican a resolver problemas de reconocimiento de patrones.

• Las redes neuronales de nivel simple, permiten reconocer patrones donde el espacio puede ser divido en dos por un hiperplano.

• Las redes neuronales de múltiple nivel pueden reconocer patrones del tipo XOR.

• El aprendizaje de la red se realiza modificando los pesos de las conexiones.

• La arquitectura de la red es la disposición de las neuronas (capas y elementos por capa)

6767 /67/67

PREGUNTAS

6868 /67/67

Mg. Samuel Oporto Díaz

soporto@wiphala.nethttp://www.wiphala.net/oporto