1 Jonathan Lizano A63183 Aarón Víquez A66283 Red Neuronal de Contrapropagación.

11Jonathan Lizano A63183 Aarón Víquez A66283

Red Neuronal de Red Neuronal de ContrapropagaciónContrapropagación

22

AgendaAgenda IntroducciónIntroducción ObjetivosObjetivos Reseña históricaReseña histórica TerminologíaTerminología Estructura de la redEstructura de la red ConsideracionesConsideraciones EjemploEjemplo Ambientes de programaciónAmbientes de programación Áreas de aplicaciónÁreas de aplicación ConclusionesConclusiones

33

IntroducciónIntroducción

Existen muchos tipos de redes neuronales Existen muchos tipos de redes neuronales artificiales, cada una de ellas busca artificiales, cada una de ellas busca resolver ciertos tipos de problemas con resolver ciertos tipos de problemas con cierto procedimiento.cierto procedimiento.

En lo que varían pincipalmente es en el En lo que varían pincipalmente es en el algoritmo de aprendizaje. Éstos pueden algoritmo de aprendizaje. Éstos pueden ser supervisados, no supervisados e ser supervisados, no supervisados e híbridos.híbridos.

Jonathan Lizano A63183 Aarón Víquez A66283

44

ObjetivosObjetivos

Conocer las estructuras del modelo de Conocer las estructuras del modelo de contrapropagación.contrapropagación.

Conocer el funcionamiento del modelo de Conocer el funcionamiento del modelo de contrapropagación.contrapropagación.

Proveer ejemplos de aplicaciones de este Proveer ejemplos de aplicaciones de este modelo.modelo.


55

Reseña históricaReseña histórica

Desarrollado por el profesor Robert Hecht-Desarrollado por el profesor Robert Hecht-Nielsen en 1986Nielsen en 1986

Basada en las redes de Kohonen y la Basada en las redes de Kohonen y la estructura outstar de Grossberg.estructura outstar de Grossberg.


66

Terminología (1)Terminología (1)

Instar: es un elemento de proceso, Instar: es un elemento de proceso, conformada por una unidad de la capa conformada por una unidad de la capa oculta y todas las de la capa de entrada.oculta y todas las de la capa de entrada.


[1] pp 219

77


Red de competencia: un grupo de instars Red de competencia: un grupo de instars que compiten entre síque compiten entre sí


[1] pp 225

88


Outstar: todas las unidades de salida más Outstar: todas las unidades de salida más una única unidad de capa oculta de la una única unidad de capa oculta de la CPNCPN


[1] pp 231

99

Estructura de la red (1)Estructura de la red (1)

De tipo híbrida(competencia y supervisada)De tipo híbrida(competencia y supervisada)

De pares de vectores (xDe pares de vectores (x1, 1, yy11) … (x) … (xn, n, yynn) la red ) la red

aprende a asociar vectores x con uno de salida aprende a asociar vectores x con uno de salida y.y.

Función: Y = f(x). Función: Y = f(x).

En algunos casos la inversa x = fEn algunos casos la inversa x = f-1-1(y)(y)Jonathan Lizano A63183

Aarón Víquez A66283

1010


[1] pp 214


1111


Las CPN poseen 3 Las CPN poseen 3 bloques básicos: bloques básicos:

Capa de entradaCapa de entrada Capa oculta (red Capa oculta (red

competitiva) competitiva) Capa de salida Capa de salida

(outstar)(outstar)

[1] pp 243Jonathan Lizano A63183


1212

Capa de entrada (1)Capa de entrada (1)

Se normalizan Se normalizan los vectores.los vectores.

Usar tramas de Usar tramas de reflectancia.reflectancia.


[1] pp 216

1313

Capa de entrada (2)Capa de entrada (2)

Centro activo, periferia inactivaCentro activo, periferia inactiva

Condición de equilibrioCondición de equilibrio


1414

Capa oculta (1)Capa oculta (1) Cada instar representa una clase, por lo Cada instar representa una clase, por lo

que se entrena con los vectores que se entrena con los vectores asociados a ella.asociados a ella.

Su función de salida esta representada Su función de salida esta representada en función del “tiempo” según la en función del “tiempo” según la siguiente fórmula:siguiente fórmula:


1515

Capa oculta (2)Capa oculta (2)


[1] pp 221

1616


Las instar compiten en la modalidad “el Las instar compiten en la modalidad “el ganador se lo lleva todo”ganador se lo lleva todo”

La señal con mayor intensidad será la que La señal con mayor intensidad será la que se mantenga positiva y envíe respuesta a se mantenga positiva y envíe respuesta a la capa de salidala capa de salida


1717


EntrenamientoEntrenamiento1.1. Seleccionar aleatoriamente un vector de entradaSeleccionar aleatoriamente un vector de entrada

2.2. Normalizar entrada y aplicar a la red competitivaNormalizar entrada y aplicar a la red competitiva

3.3. Determinar ganadorDeterminar ganador

4.4. Actualizar pesos de la unidad ganadoraActualizar pesos de la unidad ganadora

5.5. Repetir 1-4 para todos los ejs de entrenamientoRepetir 1-4 para todos los ejs de entrenamiento

6.6. Repetir 5 hasta que todos estén bien clasificadosRepetir 5 hasta que todos estén bien clasificados

7.7. Se prueba la redSe prueba la red


1818

Capa de salida (1)Capa de salida (1)

La red posee tantas outstars como La red posee tantas outstars como unidades hayan en la capa oculta.unidades hayan en la capa oculta.



1919


La outstar posee un funcionamiento La outstar posee un funcionamiento similar al aprendizaje de Hebb.similar al aprendizaje de Hebb.



2020



2121

Consideraciones (1)Consideraciones (1)

Inicialización de pesosInicialización de pesos


[1] pp 240

2222

Consideraciones (2)Consideraciones (2) Vector pegadoVector pegado

αα grande -> grande -> pequeñopequeño

ΒΒ pequeño -> pequeño -> grandegrande

[1] pp 241


2323

Ejemplo (1)Ejemplo (1)

[1] pp 259


2424

Ejemplo (2)Ejemplo (2)

y'y'kk = w = wkikizzii + w + wkjkjzzjj

zzii + z + zjj = 1 = 1

[1] pp 247


2525

Ambientes de programaciónAmbientes de programación

Estructurados.Estructurados.

Orientado a objetos.Orientado a objetos.


2626

Áreas de aplicaciónÁreas de aplicación

Astronomía.Astronomía. QuímicaQuímica Reconocimiento de patronesReconocimiento de patrones Aproximación de funcionesAproximación de funciones Análisis estadísticoAnálisis estadístico Compresión de datosCompresión de datos


2727

EvaluaciónEvaluación

Al presentar dos tipos diferentes de aprendizaje Al presentar dos tipos diferentes de aprendizaje la red tiende a entrenarse más rápidamente que la red tiende a entrenarse más rápidamente que la mayoría de las redes.la mayoría de las redes.

Permite crear prototipos de otras aplicaciones Permite crear prototipos de otras aplicaciones facilmente y en corto tiempo.facilmente y en corto tiempo.

En algunas aplicaciones se pierde presición.En algunas aplicaciones se pierde presición.


2828

EvaluaciónEvaluación

Como por ejemplo el problema de calcular la Como por ejemplo el problema de calcular la paridad de un número, para la CPN es muy paridad de un número, para la CPN es muy difícil distinguir entre vectores en donde difícil distinguir entre vectores en donde solamente un bit es la diferencia.solamente un bit es la diferencia.

Una red de propagación hacia atrás lo resuelve Una red de propagación hacia atrás lo resuelve con facilidad.con facilidad.


2929

ConclusionesConclusiones

Al ser un tipo híbrido converge más Al ser un tipo híbrido converge más rápido a una soluciónrápido a una solución

Se enfocan en problemas de Se enfocan en problemas de clasificación.clasificación.

Si los cambios en las clases no son Si los cambios en las clases no son muy pequeños proveen grandes muy pequeños proveen grandes ventajas.ventajas.


3030

ReferenciasReferencias [1] Freeman, James and Shapura, David, Neural [1] Freeman, James and Shapura, David, Neural

Networks Networks Algorithms, applications, and Algorithms, applications, and Programming Techniques Programming Techniques 1992 Addison-1992 Addison-Wesley.Wesley.

[2] R.M. Hirstev, The ANN Book 1998, 1era [2] R.M. Hirstev, The ANN Book 1998, 1era Edición.Edición.

[3] Robert Hecht-Nielsen. Applications of [3] Robert Hecht-Nielsen. Applications of Counterpropagation networks. Counterpropagation networks. Neural Networks, Neural Networks, 1(2):131-139, 19881(2):131-139, 1988


1 Jonathan Lizano A63183 Aarón Víquez A66283 Red Neuronal de Contrapropagación.

Documents

Transcript of 1 Jonathan Lizano A63183 Aarón Víquez A66283 Red Neuronal de Contrapropagación.