Post on 29-Jun-2015
description
TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento con modelos de
RNA
Contenidos:
1. Repaso: prueba y entrenamiento
2. Métodos fijos
3. Método fijo 1: Red de Hamming
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 1
1. Repaso: prueba y entrenamiento
Las características principales de las RNA son los siguientes: Auto Organización y Adaptatividad: utilizan algoritmos de aprendizaje adaptativo y auto organización, por lo que ofrecen posibilidades de procesado robusto y adaptativo. Procesado No Lineal: aumenta la capacidad de la red de aproximar, clasificar y su inmunidad frente al ruido. Procesado paralelo: normalmente se usa un gran número de células de procesado por el alto nivel de interconectividad.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 2
1. Repaso: prueba y entrenamiento
Recordar que… Existen dos fases en toda aplicación de las redes neuronales: la fase de aprendizaje o entrenamiento y la fase de prueba: En la fase de entrenamiento, se usa un conjunto de datos o patrones
de entrenamiento para determinar los pesos (parámetros de diseño) que definen el modelo neuronal.
Una vez entrenado este modelo, se usará en la llamada fase de prueba o funcionamiento directo, en la que se procesan los patrones de prueba que constituyen la entrada habitual de la red, analizándose de esta manera las prestaciones definitivas de la red.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 3
1. Repaso: prueba y entrenamiento
Las redes neuronales se clasifican comúnmente en términos de sus correspondientes algoritmos o métodos de entrenamiento: redes de pesos fijos, redes no supervisadas, y redes de entrenamiento supervisado.
Para las redes de pesos fijos no existe ningún tipo de entrenamiento.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 4
1. Repaso: prueba y entrenamiento
De acuerdo al tipo de entrenamiento, se puede obtener esta taxonomía:
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 5
1. Repaso: prueba y entrenamiento
Las aplicaciones del mundo real deben acometer dos tipos diferentes de requisitos en el procesado. En un caso, se requiere la prueba en tiempo real pero el entrenamiento ha de realizarse "fuera de linea". En otras ocasiones, se requieren los dos procesos, el de prueba y el de entrenamiento en tiempo real. Estos dos requisitos implican velocidades de proceso muy diferentes, que afectan a los algoritmos y hardware usados
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 6
2. Métodos fijos
Una clase de modelos de entrenamiento no supervisado son las redes de pesos fijos. Un ejemplo son las redes de Memoria Asociativa, que se usan para obtener patrones originales libres de ruido a partir de señales incompletas o distorsionadas.
La principal característica de las redes asociativas de pesos fijos es que sus pesos son preestablecidos y precalculados. Los modelos de pesos fijos tienen aplicaciones limitadas ya que no se pueden adaptar a "ambientes cambiantes"
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 7
3. Método fijo 1: Red de Hamming
La red de Hamming es uno de los ejemplos más simples de aprendizaje competitivo, a pesar de ello su estructura es un poco compleja ya que emplea el concepto de capas recurrentes en su segunda capa. Aunque hoy en día en redes de aprendizaje competitivo se ha simplificado este concepto con el uso de funciones de activación más sencillas, la red de Hamming representa uno de los primeros avances en este tipo de aprendizaje, convirtiéndola en un modelo obligado de referencia dentro de las redes de aprendizaje competitivo. Las neuronas en la capa de salida de esta red compiten unas con otras para determinar la ganadora, la cual índica el patrón prototipo más representativo en la entrada de la red.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 8
3. Método fijo 1: Red de Hamming
Cuando las entradas son binarias, entonces el uso de las redes de Hamming es fundamental.
La red de Hamming selecciona un ganador de entre los patrones almacenados, que tienen la menor distancia de Hamming al vector de entrada
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 9
3. Método fijo 1: Red de Hamming
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 10
3. Método fijo 1: Red de Hamming
Considere la siguiente red que sólo acepta entradas binarias:
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 11
3. Método fijo 1: Red de Hamming
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 12
3. Método fijo 1: Red de Hamming
Por lo tanto, la distancia Hamming es:
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 13
3. Método fijo 1: Red de Hamming
Los mejores patrones son el segundo y el tercero (menor distancia Hamming). La distancia Hamming también se define como:
A: Número total de bits que concuerdan B: Número de bits que no concuerdan
DH = A - B
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 14
3. Método fijo 1: Red de Hamming
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 15
3. Método fijo 1: Red de Hamming
A: Número total de bits que concuerdan
B: Número de bits que no concuerdan
DH = A – B
Se comparan los patrones con la entrada
¿Cuáles son los mejores patrones?
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 16
3. Método fijo 1: Red de Hamming
Se comparan los patrones con la entrada
¿Cuáles son los mejores patrones?
R: Segundo y Tercer patrones (resultado positivo, mayor cantidad de bits que concuerdan)
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 17
3. Método fijo 1: Red de Hamming
Considere la red siguiente, defina un conjunto de patrones (binarios), defina una entrada (binaria) y determine la distancia Hamming.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 18
3. Método fijo 1: Red de Hamming
Considere la red siguiente y la entrada binaria: 0111000. Defina un conjunto de patrones (binarios), y determine la distancia Hamming.
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 19
Algunas referencias consultadas:
Andina de la Fuente, Diego (2010). Redes Neuronales Artificiales. Universidad Politécnica de Madrid-UPM: Departamento de Señales, Sistemas y Radiocomunicaciones (SSR). Acc 2013 <http://www.gc.ssr.upm.es/inves/neural/ann2/anntutorial.html>
Serrano, Antonio, Emilio Soria y José D. Martin (2010). Redes Neuronales Artificiales. Universitat de Valencia: Escola Tecnica Superior d’ Enginyeria. Acc. 2013. <http://ocw.uv.es/ingenieria-y-arquitectura/1-2/libro_ocw_libro_de_redes.pdf>
Torres Soler, Luis Carlos (2010). Redes Neuronales Artificiales. Universidad Nacional de Colombia: Facultad de Ingeniería. Acc. 2013 <http://disi.unal.edu.co/~lctorress/RedNeu/RNA005c.pdf>
Conceptos de Inteligencia Artificial TEMA: IA conexionista-RNA Subtema: Prueba y entrenamiento
MSc. Priscill Orue - Inteligencia Artificial 20