Inteligencia Computacional I- sección Redes Neuronales ...
Transcript of Inteligencia Computacional I- sección Redes Neuronales ...
![Page 1: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/1.jpg)
(c) 2021. P. Gómez-Gil, INAOE 1
Introducción
Inteligencia Computacional I-sección Redes Neuronales Artificiales
Dra. Ma. del Pilar Gómez GilPrimavera [email protected]
V: 11-Mar-21
![Page 2: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/2.jpg)
(c) 2021. P. Gómez-Gil, INAOE 2
Objetivo del curso
Inteligencia Computacional I
Introducir a estudiantes de posgrado en los
tópicos fundamentales relacionados a la
Inteligencia Computacional (IC), así como
en sus principales aplicaciones
![Page 3: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/3.jpg)
LO SIENTO…
… éste NO es un curso de “Deep Learning”
(aprendizaje profundo), sino de fundamentos
de redes neuronales artificiales, algunas de
las cuales usan DL…
(c) 2021. P. Gómez-Gil, INAOE 3
![Page 4: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/4.jpg)
Para que hablemos todos de
lo mismo….
¿Qué es Inteligencia Computacional (IC)?
Conceptos, paradigmas, algoritmos e implementaciones de sistemas que exhiben un comportamiento “inteligente” al aplicarse en sistemas complejos.
Los algoritmos involucrados en IC están inspirados en sistemas biológicos, e incluyen varias áreas, como las redes neuronales artificiales, los sistemas evolutivos, los sistemas difusos, .
(c) 2021. P. Gómez-Gil, INAOE 4
![Page 5: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/5.jpg)
¿Que es “inteligencia”?
Según el diccionario Merriam-Webster:
“Es la habilidad de aprender, entender o
enfrentar nuevas situaciones;
Es la habilidad de aplicar conocimiento para
manipular el medio ambiente;
Es la habilidad de pensar de manera
abstracta; puede medirse con criterios
objetivos obtenidos de pruebas.”
(c) 2021. P. Gómez-Gil, INAOE 5
![Page 6: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/6.jpg)
Página de recursos del curso:
(c) 2021. P. Gómez-Gil, INAOE 6
http://ccc.inaoep.mx/~pgomez/cursos/IC-I/
![Page 7: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/7.jpg)
Evaluación de la parte de RNA
1o. examen 35%
2o. examen 35%
Tareas proyectos,
examencitos etc. 30%
(c) 2021. P. Gómez-Gil, INAOE 7
![Page 8: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/8.jpg)
(c) 2021. P. Gómez-Gil, INAOE 8
Contenido del curso
disponible en:
http://ccc.inaoep.mx/~pgomez/cursos/
IC-I/temario.pdf
![Page 9: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/9.jpg)
Libro de texto para RNA
(c) 2021. P. Gómez-Gil, INAOE 9
Disponible a estudiantes inscritos a través de la biblioteca digital del INAOE:
https://www.inaoep.mx/biblioteca/e-recursos/
Usando el “proxi” (ver correo enviado a cuentas institucionales
Por la Mtra. Felisa, jefa de biblioteca)
https://link.springer.com/book/10.1007/978-1-4471-7296-3
https://link.springer.com/book/10.1007/978-1-4471-7296-3
![Page 10: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/10.jpg)
La “biblia de RNA”
(c) 2021. P. Gómez-Gil, INAOE 10
Imágenes tomadas de:
Amazon.com.mx
![Page 11: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/11.jpg)
La “biblia” de aprendizaje
profundo
(c) 2021. P. Gómez-Gil, INAOE 11
https://www.deeplearningbook.org/
![Page 12: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/12.jpg)
(c) 2021. P. Gómez-Gil, INAOE 12
Dr. Haykin y Dra. Gómez en el MICAI
2008
http://www.micai.org/
![Page 13: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/13.jpg)
(c) 2021. P. Gómez-Gil, INAOE 13
https://www.eng.mcmaster.ca/ece/people/faculty/simon-haykin#related-news
![Page 15: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/15.jpg)
Sistemas inteligentes (Kruse et al. 2013)
Requieren simular el pensamiento inteligente y realizar acciones en el campo en que son aplicados
Su calidad depende fuertemente de la manera en que se representa el conocimiento
La IC incluye aspectos teóricos (¿Cómo y por qué trabajan los sistemas inteligentes?) y prácticos (¿Dónde y cuándo se pueden usar estos sistemas?)
(c) 2021. P. Gómez-Gil, INAOE 15
![Page 16: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/16.jpg)
Inteligencia Artificial e
inteligencia computacional
Originalmente, el conocimiento de los sistemas artificiales inteligentes fue representado por modelos simbólicos. Por ejemplo, representaciones top-down, sistemas expertos basados en reglas, probadores automáticos de teoremas y técnicas de investigación de operaciones (planeación, “scheduling”)
(c) 2021. P. Gómez-Gil, INAOE 16
![Page 17: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/17.jpg)
Inteligencia Artificial e inteligencia
computacional (cont.)
La representación simbólica funciona bien en muchos casos, pero no es fácilmente escalable; los errores/complicaciones pequeñas crecen exponencialmente (Kruse et al. 2013)
Aunque esa representación obtiene soluciones óptimas, muchas veces no puede aplicarse en la práctica
La inteligencia computacional (IC) permite trabajar con sistemas imprecisos y encontrar soluciones en tiempos razonables, aunque no exactas
(c) 2021. P. Gómez-Gil, INAOE 17
![Page 18: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/18.jpg)
Inteligencia computacional
(cont.)
Cubre una gran cantidad de modelos, pero los mas comunes incluyen: 1) Sistemas inspirados en la naturaleza. Ejemplos de
estos son las redes neuronales artificiales y los algoritmos evolutivos
2) Sistemas que representan conocimiento incierto, vago o incompleto. Ejemplos de éstos son los sistemas difusos y las redes bayesianas
Es muy común combinar las soluciones, creando sistemas híbridos, ejemplo sistemas neuro-difusos.
(c) 2021. P. Gómez-Gil, INAOE 18
![Page 19: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/19.jpg)
(c) 2021. P. Gómez-Gil, INAOE 19
¿Que Son las Redes Neuronales
Artificiales?
Las Redes Neuronales Artificiales (R.N.A.) son modelos matemáticos inspirados en sistemas
biológicos, adaptados y simulados en computadoras convencionales.
Los elementos que las conforman se asemejan a las neuronas biológicas.
[Wasserman 89]
![Page 20: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/20.jpg)
Una definición mas amplia de Redes
Neuronales Artificiales…
“Una red neuronal es un procesador masivamente paralelo y distribuido hecho de unidades procesadoras simples, las cuales son de manera natural propensas a almacenar conocimiento adquirido de la experiencia y hacerlo útil. Se parece al cerebro en dos aspectos:1. La red neuronal adquiere el conocimiento del medio
ambiente, a través de un proceso de aprendizaje
2. La fuerza de conexión entre los neurones, conocida como los pesos sinápticos, se utiliza para almacenar el conocimiento adquirido ” [Haykin 1999]
(c) 2021. P. Gómez-Gil, INAOE 20
![Page 21: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/21.jpg)
(c) 2021. P. Gómez-Gil, INAOE 21
Componentes básicos de las RNA
1. Elementos de procesamiento: Neurones
2. Regla de activación de los elementos.
3. Topología de interacción entre los elementos de
procesamiento.
4. Regla de propagación a través de las conexiones.
5. Regla de aprendizaje.
6. Medio ambiente en el que el sistema opera.
![Page 22: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/22.jpg)
(c) 2021. P. Gómez-Gil, INAOE 22
Características Principales de Las RNA
1. APRENDIZAJE. Una red neuronal puede modificar su comportamiento en respuesta al medio ambiente.
2. GENERALIZACION. Una vez entrenada, la red neuronal puede ser insensible a cambios en sus entradas.
3. ABSTRACCION. Una red neuronal puede determinar la esencia o características principales de un conjunto de datos.
![Page 23: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/23.jpg)
(c) 2021. P. Gómez-Gil, INAOE 23
ALCANCES Y LIMITACIONES DE LAS
RNA
Las R.N.A. no son la solución de todos los problemas,sino solo de aquellos en los que "las reglas de solución"no son conocidas, y existen suficientes datos ejemplosque permitan a la red aprender.
Las R.N.A. son hasta cierto punto impredecibles.
Las R.N.A. no pueden explicar como resuelven unproblema. La representación interna generada puedeser demasiado compleja para ser analizada, aún y enlos casos más sencillos.
![Page 24: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/24.jpg)
(c) 2021. P. Gómez-Gil, INAOE 24
Resumen de los Beneficios de los
Sistemas Neuronales Artificiales [Haykin
1994]
1. Son sistemas no lineales
2. Son capaces de hacer un mapeo entre entradas y salidas
3. Son adaptables
4. Pueden dar información sobre la confiabilidad de sus respuestas
5. Pueden dar información sobre el “contexto” de la selección
6. Son tolerantes a fallas
7. Son implementables en VLSI
8. Son universales en cuanto a su análisis y diseño
9. Presentan analogías con los sistemas biológicos
![Page 25: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/25.jpg)
Una solución basada en RNA
vale la pena si…
Las reglas de decisión de la solución no
se conocen explícitamente
Hay una gran cantidad de datos que
representan al problema…
(c) 2021. P. Gómez-Gil, INAOE 25
![Page 26: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/26.jpg)
(c) 2021. P. Gómez-Gil, INAOE 26
EVENTOS HISTORICOS IMPORTANTES
1943. W. McCulloch y W. Pitts publican "A Logical Calculus of the ideasimminent in nervious activity" in Bulletin of Mathematical Biophysics, 5:115-33.
1949. D. O. Hebb publica el libro "Organization of Behavior" New York:Science Editions. La ley de aprendizaje especificada por Hebb ha sido labase para los algoritmos de entrenamiento de R.N.A.
Entre los años 50´s y 60´s un grupo de investigadores producen lasprimeras redes neuronales artificiales, implementadas con circuitoselectrónicos. Entre ellos están Marvin Minsky, Frank Rosenblatt yBernanrd Widrow.
1962. F. Rosenblatt publica el libro "Principles of neurodynamics". NewYork: Spartan Books, presentando las bases del perceptrón.
![Page 27: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/27.jpg)
(c) 2021. P. Gómez-Gil, INAOE 27
EVENTOS HISTORICOS IMPORTANTES
(2)
1969. M. Minsky y S. Papert publican "Perceptrons" Cambridge, MA: MITPress. En este libro muestran que el perceptrón es teóricamente incapaz deresolver problemas muy simples. Se crea una fuerte desmotivación en lainvestigación del área.
1974. P. Werbos presenta su tesis doctoral en economía “Beyondregression: New tools for prediction and analysis in the behavior science”donde describe un algoritmo para adaptar funciones de costos, que deforma independiente seria derivado por el grupo de D. Rumelhart en 1986 yutilizado para entrenar redes neuronales de varios niveles.
1986. D. E. Rumelhart, G. E. Hinton y R. J. Williams publican "Learninginternal representations by error propagation", en Parallel DistributedProcessing, Vol I, pp 318-62. Cambridge MA: MIT Press. Acá presentanuno de los primeros algoritmos para entrenar redes neuronales de variosniveles, destruyendo el mito de Minsky y haciendo resurgir la investigacionen el área de R.N.A. Por muchos años se dio crédito a este trabajo comoel primero, hasta que Werbos presentó a la comunidad evidencia de que sutrabajo fue el primero
... Cientos de modelos y aplicaciones han surgido desde entonces....
![Page 28: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/28.jpg)
Referencias (1/2)
Brown, R.E. Donald O. Hebb and the Organization of Behavior: 17 years in the writing. Mol Brain 13, 55 (2020). https://doi.org/10.1186/s13041-020-00567-8
Hebb DO. The organization of behavior; a neuropsychological theory. NY: Wiley; 1949. [reprinted 2002 by Lawrence Erlbaum associates, Mahwah, New Jersey]
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences, 79(8), 2554-2558.
McCulloch, W. S., & Pitts, W. (1943). A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics, 5(4), 115-133.
Marvin L. Minsky and Seymour A. Papert. 1988. Perceptrons: expanded edition. MIT Press, Cambridge, MA, USA.
(c) 2021. P. Gómez-Gil, INAOE 28
![Page 29: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/29.jpg)
Referencias (2/2)
Rosenblatt, F. (1961). Principles of neurodynamics. perceptrons and the theory of brain mechanisms. Cornell Aeronautical Lab Inc Buffalo NY.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning internal representations by error propagation, Parallel Distributed Processing, Vol. 1. Foundations. MIT Press, Cambridge.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. nature, 323(6088), 533-536.
Werbos, P. (1974). Beyond regression: New tools for prediction and analysis in the behavior science. Doctoral Dissertation, Harvard University.
Werbos, P. J. (1994). The roots of backpropagation: from ordered derivatives to neural networks and political forecasting (Vol. 1). John Wiley & Sons.
Widrow, B., & Hoff, M. E. (1960). Adaptive switching circuits. Stanford UnivCa Stanford Electronics Labs.
(c) 2021. P. Gómez-Gil, INAOE 29
![Page 30: Inteligencia Computacional I- sección Redes Neuronales ...](https://reader035.fdocuments.ec/reader035/viewer/2022070314/62bf9dca4ed75956c2183b03/html5/thumbnails/30.jpg)
Tarea
Leer capítulo 2 “Introduction” del libro de
texto (Kruse et al. 2013)
(c) 2021. P. Gómez-Gil, INAOE 30