POLITEXT 36 - Pàgina inicial de UPCommons · PDF file cedimiento, comprendidos la...

Click here to load reader

  • date post

    03-Jul-2020
  • Category

    Documents

  • view

    0
  • download

    0

Embed Size (px)

Transcript of POLITEXT 36 - Pàgina inicial de UPCommons · PDF file cedimiento, comprendidos la...

  • POLITEXT 36

    Aprendizaje automático

    Antonio Moreno - Eva Armengol - Javier Béjar Lluís Belanche - Ulises Cortés - Ricard Gavaldà

    Juan Manuel Gimeno - Beatriz López - Mario Martín Miquel Sànchez

    EDICIONS UPC

  • Diseño de la cubierta: Manuel Andreu

    © Los autores, 1994

    © Edicions UPC, 1994 Edicions de la Universitat Politècnica de Catalunya, SL Jordi Girona Salgado 31, 08034 Barcelona Tel. 934 016 883 Fax. 934 015 885 Edicions Virtuals: www.edicionsupc.es e-mail: [email protected]

    Producción: Servei de Publicacions de la UPC y CPET (Centre de Publicacions del Campus Nord) La Cup. C. Gran Capità s/n, 08034 Barcelona

    Depósito legal: B-5.473-94 ISBN: 84-7653-460-4

    Quedan rigurosamente prohibidas, sin la autorización escrita de los titulares del copyright, bajo las san- ciones establecidas en las leyes, la reproducción total o parcial de esta obra por cualquier medio o pro- cedimiento, comprendidos la reprografía y el tratamiento informático y la distribución de ejemplares de ella mediante alquiler o préstamo públicos, así como la exportación e importación de ejemplares para su distribución y venta fuera del ámbito de la Unión Europea.

  • CONTENIDO i

    Contenido

    1 Introducci�on 1

    1.1 Aprendizaje animal y autom�atico : : : : : : : : : : : : : : : : : : : : : : : : : : 1

    1.1.1 Aprendizaje animal : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1

    1.1.2 Tipos de aprendizaje animal : : : : : : : : : : : : : : : : : : : : : : : : 3

    1.1.3 Aprendizaje autom�atico : : : : : : : : : : : : : : : : : : : : : : : : : : : 6

    1.2 Rese~na hist�orica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8

    1.2.1 Paradigmas del aprendizaje autom�atico : : : : : : : : : : : : : : : : : : 9

    1.2.2 Medidas de actuaci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11

    1.3 Estrategias elementales de aprendizaje : : : : : : : : : : : : : : : : : : : : : : : 13

    1.4 Organizaci�on del texto : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 14

    1.5 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15

    2 Aprendizaje inductivo 19

    2.1 De�nici�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19

    2.1.1 Tipos de aprendizaje inductivo : : : : : : : : : : : : : : : : : : : : : : : 22

    2.2 M�etodos de adquisici�on de conceptos : : : : : : : : : : : : : : : : : : : : : : : : 23

    2.2.1 M�etodo Winston : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23

    2.2.2 M�etodo Hayes-Roth : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 32

    2.2.3 M�etodo Vere : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 34

    2.2.4 M�etodo Michalski-Dietterich : : : : : : : : : : : : : : : : : : : : : : : : 37

    2.2.5 Comparaci�on de los m�etodos : : : : : : : : : : : : : : : : : : : : : : : : 41

    2.2.6 Espacio de versiones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 42

    2.3 Inducci�on de �arboles de decisi�on : : : : : : : : : : : : : : : : : : : : : : : : : : 49

    2.3.1 �Arboles de decisi�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 49

    2.3.2 El algoritmo ID3 b�asico : : : : : : : : : : : : : : : : : : : : : : : : : : : 50

  • ii CONTENIDO

    2.3.3 El algoritmo ID3 normalizado : : : : : : : : : : : : : : : : : : : : : : : : 53

    2.3.4 El algoritmo RLM : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 55

    2.3.5 Algoritmos incrementales : : : : : : : : : : : : : : : : : : : : : : : : : : 57

    2.4 La relevancia de los atributos : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61

    2.4.1 El problema de la relevancia : : : : : : : : : : : : : : : : : : : : : : : : : 61

    2.4.2 Los atributos nought : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 64

    2.5 Aprendizaje por observaci�on y formaci�on de conceptos : : : : : : : : : : : : : : 66

    2.5.1 La componente psicol�ogica : : : : : : : : : : : : : : : : : : : : : : : : : 66

    2.5.2 Aproximaciones computacionales : : : : : : : : : : : : : : : : : : : : : : 70

    2.5.3 Taxonom��a num�erica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 71

    2.5.4 T�ecnicas de aprendizaje autom�atico : : : : : : : : : : : : : : : : : : : : 74

    2.5.5 Agrupaci�on conceptual : : : : : : : : : : : : : : : : : : : : : : : : : : : : 74

    2.5.6 Formaci�on de conceptos : : : : : : : : : : : : : : : : : : : : : : : : : : : 86

    2.6 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97

    2.7 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97

    3 Analog��a 101

    3.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 101

    3.2 De�niciones previas : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 102

    3.3 Modelo uni�cado de analog��a : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103

    3.4 El modelo de Greiner : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 104

    3.4.1 Las complejidades de la inferencia anal�ogica �util : : : : : : : : : : : : : 107

    3.4.2 El algoritmo de inferencia anal�ogica �util : : : : : : : : : : : : : : : : : : 109

    3.5 Analog��a transformacional : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 110

    3.5.1 El espacio de b�usqueda de las transformaciones : : : : : : : : : : : : : : 110

    3.5.2 La arquitectura de la analog��a transformacional : : : : : : : : : : : : : : 114

    3.5.3 El sistema ARIES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 114

    3.6 Analog��a derivacional : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 116

    3.7 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 118

    3.8 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 119

    4 Aprendizaje basado en explicaciones 121

    4.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 121

  • CONTENIDO iii

    4.2 Descripci�on intuitiva del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : 122

    4.3 Descripci�on formal del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 123

    4.3.1 De�niciones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 123

    4.3.2 Componentes de los m�etodos EBL : : : : : : : : : : : : : : : : : : : : : 124

    4.4 Problemas del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 129

    4.4.1 Reformulaci�on de la Teor��a : : : : : : : : : : : : : : : : : : : : : : : : : 129

    4.4.2 Revisi�on de la Teor��a : : : : : : : : : : : : : : : : : : : : : : : : : : : : 131

    4.5 Ejemplos de sistemas que usan EBL : : : : : : : : : : : : : : : : : : : : : : : : 132

    4.5.1 STRIPS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 133

    4.5.2 EBG de Mitchell : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 138

    4.5.3 SOAR : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 139

    4.5.4 PRODIGY : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 145

    4.6 Comparaci�on con otros m�etodos de aprendizaje : : : : : : : : : : : : : : : : : : 152

    4.7 Conclusiones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 153

    4.8 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 153

    5 Conexionismo 155

    5.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 155

    5.2 El modelo biol�ogico : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 156

    5.3 Perspectiva hist�orica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 158

    5.4 Nociones preliminares : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 159

    5.4.1 El modelo b�asico : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 160

    5.4.2 Redes monocapa : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 161

    5.4.3 Redes multicapa : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 162

    5.4.4 Entrenamiento de redes neuronales : : : : : : : : : : : : : : : : : : : : : 163

    5.4.5 Algoritmos b�asicos de aprendizaje: asociadores lineales : : : : : : : : : : 164

    5.5 El perceptr�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 165

    5.6 La regla Delta : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 171

    5.7 Funciones discriminantes lineales : : : : : : : : : : : : : : : : : : : : : : : : : : 174

    5.7.1 Categorizaci�on binaria : : : : : : : : : : : : : : : : : : : : : : : : : : : : 174

    5.7.2 Descenso de gradientes : : : : : : : : : : : : : : : : : : : : : : : : : : : : 176

    5.7.3 La funci�on de criterio del perceptr�on : : : : : : : : : : : : : : : : : : : : 176

    5.7.4 Convergencia del c�alculo : : : : : : : : : : : : : : : : : : : : : : : : : : : 177

  • iv CONTENIDO

    5.7.5 M�etodos de m��nimo error cuadr�atico : : : : : : : : : : : : : : : : : : : : 181

    5.8 El algoritmo de Backpropagation :