POLITEXT 36

Aprendizaje automático

Antonio Moreno - Eva Armengol - Javier Béjar Lluís Belanche - Ulises Cortés - Ricard Gavaldà

Juan Manuel Gimeno - Beatriz López - Mario Martín Miquel Sànchez

EDICIONS UPC

Diseño de la cubierta: Manuel Andreu

© Los autores, 1994

© Edicions UPC, 1994 Edicions de la Universitat Politècnica de Catalunya, SL Jordi Girona Salgado 31, 08034 Barcelona Tel. 934 016 883 Fax. 934 015 885 Edicions Virtuals: www.edicionsupc.es e-mail: edupc@sg.upc.es

Producción: Servei de Publicacions de la UPC y CPET (Centre de Publicacions del Campus Nord) La Cup. C. Gran Capità s/n, 08034 Barcelona

Depósito legal: B-5.473-94 ISBN: 84-7653-460-4

Quedan rigurosamente prohibidas, sin la autorización escrita de los titulares del copyright, bajo las san- ciones establecidas en las leyes, la reproducción total o parcial de esta obra por cualquier medio o pro- cedimiento, comprendidos la reprografía y el tratamiento informático y la distribución de ejemplares de ella mediante alquiler o préstamo públicos, así como la exportación e importación de ejemplares para su distribución y venta fuera del ámbito de la Unión Europea.

CONTENIDO i

Contenido

1 Introducci�on 1

1.1 Aprendizaje animal y autom�atico : : : : : : : : : : : : : : : : : : : : : : : : : : 1

1.1.1 Aprendizaje animal : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1

1.1.2 Tipos de aprendizaje animal : : : : : : : : : : : : : : : : : : : : : : : : 3

1.1.3 Aprendizaje autom�atico : : : : : : : : : : : : : : : : : : : : : : : : : : : 6

1.2 Rese~na hist�orica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8

1.2.1 Paradigmas del aprendizaje autom�atico : : : : : : : : : : : : : : : : : : 9

1.2.2 Medidas de actuaci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11

1.3 Estrategias elementales de aprendizaje : : : : : : : : : : : : : : : : : : : : : : : 13

1.4 Organizaci�on del texto : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 14

1.5 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15

2 Aprendizaje inductivo 19

2.1 De�nici�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19

2.1.1 Tipos de aprendizaje inductivo : : : : : : : : : : : : : : : : : : : : : : : 22

2.2 M�etodos de adquisici�on de conceptos : : : : : : : : : : : : : : : : : : : : : : : : 23

2.2.1 M�etodo Winston : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23

2.2.2 M�etodo Hayes-Roth : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 32

2.2.3 M�etodo Vere : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 34

2.2.4 M�etodo Michalski-Dietterich : : : : : : : : : : : : : : : : : : : : : : : : 37

2.2.5 Comparaci�on de los m�etodos : : : : : : : : : : : : : : : : : : : : : : : : 41

2.2.6 Espacio de versiones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 42

2.3 Inducci�on de �arboles de decisi�on : : : : : : : : : : : : : : : : : : : : : : : : : : 49

2.3.1 �Arboles de decisi�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 49

2.3.2 El algoritmo ID3 b�asico : : : : : : : : : : : : : : : : : : : : : : : : : : : 50

ii CONTENIDO

2.3.3 El algoritmo ID3 normalizado : : : : : : : : : : : : : : : : : : : : : : : : 53

2.3.4 El algoritmo RLM : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 55

2.3.5 Algoritmos incrementales : : : : : : : : : : : : : : : : : : : : : : : : : : 57

2.4 La relevancia de los atributos : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61

2.4.1 El problema de la relevancia : : : : : : : : : : : : : : : : : : : : : : : : : 61

2.4.2 Los atributos nought : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 64

2.5 Aprendizaje por observaci�on y formaci�on de conceptos : : : : : : : : : : : : : : 66

2.5.1 La componente psicol�ogica : : : : : : : : : : : : : : : : : : : : : : : : : 66

2.5.2 Aproximaciones computacionales : : : : : : : : : : : : : : : : : : : : : : 70

2.5.3 Taxonom��a num�erica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 71

2.5.4 T�ecnicas de aprendizaje autom�atico : : : : : : : : : : : : : : : : : : : : 74

2.5.5 Agrupaci�on conceptual : : : : : : : : : : : : : : : : : : : : : : : : : : : : 74

2.5.6 Formaci�on de conceptos : : : : : : : : : : : : : : : : : : : : : : : : : : : 86

2.6 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97

2.7 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97

3 Analog��a 101

3.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 101

3.2 De�niciones previas : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 102

3.3 Modelo uni�cado de analog��a : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103

3.4 El modelo de Greiner : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 104

3.4.1 Las complejidades de la inferencia anal�ogica �util : : : : : : : : : : : : : 107

3.4.2 El algoritmo de inferencia anal�ogica �util : : : : : : : : : : : : : : : : : : 109

3.5 Analog��a transformacional : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 110

3.5.1 El espacio de b�usqueda de las transformaciones : : : : : : : : : : : : : : 110

3.5.2 La arquitectura de la analog��a transformacional : : : : : : : : : : : : : : 114

3.5.3 El sistema ARIES : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 114

3.6 Analog��a derivacional : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 116

3.7 Resumen : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 118

3.8 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 119

4 Aprendizaje basado en explicaciones 121

4.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 121

CONTENIDO iii

4.2 Descripci�on intuitiva del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : 122

4.3 Descripci�on formal del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 123

4.3.1 De�niciones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 123

4.3.2 Componentes de los m�etodos EBL : : : : : : : : : : : : : : : : : : : : : 124

4.4 Problemas del EBL : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 129

4.4.1 Reformulaci�on de la Teor��a : : : : : : : : : : : : : : : : : : : : : : : : : 129

4.4.2 Revisi�on de la Teor��a : : : : : : : : : : : : : : : : : : : : : : : : : : : : 131

4.5 Ejemplos de sistemas que usan EBL : : : : : : : : : : : : : : : : : : : : : : : : 132

4.5.1 STRIPS : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 133

4.5.2 EBG de Mitchell : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 138

4.5.3 SOAR : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 139

4.5.4 PRODIGY : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 145

4.6 Comparaci�on con otros m�etodos de aprendizaje : : : : : : : : : : : : : : : : : : 152

4.7 Conclusiones : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 153

4.8 Ejercicios : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 153

5 Conexionismo 155

5.1 Introducci�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 155

5.2 El modelo biol�ogico : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 156

5.3 Perspectiva hist�orica : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 158

5.4 Nociones preliminares : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 159

5.4.1 El modelo b�asico : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 160

5.4.2 Redes monocapa : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 161

5.4.3 Redes multicapa : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 162

5.4.4 Entrenamiento de redes neuronales : : : : : : : : : : : : : : : : : : : : : 163

5.4.5 Algoritmos b�asicos de aprendizaje: asociadores lineales : : : : : : : : : : 164

5.5 El perceptr�on : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 165

5.6 La regla Delta : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 171

5.7 Funciones discriminantes lineales : : : : : : : : : : : : : : : : : : : : : : : : : : 174

5.7.1 Categorizaci�on binaria : : : : : : : : : : : : : : : : : : : : : : : : : : : : 174

5.7.2 Descenso de gradientes : : : : : : : : : : : : : : : : : : : : : : : : : : : : 176

5.7.3 La funci�on de criterio del perceptr�on : : : : : : : : : : : : : : : : : : : : 176

5.7.4 Convergencia del c�alculo : : : : : : : : : : : : : : : : : : : : : : : : : : : 177

iv CONTENIDO

5.7.5 M�etodos de m��nimo error cuadr�atico : : : : : : : : : : : : : : : : : : : : 181

5.8 El algoritmo de Backpropagation :