Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión...
-
Upload
truongdung -
Category
Documents
-
view
221 -
download
0
Transcript of Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión...
![Page 1: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/1.jpg)
BenemBeneméérita Universidad rita Universidad
AutAutóónoma de Pueblanoma de Puebla
Facultad de Ciencias de la ComputaciFacultad de Ciencias de la Computacióónn
Inteligencia ArtificialInteligencia Artificial
Verano 2016
![Page 2: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/2.jpg)
Aprendizaje ComputacionalAprendizaje Computacional
![Page 3: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/3.jpg)
96
Tareas complejas
![Page 4: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/4.jpg)
97
Sistema biométrico
� Módulo Matching:
� Comparación contra
ejemplos de
entrenamiento
� Lleva a cabo Match
score
![Page 5: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/5.jpg)
Algunos conceptos fundamentales (Clasificación)
![Page 6: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/6.jpg)
99
Objeto/Instancia
=(Alto, Ancho, color, �)
=(80cm., 60cm., café, �)
Atributos:
![Page 7: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/7.jpg)
100
Tipos de AtributosTipos de Atributos
� Dado una instancia/objeto, éstos pueden
ser:
� Numérico
� Discreto
� Binario
� Nominal
� Ordinal
![Page 8: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/8.jpg)
101
MachineMachine LearningLearning
![Page 9: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/9.jpg)
102
QuQuéé es ML/RP/DM?es ML/RP/DM?
� Interpretaciones diversas
� “Extracción de modelos a partir de un
conjunto de información para un determinado
fin”
� Analogía: Aprendizaje Humano
![Page 10: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/10.jpg)
103
AprendizajeAprendizaje
Identificar
el autor
![Page 11: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/11.jpg)
104
ClasificaciClasificacióónn
ClasesClases
Objetos
Atributos
![Page 12: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/12.jpg)
105
ClasificaciClasificacióónn
Objetos del
mundo real
Características
de cada objeto Clasificador
Nuevo objeto
Asignar una clase al
nuevo objeto
![Page 13: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/13.jpg)
106
ClasificaciClasificacióónn
Características
de cada objeto
Nuevo objeto
Entrenamiento / Aprendizaje
Asignar clase al
nuevo objeto
Conjunto de
entrenamiento
Tarea
TClasificación
Clasificador
![Page 14: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/14.jpg)
107
Enfoques de clasificaciEnfoques de clasificacióónn
� Con base en la manera en que cada
algoritmo aprende/entrena
� Se categorizan en ciertos enfoques
� Algunos enfoques son sub-conjuntos de
otros
![Page 15: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/15.jpg)
108
Redes NeuronalesRedes Neuronales(Neural Networks, NN)(Neural Networks, NN)
![Page 16: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/16.jpg)
109
Redes NeuronalesRedes Neuronales
� Inspiración biológica
![Page 17: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/17.jpg)
Redes Neuronales
![Page 18: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/18.jpg)
111
Redes NeuronalesRedes Neuronales
� Perceptrón
![Page 19: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/19.jpg)
112
Redes NeuronalesRedes Neuronales
� Perceptrón
� Regla de entrenamiento:
![Page 20: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/20.jpg)
113
Redes NeuronalesRedes Neuronales
� Hiper-planos de separación
![Page 21: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/21.jpg)
114
Redes NeuronalesRedes Neuronales� Gradiente Descendente y Regla Delta
![Page 22: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/22.jpg)
115
Redes NeuronalesRedes Neuronales� Gradiente Descendente
![Page 23: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/23.jpg)
116
Redes NeuronalesRedes Neuronales� Gradiente Descendente
� Regla de entrenamiento:
![Page 24: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/24.jpg)
117
Redes NeuronalesRedes Neuronales� Gradiente Descendente
� Donde:
![Page 25: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/25.jpg)
118
Redes Redes multicapamulticapa
- Feed Forward, Back Propagation
![Page 26: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/26.jpg)
119
Redes Redes multicapamulticapa
![Page 27: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/27.jpg)
120
Redes Redes multicapamulticapa
� Feed Forward, Back propagation
� Dos reglas de entrenamiento
![Page 28: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/28.jpg)
121121
Redes multicapa
� Capa de salida
� Capa oculta
![Page 29: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/29.jpg)
122
NNNN
� Puntos a considerar:
� Convergencia
�Mínimos locales
� Espacio de búsqueda
![Page 30: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/30.jpg)
123
Redes Redes multicapamulticapa� Mínimos locales
![Page 31: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/31.jpg)
124
Redes Redes multicapamulticapa� Mínimos locales
![Page 32: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/32.jpg)
125
Redes Redes multicapamulticapa� Mínimos locales
![Page 33: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/33.jpg)
126
MomentumMomentum
![Page 34: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/34.jpg)
Ejemplo
![Page 35: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/35.jpg)
128
ÁÁrboles de decisirboles de decisióón n
![Page 36: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/36.jpg)
129
ÁÁrboles de decisirboles de decisióónn
� Clasificador basado en construir un árbol
� Clasificadores: ID3, C4.5 [Quinlan, 1993]
![Page 37: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/37.jpg)
130
ÁÁrboles de decisirboles de decisióónn
� Algoritmo ID3
� Construir árbol
� Elegir el mejor atributo para colocarlo en el nodo
raíz
� ¿cómo saber cuál es el mejor atributo?
� Ganancia de información (Gain)
� Entropía
� Se utiliza Gain para elegir los nodos del árbol
![Page 38: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/38.jpg)
131
ÁÁrboles de decisirboles de decisióónn
� Ganancia de información
� Entropía (2 clases)
![Page 39: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/39.jpg)
132
ÁÁrboles de decisirboles de decisióónn
� Entropía, caso general:
![Page 40: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/40.jpg)
133
Ganancia de informaciGanancia de informacióónn
� Impacta en menor grado los casos en que
los valores de atributo son homogéneos
![Page 41: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/41.jpg)
134
ID3ID3
![Page 42: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/42.jpg)
135
ID3ID3� Ejemplo: construir árbol para:
![Page 43: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/43.jpg)
136
ID3ID3
![Page 44: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/44.jpg)
ID3
![Page 45: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/45.jpg)
ID3
![Page 46: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/46.jpg)
139
ID3ID3� Espacio de búsqueda
![Page 47: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/47.jpg)
140
ID3ID3
� Crecimiento del árbol
![Page 48: Benem érita Universidad Autónoma de Pueblaaolvera/IA/IA-III-2016.pdf130 Árboles de decisión Algoritmo ID3 Construir árbol Elegir el mejor atributo para colocarlo en el nodo raíz](https://reader031.fdocuments.ec/reader031/viewer/2022020215/5bb9bec009d3f2323f8bd839/html5/thumbnails/48.jpg)
141
ÁÁrboles de decisirboles de decisióónn
� Atributos numéricos:
� C4.5:
� Regla de poda
� Post poda
� Discretizar valores numéricos