REPRESENTANTES

JOHNNY ALEXANDER PAEZ TOVAR

JOHAN ANDRES LOPERA ZULETA

REDES BAYESIANAS Y DECISIOacuteN ESTADIacuteSTICA

Las redes bayesianas son una representacioacuten grafica de dependencias para razonamiento probabiliacutestico en la cual los nodos representan variables aleatorias y los arcos representan relaciones de dependencia directa entre las variablesLa Figura muestra un ejemplo hipoteacutetico de una red bayesiana (RB) que representa cierto conocimiento sobre medicina En este caso los nodos representan enfermedades siacutentomas y factores que causan algunas enfermedades La variable a la que apunta un arco es dependiente de la que esta en el origen de este

iexclQUE SON LAS REDES BAYESIANAS

Por ejemplo una red bayesiana puede representar las relaciones probabiliacutesticas entre enfermedades y siacutentomas Dados los siacutentomas la red puede ser usada para computar las probabilidad de la presencia de varias enfermedades

Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia

Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia

Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es

donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo

iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Las redes bayesianas son una representacioacuten grafica de dependencias para razonamiento probabiliacutestico en la cual los nodos representan variables aleatorias y los arcos representan relaciones de dependencia directa entre las variablesLa Figura muestra un ejemplo hipoteacutetico de una red bayesiana (RB) que representa cierto conocimiento sobre medicina En este caso los nodos representan enfermedades siacutentomas y factores que causan algunas enfermedades La variable a la que apunta un arco es dependiente de la que esta en el origen de este

iexclQUE SON LAS REDES BAYESIANAS

Por ejemplo una red bayesiana puede representar las relaciones probabiliacutesticas entre enfermedades y siacutentomas Dados los siacutentomas la red puede ser usada para computar las probabilidad de la presencia de varias enfermedades

Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia

Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia

Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es

donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo

iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Ejemplo de una red bayesiana Los nodos representan variables aleatorias y los arcos relaciones de dependencia

Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia

Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es

donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo

iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Existen algoritmos eficientes que llevan a cabo la inferencia y el aprendizaje en redes bayesianas Las redes bayesianas que modelan secuencias de variables (ej sentildeales del habla o secuencias de proteiacutenas) son llamadas redes bayesianas dinaacutemicas Las generalizaciones de las redes bayesianas que pueden representar y resolver problemas de decisioacuten bajo incertidumbre son llamados diagramas de influencia

Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es

donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo

iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Supongamos que hay dos eventos los cuales pueden causar que la hierba esteacute huacutemeda que el rociador esteacute activado o que esteacute lloviendo Tambieacuten supongamos que la lluvia tiene un efecto directo sobre el uso del rociador (usualmente cuando llueve el rociador se encuentra apagado) Entonces la situacioacuten puede ser modelada con una red Bayesiana (como hemos visto) Las tres variables tienen dos posibles valores T (para verdadero) y F (para falso) La funcioacuten de probabilidad conjunta es

donde los nombres de las variables han sido abreviados a G = Hierba huacutemeda S = Rociador activado y R = Lloviendo

iquestCuaacutel es la probabilidad de que esteacute lloviendo dado que la hierba estaacute huacutemeda

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

APRENDIZAJE DE CLASIFICADORES BAYESIANOS

Diferentes clases predefinidas Los clasificadores bayesianos son ampliamenteutilizados debido a que presentan ciertas ventajas

1 Generalmente son faacuteciles de construir y de entender2 Las inducciones de estos clasificadores son extremadamente raacutepidas requiriendosolo un paso para hacerlo3 Es muy robusto considerando atributos irrelevantes4 Toma evidencia de muchos atributos para realizar la prediccioacuten finalUn clasificador bayesiano se puede ver como un caso especial de una red bayesianaen la cual hay una variable especial que es la clase y las demaacutes variables sonlos atributos La estructura de esta red depende del tipo de clasificador comoveremos mas adelante

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Clasificador bayesiano simple

Un clasificador bayesiano obtiene la probabilidad posterior de cada clase Ciusando la regla de Bayes como el producto de la probabilidad a priori de laclase por la probabilidad condicional de los atributos (E) dada la clase divididopor la probabilidad de los atributos

El clasicador bayesiano simple (naive Bayes classier NBC) asume que losatributos son independientes entre s dada la clase as que la probabilidad sepuede obtener por el producto de las probabilidades

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Extensiones

bull Los clasificadores TAN y BAN son casos particulares de redes bayesianas por lo que para realizar el aprendizaje y clasificacioacuten en base a estos modelos seutilizan teacutecnicas de redes bayesianas

iquestTAN es un clasificador bayesiano simple aumentado con un aacuterbol

BAN clasificador bayesiano simple aumentado con una red

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Aprendizaje de arbolesEl aprendizaje de arboles se basa en el algoritmo desarrollado por Chow y Liupara aproximar una distribucioacuten de probabilidad por un producto de probabilidadesde segundo orden (aacuterbol) La probabilidad conjunta de n variables sepuede representar como

Para obtener el aacuterbol se plantea el problema como uno de optimizacioacutenobtener la estructura de aacuterbol que mas se aproxime a la distribucioacuten real Esto se basa en una medida de la diferencia de informacioacuten entre la distribucioacuten real y la aproximadaEl objetivo es minimizar Se puede definir dicha diferencia en funcioacuten de la informacioacuten mutua entre pares de variables

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Podemos entonces encontrar el aacuterbol optimo mediante el siguiente algoritmo que es equivalente al conocido problema del maximum weight spanning tree (Peso maacuteximo del aacuterbol de expansioacuten)

1 Calcular la informacioacuten mutua entre todos los pares de variables (que paran variables son n(n 1048576 1)=2)2 Ordenar las informaciones mutuas de mayor a menor3 Seleccionar la rama de mayor valor como aacuterbol inicial4 Agregar la siguiente rama mientras no forme un ciclo si es as desechar5 Repetir 4 hasta que se cubran todas las variables (n-1 ramas)El algoritmo NO provee la direccioacuten de los arcos por lo que esta se puede asignaren forma arbitraria o utilizando semaacutentica externa (experto)Para ilustrar el algoritmo consideremos el claacutesico ejemplo del jugador de golf (o de tenis seguacuten distintas versiones) en el cual se tienen cuatro variablesjuega ambiente humedad y temperatura Obtenemos entonces las informacionesmutuas de cada par de variables (10 en total) que se muestran a continuacioacuten

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

En este caso seleccionamos las primeras 4 ramas y generamos el aacuterbol que se ilustra en la Figura Las direcciones de las ligas han sido asignadas en forma arbitraria

Ejemplo de golf Aacuterbol obtenido mediante el algoritmo de aprendizajede arboles J es juega A es ambiente H es humedad y T es temperatura

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Propagacioacuten en Arboles

Este algoritmo se aplica a estructuras de tipo aacuterbol y se puede extender apoliarboles (grafos sencillamente conectados en que un nodo puede tener masde un padre)

Estructuras sencillamente conectadas (a) aacuterbol (b) poliarbol

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

Propagacioacuten en arboles En un aacuterbol cualquier nodo (B) divide lared en dos subgrafos condicionalmente independientes E+ y E-Ya que la estructura de la red es un aacuterbol el Nodo B la separa en dos subaacuterbolespor lo que podemos dividir la evidencia en dos gruposE- Datos en el aacuterbol que cuya raiacutez es BE+ Datos en el resto del aacuterbol

httpwwwyoutubecomwatchv=5N8crlktbKQ

GRACIAS

• Slide 1
• Slide 2
• Slide 3
• Slide 4
• Slide 5
• Slide 6
• Slide 7
• Slide 8
• Slide 9
• Slide 10
• Slide 11
• Slide 12
• Slide 13
• Slide 14