¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf ·...

42
¿Qué es aprendizaje máquina? Johan Van Horebeek sept. 2018 Parte 1: What´s in a name Evolución Parte 2: Algunas caracterísCcas y ejemplos didácCcos Enfoque: una pláCca moCvacional para gente no muy familiarizado con el tema Pregunta más interesante que la respuesta Ejemplos sencillos

Transcript of ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf ·...

Page 1: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

¿Qué  es  aprendizaje  máquina?  Johan  Van  Horebeek  

sept.  2018  

Parte  1:    What´s  in  a  name    -­‐    Evolución      Parte  2:    Algunas    caracterísCcas  y  ejemplos  didácCcos  

Enfoque:                  una  pláCca    moCvacional  para  gente  no  muy  familiarizado  con  el  tema  

Pregunta  más  interesante  que  la  respuesta  Ejemplos  sencillos  

Page 2: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  

Page 3: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  

Machine  Learning    (1959)  

Aprendizaje  máquina   Aprendizaje  automáLco  

Máquina:  un  sistema  computacional,                                          automáCco,  sin  intervención  humana,                                          cf.    “ArCficial”  en  “Inteligencia  ArCficial”    

Aprendizaje:  aprender  a  resolver  una  tarea  a  parCr  de  (aprovechar)                                                        datos  y                                                          experiencia  

Page 4: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  

Machine  Learning    (1959)  

Aprendizaje  máquina   Aprendizaje  automáLco  

Máquina:  un  sistema  computacional,                                          automáCco,  sin  intervención  humana,                                          cf.    “ArCficial”  en  “Inteligencia  ArCficial”    

Aprendizaje:  aprender  a  resolver  una  tarea  a  parCr  de  (aprovechar)                                                        datos  y                                                          experiencia  

Aprender  de  manera  automáLco  a  resolver  una  tarea  a  parLr  de  datos  y  experiencia  

Fuente:  T.  Mitchell  

Page 5: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  

Machine  Learning    (1959)  

Aprendizaje  máquina   Aprendizaje  automáLco  

Máquina:  un  sistema  computacional,                                          automáCco,  sin  intervención  humana,                                          cf.    “ArCficial”  en  “Inteligencia  ArCficial”    

Aprendizaje:  aprender  a  resolver  una  tarea  a  parCr  de  (aprovechar)                                                        datos  y                                                          experiencia  

Aprender  de  manera  automáLco  a  resolver  una  tarea  a  parLr  de  datos  y  experiencia  

Page 6: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Machine  Learning    (1959)  

Años  50:      dos  corrientes  

Norbert  Wiener                                                                                                  John  McCarthy,    A.  Turing            retroalimentación,  control                                                                lógica            modelo  conexionista    (biología)                                              autómata      CibernéLca                                                                                                                  Inteligencia  ArLficial  

Buscar  -­‐  complejidad  

juego  

Page 7: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Machine  Learning    (1959)  

Años  50:      dos  corrientes  

Norbert  Wiener                                                                                                  John  McCarthy,    A.  Turing            retroalimentación,  control                                                                lógica            modelo  conexionista    (biología)                                              autómata      CibernéLca                                                                                                                  Inteligencia  ArLficial  

Buscar  -­‐  complejidad  

juego  

No  consideramos  aquí    la  pregunta  de  entender    el  aprendizaje  con  humanos  o  qué  significa  “inteligente”  

Page 8: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  El  poder  de  un  nombre  

Page 9: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  El  poder  de  un  nombre  

Tomaso  Poggio  

Algo  similar:  relación  con  InvesCgación  de  Operaciones  

Page 10: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Un  nombre    es  siempre  hijo  de  su  0empo  El  poder  de  un  nombre  

Tomaso  Poggio  

Pasa  en  muchos  áreas:  por  ejemplo  bioinformáCca  Papel  nombres  revistas  

Algo  similar:  relación  con  InvesCgación  de  Operaciones  

Page 11: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Aprender  de  manera  automáLco  a  resolver  una  tarea  a  parLr  de  datos  y  experiencia  

Page 12: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Aprender  de  manera  automáLco  a  resolver  una  tarea  a  parLr  de  datos  y  experiencia  

Datos:  factor  crucial  en  evolución  de    aprendizaje  máquina    Su  importancia  ha  aumentado    (hasta  subsCtuye  en  algunos  casos    sistemas  deducCvos)    

Page 13: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  1:    What´s  in  a  name    -­‐    Evolución      

Aprender  de  manera  automáLco  a  resolver  una  tarea  a  parLr  de  datos  y  experiencia  

Datos:  factor  crucial  en  evolución  de    aprendizaje  máquina    Su  importancia  ha  aumentado    (hasta  subsCtuye  en  algunos  casos    sistemas  deducCvos)    Impulsó  nombre:                      aprendizaje  estadísLco                                                  aprendizaje  máquina          análisis    estadísLco  mulCvariado  

Page 14: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Page 15: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Page 16: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Page 17: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Crucial  medir  distancias.  

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Page 18: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

¿seguro?    ¿qué  aprendimos?.  

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Crucial  medir  distancias.  

Page 19: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

¿cuál  esCmación  preferimos?  Fuente:  T.  Poggio  

Page 20: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

¿cuál  esCmación  (linea  roja)    preferimos?  Fuente:  C.  Bishop  

Page 21: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

¿cuál  esCmación  (linea  roja)    preferimos?  

predicción  

Page 22: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

¿cuál  esCmación  (linea  roja)    preferimos?  

inferencia  

predicción  

Page 23: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

predicción  

inferencia  

Page 24: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

EsCmar  una  función  a  parCr  de  algunas  observaciones  

inferencia  

predicción  

Problema:    no    conocemos      

Page 25: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

En  aprendizaje  máquina  queremos  opCmizar  una  función  que  no  conocemos  

elemento  crucial  será  la  complejidad  de  las  funciones      

Page 26: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

En  aprendizaje  máquina  queremos  opCmizar  una  función  que  no  conocemos  

elemento  crucial  será  la  complejidad  de  las  funciones      

Page 27: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

En  aprendizaje  máquina  queremos  opCmizar  una  función  que  no  conocemos  

elemento  crucial  será  la  complejidad  de  las  funciones      

Fuente:  Vapnik  

Page 28: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

En  aprendizaje  máquina  queremos  opLmizar  una  función  que  no  conocemos    Aprendizaje  maquina  se  enfoca  más  a  predecir  que  modelar:  no  es  lo  mismo    Independiente  del  camino  que  seguimos,    estudiar  la  calidad  implica  siempre  cálculo  de  probabilidades.    Fundamental  es  medir  distancias  

Recapitulación  

Page 29: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

¿Spam  o  no  spam?    

Page 30: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

¿Spam  o  no  spam?    

Page 31: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Page 32: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Métodos  Kernel  

Page 33: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ejemplo  didácLco    de  moLvación  (aprendizaje  supervisado)  

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

Métodos  Kernel  

Page 34: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

¿Cómo  definir  un  espacio  de  funciones?  

Page 35: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

¿Cómo  definir  un  espacio  de  funciones?  

Por  ejemplo:  iniciar  con  funciones  (base)  sencillas  y  combinarlas:  

Combinar:      sumar    funciones      

Page 36: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

¿Cómo  definir  un  espacio  de  funciones?  

Por  ejemplo:  iniciar  con  funciones  (base)  sencillas  y  combinarlas:  

Combinar:      sumar    funciones      

Combinar:      hacer  composición  de  funciones      

Page 37: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

Funciones  base:        

Elecciones  parCculares:  

Page 38: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

¿Interpretación?          ¿opLmización?    ¿limitaciones?            

Page 39: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

Son  aproximadores  universales  pero  …    

¿efecto  método  usado  de  opCmización?  

Fuente:  T.  Poggio  

Page 40: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización  

Page 41: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

Ingredientes:  espacio  de  funciones,  función  de  costo,    método  de  opLmización+  algoritmo  

Page 42: ¿Qué%es%aprendizaje%máquina?%seminarioquees.eventos.cimat.mx/.../Que_es-Horebeek.pdf · 2018-10-03 · Parte1: What´sina name%%Evolución% %% Un#nombre##es#siempre#hijo#de#su#0empo#

Parte  2:  Algunas  caracterísLcas  y  ejemplos  didácLcos          

En  aprendizaje  máquina  queremos  opLmizar  una  función  que  no  conocemos    Aprendizaje  maquina  se  enfoca  más  a  predecir  que  modelar:  no  es  lo  mismo    Independiente  del  camino  que  seguimos,    estudiar  la  calidad  implica  siempre  cálculo  de  probabilidades.    Fundamental  es  medir  distancias    Necesidad  de  entender      Impacto  evolución  datos  complejos:  necesidad  de  trabajar  con  objetos  complejos      No  se  puede  descoplar  los  ingredientes:  función  de  costo,  opCmización,  algoritmo  

Recapitulación