Post on 06-Jul-2015
description
El proceso de análisis y explotación de datos en proyectos de Business
IntelligenceMódulo 02: Análisis y procesamiento de datos para
descubrir conocimiento
Alex Rayón Jerezalex.rayon@urbegi.com
Octubre, 2014
¿Que hemos visto hasta ahora?
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Rdes Sociales
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales
Modelo de datosIntroducción
Proceso ModeloPlataforma explotación
Datos
Ciclo de análisis de datos
Representación para explotación
Información y conocimiento
1 2 3
Día 2
Modelo de datosIntroducción (II)
● Representación de los datos para ponerlos en explotacióno Hay que considerar todo lo que vimos en el primer día
→ especialmente los datos capturados que han sido normalizados
● No se puede hacer Data mining sin máso Se necesita un marco teórico → una representación
conceptual del dominio o contexto en el que se está trabajando
Modelo de datosIntroducción (III)
Modelo de datosUsos de datos
● Desde una perspectiva de Teoría del Conocimiento, tres usos de datos:o Deducción
Preguntas a resolver con la Base de Datos que se dispone (enfoque estadístico tradicional)
o Inducción
Analizar los datos con la esperanza de encontrar algo (Data Mining)
o Abducción
Deducción + Inducción
Modelo de datosUsos de datos (II)
Fuente: http://matedisyalgeline.blogspot.com.es/p/la-induccion-se-refiere-al-movimiento.html
Modelo de datosMapa conceptual
Concepto 1
Concepto 2
Concepto 3
Concepto n
Conceptos/Entidades (elemento abstracto de
información)
Relaciones entre conceptos
Modelo de datosMapa conceptual (II)
Nos ayuda a entender el dominio/contexto y a facilitar el entendimiento mutuo entre todas las
personas que están implicados en el proyecto
Source: http://www.economist.com/blogs/economist-explains/2013/05/economist-explains-14
Source: http://www.economist.com/news/finance-and-economics/21578041-containers-have-been-more-important-globalisation-freer-trade-humble
Modelo de datosMapa conceptual (III)
● El modelo de datos, el mapa conceptual, describe los conceptos y las relaciones que se emplean para el proyecto BI en el día a díao Expresadas en su propio lenguaje
o Permite que toda la organización participe en el mantenimiento del mismo
Fuente: http://en.wikipedia.org/wiki/Esperanto_orthography
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales
Dimensiones de datosIntroducción
● Una dimensión de base de datos es una colección de objetos relacionados, denominados atributos, que se pueden usar para proporcionar información sobre los datos o Atributos típicos de una dimensión
de producto pueden ser el nombre, la categoría, la línea, el tamaño y el precio del producto
Fuente: http://datawarehouse.es.tl/Funcionalidad.htm
Dimensiones de datosIntroducción (II)
● Estos objetos están enlazados a una o varias columnas de una o varias tablas de una vistadel origen de datoso De manera predeterminada, estos atributos están
visibles como jerarquías de atributo y se pueden utilizar para comprender los datos de hechos en un cubo
o Los atributos se pueden organizar en jerarquías definidas por el usuario que proporcionan rutas de navegación para ayudar a los usuarios al examinar los datos
Dimensiones de datos¿Nuestro objetivo?
¿Cuál es nuestro objetivo en todo proyecto de
Business Intelligence?
Dimensiones de datos¿Nuestro objetivo? Dar respuestas :-)
● Por cada pregunta → una respuestao Una respuesta → una dimensión de datos
● Se recomienda preparar cada dimensión de datos en una rama de Pentaho Kettle diferenteo De esta manera, se podrá ir modificando cada
respuesta según las necesidades cambiantes sin afectar al resto de preguntas - respuestas
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales
Procesamiento datos ETLDefinición y características
● Una herramienta ETLo Extrae datos desde varias fuentes de datos
(normalmente datos heredados)o Transforma los datos
Desde → estar optimizados a transacciones A → estar optimizados para el análisis y el
reporting Sincronizar los datos que provienen de diferentes
fuentes de datos Normaliza y limpia los datos
o Carga los datos en un aplicación de destino (normalmente una Base de Datos)
Procesamiento datos ETL¿Por qué necesito esta herramienta?
● Ahorran tiempo y dinero evitando tener que desarrollar código manual de integración de datos
● Es difícil para los administradores de Base de Datos conectar fuentes de diferentes fabricantes sin tener que emplear una herramienta externa
● Si tuviera que eventualmente integrarse una nueva Base de Datos, habría que rehacer el código de integración de manera manual
Procesamiento datos ETLPentaho Kettle
Kettle
Una herramienta de Extracción, Transformación y Carga (ETL) cuyas capacidades son
aprovechadas a través de un enfoque de metadatos
Procesamiento datos ETLPentaho Kettle (II)
● Tiene una interfaz de usuario (GUI) muy sencilla de utilizar
● Tiene una comunidad de desarrolladores con más de 13.500 personas registradas
● Utiliza un motor Java que procesa las tareas para mover datos entre las diferentes fuentes de datos y archivos
Procesamiento datos ETLPentaho Kettle (III)
Procesamiento datos ETLPentaho Kettle (IV)
Source: http://download.101com.com/tdwi/research_report/2003ETLReport.pdf
Procesamiento datos ETLPentaho Kettle (V)
Source: Pentaho Corporation
Procesamiento datos ETLPentaho Kettle (VI)
● Tareas que puede ejecutaro Integración de datoso Limpieza de datoso Normalización de datoso Migración de datoso Exportación de datoso etc.
Procesamiento datos ETLTransformaciones
● Manipulación de fechas y strings
● Validación de datos / Reglas de negocio
● Join
● Cálculos matemáticos
● Cálculo estadístico
● Criptografía
● Control del fujo
● Scripting
● etc.
Procesamiento datos ETL¿Para qué me puede servir?
● Espejar los datos entre maestro y esclavo
● Sincronizar dos fuentes de datos
● Procesar datos de múltiples fuentes y llevarlas hasta múltiples destinos
● Cargar los datos en un Sistema de Gestión de Base de Datos
● Manipulación gráfica de los datos
● Datamart / Datawarehouse
Procesamiento datos ETL¿Para qué me puede servir? (II)
Actividad BI.02.1. Dimensiones + Modelo de datos
● Entidades + relaciones entre entidades
● Sustentación teórica
● Dimensiones
● Definir las diferentes ramas en Pentaho Kettle
● Orientar las transformaciones hacia las dimensiones y el modelo de datos para explotación final
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales
Descubriendo conocimientoMétodos
Fuente: https://interestingittips.wordpress.com/2011/10/
Descubriendo conocimientoMétodos
1. Métodos predictivos
1. Descubrimiento estructuras
1. Minería de relaciones
Descubriendo conocimiento1) Métodos predictivos
Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)
Descubriendo conocimiento1) Métodos predictivos (II)
Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)
Descubriendo conocimiento1) Métodos predictivos (III)
● La clasificación es una de las tareas más importantes en minería de datos
● Obtener un modelo, patrón o función que discrimine entre dos o más clases excluyentes
● Medida tradicional para evaluar:o Error (también inversamente accuracy): % de
instancias mal clasificadas (respecto al conjunto de test o utilizando validación cruzada / bootstrapping)
Descubriendo conocimiento1) Métodos predictivos (IV)
● Un clasificador permite asistir en la toma de decisiones(entre diferentes acciones)o Swets, J.A., Dawes, R.M.,
& Monahan, J. (2000). “Better decisions through science” Scientific American, 283, 82-87.
Descubriendo conocimiento1) Métodos predictivos (V)
Árboles de decisión
● Plantea el problema desde distintas perspectivas de acción
● Permite analizar de manera completa todas las posibles soluciones
● Provee de un esquema para cuantificar el coste del resultado y su probabilidad de uso
● Ayuda a realizar las mejores decisiones con base a la información existente y a las mejores suposiciones
● Su estructura permite analizar las alternativas, los eventos, las probabilidades y los resultados
Descubriendo conocimiento1) Métodos predictivos (VI)
Descubriendo conocimiento1) Métodos predictivos (VII)
Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)
Descubriendo conocimiento1) Métodos predictivos (VIII)
Regresión lineal
● Puede definirse como un esquema de relación entre una variable Y (EXÓGENA O A EXPLICAR) y otra(s) variable(s) X (X1X2 ... Xk ) (endógena(s) o explicativa(s), tal que:
Y = FUNCIÓN LINEAL (X) + PERTURBACIÓN ALEATORIA (Modelo Lineal Simple)
Y = FUNCIÓN LINEAL (X1, X2, ... Xk ) + PERTURBACIÓN ALEATORIA(Modelo Lineal General)
Descubriendo conocimiento1) Métodos predictivos (IX)
Regresión lineal (cont.)
● Las hipótesis (básicas) que se asuman sobre la perturbación aleatoria permitirán realizar el análisis estadístico inferencial
● Las razones para la introducción de una perturbación aleatoria, son fundamentalmente:o Efecto de variables no consideradaso Efectos imprevistos (catástrofes, modas, etc.)o Errores de observación o medición
Descubriendo conocimiento1) Métodos predictivos (X)
Regresión lineal (cont.)
● Utilidades del modelo lineal:
o Verificar la existencia de la relación lineal
o Estimar (contrastar) la (una) relación lineal concreta (estructural)
Supone actuar sobre los coeficientes de la relación lineal
o Predecir la variable y en función de x o (x1, x2, … xk)
Descubriendo conocimiento1) Métodos predictivos (XI)
Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)
Descubriendo conocimiento1) Métodos predictivos (XII)
Regresión lineal (cont.)
● Una vez ajustada la recta de regresión a la nube de observaciones, es importante disponer de una medida que mida la bondad del ajuste realizado
● Permitirá decidir si el ajuste lineal es suficiente o se deben buscar modelos alternativos
Descubriendo conocimiento1) Métodos predictivos (XIII)
Existe una dependencia funcional lineal, las observaciones están sobre la recta de regresión. r = R2 = 1, recta de regresión: y = x.
Fuente: http://dm.udc.es/asignaturas/estadistica2/sec6_8.html
Descubriendo conocimiento1) Métodos predictivos (XIV)
La relación lineal entre las variables es muy pequeña y no parece que exista otro tipo de relación entre ellas, la nube de puntos indica que las variables son casi independientes
r = 0'192, R2 = 0'037, recta de regresión: y = 6'317 + 0'086xContraste de regresión: FR = 0'687 ∈ F1,18 → p - valor = 0'418. Se acepta la no influencia de la
variable regresora en Y.
Fuente: http://dm.udc.es/asignaturas/estadistica2/sec6_8.html
Descubriendo conocimiento1) Métodos predictivos (XV)
Existe una dependencia funcional entre las observaciones pero no de tipo lineal, por tanto la correlación es muy pequeña
r = 0'391, R2 = 0'153, recta de regresión: y = 32'534 - 1'889x.Contraste de regresión: FR = 3'252 ∈ F1,18 → p - valor = 0'088. Se acepta que no existe relación
lineal con α = 0'05. Se debe de hacer un ajuste del tipo parabólico Y = α0 + α1x + α2x2
Fuente: http://dm.udc.es/asignaturas/estadistica2/sec6_8.html
Descubriendo conocimiento1) Métodos predictivos (XVI)
Usando Clasificadores en WEKA
Procesamiento datos ETLAplicaciones para Tenzing
Actividad BI.02.2. Predicción
● Pensar 2 o 3 casos de uso
● Implementar sobre WEKA a partir de los datos normalizados de Pentaho
● Interpretar las conclusiones
● Pensar representación
● Presentar conclusiones
Descubriendo conocimiento2) Descubrimiento de estructuras
Clustering
Source: http://inside-bigdata.com/2013/12/18/tech-tip-power-pitfalls-clustering/
Source: http://www.cs.bilkent.edu.tr/~saksoy/research.html
● Identifica de forma automática agrupacioneso clústeres de elementos de acuerdo a una medida de similitud entre elloso El objetivo fundamental de las técnicas de clustering
consiste en identificar grupos o clústeres de elementos tal que: La similitud media entre elementos del mismo
clúster sea alta: similitud intra-clúster alta La similitud media entre elementos de distintos
clústeres sea baja: similitud inter-clúster baja
Descubriendo conocimiento2) Descubrimiento de estructuras (II)
Clustering
Descubriendo conocimiento2) Descubrimiento de estructuras (III)
Clustering
Existen principalmente dos tipos diferentes de técnicas de clustering:
Descubriendo conocimiento2) Descubrimiento de estructuras (IV)
Clustering
● Clustering jerárquicoo Construye un dendograma o árbol que representa las
relaciones de similitud entre los distintos elementos
Clustering jerárquico aglomerativo: se comienza con tantos clústeres como individuos y consiste en ir formando (aglomerando) grupos según su similitud
Clustering jerárquico de división: se comienza con un único clúster y consiste en ir dividiendo clústeres según la disimilitud entre sus componentes.
Descubriendo conocimiento2) Descubrimiento de estructuras (V)
Clustering
● Clustering de particióno Clustering de partición entorno a centroides (PAM) realiza
una distribución de los elementos entre un número prefijado de clústeres o grupos
Recibe como dato de entrada el número de clústers a formar además de los elementos a clasificar y la matriz de similitudes
o Explorar todas las posibles particiones es computacionalmente intratable
Por lo tanto, suelen seguirse algoritmos aproximados guiados por determinadas heurísticas
Descubriendo conocimiento2) Descubrimiento de estructuras (VI)
Clustering
● Clustering de particióno En lugar de construir un árbol el objetivo en PAM consiste
en agrupar los elementos entorno a elementos centrales llamados centroides a cada clúster
mC=argmin m∈C∑ mj∈Cdist(m,mj)
Descubriendo conocimiento2) Descubrimiento de estructuras (VII)
Clustering
● Clustering de partición
Fuente: http://www.cs.us.es/~fran/curso_unia/clustering.html
Descubriendo conocimiento2) Descubrimiento de estructuras (VIII)
Clustering
● Durante el flujo de trabajo de clustering existen tres puntos claves donde se toman decisiones que determinan la identificación final de grupos o clústeres de genes:o Elección de la medida de similitud o distancia
o Elección del algoritmo de clustering
o Elección del número de clústers a identificar
Descubriendo conocimiento2) Descubrimiento de estructuras (IX)
Clustering
● Para determinar la mejor elección posible es necesario fijar un criterio para mediar la calidad del resultado proporcionado por un flujo de trabajo de clusteringo El objetivo general perseguido por las técnicas de
clustering consiste en identificar grupos o clústeres compactos
o Es decir, clusteres con una similitud intra-clúster alta y una similitud inter-clúster baja → esta idea intuitiva se formaliza en el concepto de silueta de un cluster
Descubriendo conocimiento2) Descubrimiento de estructuras (X)
ClusteringComo medida de la distancia intracluster de un elemento del clúster si se toma:
a(si)= ∑ sj∈Cd(sj,si) |C|-1
Fuente: http://www.cs.us.es/~fran/curso_unia/clustering.html
Descubriendo conocimiento2) Descubrimiento de estructuras (XI)
ClusteringComo medida de la distancia intercluster se toma:
b(si)=mink ∑ sj∈Ckd(si,sj) |Ck|
Fuente: http://www.cs.us.es/~fran/curso_unia/clustering.html
Descubriendo conocimiento2) Descubrimiento de estructuras (XII)
Análisis factorial
Source: http://www.mathworks.es/machine-learning/examples.html?file=/products/demos/machine-learning/cluster_genes/cluster_genes.html
Descubriendo conocimiento2) Descubrimiento de estructuras (XIII)
Análisis factorial
● Reducir una matriz de datos a dimensionesestructurales más pequeñas
● Permite apreciar hasta dónde existe algún patrón subyacente de relaciones en los datos de la matriz
● Reduce las medidas a un conjunto más pequeño de factoreso Los factores pueden ser tomados como variables
originarias que explican las interrelaciones observadas en los datos
Descubriendo conocimiento2) Descubrimiento de estructuras (XIV)
Análisis factorial
● Fue creado por Spearman (1904)
● Su propósito era el de probar su Teoría de la Inteligencia
● Él sostenía que en todas las habilidades mentales subyacía un factor general (común) que denominó g y factores específicos independientes
Descubriendo conocimiento2) Descubrimiento de estructuras (XV)
Análisis factorial
Descubriendo conocimiento2) Descubrimiento de estructuras (XVI)
Análisis factorial
● El Análisis de Factores (AF) parte del supuesto de que en un conjunto de variables intercorrelacionadas, dichas relaciones recíprocas podrían deberse a la presencia de una o más variables (factores subyacentes) relacionadas en grados diversos con aquellaso El propósito, así, del AF es identificar esos factores o
variables comunes, más generales, que los datos mismos
Descubriendo conocimiento2) Descubrimiento de estructuras (XVII)
Análisis factorial
● Desde el punto de vista matemático, un factor puede ser definido como cualquier combinación lineal de variables en la matriz de datoso Ejemplo: Sea el factor A, formado por las variables a, b,
c … k, y sus ponderaciones, fueran pa, pb, pc … pk, su expresión algebraica sería:
A = pa*a + pb*b + pc*c + … + pk*k
Descubriendo conocimiento2) Descubrimiento de estructuras (XVIII)
Análisis factorial
● Interpretación sobre los factoreso Como indicadores de efectos
Las variables observadas son consideradas como el resultado de una variable subyacente latente
o Como componente
Las variables son transformadas en otras variables por conveniencia
o Como indicadores causales
La variable latente es considerada como el resultado de las observables
Descubriendo conocimiento2) Descubrimiento de estructuras (XIX)
Análisis factorial
● Métodos de factorizacióno Método Clásico
Se basa en la creencia de que las correlaciones observadas en la matriz son principalmente el resultado de alguna regularidad subyacente a los datos
o Componentes Principales
Es un método de transformación directa de un conjunto dado de variables dentro de un nuevo conjunto de variables compuestas o componentes principales
Descubriendo conocimiento2) Descubrimiento de estructuras (XX)
Análisis factorial
● Tipos de factoreso General: variables cargan en un mismo factor
o Grupo: solo algunas variables son salientes
o Común: variables que miden el mismo factor
o Unipolar: variables con un mismo signo
o Bipolar: variables con signo + y -
o Singular: una sola saliente
o Nulo: no tiene saliente
Descubriendo conocimiento2) Descubrimiento de estructuras (XXI)
Análisis factorial
● Aplicacioneso Como técnica exploratoria
Examinar estructura subyacente a una Base de Datos
o Como técnica confirmatoria
Probar la hipótesis acerca de la estructura subyacente en la Base de Datos
o Como técnica de medición
Construcción de índices a partir de los coeficientes de las cargas factoriales
Descubriendo conocimiento2) Descubrimiento de estructuras (XXII)
Análisis factorial
Etapas Opciones Referencias
Matriz de datos Única (sujetos por medidas) Martiz tipo - X
Matriz de correlación Correlación entre las medidas Matriz tipo - R
Correlación entre unidades Matriz tipo - Q
Extracción de factores iniciales Factores definidos Análisis Componentes Principales
Factores inferidos Análisis Factorial Correspondencia
Rotación hasta la solución final Factores no-correlacionados Rotación ortogonal
Factores correlacionados Rotación oblicua
Descubriendo conocimiento2) Descubrimiento de estructuras (XXIII)
Análisis factorial
Descubriendo conocimiento2) Descubrimiento de estructuras (XXIII)
Social Network Analysis
Source: http://rs.resalliance.org/2010/11/03/reading-list-using-social-network-analysis-sna-in-social-ecological-studies/
Más tarde lo veremos ;)
Procesamiento datos ETLAplicaciones para Tenzing
Actividad BI.02.3. Descubrimiento estructuras
● Pensar 2 o 3 casos de uso
● Implementar sobre WEKA a partir de los datos normalizados de Pentaho
● Interpretar las conclusiones
● Pensar representación
● Presentar conclusiones
Descubriendo conocimiento3) Minería de relaciones
Association rule mining
Source: http://aimotion.blogspot.com.es/2013/01/machine-learning-and-data-mining.html
Descubriendo conocimiento3) Minería de relaciones (II)
Reglas de asociación
● Las reglas de asociación en la minería de datos se utilizan para encontrar hechos que ocurren en común dentro de un conjunto de datoso Dicho de otra manera que debe ocurrir ciertas
condiciones para que se produzca cierta condición
Descubriendo conocimiento3) Minería de relaciones (III)
Reglas de asociación
● Para encontrar estas reglas de debe considerar cada posible combinación de condiciones para que halla una consecuenciao Al hablar de reglas de asociación también cumple un
rol importante:
Cobertura o soporte: número de instancias predichas correctamente
Precisión o confianza: proporción de número de instancias que es aplicada la regla
Descubriendo conocimiento3) Minería de relaciones (IV)
Reglas de asociación
● Basándose en el concepto de reglas fuertes, Agrawal et al., presentaron las reglas de asociación para descubrir regularidades en transacciones registradas en grandes repositorios de datos de sistemas de punto de ventas en supermercados
{pan, jamón} ⇒ {queso}
Descubriendo conocimiento3) Minería de relaciones (V)
Reglas de asociación
Descubriendo conocimiento3) Minería de relaciones (VI)
Reglas de asociación
● Aplicaciones: Product placement → colocación de productos en las estanterías de un supermercadoo Objetivo
Identificar artículos que muchos clientes compran conjuntamente
o Solución Procesar los datos de los terminales de punto
de venta proporcionados por los escáneres de códigos de barras
Descubriendo conocimiento3) Minería de relaciones (VII)
Reglas de asociación
● Aplicaciones: Promociones y ofertas → si se identificar una regla del tipo {impresora} → {tóner}o Tóner es el consecuente
Puede determinarse cómo incrementar sus ventaso Impresora es el antecedente
Puede determinarse qué productos se verían afectados si dejamos de vender impresoras
o Impresora es el antecedente y tóner el consecuente Puede utilizarse para ver qué productos deberían
venderse con impresoras para promocionar las ventas de tóner
Descubriendo conocimiento3) Minería de relaciones (VIII)
Reglas de asociación
● Aplicaciones: Gestión de inventarioso Problema
Una empresa de reparación de electrodomésticos quiere anticipar la naturaleza de las reparaciones que tendrá que realizar y mantener a sus vehículos equipados con las piezas que permitan reducir el número de visitas a casa de sus clientes
o Solución Procesar los datos sobre herramientas y piezas
utilizadas en reparaciones previas para descubrir patrones de co-ocurrencia
Descubriendo conocimiento3) Minería de relaciones (IX)
Reglas de asociación
Expresión de la formaX → Y
donde X e Y son itemsets
{pañales} → {cerveza}{cerveza} → {pañales}
{pan, leche} → {huevos}{pan} → {leche, huevos}
Descubriendo conocimiento3) Minería de relaciones (X)
Análisis correlacional
Source: http://www.bain.com/publications/articles/Growing-brands-by-understanding-what-Chinese-shoppers-really-do.aspx
Descubriendo conocimiento3) Minería de relaciones (XI)
Análisis correlacional
● Conceptualizaciones generaleso “Grado de relación o asociación entre dos variables”
(Hopkins, et al., 1997)o “Las propiedades, cálculos y uso de la medida de
relación entre dos variables” (Young, R. y Veldman, D., 1977)
o El grado y forma de relación entre dos variables
Descubriendo conocimiento3) Minería de relaciones (XII)
Análisis correlacional
● Tipos de correlacióno Correlación bivariada
Grado de relación o asociación entre dos variables
o Correlación múltiple Grado de relación entre dos o más variables
Descubriendo conocimiento3) Minería de relaciones (XIII)
Análisis correlacional
● Medición de correlación
o Gráfica
Dispersión, dispersigrama o nube de puntos
o Analítica
Ecuación matemática de Karl Pearson
Al final el “producto de Pearson” r
● r = muestras
● p = poblaciones
Descubriendo conocimiento3) Minería de relaciones (XIV)
Análisis correlacional
Fuente: http://bradanovic.blogspot.com.es/2011/12/no-le-creo-mucho-las-estadisticas-de.html
Fuente: http://rt.uits.iu.edu/visualization/analytics/stats/spss-getting-started-guide-macos.php
Descubriendo conocimiento3) Minería de relaciones (XV)
Análisis correlacional
Descubriendo conocimiento3) Minería de relaciones (XIV)
Source: http://www.mdpi.com/1424-8220/10/8/7496
Patrones secuenciales
Descubriendo conocimiento3) Minería de relaciones (XV)
Patrones secuenciales
● Minería de patrones que ocurren frecuentemente relacionados al tiempo o a otras secuencias
● Un ejemplo de patrón secuencial es:
o “Un cliente que compra un iPad, dos días después probablemente comprará la funda y las aplicaciones de ofimática”
● Es similar a la minería de itemset frecuentes (reglas de asociación), pero con una consideración de orden
Descubriendo conocimiento3) Minería de relaciones (XVI)
Patrones secuenciales
● Aplicaciones
o Secuencias de compra del cliente
o Tratamientos médicos, desastres naturales, procesos de la ingeniería y las ciencias, mercados y valores, etc.
o Patrones de llamadas telefónicas, flujos de navegación en la web, etc.
o Estructuras de ADN y genes
o ...
Descubriendo conocimiento3) Minería de relaciones (XVII)
Patrones secuenciales
● Algoritmos
o Enfoques basados en Apriori
GSP (Generalized Sequential Patterns)
SPADe
o Enfoques basados en crecimiento de patrones
FreeSpan
PrefixSpain
Descubriendo conocimiento3) Minería de relaciones (XVII)
Patrones secuenciales
● GSP
Fuente: http://bsolano.com/ecci/claroline/backends/download.php/UHJlc2VudGFjaW9uZXMvNy5fVGFyZWFzX2RlX2xhX21pbmVy7WFfZGVfZGF0b3MsX3JlZ2
xhc19kZV9hc29jaWFjafNuLnBkZg%3D%3D?cidReset=true&cidReq=CI2352
Descubriendo conocimiento3) Minería de relaciones (XVIII)
Patrones secuenciales
● GSP
Descubriendo conocimiento3) Minería de relaciones (XIX)
Patrones secuenciales
● GSP
Descubriendo conocimiento3) Minería de relaciones (XX)
Análisis de causalidad
● Muchas preguntas en la vida diaria requiere la identificación y medida de efectos causales
o ¿El tabaco provoca cáncer?
o ¿La aspirina reduce el riesgo de infarto?
o ¿Los cursos de formación para desempleados ayudan a encontrar empleo?
o ¿Cuál es el impacto del salario mínimo sobre el empleo?
o ¿Afectan los subsidios salariales o los impuestos a la oferta de trabajo de los individuos?
Descubriendo conocimiento3) Minería de relaciones (XXI)
Análisis de causalidad
Fuente: http://www.ciencia-explicada.com/2013/06/correlacion-causalidad-y-grafos-lo-mas.html
Fuente: http://avances.idict.cu/avances/article/view/26/46
● Podemos medir la correlación estadística, pero esta no implica que exista causalidad
● Para ello, se utiliza el análisis experimental
o Nos permite estudiar la existencia de causalidad
Descubriendo conocimiento3) Minería de relaciones (XXII)
Análisis de causalidad
Fuente: http://www.datuopinion.com/estudio-experimental
● Se evalúa el efecto de un factor experimental (X) sobre un fenómeno (Y)
o Se evalúa la relación: Y = f(x)
● El método incluye por necesidad la observación, pero no es una observación simple o directa
o Puede o no utilizar técnicas estadísticas para aleatorizar o poder hacer pruebas de hipótesis
● La metodología experimental a nivel social ha sido criticada por razones de factibilidad y/o por razones éticas
Descubriendo conocimiento3) Minería de relaciones (XXIII)
Análisis de causalidad
● El modelo científico para el estudio de las relaciones de causa y efecto es el experimento controlado
o Se comparan las respuestas de un grupo experimental expuesto al estímulo crucial con los de un grupo de control equivalente que no es sometido al estímulo
Descubriendo conocimiento3) Minería de relaciones (XXIV)
Análisis de causalidad
Descubriendo conocimiento3) Minería de relaciones (XXV)
Análisis de causalidad
Grupo experimental
Grupo de control
Momento 1 X1 W1
Exposición al estímulo E
Sin exposición al estímulo E
Momento 2 X2 W2
Descubriendo conocimiento3) Minería de relaciones (XXVI)
Análisis de causalidad
● Efecto del Estímulo = (X1 - W1) - (X2 - W2)
● Si los dos grupos fueron adecuadamente igualados antes de la aplicación del estímulo, la medida del efecto se simplifica: X1 = W1
● Y el efecto del estímulo se reduce a: X2 = W2
Descubriendo conocimiento3) Minería de relaciones (XXVII)
Análisis de causalidad
Procesamiento datos ETLAplicaciones para Tenzing
Actividad BI.02.4. Minería de relaciones
● Pensar 2 o 3 casos de uso
● Implementar sobre WEKA a partir de los datos normalizados de Pentaho
● Interpretar las conclusiones
● Pensar representación
● Presentar conclusiones
Descubriendo conocimientoMarketing Analytics
Source: https://media.licdn.com/mpr/mpr/p/2/000/268/1b5/21f35eb.jpg
Descubriendo conocimientoMarketing Analytics (II)
● MROI: Marketing Return on Investmento McKinsey review: an integrated analytics approach
could save up to 15-20% total budget
That’s $ 200.000.000.000 worlwide
Source: http://www.thecmosite.com/author.asp?section_id=1137&doc_id=234474
Descubriendo conocimientoMarketing Analytics (III)
Source: http://www.marketingsherpa.com/charts/roi020409-1.gif
Descubriendo conocimientoMarketing Analytics (IV)
1)Marketing-Mix Modeling (MMM)● Big Data to determine the effectiveness of spending by
channel
● Include external variables such as seasonality, and competitor and promotional activities to uncover
o Longitudinal effects: changes individuals and segments over time
o Interaction effects: differences among offline, online and Social Media activities
Marketing investments
Marketing investments
Statistical links
Descubriendo conocimientoMarketing Analytics (V)
2) Heuristich RCQ (Reach; Cost; Quality)● Disaggregate touchpoints into its component paths
o target consumer Reached
o Cost per unique touch
o Quality of engagement
● More limited; but the best one when limited data is available
Descubriendo conocimientoMarketing Analytics (VI)
3) Attribution modeling● Set of rules or algorithms that govern how credit for
converting traffic to sales is assigned to online touchpoints
o Email campaign
o Online ad
o Social-networking feed
o Website
● Statistical modeling regression techniques
Índice de contenidos
● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales
Text miningIntroducción
● Estudios recientes indican que, de media, el 80% de la información de una empresa está almacenada en forma de documentoso Sin duda, este campo de estudio es muy amplio, por lo
que técnicas como la categorización de texto, el procesamiento de lenguaje natural, la extracción y recuperación de la información o el aprendizaje automática, entre otras, apoyan el text mining (o minería de texto)
● En ocasiones se confunde el text mining con la recuperación de la información (Information Retrieval, IR) [Hearst, 1999]o Esta última, no obstante, consiste en la reacuperación
automática de documentos relevantes mediante indexaciones de textos, clasificación, categorización, etc.
o Generalmente se utilizan palabras clave para encontrar una página relevante
o En cambio, el text mining se refiere a una examinar uan colección de documentos y descubrir información no contenida en ningún documento individual [Nasukawa, 2001]
Text miningIntroducción (II)
● Hay una enorme cantidad de información en textoo Aparte de los libros, periódicos y enciclopedias en
Internet, se generan enormes cantidades de información textual
Text mining¿Por qué?
Fuente: http://sandrolopezrivera.blogspot.com.es/2011_02_01_archive.html
Text miningPasos
1) Obtención y agrupación Texto
2) Pre procesamiento
3) Generación de atributos
4) Selección de atributos
5) Minería de datos
6) Interpretación y evaluación
Text miningPasos: 1) Obtención y agrupación del texto
● Los textos se encuentran en documentos dispersos como páginas web, informes, actualizaciones de status, etc.
● El primer paso, así, consiste en la obtención de estos datos y su agrupamiento para comenzar a trabajar
Text miningPasos: 2) Pre-procesamiento
● Eliminar el ruidoo Texto deliberadamente equivocado (SPAM)o Textos ambiguoso Texto erróneoo Palabras que no tienen poder discriminatorio (STOP
WORDS)o Ruido en el formato (tags, links)o Multiplicidad de idiomaso Sinónimos, palabras con varios significadoso Frases típicas
Text miningPasos: 2) Pre-procesamiento (II)
Text miningPasos: 2) Pre-procesamiento (III)
● Convertir el documento en un vector de palabras: tokenization
Fuente: http://escritura.proyectolatin.org/topicos-avanzados-de-bases-de-datos/cap3-sistemas-de-recuperacion-de-informacion-sri/
Text miningPasos: 2) Pre-procesamiento (IV)
● Con WEKA:o Se puede importar los datos en CSV
o Hay que eliminar los caracteres: , ; : “ ‘ % ()
o Aplicar primero el filtro NominalToString
o Aplicar el filtro StringToWordDetector
Text miningPasos: 3) Generación de atributos
● Representación del textoo Bag of Words
Fuente: http://www.docstoc.com/docs/25215223/Bag-of-Words-Classification
Text miningPasos: 3) Generación de atributos (II)
● Representación del textoo Bag of Words
Fuente: http://en.wikipedia.org/wiki/Bag-of-words_model
Text miningPasos: 4) Selección de atributos
● ¿Qué palabras tienen la mejor capacidad discriminatoria?
● Se puede usar un clasificadoro Latent Semantic Analysis
Es una teoría y un método para extraer y representar el significado de las palabras dentro de un contexto utilizando técnicas estadísticas sobre un cuerpo de texto grande
Text miningPasos: 4) Selección de atributos (II)
● En WEKAo Ir a “Select attributes”
o Seleccionar “Latent Semantic Analysis”
o Start
o Guardar el nuevo dataset
Text miningPasos: 5) Minería de datos
● Se puede usar cualquiera de las técnicas vistas en el apartado de descubrimiento de conocimientoo Clasificacióno Descubrimiento estructuraso Reglas de asociación
Text miningPasos: 6)Interpretación y evaluación
● Interpretaro Descubrimiento estructuras
● Evaluar los resultadoso Clasificación
o Reglas de asociación
● Sacar conclusiones o iterar sobre los pasos anteriores
Text miningHerramientas
Text miningHerramientas (II)
Text miningAplicaciones para Tenzing
Procesamiento datos ETLAplicaciones para Tenzing
Actividad BI.02.5. Text Mining
● Pensar 2 o 3 casos de uso
● Implementar sobre Pentaho + Alchemy + OpenCalais a partir de los datos normalizados de Pentaho
● Interpretar las conclusiones
● Pensar representación
● Presentar conclusiones
Índice de contenidos
● Dimensiones de datos● Modelo de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis Redes Sociales
Análisis Redes Sociales¿Qué es?
● NO es solo Análisis de Social Mediao Puede ser parte
● Sociología + Matemáticaso Actores que interactúano Teoría de Grafos
● Estudio numérico y representación gráfica
Análisis Redes Sociales¿Qué es? (II)
Fuente: http://www.soc.duke.edu/~jmoody77/chains.pdf
Análisis Redes Sociales¿Qué se estudia?
● Redes egocéntricaso Actor principal con sus relaciones, hasta el grado n
(“amigos de amigos de amigos”)
● Redes completaso Número de nodos determinado por una característica
concreta: son los que son (UE)
● Grandes redeso Redes con muchos nodos en las que en general el
investigador corta el límite
Análisis Redes SocialesElementos
● Actoreso Los nodos de la red no tienen por qué ser
necesariamente personas, pueden ser países, o incluso actividades
o Depende de lo que se esté investigando
● Vínculoso Los vínculos que unen a los actores se definen por sus
propiedades o características de la relación
Análisis Redes SocialesElementos (II)
Fuente: http://www.economiapersonal.com.ar/2014/06/14/red-social/
Análisis Redes SocialesCaracterísticas
● Basado en relaciones y vínculos entre actores
● Recogida sistemática de datos empíricos del tipo de relación estudiada entre cada par de actoreso Representado por gráficos
● Se apoya en el uso de las matemáticas, principalmente la teoría matemática de grafosy/o en modelos informáticos
Análisis Redes SocialesTeoría de Grafos
● Surge en el siglo XVIII con Euler (1707-1803)o El problema de los puentes de Konigsberg
● Resolución de problemas que pueden ser modelados mediante un grafo y resueltos mediante algoritmos específicamente desarrollados para un grafo
Fuente: http://pequenoldn.librodenotas.com/matiaventuras/1130/7-puentes-para-un-solo-paseo
Análisis Redes SocialesTeoría de Grafos (II)
● La historia del metro de Londres tiene mucha relación con la Teoría de Grafos
o Más concretamente, con la Inmersión de Grafos(Graph Drawing)
o Permite explicar de forma sencilla la representación (inmersión) de un grafo
● Para un mismo conjunto de vértices y una misma lista de conexiones entre ellos, puede haber trazados con o sin cruces entre las líneas.
● Depende del dibujo que se haga del grafo, de la inmersión que se elija, se pueden destacar, y por lo tanto aprovechar, una característica u otra del grafo
Análisis Redes SocialesTeoría de Grafos (III)
● Los primeros mapas del metro de Londres eran geográficos
o Dibujar sobre un plano de la ciudad los recorridos de las distintas líneas
● Harry Beck, ingeniero electrónico empleado en el metro de Londres, se percató en 1931 de que al usuario no le interesaba conocer el recorrido del metro bajo tierra
o Simplemente le interesaba conocer la posición relativa de las líneas y estaciones para realizar los trasbordos que necesitase
Fuente: http://lizlangstaff.blogspot.com.es/2011/10/harry-beck.html
Análisis Redes SocialesTeoría de Grafos (IV)
● Más que un diseño geográfico, resultaría más útil un diseño topológico
o Menos curvas y direcciones en las líneas
o De broma, hizo su primer diseño basado en los utilizados en circuitos eléctricos
● En 1936, entre otros cambios, eliminó curvas y sólo permitió ángulos de 45º y 90º
● En 1940, se incorporaron ángulos de 60º también, idea que se desechó por enturbiar la claridad del plano
Análisis Redes SocialesTeoría de Grafos (V)
Fuente: http://www.planlondres.com/transports-londoniens/plan-du-metro-de-londres-40.html
Análisis Redes SocialesTeoría de Grafos (VI)
● ¿Por qué?o Proporciona vocabulario preciso
o Herramientas cuantitativas
● Grafoo “Un grafo (G) es un conjunto de vértices o nodos (N) y
líneas (L) que unen pares de nodos.”
o Nodos: actores
Pueden poseer atributos (sexo, grupo étnico, etc.)
o Líneas: vínculos
Puede haber diferentes tipos/características (amistad, influencia)
A → B
Análisis Redes SocialesTeoría de Grafos (VII)
Fuente: http://blog.visual.ly/movie-galaxies-uses-social-graph-organization-to-visualize-movie-interconnectedness/
Análisis Redes SocialesTeoría de Grafos (VIII)
● Mediciones: Nodoso Adyacencia / Incidencia
Dos nodos son adyacentes si están relacionados
Una línea y un nodo son incidentes entre sí si el nodo es uno de los que definen la línea
o Grado
El grado de un nodo, designado d(n) es el número de líneas que son incidentes con él (nodos adyacentes)
Análisis Redes SocialesTeoría de Grafos (IX)
● Mediciones: Nodos (cont.)o Centralidad
La centralidad de un nodo ayuda a dilucidar su “importancia” en la red, aunque no la representa por completo
El grado es una medida de centralidad
Distancia media geodésica al resto de nodos: cercanía
Intermediación: medida de las veces que un nodo se interpone entre la distancia geodésica de otros
Análisis Redes SocialesTeoría de Grafos (X)
● Mediciones: Nodos (cont.)o Centralidad
Fuente: http://historiapolitica.com/redhistoria/2013/02/8n-en-twitter/
Análisis Redes SocialesTeoría de Grafos (XI)
● Mediciones: Nodos (cont.)o Centralidad
Análisis Redes SocialesTeoría de Grafos (XII)
● Mediciones: Nodos (cont.)o Centralidad
Análisis Redes SocialesTeoría de Grafos (XIII)
● Mediciones: Nodos (cont.)o Centralidad
Fuente: http://slideplayer.es/slide/19335/
Análisis Redes SocialesTeoría de Grafos (XIV)
● Mediciones: Nodos (cont.)
Análisis Redes SocialesTeoría de Grafos (XV)
● Mediciones: Nodos (cont.)o Caminos
Un camino es una ruta que une dos nodos pasando por otros.
Hay diferentes tipos de caminos● walk
● trail: walk en el que todas las líneas son distintas
● path: trail que no repite nodos
● semipath: en un grafo dirigido, path que ignora el sentido de las uniones
Análisis Redes SocialesTeoría de Grafos (XVI)
● Mediciones: Nodos (cont.)o Caminos
Fuente: http://jariasf.wordpress.com/2012/03/19/camino-mas-corto-algoritmo-de-dijkstra/
Análisis Redes SocialesTeoría de Grafos (XVII)
● GPS Data on Beijing Cabs Reveals the Cause of Traffic Jams
o Investigadores de la Microsoft Research Asia han dividido la ciudad en regiones (figura contigua), analizando cómo los taxis se mueven a través de ellas
o Si se puede tomar un camino directo entrea A y B, y un taxista toma un camino alternativa... ¿qué pasa?
o Algoritmo aplicable a ciudades con mucha densidad de taxis (Mexico City, Bangkok, Tokyo, New York, Buenos Aires y Moscow)
Análisis Redes SocialesTeoría de Grafos (XVIII)
● Mediciones: Nodos (cont.)o Conexión
Débilmente conectados: semicamino
Unilateralmente conectados● Path de a a b pero no a la inversa
Fuertemente conectados: unilateralmente conectados en ambos sentidos
Recursivamente conectados: orden de nodos idéntico pero inverso
Análisis Redes SocialesTeoría de Grafos (XIX)
● Mediciones: Nodos (cont.)o Distancia geodésica
Longitud del path más corto entre dos nodos
Si no son alcanzables entre sí, infinita o idefinida
Fuente: http://wiki.uniandes.edu.co/RedesJuegosAltruismo/tiki-index.php?page=JULIAN_FELIPE_CA%C3%91ON_CARVAJAL
Análisis Redes SocialesTeoría de Grafos (XX)
● Mediciones: Grafoo Densidad
Proporción entre líneas existentes y líneas posibles
Líneas posibles● Grafo no orientado: g (g-1) / 2
● Grafo orientado: g (g-1)
o Subgrafo
Un grafo G2 es subgrafo de G1 si G1 contiene G2
Análisis Redes SocialesTeoría de Grafos (XXI)
● Mediciones: Grafoo Densidad
Análisis Redes SocialesTeoría de Grafos (XXII)
● Mediciones: Grafoo Diámetro
Distancia geodésica más alta entre dos nodos
o Punto de corte
Nodo que, al eliminarlo rompe el grafo
Análisis Redes SocialesTeoría de Grafos (XXIII)
● Representación de los datoso Matriz de adyacencia
o Lista de aristas
o Lista de adyacencia
Análisis Redes SocialesTeoría de Grafos (XXIV)
● Matriz de adyacencia
Análisis Redes SocialesTeoría de Grafos (XXV)
● Lista de aristaso 2, 3
o 2, 4
o 3, 2
o 3, 4
o 4, 5
o 5, 2
o 5, 1
Análisis Redes SocialesTeoría de Grafos (XXVI)
● Lista de adyacenciao Más útiles para redes poco
densas o grandes
o Lista:
1:
2: 3 4
3: 2 4
4: 5
5: 1 2
Análisis Redes SocialesTeoría de Grafos (XXVII)
● Softwareo NodeXL
o Gephi
o R / Python
Análisis Redes SocialesAplicaciones para Tenzing
Actividad BI.02.6. Análisis Redes Sociales
● Pensar 2 o 3 casos de uso
● Implementar sobre Gephi a partir de los datos normalizados de Pentaho
● Interpretar las conclusiones
● Pensar representación
● Presentar conclusiones
Análisis Redes SocialesAplicaciones para Tenzing
Análisis Redes SocialesAplicaciones para Tenzing (II)
El proceso de análisis y explotación de datos en proyectos de Business
IntelligenceMódulo 02: Análisis y procesamiento de datos para
descubrir conocimiento
Alex Rayón Jerezalex.rayon@urbegi.com
Octubre, 2014