Análisis y procesamiento de datos para descubrir conocimiento

El proceso de análisis y explotación de datos en proyectos de Business

IntelligenceMódulo 02: Análisis y procesamiento de datos para

descubrir conocimiento

Alex Rayón [email protected]

Octubre, 2014

mailto:[email protected]

¿Que hemos visto hasta ahora?

Índice de contenidos

● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Rdes Sociales


● Modelo de datos● Dimensiones de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis de Redes Sociales

Modelo de datosIntroducción

Proceso ModeloPlataforma explotación

Datos

Ciclo de análisis de datos

Representación para explotación

Información y conocimiento

1 2 3

Día 2

Modelo de datosIntroducción (II)

● Representación de los datos para ponerlos en explotacióno Hay que considerar todo lo que vimos en el primer día

→ especialmente los datos capturados que han sido normalizados

● No se puede hacer Data mining sin máso Se necesita un marco teórico → una representación

conceptual del dominio o contexto en el que se está trabajando

Modelo de datosIntroducción (III)

Modelo de datosUsos de datos

● Desde una perspectiva de Teoría del Conocimiento, tres usos de datos:o Deducción

Preguntas a resolver con la Base de Datos que se dispone (enfoque estadístico tradicional)

o Inducción

Analizar los datos con la esperanza de encontrar algo (Data Mining)

o Abducción

Deducción + Inducción

Modelo de datosUsos de datos (II)

Fuente: http://matedisyalgeline.blogspot.com.es/p/la-induccion-se-refiere-al-movimiento.html

Modelo de datosMapa conceptual

Concepto 1

Concepto 2

Concepto 3

Concepto n

Conceptos/Entidades (elemento abstracto de

información)

Relaciones entre conceptos

Modelo de datosMapa conceptual (II)

Nos ayuda a entender el dominio/contexto y a facilitar el entendimiento mutuo entre todas las

personas que están implicados en el proyecto

Source: http://www.economist.com/blogs/economist-explains/2013/05/economist-explains-14

Source: http://www.economist.com/news/finance-and-economics/21578041-containers-have-been-more-important-globalisation-freer-trade-humble

Modelo de datosMapa conceptual (III)

● El modelo de datos, el mapa conceptual, describe los conceptos y las relaciones que se emplean para el proyecto BI en el día a díao Expresadas en su propio lenguaje

o Permite que toda la organización participe en el mantenimiento del mismo

Fuente: http://en.wikipedia.org/wiki/Esperanto_orthography

Dimensiones de datosIntroducción

● Una dimensión de base de datos es una colección de objetos relacionados, denominados atributos, que se pueden usar para proporcionar información sobre los datos o Atributos típicos de una dimensión

de producto pueden ser el nombre, la categoría, la línea, el tamaño y el precio del producto

Fuente: http://datawarehouse.es.tl/Funcionalidad.htm

Dimensiones de datosIntroducción (II)

● Estos objetos están enlazados a una o varias columnas de una o varias tablas de una vistadel origen de datoso De manera predeterminada, estos atributos están

visibles como jerarquías de atributo y se pueden utilizar para comprender los datos de hechos en un cubo

o Los atributos se pueden organizar en jerarquías definidas por el usuario que proporcionan rutas de navegación para ayudar a los usuarios al examinar los datos

Dimensiones de datos¿Nuestro objetivo?

¿Cuál es nuestro objetivo en todo proyecto de

Business Intelligence?

Dimensiones de datos¿Nuestro objetivo? Dar respuestas :-)

● Por cada pregunta → una respuestao Una respuesta → una dimensión de datos

● Se recomienda preparar cada dimensión de datos en una rama de Pentaho Kettle diferenteo De esta manera, se podrá ir modificando cada

respuesta según las necesidades cambiantes sin afectar al resto de preguntas - respuestas

Procesamiento datos ETLDefinición y características

● Una herramienta ETLo Extrae datos desde varias fuentes de datos

(normalmente datos heredados)o Transforma los datos

Desde → estar optimizados a transacciones A → estar optimizados para el análisis y el

reporting Sincronizar los datos que provienen de diferentes

fuentes de datos Normaliza y limpia los datos

o Carga los datos en un aplicación de destino (normalmente una Base de Datos)

Procesamiento datos ETL¿Por qué necesito esta herramienta?

● Ahorran tiempo y dinero evitando tener que desarrollar código manual de integración de datos

● Es difícil para los administradores de Base de Datos conectar fuentes de diferentes fabricantes sin tener que emplear una herramienta externa

● Si tuviera que eventualmente integrarse una nueva Base de Datos, habría que rehacer el código de integración de manera manual

Procesamiento datos ETLPentaho Kettle

Kettle

Una herramienta de Extracción, Transformación y Carga (ETL) cuyas capacidades son

aprovechadas a través de un enfoque de metadatos

Procesamiento datos ETLPentaho Kettle (II)

● Tiene una interfaz de usuario (GUI) muy sencilla de utilizar

● Tiene una comunidad de desarrolladores con más de 13.500 personas registradas

● Utiliza un motor Java que procesa las tareas para mover datos entre las diferentes fuentes de datos y archivos

Procesamiento datos ETLPentaho Kettle (III)

Procesamiento datos ETLPentaho Kettle (IV)

Source: http://download.101com.com/tdwi/research_report/2003ETLReport.pdf

Procesamiento datos ETLPentaho Kettle (V)

Source: Pentaho Corporation

Procesamiento datos ETLPentaho Kettle (VI)

● Tareas que puede ejecutaro Integración de datoso Limpieza de datoso Normalización de datoso Migración de datoso Exportación de datoso etc.

Procesamiento datos ETLTransformaciones

● Manipulación de fechas y strings

● Validación de datos / Reglas de negocio

● Join

● Cálculos matemáticos

● Cálculo estadístico

● Criptografía

● Control del fujo

● Scripting

● etc.

Procesamiento datos ETL¿Para qué me puede servir?

● Espejar los datos entre maestro y esclavo

● Sincronizar dos fuentes de datos

● Procesar datos de múltiples fuentes y llevarlas hasta múltiples destinos

● Cargar los datos en un Sistema de Gestión de Base de Datos

● Manipulación gráfica de los datos

● Datamart / Datawarehouse

Procesamiento datos ETL¿Para qué me puede servir? (II)

Actividad BI.02.1. Dimensiones + Modelo de datos

● Entidades + relaciones entre entidades

● Sustentación teórica

● Dimensiones

● Definir las diferentes ramas en Pentaho Kettle

● Orientar las transformaciones hacia las dimensiones y el modelo de datos para explotación final

Descubriendo conocimientoMétodos

Fuente: https://interestingittips.wordpress.com/2011/10/

Descubriendo conocimientoMétodos

1. Métodos predictivos

1. Descubrimiento estructuras

1. Minería de relaciones

Descubriendo conocimiento1) Métodos predictivos

Source: Data Mining with WEKA MOOC (http://www.cs.waikato.ac.nz/ml/weka/mooc/dataminingwithweka/)

Descubriendo conocimiento1) Métodos predictivos (II)


Descubriendo conocimiento1) Métodos predictivos (III)

● La clasificación es una de las tareas más importantes en minería de datos

● Obtener un modelo, patrón o función que discrimine entre dos o más clases excluyentes

● Medida tradicional para evaluar:o Error (también inversamente accuracy): % de

instancias mal clasificadas (respecto al conjunto de test o utilizando validación cruzada / bootstrapping)

Descubriendo conocimiento1) Métodos predictivos (IV)

● Un clasificador permite asistir en la toma de decisiones(entre diferentes acciones)o Swets, J.A., Dawes, R.M.,

& Monahan, J. (2000). “Better decisions through science” Scientific American, 283, 82-87.

http://ist-socrates.berkeley.edu/~maccoun/LP_SwetsDawesMonahan2000.pdf

Descubriendo conocimiento1) Métodos predictivos (V)

Árboles de decisión

● Plantea el problema desde distintas perspectivas de acción

● Permite analizar de manera completa todas las posibles soluciones

● Provee de un esquema para cuantificar el coste del resultado y su probabilidad de uso

● Ayuda a realizar las mejores decisiones con base a la información existente y a las mejores suposiciones

● Su estructura permite analizar las alternativas, los eventos, las probabilidades y los resultados

Descubriendo conocimiento1) Métodos predictivos (VI)

Descubriendo conocimiento1) Métodos predictivos (VII)


Descubriendo conocimiento1) Métodos predictivos (VIII)

Regresión lineal

● Puede definirse como un esquema de relación entre una variable Y (EXÓGENA O A EXPLICAR) y otra(s) variable(s) X (X1X2 ... Xk ) (endógena(s) o explicativa(s), tal que:

Y = FUNCIÓN LINEAL (X) + PERTURBACIÓN ALEATORIA (Modelo Lineal Simple)

Y = FUNCIÓN LINEAL (X1, X2, ... Xk ) + PERTURBACIÓN ALEATORIA(Modelo Lineal General)

Descubriendo conocimiento1) Métodos predictivos (IX)

Regresión lineal (cont.)

● Las hipótesis (básicas) que se asuman sobre la perturbación aleatoria permitirán realizar el análisis estadístico inferencial

● Las razones para la introducción de una perturbación aleatoria, son fundamentalmente:o Efecto de variables no consideradaso Efectos imprevistos (catástrofes, modas, etc.)o Errores de observación o medición

Descubriendo conocimiento1) Métodos predictivos (X)


● Utilidades del modelo lineal:

o Verificar la existencia de la relación lineal

o Estimar (contrastar) la (una) relación lineal concreta (estructural)

Supone actuar sobre los coeficientes de la relación lineal

o Predecir la variable y en función de x o (x1, x2, … xk)

Descubriendo conocimiento1) Métodos predictivos (XI)


Descubriendo conocimiento1) Métodos predictivos (XII)


● Una vez ajustada la recta de regresión a la nube de observaciones, es importante disponer de una medida que mida la bondad del ajuste realizado

● Permitirá decidir si el ajuste lineal es suficiente o se deben buscar modelos alternativos

Descubriendo conocimiento1) Métodos predictivos (XIII)

Existe una dependencia funcional lineal, las observaciones están sobre la recta de regresión. r = R2 = 1, recta de regresión: y = x.

Fuente: http://dm.udc.es/asignaturas/estadistica2/sec6_8.html

Descubriendo conocimiento1) Métodos predictivos (XIV)

La relación lineal entre las variables es muy pequeña y no parece que exista otro tipo de relación entre ellas, la nube de puntos indica que las variables son casi independientes

r = 0'192, R2 = 0'037, recta de regresión: y = 6'317 + 0'086xContraste de regresión: FR = 0'687 ∈ F1,18 → p - valor = 0'418. Se acepta la no influencia de la

variable regresora en Y.


Descubriendo conocimiento1) Métodos predictivos (XV)

Existe una dependencia funcional entre las observaciones pero no de tipo lineal, por tanto la correlación es muy pequeña

r = 0'391, R2 = 0'153, recta de regresión: y = 32'534 - 1'889x.Contraste de regresión: FR = 3'252 ∈ F1,18 → p - valor = 0'088. Se acepta que no existe relación

lineal con α = 0'05. Se debe de hacer un ajuste del tipo parabólico Y = α0 + α1x + α2x2


Descubriendo conocimiento1) Métodos predictivos (XVI)

Usando Clasificadores en WEKA

Procesamiento datos ETLAplicaciones para Tenzing

Actividad BI.02.2. Predicción

● Pensar 2 o 3 casos de uso

● Implementar sobre WEKA a partir de los datos normalizados de Pentaho

● Interpretar las conclusiones

● Pensar representación

● Presentar conclusiones

Descubriendo conocimiento2) Descubrimiento de estructuras

Clustering

Source: http://inside-bigdata.com/2013/12/18/tech-tip-power-pitfalls-clustering/

Source: http://www.cs.bilkent.edu.tr/~saksoy/research.html

● Identifica de forma automática agrupacioneso clústeres de elementos de acuerdo a una medida de similitud entre elloso El objetivo fundamental de las técnicas de clustering

consiste en identificar grupos o clústeres de elementos tal que: La similitud media entre elementos del mismo

clúster sea alta: similitud intra-clúster alta La similitud media entre elementos de distintos

clústeres sea baja: similitud inter-clúster baja

Descubriendo conocimiento2) Descubrimiento de estructuras (II)

Clustering

Descubriendo conocimiento2) Descubrimiento de estructuras (III)

Clustering

Existen principalmente dos tipos diferentes de técnicas de clustering:

Descubriendo conocimiento2) Descubrimiento de estructuras (IV)

Clustering

● Clustering jerárquicoo Construye un dendograma o árbol que representa las

relaciones de similitud entre los distintos elementos

Clustering jerárquico aglomerativo: se comienza con tantos clústeres como individuos y consiste en ir formando (aglomerando) grupos según su similitud

Clustering jerárquico de división: se comienza con un único clúster y consiste en ir dividiendo clústeres según la disimilitud entre sus componentes.

Descubriendo conocimiento2) Descubrimiento de estructuras (V)

Clustering

● Clustering de particióno Clustering de partición entorno a centroides (PAM) realiza

una distribución de los elementos entre un número prefijado de clústeres o grupos

Recibe como dato de entrada el número de clústers a formar además de los elementos a clasificar y la matriz de similitudes

o Explorar todas las posibles particiones es computacionalmente intratable

Por lo tanto, suelen seguirse algoritmos aproximados guiados por determinadas heurísticas

Descubriendo conocimiento2) Descubrimiento de estructuras (VI)

Clustering

● Clustering de particióno En lugar de construir un árbol el objetivo en PAM consiste

en agrupar los elementos entorno a elementos centrales llamados centroides a cada clúster

mC=argmin m∈C∑ mj∈Cdist(m,mj)

Descubriendo conocimiento2) Descubrimiento de estructuras (VII)

Clustering

● Clustering de partición

Fuente: http://www.cs.us.es/~fran/curso_unia/clustering.html

Descubriendo conocimiento2) Descubrimiento de estructuras (VIII)

Clustering

● Durante el flujo de trabajo de clustering existen tres puntos claves donde se toman decisiones que determinan la identificación final de grupos o clústeres de genes:o Elección de la medida de similitud o distancia

o Elección del algoritmo de clustering

o Elección del número de clústers a identificar

Descubriendo conocimiento2) Descubrimiento de estructuras (IX)

Clustering

● Para determinar la mejor elección posible es necesario fijar un criterio para mediar la calidad del resultado proporcionado por un flujo de trabajo de clusteringo El objetivo general perseguido por las técnicas de

clustering consiste en identificar grupos o clústeres compactos

o Es decir, clusteres con una similitud intra-clúster alta y una similitud inter-clúster baja → esta idea intuitiva se formaliza en el concepto de silueta de un cluster

Descubriendo conocimiento2) Descubrimiento de estructuras (X)

ClusteringComo medida de la distancia intracluster de un elemento del clúster si se toma:

a(si)= ∑ sj∈Cd(sj,si) |C|-1


Descubriendo conocimiento2) Descubrimiento de estructuras (XI)

ClusteringComo medida de la distancia intercluster se toma:

b(si)=mink ∑ sj∈Ckd(si,sj) |Ck|


Descubriendo conocimiento2) Descubrimiento de estructuras (XII)

Análisis factorial

Source: http://www.mathworks.es/machine-learning/examples.html?file=/products/demos/machine-learning/cluster_genes/cluster_genes.html

Descubriendo conocimiento2) Descubrimiento de estructuras (XIII)

Análisis factorial

● Reducir una matriz de datos a dimensionesestructurales más pequeñas

● Permite apreciar hasta dónde existe algún patrón subyacente de relaciones en los datos de la matriz

● Reduce las medidas a un conjunto más pequeño de factoreso Los factores pueden ser tomados como variables

originarias que explican las interrelaciones observadas en los datos

Descubriendo conocimiento2) Descubrimiento de estructuras (XIV)

Análisis factorial

● Fue creado por Spearman (1904)

● Su propósito era el de probar su Teoría de la Inteligencia

● Él sostenía que en todas las habilidades mentales subyacía un factor general (común) que denominó g y factores específicos independientes

Descubriendo conocimiento2) Descubrimiento de estructuras (XV)

Análisis factorial

Descubriendo conocimiento2) Descubrimiento de estructuras (XVI)

Análisis factorial

● El Análisis de Factores (AF) parte del supuesto de que en un conjunto de variables intercorrelacionadas, dichas relaciones recíprocas podrían deberse a la presencia de una o más variables (factores subyacentes) relacionadas en grados diversos con aquellaso El propósito, así, del AF es identificar esos factores o

variables comunes, más generales, que los datos mismos

Descubriendo conocimiento2) Descubrimiento de estructuras (XVII)

Análisis factorial

● Desde el punto de vista matemático, un factor puede ser definido como cualquier combinación lineal de variables en la matriz de datoso Ejemplo: Sea el factor A, formado por las variables a, b,

c … k, y sus ponderaciones, fueran pa, pb, pc … pk, su expresión algebraica sería:

A = pa*a + pb*b + pc*c + … + pk*k

Descubriendo conocimiento2) Descubrimiento de estructuras (XVIII)

Análisis factorial

● Interpretación sobre los factoreso Como indicadores de efectos

Las variables observadas son consideradas como el resultado de una variable subyacente latente

o Como componente

Las variables son transformadas en otras variables por conveniencia

o Como indicadores causales

La variable latente es considerada como el resultado de las observables

Descubriendo conocimiento2) Descubrimiento de estructuras (XIX)

Análisis factorial

● Métodos de factorizacióno Método Clásico

Se basa en la creencia de que las correlaciones observadas en la matriz son principalmente el resultado de alguna regularidad subyacente a los datos

o Componentes Principales

Es un método de transformación directa de un conjunto dado de variables dentro de un nuevo conjunto de variables compuestas o componentes principales

Descubriendo conocimiento2) Descubrimiento de estructuras (XX)

Análisis factorial

● Tipos de factoreso General: variables cargan en un mismo factor

o Grupo: solo algunas variables son salientes

o Común: variables que miden el mismo factor

o Unipolar: variables con un mismo signo

o Bipolar: variables con signo + y -

o Singular: una sola saliente

o Nulo: no tiene saliente

Descubriendo conocimiento2) Descubrimiento de estructuras (XXI)

Análisis factorial

● Aplicacioneso Como técnica exploratoria

Examinar estructura subyacente a una Base de Datos

o Como técnica confirmatoria

Probar la hipótesis acerca de la estructura subyacente en la Base de Datos

o Como técnica de medición

Construcción de índices a partir de los coeficientes de las cargas factoriales

Descubriendo conocimiento2) Descubrimiento de estructuras (XXII)

Análisis factorial

Etapas Opciones Referencias

Matriz de datos Única (sujetos por medidas) Martiz tipo - X

Matriz de correlación Correlación entre las medidas Matriz tipo - R

Correlación entre unidades Matriz tipo - Q

Extracción de factores iniciales Factores definidos Análisis Componentes Principales

Factores inferidos Análisis Factorial Correspondencia

Rotación hasta la solución final Factores no-correlacionados Rotación ortogonal

Factores correlacionados Rotación oblicua

Descubriendo conocimiento2) Descubrimiento de estructuras (XXIII)

Análisis factorial

Descubriendo conocimiento2) Descubrimiento de estructuras (XXIII)

Social Network Analysis

Source: http://rs.resalliance.org/2010/11/03/reading-list-using-social-network-analysis-sna-in-social-ecological-studies/

Más tarde lo veremos ;)


Actividad BI.02.3. Descubrimiento estructuras






Descubriendo conocimiento3) Minería de relaciones

Association rule mining

Source: http://aimotion.blogspot.com.es/2013/01/machine-learning-and-data-mining.html

Descubriendo conocimiento3) Minería de relaciones (II)

Reglas de asociación

● Las reglas de asociación en la minería de datos se utilizan para encontrar hechos que ocurren en común dentro de un conjunto de datoso Dicho de otra manera que debe ocurrir ciertas

condiciones para que se produzca cierta condición

Descubriendo conocimiento3) Minería de relaciones (III)


● Para encontrar estas reglas de debe considerar cada posible combinación de condiciones para que halla una consecuenciao Al hablar de reglas de asociación también cumple un

rol importante:

Cobertura o soporte: número de instancias predichas correctamente

Precisión o confianza: proporción de número de instancias que es aplicada la regla

Descubriendo conocimiento3) Minería de relaciones (IV)


● Basándose en el concepto de reglas fuertes, Agrawal et al., presentaron las reglas de asociación para descubrir regularidades en transacciones registradas en grandes repositorios de datos de sistemas de punto de ventas en supermercados

{pan, jamón} ⇒ {queso}

Descubriendo conocimiento3) Minería de relaciones (V)


Descubriendo conocimiento3) Minería de relaciones (VI)


● Aplicaciones: Product placement → colocación de productos en las estanterías de un supermercadoo Objetivo

Identificar artículos que muchos clientes compran conjuntamente

o Solución Procesar los datos de los terminales de punto

de venta proporcionados por los escáneres de códigos de barras

Descubriendo conocimiento3) Minería de relaciones (VII)


● Aplicaciones: Promociones y ofertas → si se identificar una regla del tipo {impresora} → {tóner}o Tóner es el consecuente

Puede determinarse cómo incrementar sus ventaso Impresora es el antecedente

Puede determinarse qué productos se verían afectados si dejamos de vender impresoras

o Impresora es el antecedente y tóner el consecuente Puede utilizarse para ver qué productos deberían

venderse con impresoras para promocionar las ventas de tóner

Descubriendo conocimiento3) Minería de relaciones (VIII)


● Aplicaciones: Gestión de inventarioso Problema

Una empresa de reparación de electrodomésticos quiere anticipar la naturaleza de las reparaciones que tendrá que realizar y mantener a sus vehículos equipados con las piezas que permitan reducir el número de visitas a casa de sus clientes

o Solución Procesar los datos sobre herramientas y piezas

utilizadas en reparaciones previas para descubrir patrones de co-ocurrencia

Descubriendo conocimiento3) Minería de relaciones (IX)


Expresión de la formaX → Y

donde X e Y son itemsets

{pañales} → {cerveza}{cerveza} → {pañales}

{pan, leche} → {huevos}{pan} → {leche, huevos}

Descubriendo conocimiento3) Minería de relaciones (X)

Análisis correlacional

Source: http://www.bain.com/publications/articles/Growing-brands-by-understanding-what-Chinese-shoppers-really-do.aspx

Descubriendo conocimiento3) Minería de relaciones (XI)


● Conceptualizaciones generaleso “Grado de relación o asociación entre dos variables”

(Hopkins, et al., 1997)o “Las propiedades, cálculos y uso de la medida de

relación entre dos variables” (Young, R. y Veldman, D., 1977)

o El grado y forma de relación entre dos variables

Descubriendo conocimiento3) Minería de relaciones (XII)


● Tipos de correlacióno Correlación bivariada

Grado de relación o asociación entre dos variables

o Correlación múltiple Grado de relación entre dos o más variables

Descubriendo conocimiento3) Minería de relaciones (XIII)


● Medición de correlación

o Gráfica

Dispersión, dispersigrama o nube de puntos

o Analítica

Ecuación matemática de Karl Pearson

Al final el “producto de Pearson” r

● r = muestras

● p = poblaciones

Descubriendo conocimiento3) Minería de relaciones (XIV)


Fuente: http://bradanovic.blogspot.com.es/2011/12/no-le-creo-mucho-las-estadisticas-de.html

Fuente: http://rt.uits.iu.edu/visualization/analytics/stats/spss-getting-started-guide-macos.php

Descubriendo conocimiento3) Minería de relaciones (XV)


Descubriendo conocimiento3) Minería de relaciones (XIV)

Source: http://www.mdpi.com/1424-8220/10/8/7496

Patrones secuenciales

Descubriendo conocimiento3) Minería de relaciones (XV)


● Minería de patrones que ocurren frecuentemente relacionados al tiempo o a otras secuencias

● Un ejemplo de patrón secuencial es:

o “Un cliente que compra un iPad, dos días después probablemente comprará la funda y las aplicaciones de ofimática”

● Es similar a la minería de itemset frecuentes (reglas de asociación), pero con una consideración de orden

Descubriendo conocimiento3) Minería de relaciones (XVI)


● Aplicaciones

o Secuencias de compra del cliente

o Tratamientos médicos, desastres naturales, procesos de la ingeniería y las ciencias, mercados y valores, etc.

o Patrones de llamadas telefónicas, flujos de navegación en la web, etc.

o Estructuras de ADN y genes

o ...

Descubriendo conocimiento3) Minería de relaciones (XVII)


● Algoritmos

o Enfoques basados en Apriori

GSP (Generalized Sequential Patterns)

SPADe

o Enfoques basados en crecimiento de patrones

FreeSpan

PrefixSpain

Descubriendo conocimiento3) Minería de relaciones (XVII)


● GSP

Fuente: http://bsolano.com/ecci/claroline/backends/download.php/UHJlc2VudGFjaW9uZXMvNy5fVGFyZWFzX2RlX2xhX21pbmVy7WFfZGVfZGF0b3MsX3JlZ2

xhc19kZV9hc29jaWFjafNuLnBkZg%3D%3D?cidReset=true&cidReq=CI2352

Descubriendo conocimiento3) Minería de relaciones (XVIII)


● GSP

Descubriendo conocimiento3) Minería de relaciones (XIX)


● GSP

Descubriendo conocimiento3) Minería de relaciones (XX)

Análisis de causalidad

● Muchas preguntas en la vida diaria requiere la identificación y medida de efectos causales

o ¿El tabaco provoca cáncer?

o ¿La aspirina reduce el riesgo de infarto?

o ¿Los cursos de formación para desempleados ayudan a encontrar empleo?

o ¿Cuál es el impacto del salario mínimo sobre el empleo?

o ¿Afectan los subsidios salariales o los impuestos a la oferta de trabajo de los individuos?

Descubriendo conocimiento3) Minería de relaciones (XXI)


Fuente: http://www.ciencia-explicada.com/2013/06/correlacion-causalidad-y-grafos-lo-mas.html

Fuente: http://avances.idict.cu/avances/article/view/26/46

● Podemos medir la correlación estadística, pero esta no implica que exista causalidad

● Para ello, se utiliza el análisis experimental

o Nos permite estudiar la existencia de causalidad

Descubriendo conocimiento3) Minería de relaciones (XXII)


Fuente: http://www.datuopinion.com/estudio-experimental

● Se evalúa el efecto de un factor experimental (X) sobre un fenómeno (Y)

o Se evalúa la relación: Y = f(x)

● El método incluye por necesidad la observación, pero no es una observación simple o directa

o Puede o no utilizar técnicas estadísticas para aleatorizar o poder hacer pruebas de hipótesis

● La metodología experimental a nivel social ha sido criticada por razones de factibilidad y/o por razones éticas

Descubriendo conocimiento3) Minería de relaciones (XXIII)


● El modelo científico para el estudio de las relaciones de causa y efecto es el experimento controlado

o Se comparan las respuestas de un grupo experimental expuesto al estímulo crucial con los de un grupo de control equivalente que no es sometido al estímulo

Descubriendo conocimiento3) Minería de relaciones (XXIV)


Descubriendo conocimiento3) Minería de relaciones (XXV)


Grupo experimental

Grupo de control

Momento 1 X1 W1

Exposición al estímulo E

Sin exposición al estímulo E

Momento 2 X2 W2

Descubriendo conocimiento3) Minería de relaciones (XXVI)


● Efecto del Estímulo = (X1 - W1) - (X2 - W2)

● Si los dos grupos fueron adecuadamente igualados antes de la aplicación del estímulo, la medida del efecto se simplifica: X1 = W1

● Y el efecto del estímulo se reduce a: X2 = W2

Descubriendo conocimiento3) Minería de relaciones (XXVII)



Actividad BI.02.4. Minería de relaciones






Descubriendo conocimientoMarketing Analytics

Source: https://media.licdn.com/mpr/mpr/p/2/000/268/1b5/21f35eb.jpg

Descubriendo conocimientoMarketing Analytics (II)

● MROI: Marketing Return on Investmento McKinsey review: an integrated analytics approach

could save up to 15-20% total budget

That’s $ 200.000.000.000 worlwide

Source: http://www.thecmosite.com/author.asp?section_id=1137&doc_id=234474

Descubriendo conocimientoMarketing Analytics (III)

Source: http://www.marketingsherpa.com/charts/roi020409-1.gif

Descubriendo conocimientoMarketing Analytics (IV)

1)Marketing-Mix Modeling (MMM)● Big Data to determine the effectiveness of spending by

channel

● Include external variables such as seasonality, and competitor and promotional activities to uncover

o Longitudinal effects: changes individuals and segments over time

o Interaction effects: differences among offline, online and Social Media activities

Marketing investments

Marketing investments

Statistical links

Descubriendo conocimientoMarketing Analytics (V)

2) Heuristich RCQ (Reach; Cost; Quality)● Disaggregate touchpoints into its component paths

o target consumer Reached

o Cost per unique touch

o Quality of engagement

● More limited; but the best one when limited data is available

Descubriendo conocimientoMarketing Analytics (VI)

3) Attribution modeling● Set of rules or algorithms that govern how credit for

converting traffic to sales is assigned to online touchpoints

o Email campaign

o Online ad

o Social-networking feed

o Website

● Statistical modeling regression techniques

Text miningIntroducción

● Estudios recientes indican que, de media, el 80% de la información de una empresa está almacenada en forma de documentoso Sin duda, este campo de estudio es muy amplio, por lo

que técnicas como la categorización de texto, el procesamiento de lenguaje natural, la extracción y recuperación de la información o el aprendizaje automática, entre otras, apoyan el text mining (o minería de texto)

● En ocasiones se confunde el text mining con la recuperación de la información (Information Retrieval, IR) [Hearst, 1999]o Esta última, no obstante, consiste en la reacuperación

automática de documentos relevantes mediante indexaciones de textos, clasificación, categorización, etc.

o Generalmente se utilizan palabras clave para encontrar una página relevante

o En cambio, el text mining se refiere a una examinar uan colección de documentos y descubrir información no contenida en ningún documento individual [Nasukawa, 2001]

Text miningIntroducción (II)

● Hay una enorme cantidad de información en textoo Aparte de los libros, periódicos y enciclopedias en

Internet, se generan enormes cantidades de información textual

Text mining¿Por qué?

Fuente: http://sandrolopezrivera.blogspot.com.es/2011_02_01_archive.html

Text miningPasos

1) Obtención y agrupación Texto

2) Pre procesamiento

3) Generación de atributos

4) Selección de atributos

5) Minería de datos

6) Interpretación y evaluación

Text miningPasos: 1) Obtención y agrupación del texto

● Los textos se encuentran en documentos dispersos como páginas web, informes, actualizaciones de status, etc.

● El primer paso, así, consiste en la obtención de estos datos y su agrupamiento para comenzar a trabajar

Text miningPasos: 2) Pre-procesamiento

● Eliminar el ruidoo Texto deliberadamente equivocado (SPAM)o Textos ambiguoso Texto erróneoo Palabras que no tienen poder discriminatorio (STOP

WORDS)o Ruido en el formato (tags, links)o Multiplicidad de idiomaso Sinónimos, palabras con varios significadoso Frases típicas

Text miningPasos: 2) Pre-procesamiento (II)

Text miningPasos: 2) Pre-procesamiento (III)

● Convertir el documento en un vector de palabras: tokenization

Fuente: http://escritura.proyectolatin.org/topicos-avanzados-de-bases-de-datos/cap3-sistemas-de-recuperacion-de-informacion-sri/

Text miningPasos: 2) Pre-procesamiento (IV)

● Con WEKA:o Se puede importar los datos en CSV

o Hay que eliminar los caracteres: , ; : “ ‘ % ()

o Aplicar primero el filtro NominalToString

o Aplicar el filtro StringToWordDetector

Text miningPasos: 3) Generación de atributos

● Representación del textoo Bag of Words

Fuente: http://www.docstoc.com/docs/25215223/Bag-of-Words-Classification

Text miningPasos: 3) Generación de atributos (II)

● Representación del textoo Bag of Words

Fuente: http://en.wikipedia.org/wiki/Bag-of-words_model

Text miningPasos: 4) Selección de atributos

● ¿Qué palabras tienen la mejor capacidad discriminatoria?

● Se puede usar un clasificadoro Latent Semantic Analysis

Es una teoría y un método para extraer y representar el significado de las palabras dentro de un contexto utilizando técnicas estadísticas sobre un cuerpo de texto grande

http://lsa.colorado.edu/

Text miningPasos: 4) Selección de atributos (II)

● En WEKAo Ir a “Select attributes”

o Seleccionar “Latent Semantic Analysis”

o Start

o Guardar el nuevo dataset

Text miningPasos: 5) Minería de datos

● Se puede usar cualquiera de las técnicas vistas en el apartado de descubrimiento de conocimientoo Clasificacióno Descubrimiento estructuraso Reglas de asociación

Text miningPasos: 6)Interpretación y evaluación

● Interpretaro Descubrimiento estructuras

● Evaluar los resultadoso Clasificación

o Reglas de asociación

● Sacar conclusiones o iterar sobre los pasos anteriores

Text miningHerramientas

Text miningHerramientas (II)

Text miningAplicaciones para Tenzing


Actividad BI.02.5. Text Mining


● Implementar sobre Pentaho + Alchemy + OpenCalais a partir de los datos normalizados de Pentaho





● Dimensiones de datos● Modelo de datos● Procesamiento de datos en un ETL● Técnicas de descubrimiento de conocimiento● Text mining● Análisis Redes Sociales

Análisis Redes Sociales¿Qué es?

● NO es solo Análisis de Social Mediao Puede ser parte

● Sociología + Matemáticaso Actores que interactúano Teoría de Grafos

● Estudio numérico y representación gráfica

Análisis Redes Sociales¿Qué es? (II)

Fuente: http://www.soc.duke.edu/~jmoody77/chains.pdf

Análisis Redes Sociales¿Qué se estudia?

● Redes egocéntricaso Actor principal con sus relaciones, hasta el grado n

(“amigos de amigos de amigos”)

● Redes completaso Número de nodos determinado por una característica

concreta: son los que son (UE)

● Grandes redeso Redes con muchos nodos en las que en general el

investigador corta el límite

Análisis Redes SocialesElementos

● Actoreso Los nodos de la red no tienen por qué ser

necesariamente personas, pueden ser países, o incluso actividades

o Depende de lo que se esté investigando

● Vínculoso Los vínculos que unen a los actores se definen por sus

propiedades o características de la relación

Análisis Redes SocialesElementos (II)

Fuente: http://www.economiapersonal.com.ar/2014/06/14/red-social/

Análisis Redes SocialesCaracterísticas

● Basado en relaciones y vínculos entre actores

● Recogida sistemática de datos empíricos del tipo de relación estudiada entre cada par de actoreso Representado por gráficos

● Se apoya en el uso de las matemáticas, principalmente la teoría matemática de grafosy/o en modelos informáticos

Análisis Redes SocialesTeoría de Grafos

● Surge en el siglo XVIII con Euler (1707-1803)o El problema de los puentes de Konigsberg

● Resolución de problemas que pueden ser modelados mediante un grafo y resueltos mediante algoritmos específicamente desarrollados para un grafo

Fuente: http://pequenoldn.librodenotas.com/matiaventuras/1130/7-puentes-para-un-solo-paseo

Análisis Redes SocialesTeoría de Grafos (II)

● La historia del metro de Londres tiene mucha relación con la Teoría de Grafos

o Más concretamente, con la Inmersión de Grafos(Graph Drawing)

o Permite explicar de forma sencilla la representación (inmersión) de un grafo

● Para un mismo conjunto de vértices y una misma lista de conexiones entre ellos, puede haber trazados con o sin cruces entre las líneas.

● Depende del dibujo que se haga del grafo, de la inmersión que se elija, se pueden destacar, y por lo tanto aprovechar, una característica u otra del grafo

Análisis Redes SocialesTeoría de Grafos (III)

● Los primeros mapas del metro de Londres eran geográficos

o Dibujar sobre un plano de la ciudad los recorridos de las distintas líneas

● Harry Beck, ingeniero electrónico empleado en el metro de Londres, se percató en 1931 de que al usuario no le interesaba conocer el recorrido del metro bajo tierra

o Simplemente le interesaba conocer la posición relativa de las líneas y estaciones para realizar los trasbordos que necesitase

Fuente: http://lizlangstaff.blogspot.com.es/2011/10/harry-beck.html

Análisis Redes SocialesTeoría de Grafos (IV)

● Más que un diseño geográfico, resultaría más útil un diseño topológico

o Menos curvas y direcciones en las líneas

o De broma, hizo su primer diseño basado en los utilizados en circuitos eléctricos

● En 1936, entre otros cambios, eliminó curvas y sólo permitió ángulos de 45º y 90º

● En 1940, se incorporaron ángulos de 60º también, idea que se desechó por enturbiar la claridad del plano

Análisis Redes SocialesTeoría de Grafos (V)

Fuente: http://www.planlondres.com/transports-londoniens/plan-du-metro-de-londres-40.html

Análisis Redes SocialesTeoría de Grafos (VI)

● ¿Por qué?o Proporciona vocabulario preciso

o Herramientas cuantitativas

● Grafoo “Un grafo (G) es un conjunto de vértices o nodos (N) y

líneas (L) que unen pares de nodos.”

o Nodos: actores

Pueden poseer atributos (sexo, grupo étnico, etc.)

o Líneas: vínculos

Puede haber diferentes tipos/características (amistad, influencia)

A → B

Análisis Redes SocialesTeoría de Grafos (VII)

Fuente: http://blog.visual.ly/movie-galaxies-uses-social-graph-organization-to-visualize-movie-interconnectedness/

Análisis Redes SocialesTeoría de Grafos (VIII)

● Mediciones: Nodoso Adyacencia / Incidencia

Dos nodos son adyacentes si están relacionados

Una línea y un nodo son incidentes entre sí si el nodo es uno de los que definen la línea

o Grado

El grado de un nodo, designado d(n) es el número de líneas que son incidentes con él (nodos adyacentes)

Análisis Redes SocialesTeoría de Grafos (IX)

● Mediciones: Nodos (cont.)o Centralidad

La centralidad de un nodo ayuda a dilucidar su “importancia” en la red, aunque no la representa por completo

El grado es una medida de centralidad

Distancia media geodésica al resto de nodos: cercanía

Intermediación: medida de las veces que un nodo se interpone entre la distancia geodésica de otros

Análisis Redes SocialesTeoría de Grafos (X)


Fuente: http://historiapolitica.com/redhistoria/2013/02/8n-en-twitter/

Análisis Redes SocialesTeoría de Grafos (XI)


Análisis Redes SocialesTeoría de Grafos (XII)


Análisis Redes SocialesTeoría de Grafos (XIII)


Fuente: http://slideplayer.es/slide/19335/

Análisis Redes SocialesTeoría de Grafos (XIV)

● Mediciones: Nodos (cont.)

Análisis Redes SocialesTeoría de Grafos (XV)

● Mediciones: Nodos (cont.)o Caminos

Un camino es una ruta que une dos nodos pasando por otros.

Hay diferentes tipos de caminos● walk

● trail: walk en el que todas las líneas son distintas

● path: trail que no repite nodos

● semipath: en un grafo dirigido, path que ignora el sentido de las uniones

Análisis Redes SocialesTeoría de Grafos (XVI)

● Mediciones: Nodos (cont.)o Caminos

Fuente: http://jariasf.wordpress.com/2012/03/19/camino-mas-corto-algoritmo-de-dijkstra/

Análisis Redes SocialesTeoría de Grafos (XVII)

● GPS Data on Beijing Cabs Reveals the Cause of Traffic Jams

o Investigadores de la Microsoft Research Asia han dividido la ciudad en regiones (figura contigua), analizando cómo los taxis se mueven a través de ellas

o Si se puede tomar un camino directo entrea A y B, y un taxista toma un camino alternativa... ¿qué pasa?

o Algoritmo aplicable a ciudades con mucha densidad de taxis (Mexico City, Bangkok, Tokyo, New York, Buenos Aires y Moscow)

http://www.technologyreview.com/news/425553/gps-data-on-beijing-cabs-reveals-the-cause-of-traffic-jams/

Análisis Redes SocialesTeoría de Grafos (XVIII)

● Mediciones: Nodos (cont.)o Conexión

Débilmente conectados: semicamino

Unilateralmente conectados● Path de a a b pero no a la inversa

Fuertemente conectados: unilateralmente conectados en ambos sentidos

Recursivamente conectados: orden de nodos idéntico pero inverso

Análisis Redes SocialesTeoría de Grafos (XIX)

● Mediciones: Nodos (cont.)o Distancia geodésica

Longitud del path más corto entre dos nodos

Si no son alcanzables entre sí, infinita o idefinida

Fuente: http://wiki.uniandes.edu.co/RedesJuegosAltruismo/tiki-index.php?page=JULIAN_FELIPE_CA%C3%91ON_CARVAJAL

Análisis Redes SocialesTeoría de Grafos (XX)

● Mediciones: Grafoo Densidad

Proporción entre líneas existentes y líneas posibles

Líneas posibles● Grafo no orientado: g (g-1) / 2

● Grafo orientado: g (g-1)

o Subgrafo

Un grafo G2 es subgrafo de G1 si G1 contiene G2

Análisis Redes SocialesTeoría de Grafos (XXI)

● Mediciones: Grafoo Densidad

Análisis Redes SocialesTeoría de Grafos (XXII)

● Mediciones: Grafoo Diámetro

Distancia geodésica más alta entre dos nodos

o Punto de corte

Nodo que, al eliminarlo rompe el grafo

Análisis Redes SocialesTeoría de Grafos (XXIII)

● Representación de los datoso Matriz de adyacencia

o Lista de aristas

o Lista de adyacencia

Análisis Redes SocialesTeoría de Grafos (XXIV)

● Matriz de adyacencia

Análisis Redes SocialesTeoría de Grafos (XXV)

● Lista de aristaso 2, 3

o 2, 4

o 3, 2

o 3, 4

o 4, 5

o 5, 2

o 5, 1

Análisis Redes SocialesTeoría de Grafos (XXVI)

● Lista de adyacenciao Más útiles para redes poco

densas o grandes

o Lista:

1:

2: 3 4

3: 2 4

4: 5

5: 1 2

Análisis Redes SocialesTeoría de Grafos (XXVII)

● Softwareo NodeXL

o Gephi

o R / Python

http://nodexl.codeplex.com/

http://gephi.github.io/

Análisis Redes SocialesAplicaciones para Tenzing

Actividad BI.02.6. Análisis Redes Sociales


● Implementar sobre Gephi a partir de los datos normalizados de Pentaho




Análisis Redes SocialesAplicaciones para Tenzing

Análisis Redes SocialesAplicaciones para Tenzing (II)

El proceso de análisis y explotación de datos en proyectos de Business

IntelligenceMódulo 02: Análisis y procesamiento de datos para

descubrir conocimiento

Alex Rayón [email protected]

Octubre, 2014

mailto:[email protected]

Análisis y procesamiento de datos para descubrir conocimiento

Business

Transcript of Análisis y procesamiento de datos para descubrir conocimiento