BI y BIGDATA - Profesor Ezequiel Ruiz Garcia · • Las herramientas clásicas estadísticas son...
55
05/07/2015 1 ESCUELA COMPLUTENSE DE VERANO 2015 CURSO B14: MINERIA DE DATOS CON SAS E INTELIGENCIA DE NEGOCIOS Índice 1. Estrategia empresarial y necesidades de información. 2. Business intelligence y Minería de datos – Concepto – Objetivos – Estructura – Aplicaciones – Principales Técnicas 2
Transcript of BI y BIGDATA - Profesor Ezequiel Ruiz Garcia · • Las herramientas clásicas estadísticas son...
05/07/2015
1
ESCUELA COMPLUTENSE DE VERANO 2015
CURSO B14: MINERIA DE DATOS CON SAS E INTELIGENCIA DE NEGOCIOS
Índice
1. Estrategia empresarial y necesidades de información.
2. Business intelligence y Minería de datos– Concepto
– Objetivos
– Estructura
– Aplicaciones
– Principales Técnicas
2
05/07/2015
2
3
Estrategia empresarial y Necesidades de Información
4
Contexto de los negocios…hasta la crisis de 2008
•Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas e internet• Economía del Conocimiento
• Del MK de Masas al MK de NICHOS
•Gestión de la relación con clientes• Publicidad vs.MK Promocional•Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
05/07/2015
3
Después de 2008…
¿ … ?
• El mercado• Exceso de oferta y saturación.• Competencia más dura.• Globalización.• Búsqueda de rendimientos a corto plazo.• Mayor rapidez en las transacciones.• Reducción de los márgenes comerciales.• Mayor necesidad de diferenciarse y aportar valor
añadido al cliente.
• El consumidor• Mejor formado: sabe lo que quiere y negocia.• Menos fiel a la marca• Más exigente: demanda más por su dinero• Mayor acceso a la información: de la competencia,
de otros consumidores, etc.• Inmediatez
• Geografía• Ruptura de estereotipos: rural = pobre / urbano =
rico• Telecomunicaciones: “death of distance”
Entorno Actual...
+ Incertidumbre
+ Riesgo
05/07/2015
4
Entorno actual = Mayor riesgo
Entorno actual = Más Oportunidades
Entorno Actual...
Después de 2008…
¿ ?El tiempo que antes no teníamos lo debemos dedicar a mejorar los procesos de información y decisión,afilando las espadas para la lucha hipercompetitiva
que se avecina y en la que los menos preparados sucumbirán(Luis Méndez, Dir. Gral. SAS, 2011)
05/07/2015
5
Las estrategias corporativas de las empresas en estos momentos de crisis, según los directivos encuestados,
se centran en tres dimensiones de gestión fundamentales:
. La generación de ingresos
. El aumento de márgenes . La gestión de riesgos
Fuente: IDC 2011
10
Contexto de los negocios…hasta la crisis de 2008
•Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas e internet• Economía del Conocimiento
• Del MK de Masas al MK de NICHOS
•Gestión de la relación con clientes• Publicidad vs.MK Promocional•Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
05/07/2015
6
11
Habilitadores Tecnológicos
Coste por megabyte en discohace 20 años: $ 50.00actualmente: $ 0.01
Coste de un terabyte: actualmente: $ 100,000
Velocidad de procesamiento•Computadoras 2,6 Gigaherts a $ 1,500
Memoria RAM•PC con memoria RAM de 1 a 2 Gigas por menos de $ 1,000
12
El sendero de la Tecnología
Difusión y minituarización de la tecnología
Difusión y miniaturización de la tecnología
05/07/2015
7
13
El sendero de los datos
Las capacidades de Almacenamiento de Datos y proceso de CPU han
crecido exponencialmente
El 90% de compañias USA con +1000
empleados almacenan más
información que la Biblioteca del
Congreso .
En 2015 el Big Data = 18 millones de
Bibliotecas Congreso USA.
Almacen. ..y Potencia de
Proceso
05/07/2015
8
15
Contexto de los negocios
• Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas
e internet• Economía del
Conocimiento
• Del MK de Masas al MK de NICHOS
• Gestión de la relación con clientes
• Publicidad vs.MK Promocional• Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
16
• Tamaño de la base de datos de UPS para registro de envios: 17 terabytes
• Libros en “The Library of Congress”: 17 millonesEspacio por libro: 1 MegaEspacio requerido: 17 terabytes
Crecimiento Exponencial
Elemento 1900 2000 crecim.
Población 1.6 billones 6 billones 3,75
Velocidad terrestre 100 millas/hr 400 millas/hr 4
Distancia 25,000 millas 475.000 1.500
Velocidad aérea 200 millas/hr 25,000 millas/hr 12.500
Datos 10s Mega bytes 10s Tera bytes 100.000
MegabyteGigabyteTerabytePetabyteExabyteEptabyte
Nuevas magnitudes de almacenamiento
05/07/2015
9
Posibilitadores / Catalizadores del Cambio Radical
Nuevos terminales & Sensores
Nuevas Redes & Infraestructuras
Mayor almacena-miento y potencia de procesado
Medios de interacción individual y Social
Los Social Media se han extendido rápidamente y los usuarios generan gran cantidad de información no-estructurada
Medios de Interacción Individual y
Social
2,9 millones emails x segundo
20 horas video descargado cada
minuto
+ 250 millones blogs on-line
05/07/2015
10
La Tormenta Perfecta: BIG DATA
Nuevos terminales & Sensores
Nuevas Redes & Infraestructuras
Mayor almacena-miento y potencia de procesado
Medios de interacción individual y Social
La Tormenta Perfecta: BIG DATA
El impacto del "data tsunami" en todos los sectores economicos,…
Negocio Tradicional
ComportamientoConsumidor
Nuevos Roles y Modelos
• Ventas y Distribución• Oferta de productos• Cuidado del consumidor• Experiencias del
consumidor• Desarrollo de productos• Logística• Operaciones
• Disponibilidad de nueva informac. estructurada y noestructurada
• Nuevos comportamientos de compra y nuevos influenciadores
• Nuevas vías de consumo• Nuevas demandas de
productos y experiencias
• El enfoque de negocio invadiendo partes de la cadena de valor.
• Nuevos intermediarios• Nuevas empresas• Nuevos modelos de
negocio
“Eficacia a lo largo de la cadena de valor”
“Cambio radical y Acceso a la información”
“Desintermediación y nueva cadena de valor”
05/07/2015
11
21
Contexto de los negocios
• Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas
e internet• Economía del
Conocimiento
• Del MK de Masas al MK de NICHOS
• Gestión de la relación con clientes
• Publicidad vs.MK Promocional• Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
05/07/2015
12
“La cantidad de datos generados por la digitalización siempre sobrepasará la capacidad de almacenar,
procesar y dotarlos de sentido “
24
Gestión de la Información:Elemento de competitividad
Datos
Conocimiento
Información
Símbolos
Experto
Competente
La clave está en convertir datos en conocimiento útil para la toma de
decisiones.
05/07/2015
13
La inteligencia…
25
26
El saber SÍ ocupa lugar…
05/07/2015
14
27
Y requiere perfiles especializados…
la información como el recurso más importante de la organización
conocer mejor a los clientes¿quién nos compra?, ¿por qué compra en nuestra empresa?, ¿con qué frecuencia?, ¿qué es lo que busca?, ¿cuáles son sus necesidades reales?, ¿podemos conocer y predecir su comportamiento?
obtener información sobre las tendencias de los mercados
parte de esta información se puede extraer de los datos acumulados por el sistema transaccional de la empresa:
venta de productos, reclamaciones, servicios post-venta,…
hay datos que llegan a la empresa y no entran en el sistemavisitas de comerciales, consultas de los clientes (catálogos, web,…)
el futuro de la empresa depende de la información que pueda extraer de las transacciones para conocer mejor a sus clientes y ofrecerles un mejor servicio
Sistemas de información de marketing
05/07/2015
15
PREVENTA-Visitas comerciales- Contactos telefónicos- Formularios electrónicos- Presupuestos sobre pedidos
VENTA- Configuración de pedidos- Formas de pagos
POSTVENTA- Consultas técnicas- Quejas y reclamaciones- Sugerencias
PROCESAR
BASE DE DATOS
INFORMACIÓN CLIENTES
Registro histórico de interacciones
- Visión integral del cliente
- Personalización
- Anticipación
- Visión integral del cliente
- Personalización
- Anticipación
EXPLOTACIÓNPROACTIVA
Sistemas de información de marketing
31
Contexto de los negocios
• Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas
e internet• Economía del
Conocimiento
• Del MK de Masas al MK de NICHOS
•Gestión de la relación con clientes
• Publicidad vs.MK Promocional
• Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
05/07/2015
16
32
MarketingMasivo
Marketingde Segmentos
Marketing deNichos
EVOLUCION DEL MARKETING
33
De la masa al individuo
Universo
Mk masas
Acciones masivas
SegmentosMk segmentadoAcción selectiva
IndividuosMk 121
Acción personalizada
05/07/2015
17
34
EVOLUCION DEL MARKETING
Década Orientación Relación con el Cliente
TecnologíasTecnologías de Información en
Empresa
ACCIONES DE MARKETING
50`s Producto Nula TV Proceso de Datos Masiva, Indiscriminada
70`s Venta Poca / MediaPc`s
Código de barras
Escáners
Sistemas de Información
SelectivasMK Directo
90`s00`s
Cliente,Mercado
MuchaPC`s
InternetWWW.
DaraWarehouseOPLAP, ROLAP
DATAMINIGDSS
PersonalizadasCRM
de una visión centrada en el producto
era industrialmercado dirigido por la ofertaproducción en masacuota de mercado
de una visión centrada en el producto
era industrialmercado dirigido por la ofertaproducción en masacuota de mercado
a una visión centrada en las relaciones con el cliente
sociedad del conocimientomercado dirigido por la demandapersonalizaciónexplotación del “tiempo de vida” del clientecuota de clientes
a una visión centrada en las relaciones con el cliente
sociedad del conocimientomercado dirigido por la demandapersonalizaciónexplotación del “tiempo de vida” del clientecuota de clientes
Manufacturing mindsetDoing things right
EFICIENCIA
Marketing mindsetDoing the right things
EFICACIA
Sistemas de información de marketing
05/07/2015
18
Cada vez hay mas canales para contactar con el cliente,más interactivos y más inmediatos
Television Digital
Internet
Dependientes
Fuerza de venta
Callcentres
Mailing
Entorno Actual...
Fuerza de venta
Mailing
Centros de Fulfilment Cajeros
Callcenter
Internet
42
Contexto de los negocios
• Globalización• Competencia• Ventajas competitivas• Tecnología• Cambio• Cultura organizacional• Distancias geográficas
e internet• Economía del
Conocimiento
• Del MK de Masas al MK de NICHOS
•Gestión de la relación con clientes
• Publicidad vs.MK Promocional
• Mejora de procesos• Diseño de producto• Investigación de mercados• Investigación de productos
05/07/2015
19
La explosión e la información obliga a…Deciciones más rápidas.
Volumen de Datos Digitales: • 57 % CAGR para datos de empresa hasta 2010• Máquinas generadoras de datos: Sensores, RFID, GPS…
Velocidad en Toma de Decisiones:• Clima de Negocios de Cambio rápido.• Necesidad de anticipación: predecir los
acontecimientos y actuar.
Imperativo de Negocio:
• Innovación acelerada, • Optimización de negocios, • Diferenciación competitiva y sostenible.
Variedad de Información:• 80% del nuevo crecimiento de datoses de contenido No-Estructurado.
• Emails, imágenes, audio, video..
44
Hechos• En la últimas décadas se ha producido un crecimiento explosivo de las
posibilidades de generar y almacenar datos.
• Estos volúmenes de datos sobrepasan los métodos manuales deprocesamiento tales como hojas de cálculo o incluso lenguajes de consultaconvencionales (SQL)
• Las herramientas clásicas estadísticas son difíciles de usar y no escalan al número de datos típicos en bases de datos:
– Tamaño de datos poco habitual para algoritmos clásicos: nº de registros muy largo (108‐1012 bytes), datos altamente dimensionales (nº de columnas /atributos) (102‐104).
– El usuario final no es un experto en aprendizaje automático ni en estadística.
– El usuario no puede dedicar todo el tiempo a analizar los datos
Resumiendo…
05/07/2015
20
46
Tendencias
• Las empresas tienden a integrar las iniciativas de adquisición, promoción y fidelización en todos los canales de forma coherente. (CRM)
• El área de extracción semi-automática de conocimiento de bases de datos adquiere importancia económica y científica inusual en los últimos años. (Data Mining)
• Las inversiones se desplazan del Hw y Sw a la calidad de la información (integración, normalización, deduplicación y enriquecimiento) y a la obtención de conocimiento (exploración y análisis) (Proceso y Gestión de Implantación)
47
• ...la informática prometía obtener fuentes de sabiduría y lo que en realidad produce
son inundaciones de datos...
05/07/2015
21
48
Paradoja
Ahogados en datos...faltos de información
...escasos de conocimientos
1 2 3
49
• Algo peor que no tener información disponible es tener mucha información…
…Y no saber qué hacer con ella.
05/07/2015
22
50
Datos Información Conocimiento
EN RESUMEN...
Índice
1. Estrategia empresarial y necesidades de información .
2. Business intelligence y Minería de datos :
–Concepto– Objetivos
– Estructura
– Aplicaciones
– Principales Técnicas
51
05/07/2015
23
Desafíos a los que se enfrentan los directivos actuales
1/3 de los líderes empresariales con frecuencia toman decisiones críticas sin la información que necesitan
½ no tienen acceso a la información necesaria para hacer su trabajo a través de su organización
+19 horas a la semana emplean los directivos en buscar y entender la información
05/07/2015
24
La explosión de información… obliga a más rápidasdecisiones.
54
Variedad de Información 80% del crecimiento de los nuevos datos es de contenido no‐estructurado
Emails, imagenes, audio, video..
Volumen de Datos Digitales 57% crecieron los datos en la empresa en 2010
Maquinas generadoras de datos: Sensors, RFID, GPS..
Velocidad en la Toma de Decisiones Clima de cambios rápidos en negocios
Necesidad de tomar la cabez a: predecir y acertar
Y se convierten en Imperativos:• Innovación acelerada, • Optimizatión de todos los procesos del negocio,• Diferenciación competitiva sostenida.
05/07/2015
25
Concepto de business intelligence
Se denomina inteligencia empresarial, inteligencia de negocios o BI (del inglés business intelligence) al conjunto de estrategias y herramientas enfocadas a la administración y creación de conocimiento mediante el análisis de datos existentes en una organización o empresa.
56
05/07/2015
26
05/07/2015
27
BI = Información veraz, en el momento oportuno y medida precisa
BENEFÍCIOS
El software de BI se caracteriza
por oferecer información sucinta
con recursos visuales que
facilitan la comprensión
El software BI ofrece la
posibilidad de aplicar
filtros y cambiar la forma
de visualizar la información
de manera muy dinámica
BI = Agilidad
05/07/2015
28
Es imprescindible contrastar la consistencia de losdatos de los análisis.
Conviene usar siempre la fuente de datos de laempresa (Datawarehouse)
BI = Fiabilidad y Calidad de la Información
BENEFÍCIOS
La extracción de una única fuente en laorganización facilita la tarea de los gestores por la
no divergencia en la información
BI = Uniformidad de la Información
05/07/2015
29
• Empresas con fines lucrativos
• Instituciones sin ánimo de lucro
• Organismos públicos
Pueden beneficiarse del BI:
El BI puede
atender demandas tanto de empresas industriales,
comerciales o de servicios
05/07/2015
30
66
¿En qué áreas funcionales se usa más el BI?
• Ventas: Análisis de ventas; Detección de clientes importantes; Análisis de productos, líneas, mercados; Pronósticos y proyecciones.
• Marketing: Segmentación y análisis de clientes; Seguimiento a nuevos productos.
• Finanzas: Análisis de gastos; Rotación de cartera; Razones Financieras.
• Fabricación: Productividad en líneas; Análisis de desperdicios; Análisis de calidad; Rotación de inventarios y partes críticas.
• Logística: Seguimiento de embarques; Motivos por los cuales se pierden pedidos.
05/07/2015
31
69
BI y Analytics: elementos críticos paraconseguir ventajas competitivas
“En un momento en que las compañías ofrecen productos similares y utilizantecnología comparable, los procesos de negocio de alto rendimiento (BI‐Analytics) se constituyen en elementos diferenciadores.” Tom Davenport, “Competing on Analytics”
57%
55%
61%
62%
63%
64%
66%
70%
76%
80%
63%
68%
70%
67%
71%
73%
71%
73%
77%
86%
Unif ied Communication
SOA/Web Services
Business Process Management
Application Harmonization
Self-Service Portals
Customer and Partner Collaboration
Mobility Solutions
Risk Management and Compliance
Virtualization
Business Intelligence and Analytics
Fuente: Estudio global 2009 de la IBM CIO; n = 2345
De crecimientorápido
Bajo crecimiento
Para mejorar la competitividad con BI/Analytics
05/07/2015
32
Objetivos de BI
En definitiva, una solución BI completa permite:
• Observar ¿qué está ocurriendo?
• Comprender ¿por qué ocurre?
• Predecir ¿qué ocurriría?
• Colaborar ¿qué debería hacer el equipo?
• Decidir ¿qué camino se debe seguir?
70
OBJETIVO
Peter Drucker, en su libro “Tareas de dirección, responsabilidades y prácticas”, señala:
“El objetivo del marketing actual es hacer de la venta algo superfluo: conocer y comprender tan bien al cliente que el producto o servicio se ajuste perfectamente a él y se venda por si mismo.”
05/07/2015
33
72
La Inteligencia de Negocios incluye:
73
Evolución de la Tecnología en BI
05/07/2015
34
74
75
Tecnologías de Inteligencia de Negocios
05/07/2015
35
76
Posicionamiento Fabricantes
El parque instalado de Soluciones Analíticas…
05/07/2015
36
05/07/2015
37
81
…. la
05/07/2015
38
Estructura de una arquitectura de BI
05/07/2015
39
Estructura de un sistema de business intelligence
CUADROS DE MANDO
REPORTING
1
2
3
86
ANALISIS
Estructura de un sistema de business intelligence
1
87
05/07/2015
40
Puntos de venta Logística WebVendedores
Mailing88
Estructura de un sistema de business intelligence
89
2
05/07/2015
41
Data Warehouse /Data Mart
Estructura cliente - servidor
© Pablo Sánchez de Ocaña R‐de la Prada 90
Base de datos
92
05/07/2015
42
Datamart /Data warehouse
OLAP(On-Line Analytical Processing).
Bases de datos multidimensionales
La disposición de la información en cubos OLAP favorece la rapidez en la consulta de la información
93
Estructura de un sistema de business intelligence
CUADROS DE MANDO
REPORTING ANALISIS
94
05/07/2015
43
Cuadro de mando
95
96
Cuadro de mando
05/07/2015
44
97
Muestra de Scorecard
98
?
05/07/2015
45
100
Cuadro de mando
05/07/2015
46
101
?¿Cómo se muestra un KPI en el cuadro?
Reporting
Data MartDW
Herramienta de Reporting
Diseño de informes
102
05/07/2015
47
Informes
INSTRUMENTOS
Gráficos
05/07/2015
48
Cuadros /Tablas dinámicas
Relojes / Indicadores
05/07/2015
49
Dashboards
Visualización de los datos operacionales
05/07/2015
50
Información integrada
Análisis de datos y Datamining
05/07/2015
51
Datamining
111
112
Técnicas: Precisión vs. Legibilidad
05/07/2015
52
Técnicas
– Clustering
– Asociación
– Análisis de secuencias
– Reconocimiento de Patrones
– Predicción
– Forecasting
– Simulación
Aplicaciones
– Segmentación
– Venta Cruzada
– Senda de Consumo
– Clasificación
– Scoring
– Previsión
– Optimización
113
Análisis de Datamining
Técnicas de análisis
• Clustering
114
SEGMENTACIÓN
05/07/2015
53
Técnicas de análisis
– Secuenciamiento y Reconocimiento de Patrones
115
05/07/2015
54
05/07/2015
55
STP es un Proceso cardinal de los Negocios
Para identificar y seleccionar grupos de potenciales clientes... Organizaciones, Centrales de Compras, Individuos…
Con necesidades similares dentro del grupo, pero diferentesrespecto de otros grupos (S)
A los que podemos llegar y rentabilizar (T)
A los que podemos dirigir programas de marketing (P)
STP -(Segmentación, Targeting, Positionamiento) es un Proceso de Decisión
SegmentaciónIdentifica Segmentos
TargetingSelecciona segmentos
PositionamientoCrea ventajas competitivas
