MÓDULO 1 Introducción a Tecnologías Big Data...Prohibida la reproducción total o parcial sin...

15/12/2018

1

Introducción a Tecnologías Big Data

Copyright © Instituto Tecnológico de Informática (ITI). Prohibida la reproducción total o parcial sin permiso del ITI.Copyright © Instituto Tecnológico de Informática (ITI). Prohibida la reproducción total o parcial sin permiso del ITI.

Introducción a Tecnologías

Big Data

MÓDULO 1


Copyright © Instituto Tecnológico de Informática (ITI). Prohibida la reproducción total o parcial sin permiso del ITI.

Contenidos

• Introducción a Big Data

• ¿Qué es Big Data?

• Escenarios y retos

15/12/2018

2


Introducción a Big Data





15/12/2018

3







Data

is the new

OILWe need to find it,extract it, refine it,

distribuite it andmonetize it.

David Buckingham

Impacto en la UE206.000 M€ en 20203,7M de empleos en 2018

15/12/2018

4




Data

is the new

OILWe need to find it,extract it, refine it,

distribuite it andmonetize it.

David Buckingham

SembrarRegarCuidarRecolectar



¿Cuáles son las fuentes de los datos?

1. Datos de procesos internos

2. Comercio electrónico

3. Telecomunicaciones

4. Redes sociales

5. Internet de las Cosas

En 2020, 30mil millones de dispositivos estarán conectados a internet

15/12/2018

5




1. Hasta 2005 la humanidad generó 5 Exabytes de información (1.000M de Gb)

2. Ahora esa cantidad se genera cada dos días

3. Producción será 44 veces mayor en 2020 que en 2009



15/12/2018

6




El 80% de la información es desestructurada

Las empresas sólo aprovechan en torno al 5% de la información generada

El volumen de datos generados cada año crece de forma exponencial en todos los sectores

El 90% de la información existente ha sido generada en los dos últimos años



De los datos al conocimiento

1. Data

2. Anonymous Data

3. Aggregated Data

4. Insights

My name is John (27) and go to London on Mondays at 7 AM

I am (27) and go to London onMondays at 7 AM

We are 100 people under 30 and go to London on Mondays at 7 AM

27% of people under 30 go to London on Mondays at 7 AM

15/12/2018

7





¿Hemos asistido a la revolución?

• Almacenar datos no es suficiente

• Extraer valor de los datos es la clave

• Información = Ventaja competitiva

• 20% del tiempo se invierte en buscar datos

• 61% de los ejecutivos quieren acceso rápido a datos

• 80% de las decisiones se toman en base a datos

• Las empresas necesitan:

• Conocer y mejorar sus procesos

• Descubrir tendencias

• Evaluar el impacto y el riesgo

• Dirigirse al target (personalizar)

• Apoyo en la toma de decisiones

• Anticiparse o predecir


El negocio de datos

15/12/2018

8







Open DataFilosofía de datos abiertos que nació con la

necesidad de transparencia de las instituciones púbicas

Linked Data

Define estándares para poder intercambiar información entre organizaciones

¿Alrededor de los datos sólo hay negocio?

15/12/2018

9




(Big + Open) Data

Fuente Classora




15/12/2018

10







15/12/2018

11







15/12/2018

12


¿Qué es Big Data?




¿Qué es Big Data?

Definición de Big Data

Término que hace referencia a una cantidad de datos tal que supera la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable Fuente: Wikipedia

¿Estamos hablando de gestionar VOLUMEN de datos?

15/12/2018

13



DATA

VISUALIZATION

BIG DATA

ANALYTICS

Infrastructures

Data Sources

Data Processing

Data Mining

Machine Learning



¿Qué es Big Data?

Características de Big Data

Fuente: IBM

Las 4 Vs

15/12/2018

14



¿Qué es Big Data?

Volumen, Variedad, Velocidad, Veracidad

• Tecnologías actuales no resuelven el problema

• Ha sido necesario crear técnicas y tecnologías para:

• Bases de datos escalables

• Sistemas de archivos distribuidos

• Tratamiento masivo

• El estándar es

• Han proliferando soluciones cloud (IaaS) para dar respuesta a las necesidades de elasticidad



¿Qué es Big Data?


Hoy en día, 80% datos no estructurados: imágenes, vídeos, voz, documentos de texto completos...

15/12/2018

15



¿Qué es Big Data?




¿Qué es Big Data?


Tipos de datos complejos:

• Estructurados: BBDD relacionales, hojas de cálculo

• No estructurados: texto, multimedia, logs, emails, documentos, …

• Semiestructurados: xml, html, json, …

Aparición de nuevas tecnologías especializadas:

• NoSQL

• NewSQL o Bases de Datos Distribuidas

15/12/2018

16



¿Qué es Big Data?


Son necesarias tecnologías capaces de:

• Recoger y transformar datos generados a gran velocidad (Streaming)

• Procesar y analizar de forma rápida (Real-Time)

Ejemplos:

• Detección de fraudes en transacciones bancarias

• Análisis de riesgos

• Detección de anomalías en altas frecuencias

• Mensajes virales en redes sociales (twitter)

• Interacciones en juegos online (MMOG)

• Recogida de datos en sensores (IoT)

• …




¿Qué es Big Data?

15/12/2018

17



¿Qué es Big Data?


• Establecer criterios que nos permitan confiar en los datos

• Incluye:

• Autenticidad (blockchain)

• Disponibilidad

• Fiabilidad

• Precisión

• Confiabilidad (reputación)

• Es necesario identificar los datos que aporten valor

• Los datos obsoletos se almacenan (coste elevado de identificación)

Ley de los datos de Parkinson

“Los datos se expanden para llenar el espacio disponible”



¿Qué es Big Data?

Actualmente están apareciendo otras características:

• Variabilidad: significado de los datos cambia constantemente (lenguaje natural)

• Visualización: representación de los datos

• Valor: toma de decisiones

• ¿Algunas más? Viscosidad, Viralidad …

Variabilidad

Valor

Viscosidad

Velocidad

Volumen

Visualización

Variedad

Veracidad

Proyecto

Big Data

Características de un proyecto Big Data

15/12/2018

18


Escenarios y Retos




Data-Driven Decision Making (DDD)

Aquellas empresas que tienen un proceso de toma de decisiones basado en los datosobtienen un incremento medio de la productividad en un 3%

MIT, 2010

Escenarios y Retos

15/12/2018

19



Escenarios y retos

Big Data vs Big Data Analytics

• Del almacén y gestión de los datos al análisis de los mismos

• De los datos a la información, de información a conocimiento.

Business Intelligence vs Data Analytics

• BI tradicional se centra en “lo que ha pasado” y un enfoque “causal”

• Data Analytics se centra en ”lo que va a pasar” y un enfoque “correlacional”.

Data Analytics vs Big Data Analytics

• En DA usamos un “conjunto de datos limitado” y aplicamos técnicas de reducción

• En BDA “no hay límite” y por tanto el resultado arroja un error menor (el 99%)



• Ingesta: ¿Podemos recibir / recoger y organizar los datos?

• Limpieza: ¿Se puede limpiar y transformar los datos recogidos?

• Almacenamiento: ¿Se puede almacenar y acceder a una gran cantidad de datos?

• Análisis: ¿Se puede enriquecer y analizar estos datos en tiempo razonable?

• Visualización: ¿Podemos servir los datos a un aplicativo?

Ingesta Limpieza Almacenamiento Análisis Visualización

Procesos involucrados

Escenarios y Retos

15/12/2018

20



Stream

DataSpeed Layer

Stream

Process Real-Time

View

Real-Time

View

Batch Layer

Batch Process

Raw Data

Serving Layer

Batch View

Batch View

Escenarios y Retos

Escenarios de actuaciónLas tecnologías Big Data se especializan en los siguientes grupos:



Data Lake Modelo

como Servicio

Business Intelligence

ModelarEnriquecer

Clúster de Big Data

Transformar

On-premise Cloud

Escenarios y Retos

Arquitectura de referencia

15/12/2018

21



Follow us

Servicios de Análisis de

Datos Avanzados

[email protected]

+34 963 879 958

[email protected]

MÓDULO 1 Introducción a Tecnologías Big Data...Prohibida la reproducción total o parcial sin...

Documents

Transcript of MÓDULO 1 Introducción a Tecnologías Big Data...Prohibida la reproducción total o parcial sin...