1

Big Data

Cristian González García v 1.1.1 Noviembre 2015

Índice

Introducción

Componentes

Bibliografía

2

Introducción

3

Introducción

¿Qué está cambiando en la gestión del

conocimiento?

¿Porqué son necesarias nuevas herramientas

de gestión del conocimiento?

¿Qué está ocurriendo?

4

Nuevas tecnologías Dispositivos inteligentes (Smartphones) La nube (Cloud Computing) Las redes sociales, micro blogs,… Big Data Open Data (Datos abiertos) The Internet of Things (IoT) Sensores Smart Cities Smart Homes Microcontroladores (Arduino) Microordenadores (RaspberryPi) IPv6 (Internet Protocol version 6) RFID (Radio Frecuency IDentification) NFC (Near Field Communication) Bluetooth QR Code (Quick Response Code)

5

Todo acaba en la nube

Sistemas incrustados

Redes de sensores

Dispositivos móviles

Redes sociales

Open Data

Big Data

Trabajo

6

La nube …

Es el almacén permanente de la información

Su escalabilidad permite adaptarse a la gran cantidad de información generada por los objetos y por los humanos

Su alta disponibilidad da confianza y fiabilidad

Bajos costes de mantenimiento

Es una de las piezas clave de la gestión del conocimiento

7

La nube - Proveedores

9

La nube –

Ventajas

Costes reducidos

No hay mantenimiento

Pagamos por lo que usamos

Flexibilidad de productos

Actualización constante del HW

Almacenamiento “infinito” y escalable

Capacidad de procesamiento “infinita” y

escalable

Accesible desde cualquier sitio

11

La nube –

Inconvenientes

La legislación

Asignatura de Aspectos Éticos y Legales de la Web (Darío)

Pérdida de control

Puede que no se adapte exactamente

Necesidad de aprender a usar “su” servicio

Tal vez, excesiva modularización

Seguridad, BDD, plugins, …

¿Conexión a Internet?

Casos de quiebra por uso incorrecto

12

Componentes

13

Estadísticas de datosTipo Cantidad Comentario

Internet [1] 40% de la población lo utiliza =

2.880 millones

Somos 7.200 millones de personas

en 2015

Internet [2] 20 Exabytes (10^18) 1 Exabyte = 1.000.000 terabytes

Páginas Web [3] +1 Billones (10^12)

Tweets [2] 20 Mil millones (10^9) 50 millones de usuarios

Posts [2] 2.1 Mil millones (10^9) Foros, discusiones, …

Miembros de redes sociales [2] 2.1 Mil millones (10^9) Miembros de 115 sitios

Creadores de contenido social

[2]

600 Millones(10^6) 33% de los usuarios de Internet

Miembros de Facebook [4] 1490 Millones(10^6) 2015

Youtube [5] +Mil millones Usuarios (10^9), +

100 Mil Millones de Horas de

Video/Diario

Blogs [2] 70 Millones (10^6)

Otras publicaciones [2] 10,000 Periódicos y otros

14

Redes Sociales

Constituyen un gran almacén de información

generada por los humanos

Hábitos, gustos, actividades, …

Nuestra información personal… ¡Gratis! ¡O por

jugar!

Son un buen complemento de la información

recogida por sensores y objetos inteligentes

Muchas aplicaciones son una combinación de

redes sociales, objetos inteligentes y la nube

Sistemas de recomendación de libros, juegos,…

Sistemas de asistencia en tráfico, viajes,…

15

Sensores Constituyen un gran almacén de información

generada por el medio ambiente o nosotros

Actividad, sucesos, …

Información del mundo real

Permiten conectar el mundo real con el mundo virtual

Son un buen complemento de la información recogida de las redes sociales

Muchas aplicaciones realizan acciones en base a los sucesos en el mundo real

Automatismos, juegos, seguridad, …

16

Big Data I – Las 3 V

¿Cómo analizamos esta avalancha de datos?

Con herramientas de Big Data

Se pueden construir herramientas de gestión del conocimiento en tiempo real

Big Data son los grandes conjuntos de datos que se caracterizan por

Su volumen y cantidad

Su velocidad de creación y utilización

Su variedad de tipos de fuentes

(La veracidad de los datos)

17

Big Data II - Componentes

18

Big Data III – Tipos de datos

19

Herramientas Hadoop

http://hadoop.apache.org/

Software Open Source

Permite trabajar con grandes cantidades de datos

Implementa MapReduce Computación paralela

mongoDB http://www.mongodb.org/

BBDD NoSQL

Cassandra http://cassandra.apache.org/

BBDD NoSQL

Amazon Big Data http://aws.amazon.com/es/big-data/

Microsoft Azure http://azure.microsoft.com

Cloudera http://www.cloudera.com/content/cloudera/en/home.html

Distribuciones de Hadoop y soporte

R https://www.r-project.org/

Herramienta matemática para análisis de datos y estadísticas

20

Datos I

http://catalog.data.gov/dataset

21

Datos II

http://www.datos.gov.co/frm/buscador/frm

BusquedaAvanzada.aspx

22

Bibliografía

23

Bibliografía

24

Referencias

25

1. https://en.wikipedia.org/wiki/Internet

2. Big Data Application Architecture Q&A

3. http://www.internetlivestats.com/total-

number-of-websites/

4. https://norfipc.com/redes-

sociales/mapa-redes-sitios-sociales-

internet-2015.php

5. https://www.youtube.com/yt/press/es/st

atistics.html

26

Big Data

Cristian González García v 1.1.1 Noviembre 2015