BIG DATA Y OPEN DATA: EL UNIVERSO DIGITAL DE DATOS

2008 LA ERA DEL PETABYTE

La era del Petabyte era del Petabyte era del Petabyte era del Petabyte3 fue el título del

artículo publicado en la prestigiosa revista Wired en 2008 y firmada por Chris Anderson, su

editor. Este artículo publica un estudio sobre la cantidad de información digital almacenada en

el mundo en esas fechas.

Se destaca en el estudio la proliferación de sensores por todas partes, el almacenamiento

infinito, nubes de procesadores y se comenta nuestra capacidad para capturar, almacenar y

comprender las cantidades masivas de datos (big data) que están cambiando la ciencia, la

medición, los negocios y la tecnología. El artículo considera que a medida que nuestras

colecciones de hechos y figuras crece, también crecerá la oportunidad de encontrar respuestas

a preguntas fundamentales y “… en la era de los grandes datos, más no es sólo más sino que es

diferente” (“because the era of big data more isn´t just more. More is different”).

2011 BIG DATA

La nube se adapta a los big data big data big data (datos grandes) (datos grandes) (datos

grandes) (datos grandes), o dicho de otra manera, a lo largo del 2011 y en los meses sucesivos

se producirá una convergencia entre el modelo de la nube (cloud) y los big data; éste ha sido el

lema central de la conferencia EMC Word 2011 celebrada en Las Vegas en mayo de 2011. EMC,

además de presentar sus últimas herramientas para la nube, como el caso de la plataforma

VPLEX, presentó la tecnología geo que convierte en realidad la federación del almacenamiento

a larga distancia, que permite acceder, compartir y mover de manera dinámica aplicaciones y

datos entre los centros de datos ubicados a distancias de hasta 1000 kilómetros compartiendo

la información como si se tratara de un único CPD.

2007-2011 EL UNIVERSO DIGITAL DE EMC/ICD DE MARZO DE 2007 A JUNIO

DE 2011

La consultora tecnológica IDC Corporation (www.idc.com) publicó su primer informe de la

información digital almacenada en el mundo en el año 20075 y sus predicciones de

crecimiento para el año 2010. Este informe fue patrocinado por la compañía EMC, líder

mundial en fabricación de sistemas de almacenamiento. Los siguientes informes han seguido

realizándose patrocinados por la misma compañía EMC bajo la dirección técnica por la

consultora IDC.

IDC volvió a publicar su informe en 2008 pero ahora denominado “Digital Universe”6 (El

Universo Digital) y ya en esa ocasión las cifras dadas eran: 281 exabytes en 2007 y se preveía

para 2011 la cantidad de 1800 exabytes (1,8 ZB) o sea 10 veces la información producida en

2006. Una de las razones fundamentales para el crecimiento se achacaba al creciente número

de cámaras fotográficas y sobre todo el aumento de la revolución de las cámaras

independientes y de las cámaras incorporadas a los teléfonos celulares, que consideraban

cifras medias de 5 megapíxeles. El informe preveía un inimaginable valor de 25 Zettabytes para

el año 2020.

En 2010 y coincidiendo con el inicio de la década, el informe pasó a denominarse “The Digital

Universe Decade” y se publicó en el mes de mayo; en él se pronostica que en 2020 el Universo

Digital crecería en cantidades inimaginables, y que el crecimiento del año 2009 fue del 63% y

que el Universo Digital en 2020 sería 50 veces mayor que en el año 2009.

2009 Los datos más sobresalientes del “Universo Digital de la

Década” en mayo 2010 eran:

• El año 2009, pese a los datos de recesión global, el conjunto del Universo Digital creció en un

62%, casi 800.000 Peta bytes. Un dibujo de una fila de discos DVD iría de la Tierra a la Luna y

regresaría. • El crecimiento previsible para el año 2010 alcanzaría la cifra de 1,2 millones de

Peta bytes, o sea 1,2 Zettabytes (una unidad de medida hasta ese momento nunca utilizada). •

Este crecimiento explosivo significaba que en 2020 el Universo Digital sería 44 veces más

grande que en 2009 (la fila de DVD, ahora podría llegar a la mitad del camino a Marte).

2010 DATOS EN TODAS PARTES (THE ECONOMIST, 2010)

La prestigiosa revista económica The Economist dedicó en 2010 un suplemento especial al

mundo de los Datos7 en que destacaba en su portada: “Datos en todas partes”, y cómo la

información ha evolucionado desde la escasez a la superabundancia, lo que conduce a nuevos

grandes beneficios, pero también a grandes preocupaciones o dolores de cabeza, según señala

en su primer artículo Kenneth Cupiera. Algunos datos con los que se inicia el informe

mencionan algunas cifras astronómicas de información que se podían encontrar en la Tierra en

las fechas de publicación. Wal-Mart, el gigante de los grandes almacenes de los Estados

Unidos, manipula más de 2,5 Peta bytes, el equivalente de 167 veces los libros de la Biblioteca

del Congreso de América (America´s Library Congress); la red social Facebook aloja 40.000

millones de fotografías y la decodificación del genoma humana implicaba el análisis de 3.000

millones de pares básicos, que tardan 10 años en recolectarse la primera vez que se hizo en

2003, y que hoy se pueden conseguir en una semana.

2011 EL UNIVERSO DIGITAL DE DATOS 2011. EXTRAYENDO VALOR

DEL CAOS

IDC y EMC continúan con sus estudios sobre almacenamiento digital y el último informe, “El

Universo Digital” de 2011, se presentó el 28 de junio con un nuevo título “2011 Digital

Universe Study: Extracting Value from Chaos”.12 Las conclusiones más sobresalientes se

refieren al hecho de que el volumen de información continúa creciendo a una velocidad

espectacular y este crecimiento y los “big data” están transformando todos los aspectos de los

negocios y de la sociedad, y controlando los cambios económicos, científicos, tecnológicos y

sociales que se están produciendo. Otros aspectos importantes que destaca el estudio se

refiere a que la información del mundo se duplica cada dos años y que en 2011 se crearían 1.8

zettabytes, creciendo de un modo más rápido que la conocida Ley de Moore. Las empresas

manejarán 50 veces más datos y la cantidad de archivos será 75 veces mayor en la próxima

década. Estos datos impulsan oportunidades para los Big Data y nuevas funciones de TI. El

universo digital de datos y los big data están impulsando grandes transformaciones y cambios

en los ámbitos social, tecnológico, científico y económico.

2005 El informe destaca que la importancia de este inmenso caudal de

datos es la creación de las nuevas tecnologías de “dominio de la información” que están

generando una reducción en los costos de creación, captura, administración y almacenamiento

de la información a una sexta parte de lo registrado en 2005. Además, desde ese mismo año

las inversiones empresariales anuales en el Universo Digital, la nube, infraestructuras de

hardware, software, servicios y personal para crear, administrar, almacenar y generar ingresos

a partir de la información, aumentaron un 50% y alcanzaron la suma de 4 trillones de dólares

estadounidenses.

La sobrecarga de información cobra forma física La sobrecarga de información cobra forma

física La sobrecarga de información cobra forma física La sobrecarga de información cobra

forma física

2013 El estudio de 2013 refleja que mientras los dispositivos y las

aplicaciones que crean o capturan información digital crecen rápidamente, también lo hacen

los dispositivos que almacenan información. El estudio constata el hecho de que “los medios

de almacenamiento son cada vez más económicos, p. e. permiten tomar fotografías de alta

resolución con los teléfonos celulares, que a su vez generan una demanda de más medios de

almacenamiento y las unidades de mayor capacidad permiten replicar información, lo que a su

vez facilita e impulsa el crecimiento de contenidos”.

2007 Según los cálculos de IDC en 2007 todo el espacio vacío o utilizable en

los discos duros, cintas, CD, DVD y memoria (volátil y no volátil) del mercado alcanzaba la cifra

de 264 exabytes, muy cercana al volumen total de información creada. A partir de ese punto,

las dos cifras se separan. La situación es que desde 2007 se han ido separando la cantidad de

información creada y la almacenada. Dicho de otra manera: “[…] nos encontramos en una

situación en la que no podemos almacenar toda la información que se crea. Esta brecha entre

creación y almacenamiento, sumada a las exigencias normativas cada vez mayores en cuanto a

retención de la información, presionará cada vez más a los responsables de desarrollar

estrategias de almacenamiento, retención y eliminación de información.”

2011 OPEN DATA. EL MOVIMIENTO DE LOS DATOS ABIERTOS

“Lo primero que tienen que hacer los gobiernos es hacer más datos abiertos”17 afirmaba Jeff

Jaffe, presidente ejecutivo del W3C en Bilbao Web Summit 2011, y Tim Berners-Lee en su

conferencia en el mismo Congreso manifestaba: “El futuro social de la educación está en los

datos, en la calidad de los mismos, los datos abiertos (open data), la libertad de los datos, que

éstos puedan fluir para el acceso de cualquier persona y que, a su vez, puedan ser

aprovechados”. Así se expresaban los dos principales directivos de W3C (Consorcio de la W3):

Tim Berners-Lee, autor de la Web y actual Director del W3C, y Jeff Jaffe, su presidente

ejecutivo. Entonces cabe preguntarse qué son Open Data (Datos abiertos Datos abiertos Datos

abiertos Datos abiertos) y cuáles son las iniciativas a nivel internacional que están difundiendo

la iniciativa.

2007 INICIATIVAS OPEN DATA

Las iniciativas de Open Data en el mundo son numerosas, como se comentó anteriormente.

Los proyectos más innovadores han nacido en los Estados Unidos con la nueva administración

del presidente Obama (www.data.gov), en Gran Bretaña (www.data.gov.uk), en España a nivel

regional o autonómico y local, aunque también existen iniciativas a nivel nacional como es el

Proyecto Aporta dentro del Plan Avanza que desde el año 2007 viene planteando que todas las

administraciones locales, autonómicas y centrales están llamadas a hacer pública la

información que generan.

América Latina y el Caribe América Latina y el Caribe América Latina y el Caribe

(2011)

Según el portal data.gov del gobierno federal de Estados Unidos, a finales de octubre de 2011,

en América Latina y el Caribe sólo existía un país con iniciativa de Open Data. Este país era

Perú con el proyecto Open Data Perú (a finales de febrero de 2012 se había incorporado

Uruguay).

España (2010)

Las iniciativas en España van aumentando día a día tanto en la administración autonómica

como en la local, así como a nivel nacional ya que aunque no existe una iniciativa central como

en el caso de los Estados Unidos y Gran Bretaña, sí existe el ya citado Proyecto Aporta que

impulsado por el Ministerio de Industria fomenta el uso de Open Data.

Reino Unido (2007)

El portal oficial Opening Up Government del Reino Unido es también otro modelo para el

estudio de Open Data. Igual que sucede con el portal del gobierno de los Estados Unidos,

ofrece una amplia oferta de opciones: Datos, Apps, Foros, Wiki, Blogs, Recursos (con una

excelente fuente de datos sobre la Web Semántica), Linked Data, Tag (etiquetas) y una pestaña

muy interesante sobre Ideas.

Estados Unidos (2011)

Sin lugar a dudas el portal Data.gov es referencia obligada en el estudio de Open Data; incluye

páginas relativas a Data y Apps, Communities, Open Government, Learn, Semantic Web y

Developers Corner.

Entre ellos, los Estados Unidos, Gran Bretaña, Australia, Canadá, Alemania, Grecia y España. Se

incluyen dos países de Latinoamérica, Asia (excepto Hong Kong) y África. También es de

destacar la amplia oferta de aplicaciones (Apps) disponibles en un catálogo amplio que incluye

widgets, gadgets, herramientas y canales (feeds) RSS

2010 LA INFORMACIÓN PÚBLICA AL SERVICIO DEL CIUDADANO

“Las administraciones públicas (de cualquier organismo nacional e internacional) generan gran

cantidad de información en formatos propios de difícil acceso para la mayoría de los

ciudadanos” (Ruiz-Tapiador 2010). 22

Bases de datos, listas, estudios, informes, estadísticas, etc., son datos abiertos (open data),

generan datos normalmente en formatos propios que son de difícil acceso para la mayoría de

los ciudadanos. Entre otros datos se encuentran oportunidades laborales, recursos, trípticos,

incidencias de tráfico, horarios de oficinas, centros de salud, etc., que son fácilmente

aprovechables y generan valor añadido a profesionales y empresas que les den un formato

adecuado y visibilidad.

2011 LA REVOLUCIÓN DE LOS DATOS ESTÁ CAMBIANDO EL PAISAJE

DE LOS NEGOCIOS/THE ECONOMIST

The Economist publicó el 26 de mayo de 2011 y en su reputada sección Schumpeter un

excelente artículo sobre Big Data en donde se resalta que la revolución de los datos estaba

cambiando el paisaje de los negocios. El último año (2010), señala The Economist, las personas

habían almacenado datos suficientes para rellenar 60.000 Bibliotecas del Congreso de los

Estados Unidos. Los 4 mil millones de usuarios de teléfonos celulares (móviles) (12% de los

cuales poseían teléfonos inteligentes) se habían convertido por sí solos en flujos de datos.

YouTube, por ejemplo, recibía 24 horas de video cada minuto. Los fabricantes habían

embebido 30 millones de sensores en sus productos y sus zonas de metal se habían convertido

en nodos del Internet de las cosas. The Economist destaca que el número de teléfonos

inteligentes está aumentando en un porcentaje del 20% y el número de sensores desplegados

en el mundo aumentaría 30%.