PowerPoint Presentation

Captulo 14

BIG DATA Y OPEN DATA:EL UNIVERSO DIGITALDE DATOS

2007

La consultora tecnolgica IDC Corporation (www.idc.com) public su primer informe de la informacin digital almacenada en el mundo en el ao 2007 y sus predicciones de crecimiento para el ao 2010. Este informe fue patrocinado por la compaa EMC, lder mundial en fabricacin de sistemas de almacenamiento. Algunos de los datos significativos del resumen ejecutivo del primer informe de 2007 eran los siguientes: En 2006, la cantidad de informacin digital creada, capturada y guardada (replicated) era de 161 exabytes (una informacin 3 millones de veces la informacin contenida en todos los libros escritos hasta esa fecha.Entre 2006 y 2010 la informacin que se aadir anualmente al universo digital se incrementara desde 161 exabytes a 988 exabytes.IDC predeca que en 2010, casi el 70% del universo digital seria creado por los individuos y que la seguridad de la informacin y la proteccin de la privacidad serian uno de los temas ms preocupantes.

2008La era del Petabyte3 fue el ttulo del artculo publicado en la prestigiosa revista Wired en 2008 y firmada por Chris Anderson, su editor. Este artculo publica un estudio sobre la cantidad de informacin digital almacenada en el mundo en esas fechas. Se destaca en el estudio la proliferacin de sensores por todas partes, el almacenamiento infinito, nubes de procesadores y se comenta nuestra capacidad para capturar, almacenar y comprender las cantidades masivas de datos (big data) que estn cambiando la ciencia, la medicin, los negocios y la tecnologa.1 Terabyte (TB) era el espacio equivalente a 250.000 canciones almacenadas en medios digitales.20 Terabytes, todo el espacio ocupado por las fotos subidas (uploaded) a Facebook cada mes.120 Terabytes, todos los datos e imgenes recogidas por el telescopio espacial.Hubble.

460 Terabytes, todos los datos climticos de los Estados Unidos recopilados en el National Climatic Data Center.530 Terabytes, todos los videos de YouTube.600 Terabytes, el espacio ocupado por la base de datos genealgica de los Estados.Unidos, que inclua los censos de poblacin desde el ao 1790 al ao 2000.1 Petabyte (PB), los datos procesados por los servidores de Google cada 75 minutos.IDC volvi a publicar su informe en 2008 pero ahora denominado Digital Universe (El Universo Digital) y ya en esa ocasin las cifras dadas eran: 281 exabytes en 2007 y se prevea para 2011 la cantidad de 1800 exabytes (1,8 ZB) o sea 10 veces la informacin producida en 2006. Una de las razones fundamentales para el crecimiento se achacaba al creciente nmero de cmaras fotogrficas y sobre todo el aumento de la revolucin de las cmaras independientes y de las cmaras incorporadas a los telfonos celulares, que consideraban cifras medias de 5 megapixeles. El informe prevea un inimaginable valor de 25 Zettabytes para el ao 2020.

2009En 2009 y por tercer ao consecutivo IDC volvi a publicar el informe del Universo Digital. En esta edicin, la cifra almacenada en el ao 2008 llego a los 487 de exabytes y daba como dato anecdtico que esta cantidad era el equivalente a 30.000 millones de iPod Touch o 10.000 millones de discos BluRay totalmente cargados, o 162 billones de fotos digitales. Ya en este informe comenzaban a darse datos del impacto de Twitter y otras redes sociales.La nueva administracin de los Estados Unidos inicio en 2009 la iniciativa de Open Data y en paralelo la Unin Europea ha ido adoptando tambin dicha iniciativa. En Espaa los pioneros han sido dos gobiernos autonmicos: el Principado de Asturias y el Pas Vasco. El objetivo de ambos gobiernos ha sido generar riqueza y otorgar transparencia y seguridad jurdica al ciudadano.

2010En 2010 y coincidiendo con el inicio de la dcada, el informe paso a denominarse The Digital Universe Decade y se public en el mes de mayo; en el se pronostica que en 2020 el Universo Digital crecera en cantidades inimaginables, y que el crecimiento del ao 2009 fue del 63% y que el Universo Digital en 2020 seria 50 veces mayor que en el ao 2009.

Los datos ms sobresalientes del Universo Digital de la Dcada en mayo 2010 eran:

El ao 2009, pese a los datos de recesin global, el conjunto del Universo Digital creci en un 62%, casi 800.000 Petabytes. Un dibujo de una fila de discos DVD ira de la Tierra a la Luna y regresara.

El crecimiento previsible para el ao 2010 alcanzara la cifra de 1,2 millones de Petabytes, o sea 1,2 Zettabytes (una unidad de medida hasta ese momento nunca utilizada).

Este crecimiento explosivo significaba que en 2020 el Universo Digital seria 44 veces ms grande que en 2009 (la fila de DVD, ahora podra llegar a la mitad del camino a Marte.La prestigiosa revista econmica The Economist dedic en 2010 un suplemento especial al mundo de los Datos7 en que destacaba en su portada: Datos en todas partes, y cmo la informacin ha evolucionado desde la escasez a la superabundancia, lo que conduce a nuevos grandes beneficios, pero tambin a grandes preocupaciones o dolores de cabeza, segn seala en su primer artculo Kenneth Cukier. Algunos datos con los que se inicia el informe mencionan algunas cifras astronmicas de informacin que se podan encontrar en la Tierra en las fechas de publicacin. Wal-Mart, el gigante de los grandes almacenes de los Estados Unidos, manipula ms de 2,5 Petabytes, el equivalente de 167 veces los libros de la Biblioteca del Congreso de Amrica (Americas Library Congress); la red social Facebook aloja 40.000 millones de fotografas y la decodificacin del genoma humana implicaba el anlisis de 3.000 millones de pares bsicos, que tardan 10 aos en recolectarse la primera vez que se hizo en 2003, y que hoy se pueden conseguir en una semana.

Otro artculo interesante incluido en el informe, Clicking for gold, analiza la forma en que las empresas de Internet rentabilizan los datos de la Web. En primer lugar seala el caso de Amazon, la librera virtual ms grande del planeta, creadora y distribuidora del lector de libros electrnicos, Kindle, y uno de los proveedores ms respetados de infraestructuras como servicio, IaaS, en la Nube. Otras empresas que analiza son Facebook, la red social con ms 650 millones de usuarios, eBay el portal por excelencia de comercio electrnico especialmente subastas, Google, el motor de bsquedas numero 1 a nivel mundial. Las compaas de Internet, en general, recopilan masas de datos de las personas, sus actividades, sus gustos, sus animadversiones, e incluso sus relaciones con muchas otras personas.

2011IDC y EMC continan con sus estudios sobre almacenamiento digital y el ltimo informe, El Universo Digital de 2011, se present el 28 de junio con un nuevo ttulo 2011 Digital Universe Study: Extracting Value from Chaos.12 Las conclusiones ms sobresalientes se refieren al hecho de que el volumen de informacin continua creciendo a una velocidad espectacular y este crecimiento y los big data estn transformando todos los aspectos de los negocios y de la sociedad, y controlando los cambios econmicos, cientficos, tecnolgicos y sociales que se estn produciendo. Otros aspectos importantes que destaca el estudio se refiere a que la informacin del mundo se duplica cada dos aos y que en 2011 se crearan 1.8 zettabytes, creciendo de un modo ms rpido que la conocida Ley de Moore. Las empresas manejaran 50 veces ms datos y la cantidad de archivos ser 75 veces mayor en la prxima dcada.El informe explica la equivalencia del volumen total de 1.8 zettabytes de datos y lo muestra con ejemplos prcticos. As 1,8 ZB equivalen a:

Que a cada persona del mundo se le practiquen ms de 215 millones de resonancias magnticas de alta resolucin por da. Ms de 200,000 millones de pelculas en HD (cada una de 2 horas de duracin): ver esta cantidad de pelculas le llevara a una persona dedicada 24 x 7, 47 millones de aos.

El estudio constata el hecho de que los medios de almacenamiento son cada vez ms econmicos, p. e. permiten tomar fotografas de alta resolucin con los telfonos celulares, que a su vez generan una demanda de ms medios de almacenamiento y las unidades de mayor capacidad permiten replicar informacin, lo que a su vez facilita e impulsa el crecimiento de contenidos.Segn el portal data.gov del gobierno federal de Estados Unidos, a finales de octubre de 2011, en Amrica Latina y el Caribe solo exista un pas con iniciativa de Open Data. Este pas era Per con el proyecto Open Data Per (a finales de febrero de 2012 se haba incorporado Uruguay).