Big Data

download Big Data

of 16

Transcript of Big Data

INDICE

INTRODUCCION2BIG DATA3COMPONENTES DE UNA PLATAFORMA BIG DATA:4LOSBENEFICIOSDE LA UTILIDAD DE BIG DATA5LA OPORTUNIDAD DE MERCADO6CARACTERSTICAS: A BIG DATA LE CARACTERIZAN LAS TRES "V": VOLUMEN, VARIEDAD Y VELOCIDAD:7LA IMPORTANCIA8EL TAMAO ACTUAL DEL BIG DATA9EJEMPLOS DE LOS BENEFICIOS DE BIG DATA EN ALGUNOS SECTORES:9DESVENTAJAS11EL IMPACTO DE BIG DATA A LA SEGURIDAD DE LA INFORMACIN12RETOS DE SEGURIDAD15BIG DATA Y EL ORACLE16

INTRODUCCIN

PorBig datanos referimos exactamente a lo que su propio nombre indica: al tratamiento y anlisis de enormes repositorios de datos, tan desproporcionadamente grandes que resulta imposible tratarlos con las herramientas de bases de datos y analticas convencionales. La tendencia se encuadra en un entorno que no nos suena para nada extrao: la proliferacin de pginas web, aplicaciones de imagen y vdeo, redes sociales, dispositivos mviles, apps, sensores, internet de las cosas, etc. capaces de generar,segn IBM, ms de 2.5 quintillones de bytes al da, hasta el punto de que el 90% de los datos del mundo han sido creados durante los ltimos dos aos. Hablamos de un entorno absolutamente relevante para muchos aspectos, desde el anlisis de fenmenos naturales como el clima o de datos sismogrficos, hasta entornos como salud, seguridad o, por supuesto, el mbito empresarial. Y es precisamente en ese mbito donde las empresas desarrollan su actividad donde est surgiendoun inters que convierte aBig dataen algo as comothe next buzzword, la palabra que sin duda escucharemos viniendo de todas partes: vendedores de tecnologa, de herramientas, consultores, etc

BIG DATASe refiere al anlisis de grandes volmenes de informacin a travs de la incorporacin de fuentes de datos no estructurado al anlisis. Es conjuntos de datos que crecen tan rpidamente que no pueden ser manipulados por las herramientas de gestin de bases de datos tradicionales. Adems de almacenarlo, es necesario capturar, consultar, gestionar y analizar toda esta informacin.El concepto de Big Data se extiende ms all de lo que estamos acostumbrados a entender por grandes volmenes de informacin. Siempre que hagamos una bsqueda, enviemos un email, usemos un telfono mvil, actualicemos una red social, usemos una tarjeta de crdito, activemos el GPS, hagamos la compra en el supermercado dejamos detrs de nosotrosuna montaa de datos, huellas digitales y registros que ofrecen una informacin muy valiosa. El primer paso para beneficiarse del Big Data es la gestin de los datos, la integracin de stos es lo que le da sentido y es dnde reside una de sus dificultades ms grandes. Las empresas deben emplear herramientas que les permitan tener acceso a todos los datos internos y externos, organizarlos y elegir los ms tiles.COMPONENTES DE UNA PLATAFORMA BIG DATA:Las organizaciones han atacado esta problemtica desde diferentes ngulos. Todas esas montaas de informacin han generado un costo potencial al no descubrir el gran valor asociado. Desde luego, el ngulo correcto que actualmente tiene el liderazgo en trminos de popularidad para analizar enormes cantidades de informacin es la plataforma de cdigo abierto Hadoop.Hadoop:Apache Hadoop es una plataforma Open Source indicada para el almacenamiento y procesado de datos a gran escala. Se caracteriza por su flexibilidad para almacenar cualquier tipo de informacin, por su capacidad para procesar datos complejos y por su carcter econmico al no requerir licencia de uso.Hadoop est inspirado en las en las tecnologas Map&Reduce y Google File System (GFS), implementadas originalmente por Google. Con esta herramienta algunas de las compaas ms representativas del mundo han conseguido optimizar la eficiencia y calidad de su informacin incrementando sus beneficios. Amazon, Yahoo, Telefnica y LinkedIn.

1. Web and Social Media: Incluye contenido web e informacin que es obtenida de las redes sociales como Facebook, Twitter, LinkedIn, etc, blogs.2. Machine-to-Machine (M2M): M2M se refiere a las tecnologas que permiten conectarse a otros dispositivos. M2M utiliza dispositivos como sensores o medidores que capturan algn evento en particular (velocidad, temperatura, presin, variables meteorolgicas, variables qumicas como la salinidad, etc.) los cuales transmiten a travs de redes almbricas, inalmbricas o hbridas a otras aplicaciones que traducen estos eventos en informacin significativa.3. Big Transaccin Data: Incluye registros de facturacin, en telecomunicaciones registros detallados de las llamadas (CDR), etc. Estos datos transaccionales estn disponibles en formatos tanto semiestructurados como no estructurados.4. Biomtricas: Informacin biomtrica en la que se incluye huellas digitales, escaneo de la retina, reconocimiento facial, gentica, etc. En el rea de seguridad e inteligencia, los datos biomtricos han sido informacin importante para las agencias de investigacin.5. Human Generated: Las personas generamos diversas cantidades de datos como la informacin que guarda un call center al establecer una llamada telefnica, notas de voz, correos electrnicos, documentos electrnicos, estudios mdicos, etc.LOSBENEFICIOSDE LA UTILIDAD DE BIG DATA Ventajas competitivas en la gran distribucin: permite actualizar, optimizar y afinar inventarios en funcin de la demanda en tiempo real. La extraccin de datos posibilita el anlisis del comportamiento de los clientes, fijar los precios en consecuencia u ofrecer los incentivos adecuados para atraer a los clientes. Es posible realizarlo mediante la digitalizacin de elementos como los almacenes o las cajas registradoras. Mejora de la eficiencia y los costes: el anlisis del Big Data puede acelerar la velocidad con que se desarrolla un producto. Tambin permite compartir datos de forma rpida y realizar simulaciones de producto. En algunos sectores, los plazos de desarrollo se han llegado a reducir entre el 30% y el 50%. Mejora de la gestin empresarial: adems de optimizar la cadena de suministro y el inventario, el Big Data puede ser til para controlar factores de riesgo y tomar decisiones empresariales que pueden virar el futuro de la empresa fundamentadas en datos recogidos en tiempo real. Almacenamiento en la nube: uno de los problemas para gestionar altos volmenes de datos es el elevado coste de la infraestructura de almacenamiento. Muchos proveedores de almacenamiento masivo de datos alquilan potentes servidores a los que se puede acceder en lnea, y ponen a disposicin del cliente como solucin almacenarlos en una especie de nube. El resultado es que se puede acceder a ella mediante aplicaciones diseadas para manejar grandes volmenes de datos y se pueden obtener soluciones a menudo en tiempo real de forma sencilla.LA OPORTUNIDAD DE MERCADO En todo el mundo las compaas contratarn a muchos expertos en informacin empresarial para dar apoyo a la creciente cantidad, variedad y velocidad de los datos La demanda de gastos en servicios de Big Data se calcula que alcanzar los 132.300 millones de dlares en 2015 En 2015 la demanda de Big Data supondr 4,4 millones de puestos de trabajo en todo el mundo, pero slo un tercio de ellos estarn cubiertos La demanda generar 550.000 empleos en servicios externos durante los prximos tres aos Otros 40.000 empleos los generarn vendedores de software durante los prximos tres aosCaractersticas: A Big Data le caracterizan las tres "V": volumen, variedad y velocidad:Volumen El volumen de los datos almacenados en los depsitos de las empresas ha pasado de ocupar megabytes y gigabytes a petabytes. Por ejemplo, el volumen de datos procesado por corporaciones ha crecido significativamente. Google procesa 20 petabytes al da. En 2020 se espera que se generen 420.000 millones de pagos electrnicos. La Bolsa de Nueva York genera un terabyte de datos al da, frente a Twitter, que genera 8 terabytes al da (o 80MB por segundo).Variedad La variedad de datos ha explotado, pasando de ser datos almacenados y estructurados, guardados en bancos de datos empresariales, a ser desestructurados, semiestructurados, audio, video, XML, etc. Datos en streaming, cotizaciones burstiles, medios sociales, mquina a mquina, datos de sensores... Una creciente variedad de datos necesitan ser procesados y convertidos en informacin.Velocidad La velocidad del movimiento, proceso y captura de datos dentro y fuera de la empresa ha aumentado significativamente. Los modelos basados en inteligencia de negocios generalmente suelen tardar das en procesar, frente a las necesidades analticas casi en tiempo real de hoyen da debido al flujo de datos a alta velocidad.LA IMPORTANCIA El trmino Big Data es utilizado indistintamente para referirse a la propia enorme cantidad de datos, a su gestin o a las herramientas que lo analizan. Y en realidad ninguno de los tres usos es incorrecto ya que el concepto Big Data en toda su magnitud, abarca las tres. Su importancia se puede definir en 3 puntos:1. Avalancha de datos. La tendencia de crecimiento de datos y aumento de la capacidad de procesamiento que comenz hace casi cincuenta aos. Hace relativamente poco tiempo un terabyte (TB) era una cantidad de informacin casi inimaginable pero hoy en da muchos centros de datos se miden en petabytes (PB) y hasta podemos hablar de zetabytes (ZB). 2. Impacto en la industria y los negocios. La generacin de datos en las empresas es enorme independientemente del sector en el que se desempeen. Pero el impacto del Big Data en las empresas tambin llega a su estructura. El primer paso, evidentemente, est en los departamentos TIC: el Big Data implica la llegada de ingenieros y tcnicos especializados en datos y los roles del resto del equipo tcnico se vern irremediablemente modificados y ofrezca un mejor aprovechamiento de la informacin.3. Impacto en la sociedad. Las administraciones pblicas y el sector salud son el mejor ejemplo, con la mejora de los servicios a los ciudadanos. Pero no solo datos como los del trfico o como los del tratamiento de un determinado grupo de pacientes sern monitorizados, nuestra actividad en los millones de ordenadores y dispositivos mviles que hay activos, genera informacin constantemente que esconde detalles sobre las formas en las que nos relacionamos, consumimos y trabajamos.

EL TAMAO ACTUAL DEL BIG DATAAlrededor de cualquier compaa se producen millones de datos relacionados con sus operaciones, sus proveedores y sus clientes. Los usuarios generan constantemente informacin mientras usan sus ordenadores y sus dispositivos mviles y el Internet de los objetos producir un crecimiento exponencial en los prximos aos, incluso meses. La explosin del Big Data ha llegado con el desarrollo masivo por parte de la industria de productos que han masificado tecnologas como Internet, Internet mvil o la del almacenamiento digital. Hoy en da se puede comprar un disco duro de dos terabytes por menos de 150 euros, el ao 2011 cerr con casi 6.000 millones de telfonos mviles activos y los usuarios de Facebook publican 532 millones de actualizaciones de estado cada da. McKinsey Global Institute (MGI) estima que las empresas y los consumidores almacenaron un total de 13 exabytes (EB) de datos nuevos en el ao 2010 en todo el mundo. IDC, por su parte, calcula que el volumen de informacin creada, capturada y replicada en 2010 fue de 1.8 millones de petabytes (PB), lo que supone un crecimiento del 125% respecto al ao 2009. Para el 2020, la consultora estima que se alcanzarn los 35 millones de petabytes, lo que representara un crecimiento del 1.845%.Ejemplos de los beneficios de Big Data en algunos sectores:Servicios Financieros:Los datos obtenidos de los telfonos mviles pueden permitir una comprensin profunda de los hbitos de gasto y ahorro en los diferentes sectores y regiones. Los historiales de pagos digitales permiten que los usuarios generen un historial de crdito, generando la posibilidad de que sean candidatos para prstamos y otros servicios de crdito financiero. Sector de la salud:Integracin de datos estructurados y datos no estructuradosLos centros de salud y los pacientes acumulan grandes cantidades de datos en distintos formatos, ya sea en papel o en versin electrnica, que por su dispersin (algunos son estructurados y otros no) resultan imposibles de utilizar. Big Data ofrece la posibilidad deorganizar informacin de forma efectiva, por lo que se podran integrar a los datos estructurados ya existentes hoy en da (fichas personales de los pacientes, etc) aquellos que permanecen ocultos al sistema actual de almacenamiento y slo existen de forma analgica en poder de los pacientes (recetas de papel, registros mdicos, notas manuscritas de los doctores o resultados de pruebas mdicas).Los ordenadores podran reemplazar el 80% del trabajo mdico actual, ampliando inclusos sus competencias.

Telefnica sigue el rastro de los turistas gracias al Big Data:La compaa analiza de dnde vienen los visitantes, cunto gastan y las zonas por donde viajan gracias a sus conexiones con las antenas de telefonaQu turistas son los que ms gastan? En qu zonas se alojan? Cuntos cruceristas no bajan del barco? Estas y otras preguntas similares se pueden responder hoy no en base a encuesta, sino a datos reales gracias al Big data: el procesamiento y anlisis de todos los datos que los turistas generan. Por ello, Telefnica y Roca Salvatella han elaborado el primer informe sobre turismo y Big data, que da respuesta a estas preguntas gracias al anlisis de ms de un milln de telfonos.Telefnica saber exactamente cuando un turista llega a una ciudad(su telfono mvil se conecta a la red) y de qu nacionalidad es. Adems, monitoriza a qu antenas se conecta, por lo que puede saber por dnde se mueve. En el estudio, y gracias al BBVA, han cruzado los datos con el del gasto de tarjetas de crdito, por lo que se pueden llegar a conclusiones con exactitud sobre el comportamiento de los visitantes.

DESVENTAJASEn el mundo de los negocios solemos mostrarnos indecisos cuando se habla de algo relativo a big (grande). Una gran idea en negocios puede generar un xito relevante, pero tambin un fracaso significativo, lo que podra atentar contra la salud de la compaa en varios sentidos. Por ello, el concepto asociado a big habitualmente nos obliga a detenernos al menos por un momento. Se acuerdan de Enron? El crecimiento desmedido de esta organizacin provoc, entre otros factores, su apocalptico final.La desventaja real del concepto big camina en paralelo al riesgo plausible de error. El otro principal inconveniente estriba en que aquellos que han decidido que su empresa d el paso hacia objetivos mucho ms ambiciosos, suelen minimizar el riesgo de lo que supone ese movimiento.El fenmeno del big data goza de la misma ambigedad. Es realmente til para nosotros? Tiene mi compaa esta necesidad? Contamos con los recursos para afrontar un proyecto de big data? Cunto costar? Uno se podra cuestionar indefinidamente si los beneficios estn por encima de los riesgos. Pero tengamos claro que cuantas ms cuestiones nos hagamos, ms arriesgado nos parecer el proyecto.Otra desventaja de lo que entendemos como big es que este trmino suele conducir a aquellos que toman decisiones en una empresa a emplear una actitud pasiva en muchos aspectos. Por ejemplo, esperarn hasta que sus competidores den el paso y aprendern de sus errores e implementarn su propio proyecto cuando llegue el momento adecuado. El problema de esta actitud es la presuposicin por parte de estos directivos de que podrn aglutinar rpidamente un equipo de primer orden para reducir la brecha que sus competidores han abierto al haberse arriesgado a apostar con xito por el fenmeno big. Cualquier entrenador de ftbol sabe que esto no es posible ya que se requiere de mucha investigacin y trabajo con los jugadores para contar con un equipo real de alto nivel, y este factor es an ms importante para nuevas disciplinas donde el talento es escaso.Por todo ello, la clave no estriba en si debo o no debo hacerlo, sino en cmo he de empezar.La mayora de las compaas se empean en encontrar un caso de uso, y frecuentemente los ms relevantes estn relacionados con el anlisis de los datos que generan las mquinas. El problema con esto es que todava son muy pocas las compaas que tienen la capacidad y equipamiento para generar esta informacin.Sin embargo, hay otra fuente de big data con la que toda compaa exitosa cuenta: el cliente. Los datos relativos al cliente sustentan una riqueza palpable en materia de informacin relativa a marcas, productos, atencin al cliente, sentimientos del consumidor, satisfaccin del cliente y su impacto en las ventas. Esto se almacena en silos, que pueden parecer pequeos almacenes de informacin. Pero si se quiere ganar en visibilidad, las compaas deben analizar los datos de sus clientes de una manera plena. Integre los datos de sus clientes provenientes de todas las fuentes existentes y qu obtendr? big data! Datos tanto estructurados como desestructurados, aunque la mayora de comentarios que depositamos en las redes sociales, blogs y correos electrnicos son desestructurados.Este big data es el ms relevante para las compaas, puesto que las ayuda a recabar patrones sobre comportamientos, tendencias, incidencias de producto e incluso ideas para el desarrollo de nuevos productos. Los sistemas y herramientas para extraer y analizar este tipo de big data ya estn disponibles. Modificar su actitud ante este reto es el riesgo que ha de asumir.

EL IMPACTO DE BIG DATA A LA SEGURIDAD DE LA INFORMACINBig Data se refiere a sacar provecho de una enorme cantidad de datos generados por ejemplo por sistemas o (a veces inadvertidamente) por usuarios. En seguridad informtica tambin existe el deseo de hacer sentido de una gran cantidad de bytes que diariamente se generan en cientos de miles de registros de bitcoras que por lo general nadie analiza o interpreta.Todo ataque informtico queda registrado en bitcoras. Si configuramos adecuadamente la auditora de eventos en redes y sistemas, mi aseveracin est prcticamente garantizada. Luego entonces viene la pregunta: si toda intrusin genera una huella en las bitcoras de la infraestructura de TI, por qu muchas veces pasa desapercibida? O en el mejor de los casos nos percatamos del ataque hasta tiempo despus slo cuando se realiza un anlisis post-mortem. La respuesta es simple: son demasiados datos para ser analizados en tiempo real. Los logs se guardan por un tiempo y luego simplemente se borran para dejar paso a los nuevos.Para atender esta problemtica necesitamos echar mano de una herramienta que de alguna manera recolecte todos estos datos, los pre-analice con algunas reglas que le hayamos proporcionado y nos los muestre para nuestra interpretacin. Existen diversos productos que nos pueden auxiliar en esta labor y el primero que se me viene a la mente es un Correlacionador de Eventos. Sin embargo, no es de la correlacin de la que deseo hablarles sino de un concepto llamado visualizacin de la seguridad.La visualizacin de la seguridad se refiere a ver (s, literalmente ver) datos de una forma diferente, es decir, grficamente (claro, existen mejoresdefiniciones). Todos conocemos aquel certero dicho de una imagen vale ms que mil palabras. Y lo mismo aplica para generar modelos que representen infinidad de datos que resultaran incomprensibles, al menos a primera vista vindolos en bruto.Imaginen este escenario. Miles de conexiones a un directorio activo cada minuto. Todas ellas provenientes de computadoras dentro de una red interna. De pronto hay una sola conexin que inicia en el exterior y contacta al directorio activo. Dicha conexin qued perdida en el mar de eventos. Pero aguarden. Una grfica que modela estas sesiones en tiempo real nos muestra ese ocano de conexiones y de pronto una aislada que resalta de inmediato de la masa de datosEl tema de visualizacin de seguridad no es reciente. Hay conferencias al respecto y libros. En BugCon 2013, Luis Guillermo Castaeda (@el_batracio) abord este tema y libros como Applied Security Visualization de Raffael Marty o Security Data Visualization: Graphical Techniques for Network Analysis de Greg Conti tocan este concepto de una manera profunda.Ahora bien. De dnde podemos obtener fuentes de informacin para hacer visualizaciones de seguridad? Unos ejemplos: Aplicaciones (que generenlogs, claro). Dispositivos de red (firewalls, ruteadores, switches). Sistemas operativos. Detectores de intrusos. Honeypots. Sniffers.Todo lo anterior genera bitcoras por default y claro, si hacemos los ajustes correspondientes, nos entregarn las bitcoras adecuadas que deseamos obtener para las visualizaciones de seguridad.

A continuacin enlisto algunos de los beneficios de la visualizacin: Contesta preguntas de manera ms clara y rpida. Lejos de explicar por incontables minutos una intrusin u otro ataque, podemos presentar una visualizacin que se auto-explique. Nuestras aclaraciones verbales sern mucho ms breves. Agiliza la toma de decisiones. Representar datos por medio de una visualizacin tiene la capacidad de mostrar mucha informacin de una manera muy rpida. Presentar informacin. Siempre se puede elegir mostrar informacin por medio de una presentacin utilizando palabras y una que otra tpica y pobre grfica de barras o columnas. O podemos impresionar a nuestro auditorio conpoderosasimgenes que representen intrusiones, infecciones, intentos no autorizados por entrar a un servidor, entre otros ataques. Una nota: no eleg la palabra impresionar al azar.Finalmente, quisiera comentar sobre algunos ejemplos de ataques que se pueden representar fcilmente por medio de una visualizacin de seguridad: Un sistema hace cientos de peticiones va red (ataque por fuerza bruta) para adivinar una contrasea en otra computadora. Un equipo se conecta a las 2:00am al servidor corporativo para hacer un telnet. Un administrador que en promedio intercambia 87 MegaBytes de informacin diarios con una base de datos, un buen da extrae 578 GigaBytes. Miles de sistemas inician exponencialmente conexiones entre s. Se trata de una infeccin del gusano Blaster.

Retos de seguridadEl anlisis de toda esta gran cantidad puede aportar una ventaja a las empresas que puedan aprovecharla, pero a su vez tiene asociadosalgunos retos para la seguridadque deben tenerse en cuenta: Laadopcin de la tecnologaque permita manejar Big Data debe ser pensada especficamente. Estructuras decmputo distribuido, en los cuales intervienenmltiples plataformas y sistemasdeben tener consideraciones especiales de seguridad, puestanta diversidad puede dar a lugar a que queden agujeros de seguridad explotables por ciberdelincuentes. Si bienel almacenamiento y el procesamiento en la nubees una alternativa muy interesante, es necesario contar con las garantas necesarias para que se mantenga la confidencialidad de la informacin. Una alternativa comola virtualizacin puede significar ventajas similares al procesamiento en la nube, pero con niveles de riesgo ms controlables. Lossistemas ms antiguos en las empresas suelen representar grandes obstculospara lograr la integracin de sistemas, y muchas veces se opta por soluciones que simplifican los requerimientos de seguridad para lograr cumplir con las funcionalidades. Si bien son soluciones que facilitan la operacin en el corto plazo, pueden convertirse en grandes problemas ms adelante. Como cualquier esquema de seguridadla educacin de los empleados es necesario para que se incorporen hbitos seguros en el manejo de la informacin, apoyados en soluciones que aseguren el acceso y manipulacin de los datos. Todos los cambios deben articularse desde laspolticas de seguridad de la informacin, por lo cual se hace necesaria una revisin completa que permita identificar aquello de debe ajustarse al nivel de riesgo aceptado por la empresa.Lograranalizar de forma oportuna los altos volmenes de informacinparaminimizar la ocurrencia de los riesgosen las empresas ymaximizar las oportunidades propias del negocioes sin lugar a dudas el siguiente paso en el anlisis de datos. Ya muchas empresas han dado ese paso,el reto est en implementarlo de forma segura.

BIG DATA Y EL ORACLEBig datafue, por ejemplo, la estrella en el ltimo Oracle OpenWorld: elposicionamiento adoptadoes el de ofrecer mquinas enormes con capacidades descomunales, procesamiento multiparalelo, anlisis visual sin lmites, tratamiento de datos heterogneos, etc. Desarrollos comoExadatay adquisiciones comoEndecasoportan una oferta basada en el pensar a lo grande, quealgunos no han dudado en discutir: frente a esa aproximacin, la realidad es que algunas de las compaas ms centradas en el tema, como Google, Yahoo! o Facebook ola prctica totalidad de lasstartupsno utilizan herramientas de Oracley optan, en su lugar, por una aproximacin basada en lo distribuido, en la nube y en el cdigo abierto. De cdigo abierto sonHadoop, unframeworksumamente popular en este campo que permite a las aplicaciones trabajar con enormes repositorios de datos y miles de nodos, creado originalmente porDoug Cutting(que le dio el mismo nombre que tena el elefante de juguete de su hijo) e inspirado en herramientas de Google comoMapReduceoGoogle File System, oNoSQL, sistemas de bases de datos no relacionales necesarios para albergar y procesar la enorme complejidad de datos de todo tipo generados, y que en muchos casos no siguen la lgica de garantasACID(atomicity,consistency,isolation,durability)caracterstica de las bases de datos convencionales.En el futuro: un panorama de adopcin cada vez mayor, y muchos, muchos interrogantes. Implicaciones de cara a los usuarios y su privacidad, o a las empresas y la fiabilidad o potencialidad real de los resultados obtenidos:como dice el MIT Technology Review, grandes responsabilidades. Por el momento, una cosa es segura enBig data: prepara tus odos para escuchar el trmino.

Pgina 15