Dualidad onda-partícula del científico de datos en la empresa

download Dualidad onda-partícula del científico de datos en la empresa

of 58

Embed Size (px)

description

Los retos a los que se enfrenta un científico de datos en la era del Big Data son múltiples: recuperación de información, procesamiento del lenguaje natural, aprendizaje automático, programación distribuída, bases de datos no-sql, y un largo etcétera. Cuando el científico de datos además trabaja en la empresa tiene que orientar todos los resultados de sus investigaciones hacia la consecución de los objetivos empresariales, esto es, incrementar el valor económico. Las decisiones y los plazos por lo tanto van ligados a incrementar una función económica y no sólo a empujar el estado de la cuestión. Por otro lado, la evaluación de los resultados se efectua de manera totalmente subjetiva en base a la percepción de usuarios no siempre doctos en la materia. El resultado es por tanto que el científico de datos en la empresa tiene que desarrollar una dualidad de skills que combinan lo técnico con lo no-técnico, sufriendo una maraña de sentimientos contradictorios como euforia ante el reto y desesperación ante los imposibles.

Transcript of Dualidad onda-partícula del científico de datos en la empresa

  • 1. Dualidad onda-partcula del cientfico de datos en la empresa

2. consulting, s.a. autoritas 2 Mundo Cientco vs. Mundo Empresarial 3. consulting, s.a. autoritas 3 @kicorangel www.kicorangel.com 4. AUTORITAS Autoritas es una consultora tecnolgica con profesionales multidisciplinares de diferentes pases del mundo: - Ingenieros en Informtica y Telecomunicaciones - Psiclogos - Economistas - Abogados - Politlogos 5. Nuestra sede central est en Madrid (Espaa), y tenemos ocinas en Argentina, Brasil, Chile, Mxico, Panam y Reino Unido. AUTORITAS 6. Nos especializamos en : - Espaol - Portugus - Ingls Estamos empezando a trabajar con: - Italiano - Alemn - Francs AUTORITAS 7. La formacin y la comunicacin son muy importantes para nosotros. La Escucha Activa es una nueva disciplina y nosotros estamos comprometidos con su difusin y formacin a los profesionales interesados en el campo. Iberolabs AUTORITAS 8. consulting, s.a. autoritas 8 COSMOS es la herramienta de Escucha Activa que ha desarrollado Autoritas Consulting. Active Listening is more than paying attention Margaret Mead COSMOS da orden al caos de Internet y proporciona una metodologa para encontrar oportunidades COSMOS ayuda a las organizaciones a tocar Internet mediante la extraccin de conocimiento para el proceso de toma de decisiones TW WWW FB TECHNOLOGICAL PLATFORM DESIGN ACTION TRAINING INFLUENCERS REPUTATION INSPIRATION DIAGNOSIS METRICS CONTENTS INNOVATION STRATEGY ACTIVE LISTENING Qu es Cosmos? 9. consulting, s.a. autoritas 9 La Escucha Activa es... COSMOS trabaja con todo el universo de Internet, cubriendo todas las necesidades que una institucin pueda tener: Qu dicen de nosotros? Qu impacto tiene lo que nosotros decimos? De dnde nos podemos inspirar? En qu est interesado nuestro target? 10. consulting, s.a. autoritas 10 No slo consiste en responder preguntas... ...sino tambin en saber qu nuevas preguntas plantear 11. consulting, s.a. autoritas 11 TOMA DE DECISIONES ESTRATEGIA RECUPERACIN DE INFORMACIN FILTRADO, LIMPIEZA Y ELIMINACIN DE RUIDO EXTRACCIN DE CONOCIMIENTO Inteligencia Social Negocio Ciclo de la Inteligencia Social de Negocio 12. consulting, s.a. autoritas 12 Recuperacin de Informacin... ...y limpieza 13. consulting, s.a. autoritas 13 OBJETIVO: Recuperar todo lo que hay que recuperar y sin recuperar nada que no se deba recuperar 14. consulting, s.a. autoritas 14 > 500 millones de usuarios de Facebook > 150 millones de usuarios de Twitter > 90 millones de Webs > 150 millones de blogs aprox. 1000 exabytes anuales EXCESO DE INFORMACIN DESESTRUCTURADA Algunas cifras... (antiguas) 15. consulting, s.a. autoritas 15 Orgenes de informacin (canales) 16. consulting, s.a. autoritas 16 API vs. Crawler API restringe el acceso a los datos: Facilitan slo una muestra de la informacin existente y accesible a travs de buscador API restringe la cantidad de peticiones realizables Crawler requiere infraestructura y solucin a problemas IR (periodicidad, fechas, idiomas, almacenamiento...) Crawler puede generar problemas legales API gratuita vs. pago Restriccin de resultados: las APIs gratutas restringen en exceso los resultados frente a la interfaz del buscador Limitaciones de licencia de las APIs gratutas, no permitiendo por ejemplo la reordenacin, mezclado y almacenamiento de datos 17. consulting, s.a. autoritas 17 Organizar orgenes Histrico de 53MM de noticias 27MM de blogs 18. consulting, s.a. autoritas 18 (Re)Clasicar lo recuperado Qu pasa cuando entra una noticia desde un buscador generalista? Qu canal es la url que se enlaza desde otro canal? Cmo diferenciar un blog de una web corporativa? Cmo determinar de qu dominio es una determinada pgina? Identificar Acotar Clasificar Desambiguar 19. consulting, s.a. autoritas 19 Seccin de anuncios sin relevancia para el contenido Seccin de ltima hora que distorsiona la semntica de la pgina Contenido til Recuperar contenido til 20. consulting, s.a. autoritas 20 Ingls estoy sin internet fuuuuck!!! Finlands ... euskocaja, como euskolabel, euskotren, euskomueble... XDDD Portugus Flowah Powah! Alemn Vierrrrrrrrrrrrnes, egunon!! Modelos del lenguaje vs. n-Gramms vs. Machine Learning Filtrar por idioma 21. consulting, s.a. autoritas 21 Geografa de origen vs. geografa de contenido vs. geografa de perl Filtrar por geografa 22. consulting, s.a. autoritas 22 resultados elimina url prescindibles ltra palabras marca urls como Spam Elimina urls Quita de la vista los antitesauros ltra #hastags ltra inuenciadores ltra localizaciones Otros ltros 23. consulting, s.a. autoritas 23 TIEMPO REAL ES CUANDO EL USUARIO AS LO PERCIBE NOCHE DE ELECCIONES GENERALES 216.000 documentos analizados Tweets: 176.815 Posts: 7.034 News: 2013 Facebook: 2.184 Multimedia: 671 283.000 etiquetas generadas 1.900.000 trminos indexados Elevado nmero de usuarios concurrentes Por supuesto, en tiempo real!! 24. consulting, s.a. autoritas 24 Creo que he resuelto el: 25. consulting, s.a. autoritas 25 Evaluacin de la Recuperacin de Informacin... ...en la ciencia 26. consulting, s.a. autoritas 26 7.000 recuperados 54 incorrectos 99.23% precisin 3.000 recuperados 50 no recuperados 98.36% alcance Evaluacin de la Recuperacin de Informacin... ...en la empresa Estamos perdiendo credibilidad!! 27. consulting, s.a. autoritas 27 Pero es que... la recuperacin de informacin NO es una contabilidad No me des excusas... 28. consulting, s.a. autoritas 28 =10 100 Pero Google siempre exagera! ...porque Google dice... 29. consulting, s.a. autoritas 29 BUGS Ante un fallo tcnico lo primero que se busca... ...no es la solucin, es al culpable 30. consulting, s.a. autoritas 30 EL TCNICO SOPORTA EL SOPORTE TCNICO 31. consulting, s.a. autoritas 31 Extraccin de conocimiento... 32. consulting, s.a. autoritas 32 No slo consiste en responder preguntas... ...sino tambin en saber qu nuevas preguntas plantear 33. consulting, s.a. autoritas 33 ORDEN Qu? -> E.g. Conceptualizacin de marcas De qu est hablando la gente? 34. consulting, s.a. autoritas 34 ORDEN De qu hablan, de la consonante, del lenguaje de programacin o de la empresa de telecomunicaciones gallega? 35. consulting, s.a. autoritas 35 ORDEN Cundo? -> E.g. Gestin de crisis Cundo suceden las cosas? 36. consulting, s.a. autoritas 36 ORDEN Si la fecha va en la url es fcil saberla Eso es relativo, esta URL es de Julio o de Enero: http://xxx/07/01/2010/ crawler-403- forbidden.html 37. consulting, s.a. autoritas 37 ORDENDnde? -> Varias perspectivas Dnde ocurre una conversacin? De dnde se habla en una conversacin? 38. consulting, s.a. autoritas 38 ORDEN Cmo? -> No slo sentiment analysis La polaridad es slo una dimensin, la emocional, la de valores, DAFO... todas ellas responden a la cuestin cmo? 39. consulting, s.a. autoritas 39 ORDEN Un ejemplo: La prima de riesgo en Espaa est a 235 Positivo, negativo, neutro o none? 40. consulting, s.a. autoritas 40 ORDEN Un ejemplo: La prima de riesgo en Espaa est a 235 Positivo, negativo, neutro o none? Mi pregunta: Para quin? - Para el presidente del pas? - Para el lder de la oposicin? - Para el director del Banco de Espaa? - Para el inversor extranjero? - Para el capitalista nacional? - Para el que tiene una hipoteca? 41. consulting, s.a. autoritas 41 ORDEN Quin? -> Anlisis de Red Social Si quiero transmitir con xito un mensaje, quin me puede ayudar? Si hay un conflicto,a quin tengo que vigilar? 42. consulting, s.a. autoritas 42 ORDENPor qu? -> Author Proling EMOTIONAL PROFILE GENDER AGE GROUP NATIVE LANGUAGE ... y mucho mucho ms! 43. consulting, s.a. autoritas 43 ORDEN LA SOLUCIN ES EL BIG DATA Todo el mundo lo dice! 44. consulting, s.a. autoritas 44 ORDEN VOLUMEN VELOCIDAD VARIEDAD VIRALIDAD VISCOSIDAD Busca a Neo! NOOOO!!! El Big Data es el problema... 45. consulting, s.a. autoritas 45 ORDENLas dimensiones del orden 46. consulting, s.a. autoritas 46 Biografa Localizacin Idioma TIME LINE Un ejemplo: Lo que creemos tener en Twitter... 47. consulting, s.a. autoritas 47 Biografa Localizacin Idioma No se rellena No contiene informacin signicativa No se corresponde con la realidad de sus intereses No se rellena Se rellena con una ubicacin falsa Se actualiza con la posicin GPS Ambigedad de ubicacin No se rellena Se deja por defecto EN Se rellena con info. falsa Se escribe en diferentes idiomas La terminologa utilizada dista de cualquier lengua ocial. PSEUDO-ARGOT TL ...donde no todo lo que reluce es oro 48. consulting, s.a. autoritas 48 La realidad de Internet 49. consulting, s.a. autoritas 49 Un ejemplo, quin es Milton Friedman? 50. consulting, s.a. autoritas 50 Los rumores de la red... 51. consulting, s.a. autoritas 51 Comunidades compartidas 997 usuarios 111.000 relaciones 52. consulting, s.a. autoritas 52 Y un anlisis lingstico? 53. consulting, s.a. autoritas 53 Precisin vs. coste computacional 0 375000 750000 1125000 1500000 Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19 10.26minutes28.83minutes38.31minutes54.03minutes1.04hours1.09hours2.66hours3.25hours4.66hours4.86hours5.08hours5.13hours6.37hours6.56hours6.82hours17.88hours4.44days 5.19days 6.68days 9.90days11.78days 0 10 20 30 40 Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19 29.06 34.72 39.86 24.20 28.34 27.98 35.06 25.14 27.03 38.58 31.25 32.34 7.87 24.65 22.87 27.03 32.22 24.67 33.04 15.40 19.82 % s 54. consulting, s.a. autoritas 54 Grandes retos para el cientco de datos... ...con grandes problemas ms all de la ciencia 55. consulting, s.a. autoritas 55 + Skills tcnicos Skills no-tcnicos 56. consulting, s.a. autoritas 56 SKILLS TCNICOS Aprendizaje Automtico: Para inferir nuevos modelos a partir de los datos existentes, para dotar de inteligencia a nuestras aplicaciones Recuperacin de Informacin: Para acceder a las enormes cantidades de informacin d