Revelando los secretos de las redes sociales

https://twitter.com/abxda

OBJETIVO

MOTIVARLOS A QUE

PRUEBEN POR USTEDES

MISMOS LAS

HERRAMIENTAS DE

SOFTWARE LIBRE Y CIENCIA

DE DATOS QUE LES

MOSTRARE.


¿QUÉ ES BIG DATA?

https://twitter.com/abxdahttp://en.wikipedia.org/wiki/File:Blind_men_and_elephant3.jpg


http://en.wikipedia.org/wiki/File:Blind_men_and_elephant3.jpg

SEGÚN GARTNER

Big data es información en altos

volúmenes, alta velocidad o alta

variedad que demanda formas

creativas y viables

económicamente para

procesarla con el fin de

contribuir a tomar decisiones,

actuar y crear valor.

http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdfhttps://twitter.com/abxda

http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf

VOLUMEN

http://commons.wikimedia.org/wiki/Elephas#mediaviewer/File:Berlin_Landesvertretung_Niedersachsen_Elefant

.jpg


http://commons.wikimedia.org/wiki/Elephas#mediaviewer/File:Berlin_Landesvertretung_Niedersachsen_Elefant.jpg

VELOCIDAD

http://upload.wikimedia.org/wikipedia/commons/0/0f/Kinemetrics_seismograph.jpghttps://twitter.com/abxda

http://upload.wikimedia.org/wikipedia/commons/0/0f/Kinemetrics_seismograph.jpg

VARIEDAD

http://upload.wikimedia.org/wikipedia/commons/f/f6/Popular_Social_Networks%2C_Gavin_Llewellyn%2C_CC.jpghttps://twitter.com/abxda

http://upload.wikimedia.org/wikipedia/commons/f/f6/Popular_Social_Networks,_Gavin_Llewellyn,_CC.jpg

TOMAR DECISIONES, ACTUAR Y CREAR VALOR

http://upload.wikimedia.org/wikipedia/commons/5/5b/Samurai_award.jpghttps://twitter.com/abxda

http://upload.wikimedia.org/wikipedia/commons/5/5b/Samurai_award.jpg

BIG DATA ES CUALQUIER COSA QUE NO ENTRE

EN EXCEL

1’048,576 registros


http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

CIENCIA DE DATOS

http://drewconway.com/zia/2013/3/26/the-data-science-venn-diagram

http://www.datascienceassn.org/

http://en.wikipedia.org/wiki/DIKW_Pyramid

Datos

CrudosInformación

(Significado)

Tomar

Decisione

s

Y Actuar

Ciencia de

Datos

(Transforma =>)

¿qué?

¿quién?

¿dónde?

¿cuántos?

¿por qué?

Análisis de Datos

Volumen

Internet de las Cosas

Internet de las Personas

Internet de las Ideas

Internet de todo

…

EstadísticaMachine Learning

Estratificaciones

Análisis de Regresión

Muestreo

Mucho mas…

Análisis de Redes (Grafos)

Minería de Datos

BIG DATA Y CIENCIA DE DATOS


http://www.datascienceassn.org/

http://en.wikipedia.org/wiki/DIKW_Pyramid

TWITTER COMO FUENTE DE BIG DATA

http://www.salesforcemarketingcloud.com/blog/2010/11/why-the-twitter-firehose-matters-to-you/https://twitter.com/abxda

http://www.salesforcemarketingcloud.com/blog/2010/11/why-the-twitter-firehose-matters-to-you/

CUANTOS CARACTERES?????


140 ??


1482

Json: Formato de Intercambio

(PARÉNTESIS)

Json: Formato de Intercambiohttps://twitter.com/abxda

TODOS LOS TWEETS PÚBLICOS ESTÁN

DISPONIBLES PARA SU CONSULTA LIBRE.


INCLUSO PERMITE CONSULTAS GEOGRÁFICAS

Longitud -118.40764955

Lati

tud

14.5

3209836

Longitud -86.71040527

Lati

tud

32.7

1865357


COMO RECOLECTAR ??????


HTTP://WWW.ELASTICSEARCH.ORG/


¿POR QUÉ ELASTICSEARCH?


Switch

Puertos (a) 10.200.2.x

Puertos (b)10.1.1.X

Hydra 2 – [10.1.1.X | 10.200.X.X]

Hydra1 – Master 10.1.1.X

Hydra3

10.1.1.X

Hydra4

10.1.1.X

Hydra5

10.1.1.X

Hydra6

10.1.1.X

Hydra7

10.1.1.X

Hydra8

10.1.1.X

Acceso a Internet

[Recolecta información Redes Sociales]

< ESCALABILIDAD HORIZONTAL >

¿POR QUÉ ELASTICSEARCH?


DESPUÉS DE 4 MESES…


EL RESULTADO…


COMO SE VEN 40 MILLONES DE TWEETS


COMO GENERAMOS EL MAPA??

http://www.qgis.org/


TENIAMOS NUESTRO MEGA-JSON

https://github.com/jehiah/json2csv


http://hadoop.apache.org/


Total de Tweets Ciudad

677676 Monterrey

676682 Miguel Hidalgo

600697 Cuauhtémoc

459169 Álvaro Obregón

455884 Tlalpan

453813 Coyoacán

412043 Mérida

400272 Hermosillo

380429 Heroica Puebla de Zaragoza

367898 Benito Juárez

329441 Villahermosa

296818 San Nicolás de los Garza

278484 Zapopan

267350 Iztapalapa

252734 Tlalnepantla

241054 Guadalajara

235073 Guadalupe

226467 Gustavo A. Madero

183896 Veracruz

182263 Santiago de Quertaro

180755 Cancún

153087 Tuxtla Gutiérrez

149068 Naucalpan de Juárez

147609 Venustiano Carranza

126315 Ciudad General Escobedo

125161 Ciudad Nezahualcyotl

124146 Xalapa-Enríquez


CON QUE TWITTEAN


NUBES DE TAGS


HASHTAGS PARA TODO MEXICO


EN AGUASCALIENTES???


Y LA FINAL, BUSCANDO POR FECHA …


QUE ES ENDOMONDO????


COMO SE CONECTAN ESOS USUARIOS????

ZOOOM!!!!!


https://gephi.org/


ESTRATIFICACIONES R

http://www.r-project.org/


ESTRATO 1

ESTRATO 4

ESTRATO 2

ESTRATO 3

ESTRATO 4

GRACIAS !!!!


Revelando los secretos de las redes sociales

Data & Analytics

Transcript of Revelando los secretos de las redes sociales