Monitorización de Twitter total con Twiana

30
@JorgeWebsec

Transcript of Monitorización de Twitter total con Twiana

Page 1: Monitorización de Twitter total con Twiana

@JorgeWebsec

Page 2: Monitorización de Twitter total con Twiana

5/05/2016 2

¿Quién es JorgeWebsec?

Page 3: Monitorización de Twitter total con Twiana

5/05/2016 3

¿Qué piensa un Trianero en Twitter?

Page 4: Monitorización de Twitter total con Twiana

5/05/2016 4

En hacerse un selfie en el puente de Triana...

Page 5: Monitorización de Twitter total con Twiana

5/05/2016 5

Es tomarse una birra...

Page 6: Monitorización de Twitter total con Twiana

5/05/2016 6

Trianeros en #Cruzcampo

● Con Twiana comprobamos que más del 25% del hashtag “Cruzcampo” es de Triana.

● Con Twiana comprobamos que más del 25% del hashtag “Cruzcampo” es de Triana.

Page 7: Monitorización de Twitter total con Twiana

5/05/2016 7

La Mahou no se encuentra en Triana...

● Solo 4 usuarios sevillanos hablan en el Hashtag “#Mahou”...

Page 8: Monitorización de Twitter total con Twiana

5/05/2016 8

Conceptos:

● Triana: palabra utilizada por los trianeros para referirse a su hogar que es infinito. Representa al mundo entero a veces y otras parcialmente pero nunca menos que el territorio que comprende las 2 orillas.

● Cruzcampo: seguramente la mejor cerveza del mundo.● Python: lenguaje de programación.● Doxing: técnica de hacking utilizado para identificar una cuenta

digital a una persona física. También consiste en obtener los datos públicos que se exponen en la red sobre un usuario.

● Twitter: red social con más de 500 millones de usuarios.

● Triana: palabra utilizada por los trianeros para referirse a su hogar que es infinito. Representa al mundo entero a veces y otras parcialmente pero nunca menos que el territorio que comprende las 2 orillas.

● Cruzcampo: seguramente la mejor cerveza del mundo.● Python: lenguaje de programación.● Doxing: técnica de hacking utilizado para identificar una cuenta

digital a una persona física. También consiste en obtener los datos públicos que se exponen en la red sobre un usuario.

● Twitter: red social con más de 500 millones de usuarios.

Page 9: Monitorización de Twitter total con Twiana

5/05/2016 9

¿Por qué Twitter?

1. Es usada por millones de usuarios.2. Usada por 4,5 millones de españoles.3. Aunque existe una configuración privada, es una red social que exponer mucha información abiertamente por el usuario.

Page 10: Monitorización de Twitter total con Twiana

5/05/2016 10

¿Cómo nace Twiana?

● Nace con el objetivo de usarse para los diferentes proyectos que tiene QuantiKa14 en Big Data.

● Tener una única herramienta que facilite la recogida, almacenamiento, control y análisis de los datos.

● Se utilizo por primare vez en las elecciones de 20D en varios periódicos y cadenas de televisión.

Page 11: Monitorización de Twitter total con Twiana

5/05/2016 11

¿Qué es Twiana?

● Herramienta que utiliza MySQL, SQLite y Python 2.7.9● De consola.● Existe dos versiones la Full y la Lite.

Page 12: Monitorización de Twitter total con Twiana

5/05/2016 12

Funcionalidades

● Recogida de usuarios:● Por Hashtag.● Por Geolocalización.● Por Followers y Followings

● Análisis● Palabras que repiten en un time line.● Hashtag en un time line.● Comparar Followers y Followings entre cuentas.● Buscar palabras.

Page 13: Monitorización de Twitter total con Twiana

5/05/2016 13

¿Cuanto tardo en monitorizar Triana entera?

RECUERDA

Triana = Sevilla y +

Page 14: Monitorización de Twitter total con Twiana

5/05/2016 14

Demografía de Sevilla

Page 15: Monitorización de Twitter total con Twiana

5/05/2016 15

Demografía de Sevilla

● Edad: 15 a 50 años.● 25,8 % de la población Sevillana.

Másculina● 25,99 % de la población Femenina.● Total: 51,79%

● Si el 100% es 703.000 mil censados en Sevilla.

● El 51,79% es 364083.

Page 16: Monitorización de Twitter total con Twiana

5/05/2016 16

Twitter en Sevilla

● Twitter tiene más de 500 millones de usuarios en 2015 y 4,5 millones en España.

● Andalucia es la comunidad que mayor selfies al día se hacen.

● Mucha población en pueblos que no tienen Internet o la tecnología.

Page 17: Monitorización de Twitter total con Twiana

5/05/2016 17

Datos:

● Nombre de la cuenta.● Localización puesta en la cuenta.● Localización expuesta en Tweets.● Descripción.● Nº de followers y followings.● Lista de cuentas de followers y followings

Page 18: Monitorización de Twitter total con Twiana

5/05/2016 18

Limitaciones:

● Mechanize: librería de Python que nos permite navegar como un navegador gráfico. Su velocidad es bastante lenta.

● BeautifulSoup: librería que nos permite parsear facilmente. Muchas veces no podemos.

● Tweepy: librería para usar la API de Twitter. Twitter nos limita las peticiones.

● Googlepy: librería para hacer bisquedas con Google sin autentificación y token. Nos banea rapidamente.

Page 19: Monitorización de Twitter total con Twiana

5/05/2016 19

Obtener datos:

● Monitorizar hashtag con mucho tráfico diario (#SevillaHoy)

● Usar los followings y followers de cuentas con reputación.

● Usar hashtag de la ciudad (#SevillaIsDiferent, #SevillaFC, #Betis, #PoliciaSevilla, etc)

● Uso de las coodenadas geográficas por calles conocidas.

Page 20: Monitorización de Twitter total con Twiana

5/05/2016 20

Puntos a saber:

1. No todos los usuarios de Sevilla lo tendrán puesto en su biografía

2. No todos los usuarios de Sevilla han tenido que Twittear con las localización activada.

3. Algunos tendrán puesto la localización pero no serán de Sevilla.

4. Algunas cuentas están inactivas o son bots.

Page 21: Monitorización de Twitter total con Twiana

5/05/2016 21

CON 5.000 CUENTAS DE SEVILLA (Triana)

¿Qué podemos saber?

Page 22: Monitorización de Twitter total con Twiana

5/05/2016 22

Sevilla VS Betis

- 130 Betis- 61 SevillaFC

Page 23: Monitorización de Twitter total con Twiana

5/05/2016 23

Buscar perfiles profesionales

Page 24: Monitorización de Twitter total con Twiana

5/05/2016 24

Oposiciones Policia...

1. Buscamos en un usuario de oposiciones de la CNP que hashtag ha usado. (menu 4)

2. Extraemos todos los usuarios y datos que hayan tuiteado.(menu 2)

3. Filtramos por Sevilla.

Page 25: Monitorización de Twitter total con Twiana

5/05/2016 25

Padres VS Madres

● Buscando “padre” → 20 resultados● Buscando “madre” → 3 resultados

Page 26: Monitorización de Twitter total con Twiana

5/05/2016 26

Triana VS Macarena

● Buscando “Triana” → 109 resultados● Buscando “Macarena” → 29 resultados

Page 27: Monitorización de Twitter total con Twiana

5/05/2016 27

Partidos Políticos...

PSOE: 190PP: 49Podemos: 98Ciudadanos: 56Izquierda Unida: 26UPYD: 11

Page 28: Monitorización de Twitter total con Twiana

5/05/2016 28

Conclusión...

1. No solo debemos concienciarnos nosotros también a la gente que nos rodea. Amigos, familiares, empresas y entidades públicas de que tengan cuidado con la información que publican.

2. El Big Data es el nuevo petroleo y ahora no es un medio para transportarte ahora eres tu el medio que tendrán otros para comprarse sus Yates!

3. Las aplicaciones de obtención de datos masivos existen.

4. Obtener (casi)todos los usuarios con localización en Sevilla llevaría 1 día.

Page 29: Monitorización de Twitter total con Twiana

5/05/2016 29

Page 30: Monitorización de Twitter total con Twiana

5/05/2016 30