Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... ·...

27
Balotaje Argentina 2015 Demostración Big Data: HPE Vertica + Pulse Grupo de Usuarios HPE Big Data LATAM

Transcript of Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... ·...

Page 1: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Balotaje Argentina 2015

Demostración Big Data:

HPE Vertica + Pulse

Grupo de Usuarios HPE Big Data LATAM

Page 2: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Agenda

Análisis de sentimiento de tweets• ¿Qué es el análisis de sentimiento? Ejemplo

• Arquitectura

• Estructura de Tablas y Vistas

• Configuración del Agente Flume

• Inicio del Agente

• Diccionarios de pulse

• Calculo de sentimiento (sentimental analysis)

• Datos Analizados

• Resultados obtenidos

• Visualización con Tableau

Page 3: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

¿Qué es el análisis de sentimiento?

Es software que mediante la comprensión del leguaje cataloga un texto en positivo, negativo o neutro.

Nuestro estudio analiza los mensajes de twitter generados durante el periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza este análisis de sentimiento, dándole un valor de 1 a los mensajes positivos, -1 a los negativos y 0 a los neutros.

Page 4: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Veamos un ejemplo

Buscando este mensaje en la base de datos, vemos que el mismo es catalogado como sentiment_score_tweet = -1, negativo

Si analizamos este tweet, es un mensaje negativo para el candidato Macri

Page 5: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Propósito del estudio

Encontrar una relación entre los tweets generados durante el periodo previo al Balataje 2015, analizando el sentimiento de los mismos a favor y en contra de los candidatos, con el resultado electoral de la elección.

Page 6: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Host

Twitter Streaming

API

Arquitectura de la Solución

Agente Apache Flume

Source Sinc

Channel

Pulse

Conector Vertica para Hadoop

Page 7: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Estructura de tablas

Page 8: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Vistas

Page 9: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Configuración del Agente Flume

Page 10: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Iniciar el Agente Apache Flume

Page 11: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Diccionario Pulse, normalización y white list

Page 12: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Diccionario Pulse, palabras positivas y negativas

Page 13: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Calcular el sentimiento de los tweets

insert into elec.tweet_sentiment

(select id,

"user.screen_name",

SentimentAnalysis(text using parameters

filterlinks=true,filterusermentions=false, filterhashtags=false)

over (partition by id, "user.screen_name", text)

from elec.tweets where lang='es'

and created_at between to_timestamp ('2015-11-20 00:00:00','YYYY-MM-DD

HH:MI:SS') and to_timestamp ('2015-11-20 23:59:59','YYYY-MM-DD

HH:MI:SS'));

commit;

Page 14: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Datos analizados

Page 15: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados del Análisis de Sentimiento

Page 16: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados del Análisis de Sentimiento

Page 17: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados del Análisis de Sentimiento

Page 18: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultado del Balotaje

Page 19: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultado del Balotaje

Page 20: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultado de Sentimiento Positivo

Page 21: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados con Tableau

Page 22: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados con Tableau

Page 23: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados con Tableau

Page 24: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Resultados con Tableau

Page 25: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Conclusión

Mediante el presente estudio, hemos detectado relación entre los tweets y el resultado general a nivel global, y no así si lo extrapolamos a las provincias, ya que en algunos casos el sentimiento positivo da resultados diferentes.

Una de las posibilidades que brinda esta tecnología es apoyar a los sistemas de encuestas tradicionales, como así también análisis de sentimientos negativos para tomar decisiones de cambio en base a los mismos.

Page 26: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

https://my.vertica.com/

Page 27: Balotaje Argentina 2015 - files.meetup.comfiles.meetup.com/19109162/Balotaje Argentina 2015... · periodo del Balotaje de Argentina 2015 entre Mauricio Macri y Daniel Scioli y realiza

Datos de Contacto

Daniel Robins

[email protected]

Tel: +54 351 5680045

Skype: daniel.robins2

Grupo de Usuarios: http://www.meetup.com/es-ES/Grupo-de-Usuarios-HPE-Big-Data-LATAM/

Registro y Download: https://my.vertica.com/