Relación entre reputación tradicional y reputación online ...
Generación Automática de Resúmenes de Tweets sobre Reputación Empresarial
description
Transcript of Generación Automática de Resúmenes de Tweets sobre Reputación Empresarial
Generación Automática de Resúmenes de Tweets sobre Reputación Empresarial
Motivación Las empresas necesitan conocer qué se dice de
ellas en los medios, para Reaccionar frente a comentarios negativos (alertas) Sacar partido de los comentarios positivos Conocer el impacto y alcance de sus campañas
publicitarias(Online) Reputation Management
Seguimiento
Valoración
Acción
Seguimiento (Monitoring)
Generación Automática de Resúmenes (GAR)
¿En qué consiste? Identificar las ideas más importantes de uno o varios documentos y
presentarlas al usuario de forma concisa y útil.
¿Por qué es necesaria? Hacer frente a la sobrecarga de información Su origen se remonta a mediados del siglo XX (Luhn, 1958), pero su
popularidad aumenta con la generalización de Internet
Tipologías de resúmenes Indicativos versus informativos Mono-documento versus multi-documento Genéricos versus adaptados al usuario Resumen por extracción versus resumen por abstracción
Generación Automática de Resúmenes
La petrolera china CNPC estudia la compra, según un diario de Hong Kong, de la filial argentina de Repsol, YPF, por 12.000 millones de euros. Repsol, que controla un 85 por 100 de YPF, reconoció que ha recibido “propuestas de distinta naturaleza y de diferentes compañías” para entrar en el accionariado de YPF, sin que “haya ninguna en firme”. La compañía recordó en la comunicación que lleva meses informando de que pretende incorporar nuevos accionistas al capital de YPF.
La petrolera china CNPC estudia la compra, según un diario de Hong Kong, de la filial argentina de Repsol, YPF, por 12.000 millones de euros.
La compañía recordó en la comunicación que lleva meses informando de que pretende incorporar nuevos accionistas al capital de YPF.
Original
La petrolera china CNPC estudia la compra de YPF, por 12.000 millones de euros.
Por su parte, Repsol reconoce haber recibido ofertas, así como su deseo de incorporar nuevos accionistas.
Extracción
Abstracción
Generación Automática de Resúmenes
Factores de contexto Entrada: forma, especificidad y multiplicidad de la
fuente. Propósito: situación, audiencia y función. Salida: extensión, formato y estilo.
Técnicas Puntuar las oraciones en función de:
las frecuencias de sus términos, su posición en el documento, su relación con un determinado tema o consulta de usuario, su similitud con el título del documento, etc.
Métodos basados en grafos, plantillas, etc.
CASO DE ESTUDIO: Resúmenes de Tweets sobre Reputación Empresarial
Entrada: Conjunto de tweets en los que se menciona a una empresa objetivo
Máximo 140 caracteres Lenguaje coloquial Gran cantidad de errores gramaticales y
ortográficos Hashtags, menciones a usuarios, enlaces
externos (webs, imágenes, etc.)
CASO DE ESTUDIO: Resúmenes de Tweets sobre Reputación
Empresarial Propósito:
Servir a los analistas/consumidorescomo sustituto de los tweets originales mostrando únicamente la información
relevante para la toma de decisiones
¿Qué información es relevante cuando se monitoriza la reputación de una empresa?Diferencias con la generación automática de
resúmenes tradicionalNecesidad de métodos específicos
CASO DE ESTUDIO: Resúmenes de Tweets sobre Reputación
Empresarial Salida:
Difiere de los formatos habituales en GAR y se asemeja a un informe
A priori: Listado de temas ordenados por importancia relativa,
junto con los tweets más representativos Listado de los n tweets más negativos y más positivos Listado de los n tweets más relevantes por dimensión
reputacional Estadísticas, incluyendo:
• Número total de tweets con menciones a la empresa• Número de tweets positivos/negativos• Distribución por áreas geográficas• Usuarios influyentes• Etc.
La que se difunde con rapidez La que se propaga globalmente
La que es potencialmente peligrosa para su imagen
La que ensalza sus productos/comportamiento
¿Qué Información es Relevante cuando se Monitoriza la Reputación?
La emitida por usuarios influyentes
Contenido del mensaje
Difusión del mensaje
Emisor del mensaje
¿Qué Información es Relevante?: Contenido del Mensaje
¿De qué depende? De la positividad/negatividad
del mensaje De la subjetividad/objetividad
del mensaje
De la prioridad del tema y la dimensión reputacional
¿Qué Información es Relevante?: Contenido del
Mensaje ¿Qué algoritmos tenemos?
Clasificadores de polaridad (Acc. ≈ 66) Sistema de detección de temas (F(R,S) ≈ 47) Ranking de temas por prioridad (F(R,S) ≈ 30)
Colecciones RepLab: Polaridad – POSITIVO / NEGATIVO / NEUTRAL Subjetividad – OPINIONADO / NO OPINIONADO Temas – Ej. HIPOTECAS, COMISIONES, DESAHUCIOS Prioridad – ALERTA / MEDIA / BAJA Dimensiones reputacionales – PRODUCTS AND SERVICES /
WORKPLACE / GOVERNANCE / CITIZENSHIP / INNOVATION / FINANCIAL / LEADERSHIP
¿Qué Información es Relevante?: Difusión del Mensaje
Tweets diferentes con el mismo mensaje (GAR):
Propagación en Twitter: Compartición directa del mensaje (retweets) Retweets modificados (modified tweets) Respuestas al mensaje (replies)
¿Qué algoritmos tenemos?
Retweets y Modified Retweets: Información proporcionada por el API de Twitter
Mensajes con mismo significado: Algoritmos básicos de similitud textual (Jaccard, Dice-
Sorensen, solapamiento de jerarquías de conceptos, distancia de edición en grafos)
Textual entailment Problema: Complejidad computacional
¿Qué Información es Relevante?: Difusión del Mensaje
¿Qué Información es Relevante?: Características del Emisor
Reputación del autor Número de seguidores Número de tweets publicados Número de tweets retweeteados Etc.
Ámbito geográfico Procedencia del autor Nacionalidades de sus seguidores Etc.
Características socio-culturales del autor Sexo Grupo de edad Profesión Etc.
¿Qué Información es Relevante?: Características del Emisor
¿Qué tenemos? - RepLab 2013 y 2014 Número de seguidores (API Twitter) Perfiles anotados como INFLUYENTE/ NO INFLUYENTE Perfiles etiquetados con categorías de usuario
relevantes para la reputación (Ej. EMPLEADO / ACCIONISTA / INSTITUCIÓN / PRENSA)
Perfiles etiquetados con SEXO/EDAD
Un tweet es relevante si …
Su mensaje afecta negativamente a la imagen de la empresa
Su mensaje ensalza las virtudes de la empresa Trata de un tema de especial importancia para la
empresa Se difunde rápidamente por la red Alcanza a usuarios de muchos países Es emitido/retweeteado por un usuario influyente
¿Qué Información es Relevante?: Recopilación
¿Tienen todos los Criterios de Relevancia la misma Importancia?
¿Qué peso dar a cada uno de los criterios para obtener un ranking de tweets?
Aprendizaje supervisado Construcción de una colección de entrenamiento y test
Reglas de experto Los tweets negativos son más relevantes que los positivos Los tweets de temas prioritarios son muy relevantes
independientemente de su dimensión reputacional Los tweets que se difunden rápidamente pero sin polaridad
no son relevantes
¿Cómo Construir y Presentar el Resumen?
Tenemos un ranking de tweets, cada uno con una puntuación que indica su importancia relativa
Muchos de estos tweets serán redundantes Detección y eliminación de redundancia Similitud textual Textual entailment
Presentar al analista únicamente los top N tweets del ranking, clasificados por tema y por dimensión reputacional
Completar la información con estadísticas relevantes
Evaluación Colección de evaluación
Creación de una colección de evaluación, de forma semi-automática, a partir de las anotaciones del RepLab 2013
Para un subconjunto de entidades, restringimos la colección a los tweets de temas con
prioridad ALERT dentro de estos, restringimos la colección a los tweets
con polaridad (POSITIVO y NEGATIVO) y extraemos manualmente los N tweets más
representativos de cada tema para formar el resumen
Evaluación Estrategias de evaluación
Etiquetado manual Polaridad, Temas, Prioridad y Dimensiones
Etiquetado automático Sistemas presentados en RepLab 2013 y 2014
Métricas de evaluación
Métricas de evaluación automáticas (ROUGE, Precisión y Cobertura)
Evaluación manual sobre un subconjunto