archive.ical.irarchive.ical.ir/files/debate/ip/03/03-384.pdf · O (;.;.:.:.:.:..:.:.:. !
Modelos vectoriales en minería de textos y sus aplicaciones a la … · 2017. 8. 30. · 2;:::;v...
24
Modelos vectoriales en miner´ ıa de textos y sus aplicaciones a la elaboraci´on del perfil de autores Mar´ ıa De Arteaga Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi 24 de Junio de 2013 Mar´ ıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi) Modelos vectoriales en miner´ ıa de textos y sus aplicaciones a la elaboraci´on del perfil de au 24 de Junio de 2013 1 / 24
Transcript of Modelos vectoriales en minería de textos y sus aplicaciones a la … · 2017. 8. 30. · 2;:::;v...
Modelos vectoriales en minerıa de textos y susaplicaciones a la elaboracion del perfil de autores
Marıa De Arteaga
Universidad Nacional de ColombiaDirector: Rodrigo de Castro Korgi
24 de Junio de 2013
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 1 / 24
Transformacion de documentos en vectores Las palabras como dimensiones
Las palabras como dimensiones
La representacion de documentos como vectores permite analizartextos con principios matematicos.
Para este caso, cada palabra contribuye en una unidad a la dimension,de modo que la cardinalidad del espacio sera igual al numero depalabras en el diccionario construido a partir del corpus.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 2 / 24
Transformacion de documentos en vectores Las palabras como dimensiones
Construccion binaria
Solo se toma en cuenta si cada una de las palabras esta o no presenteen cada documento.
T : conjunto de los documentos, D: diccionario que se construye apartir de este conjunto, wi : i-esima palabra del diccionario D,|D| = n, t ∈ T , y Dt el diccionario que se construye a partir de laspalabras que ocurren en el documento t.
f : T → {0, 1}n,
f (t) = (v1, v2, ..., vn),
donde
{vi = 1 si wi ∈ Dt ,vi = 0 si wi /∈ Dt .
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 3 / 24
Transformacion de documentos en vectores Las palabras como dimensiones
Construccion con frecuencia de termino e inverso defrecuencia de documento
Si:
|T | = N, tj ∈ T .
tfi ,j : numero de veces que aparece la palabra wi en el documento j .
dfi : numero de documentos en los que aparece wi .
f : T → Rn,
f (tj) = (v1, v2, ...vn) para j = 1, 2, ...,N donde:
vi =
{[1 + log(tfi ,j)][log( N
dfi)] si tfi ,j , dfi ,j 6= 0,
0 si tfi ,j = 0 o dfi = 0.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 4 / 24
Transformacion de documentos en vectores Construccion con atributos predeterminados
Construccion con atributos predeterminados
Se determina una lista de atributos numericos que contenganinformacion relevante del texto, de modo que cada uno aporte unadimension al modelo.
Ventajas:
Permite trabajar con corpus y diccionarios de mayor dimension.Puede optimizar resultados si de antemano se sabe lo que seesta buscando.
Desventaja: Es posible que existan caracterısticas que la maquinapueda inducir con el primer metodo y en este caso queden omitidas.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 5 / 24
La elaboracion de perfil de autores
La elaboracion de perfil de autores
En este trabajo se presenta un laboratorio desarrollado por la autora,junto con el grupo de investigacion Informatica aplicada a linguısticade la Universidad Nacional de Colombia, para la conferenciaPAN-CLEF 2013.
El problema de perfil de autores busca ser capaz de determinarcaracterısticas de la persona que escribio un texto, como la edad, elgenero, su lengua materna y rasgos de su personalidad.
En este caso en particular, el objetivo es determinar el genero y rangode edad segun tres opciones: 10’s (13-17), 20’s (23-27), 30’s (33-47).
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 6 / 24
La elaboracion de perfil de autores El modelo vectorial
El modelo vectorial
Se construyo un modelo a partir de atributos predeterminados.
Espanol: 198 atributos.Ingles: 166 atributos.
Los atributos pertenecen a tres tipos de categorıas: estilısticas (S),lexicones (L) y estadısticas de corpus (C). Los atributos puedenpertenecer a solo una categorıa o a mas de una a la vez.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 7 / 24
Atributos de estilo
Atributos de estilo
Medidas basicas:
Longitud del documento.Numero de palabras diferentes utilizadas en el texto.Densidad del vocabulario, es decir, v2
v1.
Largo promedio de las palabras.Numero de palabras con 1,2 o 3 caracteres.Palabras con mas de 6 caracteres.
Hapax Legomenon
Uso de caracteres
Densidad de caracteres ’reconocidos’.Mayusculas.Minusculas.Ocurrencias de cada caracter.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 8 / 24
Atributos de estadısticas de corpus
Atributos de estadısticas de corpus
Supervisados Toman en cuenta las etiquetas de los documentos. Esdecir, utilizan estadısticas de cada una de las categorıas demograficas.
No supervisados Solo utilizan informacion del documento y delcorpus general.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 9 / 24
Atributos de estadısticas de corpus
Puntuacion de genero
Medida disenada por el grupo de investigacion para este caso en particular,busca dar un criterio que determine si un texto fue escrito por un hombreo una mujer.
Si Gf (t) > 0⇒ Autor es hombre.Si Gf (t) < 0⇒ Autor es mujer.
Puntuacion de genero de la palabra w
gf (w) =fh(w)
Wh− fm(w)
Wmgdf (w) =
dfh(w)
Wh− dfm(w)
Wm
Puntuacion de genero del texto t
Gf (t) =∑w∈t
[gf (w) ∗ ft(w)] Gdf (t) =∑w∈t
[gdf (w) ∗ ft(w)]
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 10 / 24
Atributos de estadısticas de corpus
Teorema de Bayes
Aplica el teorema para hallar la probabilidad de una categorıa demograficaC dada una palabra w .
Puntuacion Bayes del texto t con respecto a la categorıa C
PBCf (t) =
∑w∈t
Pf (C |w) ∗ ft(w)
PBCdf (t) =
∑w∈t
Pdf (C |w) ∗ ft(w)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 11 / 24
Atributos de estadısticas de corpus
Entropıa
En el analisis de texto, la entropıa es una medida de la riqueza delvocabulario del documento. A mayor entropıa, mayor riqueza en la formade escritura.
Entropıa de la palabra w (C puede ser el corpus total)
eCf (w) = PCf (w) ∗ log2(PC
f (w)) eCdf (w) = PCdf (w) ∗ log2(PC
df (w))
Entropıa del texto t
ECf (t) =
∑w∈t
eCf (w) ∗ ft(w) ECdf (t) =
∑w∈t
eCdf (w) ∗ ft(w)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 12 / 24
Atributos de estadısticas de corpus
Entropıa cruzada
La entropıa cruzada mide la predictibilidad de un documento si se tomacomo modelo el corpus de C .
Funciones utilizadas
pt(w) =f (w)∑w∈t f (w)
qt(w) =ft(w)
|t|
Entropıa cruzada de t con respecto a C (C puede ser el corpus general)
HC (t) =∑w∈t−pC
t (w) ∗ log2(qt(w))
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 13 / 24
Atributos de estadısticas de corpus
Divergencia Kullback-Leibler
Mide que tan representativo es determinado texto del corpus generalo de una categorıa.
La divergencia KL mide la perdida de informacion si se toma un textot como representante de la categorıa C .
Divergencia KL de t con respecto a C
KLC (t) =∑w∈t
log(pCt (w)
qt(w)) ∗ pC
t (w)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 14 / 24
Atributos de estadısticas de corpus
Frecuencia de termino e inverso de frecuencia dedocumento
Inverso de frecuencia de documento
idf (w) = logN
df (w)
Atributos TF y TF.IDF
IDF (t) =
∑w∈t idf (w)
W (t)
TF .IDF (t) =
∑w∈t ft(w) · idf (w)
W (t)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 15 / 24
Atributos de lexicones
Atributos de lexicones
Una serie de lexicones se utiliza para generar cuatro atributos cadauno:
Densidad.Densidad ponderada.Entropıa segun frecuencia de termino.Entropıa segun frecuencia de documento.
Lexicones utilizados:
Tematicos.Indicativos de estilo (groserıas, palabras propias de Internet,diccionarios oficiales del idioma, palabras vacıas).Diccionarios de emociones de Sidorov.Generados por la prueba T de Student.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 16 / 24
Atributos de lexicones
Prueba T de Student
La prueba T de Student permite determinar las palabras masrepresentativas de cada categorıa demografica.
Funciones utilizadas
xC =fC (w)
WCSC =
√xC − xC
2
Significancia de genero y significancia de edad
Tg =xm − x f√Sm
2
Nm+ Sf
2
Nf
Te =xe − x√Se
2
Ne+ S2
N
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 17 / 24
Aprendizaje de maquinas
Aprendizaje de maquinas
“El aprendizaje de maquinas proporciona la base tecnica de minerıade datos. Se utiliza para extraer informacion de los datos en bruto enbases de datos, informacion que es expresada en una formacomprensible y puede ser utilizada para una variedad de propositos. Elproceso es uno de abstraccion: tomar los datos, con todos susdefectos, e inferir cualquiera que sea la estructura quesubyace”(Witten and Frank).
Se utilizo un modelo de regresion multinomial con estimadores deRidge de Weka.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 18 / 24
Resultados Resultados oficiales
Resultados oficiales
El programa obtuvo el 6to lugar entre 20 para el caso de espanol.
Cuadro : Resultados espanol
Total Genero Edad
Ganador 0.4208 0.6473 0.6430Resultados 0.3145 0.5627 0.5429
Lınea de base 0.1650 0.5000 0.3333
Cuadro : Resultados ingles
Total Genero Edad
Ganador 0.3894 0.5921 0.6491Resultados 0.2450 0.4998 0.4885
Lınea de base 0.1650 0.5000 0.3333
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 19 / 24
Resultados Experimentos internos
Experimentos internos
Cuadro : Precision promedio de los tres tipos de atributos.
Tipo de atributo Genero es Edad es
Estadısticas 0.8038 (0.0007) 0.7866 (0.0004)Lexicones 0.6261 (0.0007) 0.6446 (0.0006)Estilısticos 0.5981 (0.0008) 0.6336 (0.0009)
Todos 0.8202 (0.0013) n/a
Tipo de atributo Genero en Edad en
Estadısticas 0.8393 (0.0005) 0.7860 (0.0013)Lexicones 0.5933 (0.0010) 0.6198 (0.0003)Estilısticos 0.5502 (0.0012) 0.6048 (0.0003)
Todos 0.8477 (0.0023) 0.7809 (0.0002)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 20 / 24
Resultados Experimentos internos
Cuadro : Precision promedio de las subcategorıas estadısticas.
Tipo de atributo Genero es Edad es
Bayes 0.7696 (0.0002) 0.7677 (0.0003)Entropıa cruzada 0.5376 (0.0006) 0.5624 (0.0004)Divergencia KL 0.5896 (0.0005) 0.5952 (0.0007)Lexicones TT 0,6240 (0.0005) 0.6377 (0.0003)
Todos 0.8202 (0.0013) n/a
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 21 / 24
Resultados Experimentos internos
Cuadro : Precision promedio de las subcategorıas estadısticas.
Tipo de atributo Genero en Edad en
Bayes 0.7951 (0.0004) 0.7382 (0.0015)Entropıa cruzada 0.5527 (0.0008) 0.5891 (0.0006)Divergencia KL 0.5485 (0.0005) 0.6034 (0.0003)Lexicones TT 0.5863 (0.0006) 0.6204 (0.0004)
Todos 0.8477 (0.0023) 0.7809 (0.0002)
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 22 / 24
Bibliografıa
Bibliografıa
1 Marıa De-Arteaga, Sergio Jimenez, George Duenas, Sergio Mancera,Julia Baquero. Author Profiling Using Corpus Statistics, Lexicons andStylistic Features. (2013).
2 Manning, Christopher D., and Hinrich Schutze. Foundations ofstatistical natural language processing. MIT press, 1999.
3 S. Argamon, M. Koppel, J. Pennebaker and J. Schler (2009),Automatically profiling the author of an anonymous text,Communications of the ACM 52 (2) :119− 123.
4 G. Sidorov, S. Miranda-Jimenez, F. Viveros-JimA c©nez, A. Gelbukh,N. Castro-Sanchez, F. Velasquez, I. Dıaz-Rangel, S. Suarez-Guerra, A.Trevino, J. Gordon. Empirical Study of Opinion Mining in SpanishTweets. LNAI 7629-7630, 2012, 14 p.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 23 / 24
Bibliografıa
Bibliografıa
5 J. Schler, Moshe Koppel, S. Argamon and J. Pennebaker (2006),Effects of Age and Gender on Blogging, in Proc. of AAAI SpringSymposium on Computational Approaches for Analyzing Weblogs,March 2006.
6 M.Koppel, S. Argamon and A. Shimoni (2003), Automaticallycategorizing written texts by author gender, Literary and LinguisticComputing 17(4), November 2002, pp. 401-412.
Marıa De Arteaga (Universidad Nacional de Colombia Director: Rodrigo de Castro Korgi)Modelos vectoriales en minerıa de textos y sus aplicaciones a la elaboracion del perfil de autores24 de Junio de 2013 24 / 24
![6HQVRU LQIUDUURMR GH PRYLPLHQWR 3,5 +& 65...ï , r^Z ñ ì í W/Z ^ v } ] v ( } i } u } À ] u ] v } X W µ v } & o } v ^ X X î ì í ó](https://static.fdocuments.ec/doc/165x107/5e402bb80e546821823096b6/6hqvru-lqiuduurmr-gh-prylplhqwr-35-65-rz-wz-v-.jpg)
![W } } } o ] ] µ Ç i µ ] ] v o u ] o Ì o } v À } } ] } v o } ] À } o K ( u o } W ... · 2020-07-21 · X W o v ] ( ] ] v U K P v ] Ì ] v Ç u ] v ] ] v X' X ' ^d/KE W Z^KE ^](https://static.fdocuments.ec/doc/165x107/5fb2339ef92ecf272a06cb9f/w-o-i-v-o-u-o-oe-o-v-v-o-o-k-u.jpg)
![Hospital en Pedroche · 2020. 4. 9. · h E K E W ZK , , 1 hE ,K^W/d > } W } o & µ v ^ v } í µ v } v W } Z Z _ µ v Z } ] o h E K E W ZK , , 1 hE ,K^W/d > } W } o & µ v ^ v }](https://static.fdocuments.ec/doc/165x107/60cb40f4ea4b5a7f48431c7f/hospital-en-2020-4-9-h-e-k-e-w-zk-1-he-kwd-w-o-v-.jpg)
![Reporte Definitivo - Riesgos (II cuatrimestre 2020) · 2020. 12. 10. · K i ] À } W í X Z µ o } o ( À } ] o ] v o i µ ] v } v } o v ] P } r WZK ^K^ / W } } Z ] P } } v } o í](https://static.fdocuments.ec/doc/165x107/60c53d8397e7472b9915c8ba/reporte-definitivo-riesgos-ii-cuatrimestre-2020-2020-12-10-k-i-w.jpg)
![d µ } ] o } E } v µ v u À ] o W } í W P ] v o o ] ] v E ...](https://static.fdocuments.ec/doc/165x107/61d7315a70a0667774270bcc/d-o-e-v-v-u-o-w-w-p-v-o-o-v-e-.jpg)
![DBC 14 DE SEPTIEMBRE SALA BLANCA...W ] A W µ v i o À o µ ] v o } µ } v u ] o } } v v ] ^ i µ ] o } µ µ Ç } µ v i } o ~Wd ] u Ç } X](https://static.fdocuments.ec/doc/165x107/5e71f16e1578275091135dcf/dbc-14-de-septiembre-sala-blanca-w-a-w-v-i-o-o-v-o-v-u-.jpg)
![s ] ] v W W u ] } / v u ] v } o / v v } À ] v o ' ] v W ...€¦ · æ æ 2emhwlyrv (o remhwlyr sulqflsdo gho ³3uhplr ,qwhudphulfdqr d od ,qqrydflyq sdud od *hvwlyq 3~eolfd (ihfwlyd´](https://static.fdocuments.ec/doc/165x107/5ba4ac5909d3f257608b788e/s-v-w-w-u-v-u-v-o-v-v-a-v-o-v-w-ae-ae-2emhwlyrv.jpg)
![E yK s/ ^K>/ /dh >/&/ /KE /E^ Z/W /ME E > Z '/^dZK s ^ …...~ / v ] v o } o µ u v µ } } v o } v i ] ] Z > /KE EKD/E > >K^ dZ : KZ ^ EK /^ W /d K^ Yh &/'hZ E E W> Ed/>> ~ W >>/ K^](https://static.fdocuments.ec/doc/165x107/5f34e5f4f324dd74b17cc120/e-yk-s-k-dh-ke-e-zw-me-e-z-dzk-s-v-.jpg)
![u ] ] o ] } o v ] } Ç rD ] o · ] o o i ] ] } W } ( ] } v o ...](https://static.fdocuments.ec/doc/165x107/616a1d5a11a7b741a34ef6fc/u-o-o-v-rd-o-o-o-i-w-v-o-.jpg)
![PADRON DE PARTICIPACIÃ N FINAL - panamenistas.org...W ] } W v u y ] } u ] E ] } v o o ] } v W ZME W Zd/ /W /ME } v À v ] v E ] } v o Æ } ] v ] X î ð v } À ] u î ì í õ](https://static.fdocuments.ec/doc/165x107/60e018e509a2cb627911070a/padron-de-participacif-n-final-w-w-v-u-y-u-e-v-o-o-v-w.jpg)
![V{ µÙYÈÓÃ( ²I¡7 ]u w](https://static.fdocuments.ec/doc/165x107/62b7ff9aadf1cd64b1371e63/v-y-i7-u-w.jpg)
![W } P u ] v K ] v K i } W ] ô W W } o ] u } ( ] u }profesores.fi-b.unam.mx/annkym/LAB/POOPractica8.pdf · 2018-03-29 · ¢3ru txp sxhghv wudwdu odv glvwlqwdv lpsohphqwdflrqhv hq](https://static.fdocuments.ec/doc/165x107/5b274e3c7f8b9adf2b8b48d9/w-p-u-v-k-v-k-i-w-o-w-w-o-u-u-2018-03-29-3ru-txp.jpg)
![SUGERENCIAS para Presentacion PowerPoint 2019...Z '> DE DKd E/ W h E / WK^/d/s WKZD/EhdK W v ] v d&' v W } Á W } ] v W í ì r í î ] } ] ] À KEK > d /WK h / E / > v P µ i v ]](https://static.fdocuments.ec/doc/165x107/5f05ddeb7e708231d4151be9/sugerencias-para-presentacion-powerpoint-2019-z-de-dkd-e-w-h-e-wkds.jpg)