Master thesis presentation

Aproximaciones a S3VM multiclaseMaster en tecnologıas del lenguaje en la web

Arkaitz Zubiaga Mendialdua

29 de septiembre de 2008

Director: Vıctor Fresno Fernandez

Clasificacion automatica de textos

Indice

1 Clasificacion automatica de textos

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

8 Alternativas para S3VM multiclase

9 Experimentacion

10 Resultados

11 Conclusiones y trabajo futuro

12 Referencias y trabajo futuro

Arkaitz Zubiaga Mendialdua (UNED) Aproximaciones a S3VM multiclase 29 de septiembre de 2008 2 / 43

¿Que es?

Se dispone de una coleccion de documentos:

D = {d1, ..., d|D|}

Y una serie de categorıas predefinidas:

C = {c1, ..., c|C |}

La clasificacion se define como:

〈dj , ci 〉 ∈ D × C

¿Que es?

D = {d1, ..., d|D|}

C = {c1, ..., c|C |}

〈dj , ci 〉 ∈ D × C

¿Que es?

D = {d1, ..., d|D|}

C = {c1, ..., c|C |}

〈dj , ci 〉 ∈ D × C

Caracterısticas

Aprendizaje automatico

Aprendizaje supervisadoAprendizaje semisupervisado

Taxonomıa

BinariaMulticlase

Caracterısticas

Aprendizaje automatico

Aprendizaje supervisadoAprendizaje semisupervisado

Taxonomıa

BinariaMulticlase

Motivacion

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Motivacion

Muchos estudios para clasificacion de texto plano (noticias), peromenos sobre paginas web.

Problema tıpico de clasificacion de paginas web

Semisupervisado: pocos documentos etiquetados respecto a lacoleccion a clasificar.Multiclase: taxonomıa mayor que 2.

Tecnica de clasificacion escogida: SVM.

Problema: Poco trabajo para SVM semisupervisado multiclaseNecesidad de nuevas propuestas para resolver el problema planteado

Motivacion

Problema: Poco trabajo para SVM semisupervisado multiclase

Necesidad de nuevas propuestas para resolver el problema planteado

Motivacion

¿Por que SVM?

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

¿Por que SVM?

Muchos estudios recientes: Bolelli et al. (2007); Bordes et al. (2007);Sun et al. (2007); Wang et al. (2007a,b); Zien et al. (2007);Heymann et al. (2008)).

Mejores resultados que otras tecnicas para clasificacion de textos.

La utilizacion de un kernel facilita la tarea de clasificacion para zonasdisjuntas.

¿Por que SVM?

Comparativa con otras tecnicas

¿Por que SVM?

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Modelo espacio vectorial

Busqueda de hiperplano de separacion

Maximizacion de margen

Funcion de optimizacion: f (x) = ω · x + b

Problema: Dificil de computar.

Se utiliza funcion equivalente:

2||ω||2 + C ·

n∑i=1

Sujeto a: yi (ω · xi + b) ≥ 1− ξi , ξi ≥ 0

Utilizacion de funcion de kernel para casos no lineales.

Unicamente resuelve problemas binarios y supervisados.

2||ω||2 + C ·

n∑i=1

2||ω||2 + C ·

n∑i=1

SVM multiclase

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

SVM multiclase

Aproximaciones a SVM multiclase:

Directa.

Combinacion de binarios.

One-against-one.One-against-all.

Se ha trabajado con colecciones supervisadas, pero apenas consemisupervisadas.

SVM multiclase

Directa.Combinacion de binarios.

SVM multiclase

Directa.Combinacion de binarios.

SVM multiclase

SVM multiclase: Aproximacion directa

La funcion de optimizacion tiene en cuenta todos los hiperplanos.

n∑m=1

||wm||2 + Cl∑

∑m 6=yi

Sujeto a:wyi · xi + byi ≥ wm · xi + bm + 2− ξmi , ξmi ≥ 0

SVM multiclase

SVM multiclase: Aproximacion directa

La funcion de optimizacion tiene en cuenta todos los hiperplanos.

n∑m=1

||wm||2 + Cl∑

∑m 6=yi

Sujeto a:wyi · xi + byi ≥ wm · xi + bm + 2− ξmi , ξmi ≥ 0

SVM multiclase

SVM multiclase: One-against-one

Construye k·(k−1)2 clasificadores binarios

SVM multiclase

sign(ωTij · x + bij) −→ Sumar un voto a clase positiva entre i y j

La clase con mas votos es la que el sistema predice.

SVM multiclase

SVM multiclase: One-against-all

Construye k clasificadores binarios

SVM multiclase

Ci = arg maxi=1,...,k

(ωi · x + bi )

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

SVM semisupervisado (S3VM)

Utilizacion de documentos no etiquetados en fase de aprendizaje.

Se anade un termino adicional a la funcion de optimizacion:

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

Problema: se representa mediante una funcion no convexa.

Soluciones de optimizacion convexa.

Utilizado sobre taxonomıas binarias, pero apenas en entornosmulticlase.

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

2· ||ω||2 + C ·

l∑i=1

+ C ∗ ·u∑

ξ∗d

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

2· ||ω||2 + C ·

l∑i=1

ξdi + C ∗ ·u∑

ξ∗d

SVM vs S3VM

S3VM multiclase

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

S3VM multiclase

Unica referencia hasta el momento (Yajima y Kuo, 2006):

mın(1

h∑i=1

βiT K−1βi + Cl∑

∑i 6=yj

max(0, 1− (βyj

j − βij ))2)

donde β representa el producto entre un vector de variables y una matrizde kernel definidas por el autor.

Su optimizacion puede resultar costosa, por lo que conviene estudiarnuevas aproximaciones.

S3VM multiclase

mın(1

h∑i=1

∑i 6=yj

max(0, 1− (βyj

j − βij ))2)

S3VM multiclase

mın(1

h∑i=1

∑i 6=yj

max(0, 1− (βyj

j − βij ))2)

Alternativas para S3VM multiclase

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

One-against-all-S3VM: No aplicado sobre semisupervisado.

One-against-one-S3VM: No aplicado sobre semisupervisado.

¿Posible existencia de ruido al no poder seleccionar los debidosdocumentos no etiquetados?

Nuevas propuestas:

All-against-all-S3VM.2-steps-SVM.

Alternativas para S3VM multiclase: all-against-all-S3VM

Construye 2k−1 − 1 clasificadores binarios.

Para un ejemplo con 4 clases:

1 vs 2-3-41-2 vs 3-41-3 vs 2-41-4 vs 2-31-2-3 vs 41-2-4 vs 31-3-4 vs 2

sign(ωTij · x + bij) −→ Sumar margen resultante a clases del lado

positivo.

El sistema presenta como prediccion aquella clase con mayorpuntuacion.

Alternativas para S3VM multiclase: 2-steps-SVM

Se aplican 2 pasos de aprendizaje supervisado multiclase:

1 Aprendizaje sobre coleccion de entrenamiento: se aprende con losdocumentos etiquetados, prediciendo los no etiquetados.

121...300...0

2 Clasificacion de la coleccion de test: con la coleccion de entrenamientoetiquetada, se basa el aprendizaje en ella, clasificando la coleccion detest.

Se aplican 2 pasos de aprendizaje supervisado multiclase:1 Aprendizaje sobre coleccion de entrenamiento: se aprende con los

documentos etiquetados, prediciendo los no etiquetados.

121...300...0

1 −→ 12 −→ 21 −→ 1...3 −→ 30 −→ 30 −→ 2...0 −→ 1

Experimentacion

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Experimentacion

Experimentacion: colecciones

Colecciones utilizadas:

BankSearch: 10.000 documentos web / 10 categorıas (4.000entrenamiento).

WebKB: 4.518 documentos web / 6 categorıas (2.000 entrenamiento).Yahoo! Science: 788 documentos web / 6 categorıas (200entrenamiento).

Versiones con diferentes fracciones etiquetadas / no etiquetadas.

9 ejecuciones para cada una de las versiones.

Representacion: tf-idf.

Experimentacion

BankSearch: 10.000 documentos web / 10 categorıas (4.000entrenamiento).WebKB: 4.518 documentos web / 6 categorıas (2.000 entrenamiento).

Yahoo! Science: 788 documentos web / 6 categorıas (200entrenamiento).

Experimentacion

BankSearch: 10.000 documentos web / 10 categorıas (4.000entrenamiento).WebKB: 4.518 documentos web / 6 categorıas (2.000 entrenamiento).Yahoo! Science: 788 documentos web / 6 categorıas (200entrenamiento).

Experimentacion

Experimentacion: implementacion

Software utilizado:

SVM-light (http://svmlight.joachims.org)SVM-multiclass

2-steps-SVM =⇒ 1 step-SVM

Ignorar documentos no etiquetados, ¿empeora los resultados?

Experimentacion

Experimentacion: implementacion

Software utilizado:

SVM-light (http://svmlight.joachims.org)SVM-multiclass

2-steps-SVM =⇒ 1 step-SVM

Ignorar documentos no etiquetados, ¿empeora los resultados?

Experimentacion

Experimentacion: evaluacion

Acierto (accuracy): % del numero de predicciones correctas sobre eltotal de documentos testeados.

Resultados

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Resultados

Resultados: BankSearch

Resultados

Resultados: WebKB

Resultados

Resultados: Yahoo! Science

Resultados

Mejores resultados para combinacion de supervisados multiclase:2-steps-SVM y 1-step-SVM.

De las combinaciones binarias, destaca all-against-all-S3VM, mientrasque one-against-one-S3VM demuestra que el ruido previsto existe.

1-step-SVM muestra resultados similares que 2-steps-SVM, exceptoen WebKB, que gana; esa coleccion es mas homogenea.

Se mantiene el ranking de los algoritmos.

Resultados

Conclusiones y trabajo futuro

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Conclusiones

Se han comparado aproximaciones a S3VM multiclase paraclasificacion de paginas web:

Trasladando one-against-one y one-against-all al entornosemisupervisado.Presentando los metodos 2-steps-SVM y all-against-all-S3VM.

Se ha evaluado la aportacion de los documentos no etiquetados en elaprendizaje.

Los mejores resultados han sido para las combinaciones declasificadores supervisados multiclase.

La utilizacion de documentos no etiquetados no ha aportado mucho.

Esta aportacion ha sido algo mayor para colecciones homogeneas.

Entre las combinaciones de semisupervisados binarios,all-against-all-S3VM ha mostrado una gran efectividad, aunque sueficiencia debe mejorar.

Conclusiones

Trabajo futuro

Anadir el metodo S3VM multiclase directo al estudio.

Aplicacion de diferentes metodos de representacion, aprovechando lascaracterısticas propias de las paginas web (etiquetado HTML, etc.).

Optimizar el rendimiento de la tecnica all-against-all-S3VM.

Trabajo futuro

Referencias

Indice

2 Motivacion

3 ¿Por que SVM?

5 SVM multiclase

6 S3VM

7 S3VM multiclase

9 Experimentacion

10 Resultados

Referencias

T. Joachims. 2002. Learning to Classify Text using Support VectorMachines. Kluwer/Springer.

X. Qi y B.D. Davison. 2007. Web Page Classification: Features andAlgorithms. Informe Tecnico LU-CSE-07-010.

F. Sebastiani. 2002. Machine Learning in Automated TextCategorization. ACM Computing Surveys, pp. 1-47.

J. Weston y C. Watkins. 1999. Multi-class Support Vector Machines.Proceedings of ESAAN, the European Symposium on Artificial NeuralNetworks.

Y. Yajima y T.-F. Kuo. 2006. Optimization Approaches forSemi-Supervised Multiclass Classification. Proceedings of ICDMW’06,the 6th International Conference on Data Mining.

Master thesis presentation

Technology

Transcript of Master thesis presentation