Descomposición Tensorial y sus Aplicaciones en ...

36
Descomposici´on Tensorial y sus Aplicaciones en Procesamiento de Im´ agenes Juan Pablo Soto Quir´ os Escuela de Matem´ atica Instituto Tecnol´ ogico de Costa Rica [email protected] Coloquios Virtuales de Matem´ atica Aplicada 18 de Octubre de 2021 TEC Presentaci´on Coloquios 1 / 35

Transcript of Descomposición Tensorial y sus Aplicaciones en ...

Page 1: Descomposición Tensorial y sus Aplicaciones en ...

Descomposicion Tensorial y sus Aplicaciones enProcesamiento de Imagenes

Juan Pablo Soto Quiros

Escuela de Matematica

Instituto Tecnologico de Costa Rica

[email protected]

Coloquios Virtuales de Matematica Aplicada

18 de Octubre de 2021

TEC Presentacion Coloquios 1 / 35

Page 2: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 2 / 35

Page 3: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 3 / 35

Page 4: Descomposición Tensorial y sus Aplicaciones en ...

Parte 1: Conceptos Basicos

Tensor

Un tensor de orden p es un arreglo multidimensional de p dimensiones.

Si A es un tensor de orden p, entonces escribiremos queA P Rm1ˆm2ˆ...mp .

La entrada pi1, i2, ..., ipq de un tensor A se denota Api1, i2, ..., ipq.

Formalmente, un tensor de orden p es un elemento del productotensorial de p espacios vectoriales, el cual cada uno tiene su propiosistema de coordenadas.

Un tensor es una generalizacion del concepto de matrices.

TEC Presentacion Coloquios 4 / 35

Page 5: Descomposición Tensorial y sus Aplicaciones en ...

Parte 1: Conceptos Basicos

El concepto de tensor en esta presentacion no se debe confundir conel concepto de tensor en fısica e ingenierıa, el cual se refieregeneralmente a campos tensoriales en matematica.

En el transcurso de esta presentacion trabajaremos con tensores deentradas reales, aunque tambien se puede trabajar otros conjuntos(complejos).

Tipos de Tensores:

Los numeros reales se conocen como tensores de orden 0.Los vectores se conocen como tensores de orden 1.Las matrices se conocen como tensores de orden 2.Los tensores de orden mayor o igual a 3 se conocen como tensores deorden mayor.

TEC Presentacion Coloquios 5 / 35

Page 6: Descomposición Tensorial y sus Aplicaciones en ...

Parte 1: Conceptos Basicos

En esta presentacion trabajaremos con tensores de orden 3.

TEC Presentacion Coloquios 6 / 35

Page 7: Descomposición Tensorial y sus Aplicaciones en ...

Parte 1: Conceptos Basicos

Fibras

Una fibra es un tensor de orden 1 obtenido al fijar todos salvo uno de losındices de un tensor de orden mayor.

Las fibras Ap:, j, kq se llaman fibras de modo-1 o columnas.

Las fibras Api, :, kq se llaman fibras de modo-2 o filas.

Las fibras Api, j, :q se llaman fibras de modo-3 o tubos.

TEC Presentacion Coloquios 7 / 35

Page 8: Descomposición Tensorial y sus Aplicaciones en ...

Parte 1: Conceptos Basicos

Caras (Slices)

A las matrices que se obtienen como subarreglos de tensores se conocencomo caras o slices. Estas se obtienen al fijar una de las entradas deltensor.

Las caras Api, :, :q se llaman caras horizontales.

Las caras Ap:, j, :q se llaman caras laterales.

Las caras Ap:, :, kq se llaman caras frontales.

TEC Presentacion Coloquios 8 / 35

Page 9: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 9 / 35

Page 10: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Producto Exterior y Tensores de Rango 1

Sean a P Rm, b P Rn, c P Rp. El tensor X P Rmˆnˆq tal queX pi, j, kq “ apiq ¨ bpjq ¨ cpkq, se conoce como un tensor de rango 1 yse denota como

X “ a ˝ b ˝ c,

donde ˝ es el producto exterior.

TEC Presentacion Coloquios 10 / 35

Page 11: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Producto de Tensor y Matriz

Sea A P Rmˆnˆp un tensor con caras frontales A1, ....Ap. SeaU P Rrˆm. Entonces se define el tensor Y P Rrˆnˆp tal que

Y “ A ˆ1 U

como la multiplicacion que genera las caras frontales Yj “ UAj , paratodo j “ 1, ..., p.

De forma similar, se puede definir un producto de tensor y matriz,utilizando las caras laterales y horizontales.

TEC Presentacion Coloquios 11 / 35

Page 12: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Operaciones bcirc, unfold y fold

Sea A P Rmˆnˆp un tensor con caras frontales A1, ....Ap. Entonces

bcircpAq “

¨

˚

˚

˚

˝

A1 Ap ¨ ¨ ¨ A2

A2 A1 ¨ ¨ ¨ A3

......

. . ....

Ap Ap´1 ¨ ¨ ¨ A1

˛

.

unfoldpAq “

¨

˚

˚

˚

˝

A1

A2

...Ap

˛

.

foldpunfoldpAqq “ A.

TEC Presentacion Coloquios 12 / 35

Page 13: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Producto T de Tensores

Sean A P Rmˆnˆp y B P Rnˆqˆp entonces se define el producto T entre Ay B como A ˚ B P Rmˆqˆp tal que

A ˚ B “ foldpbcircpAq ¨ unfoldpBqq.

Observacion: El producto T es computacionalmente costo, ya quetrabaja con matrices de bloques.

Utilizando la transformada discreta de Fourier a los tubos de lostensores A y B, se puede obtener un metodo mas eficiente para elcalculo de A ˚ B.

TEC Presentacion Coloquios 13 / 35

Page 14: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Producto T de Tensores

Sean A P Rmˆnˆp y B P Rnˆqˆp entonces se define el producto T entre Ay B como A ˚ B P Rmˆqˆp tal que

A ˚ B “ foldpbcircpAq ¨ unfoldpBqq.

Observacion: El producto T es computacionalmente costo, ya quetrabaja con matrices de bloques.

Utilizando la transformada discreta de Fourier a los tubos de lostensores A y B, se puede obtener un metodo mas eficiente para elcalculo de A ˚ B.

TEC Presentacion Coloquios 13 / 35

Page 15: Descomposición Tensorial y sus Aplicaciones en ...

Parte 2: Operaciones Tensoriales

Sean A “ fftpA, rs, 3q y B “ fftpB, rs, 3q dos tensores a los cuales se lesaplico la transformada discreta de Fourier a los tubos de A y B,respectivamente.

TEC Presentacion Coloquios 14 / 35

Page 16: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 15 / 35

Page 17: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

Descomposicion CP

La descomposicion CP trata de expresar un tensor como la sumafinita de tensores de rango 1.

Sea X P Rmˆnˆp. El objetivo de la descomposicion CP es encontraraj P Rm, bj P Rn, cj P Rp, para j “ 1, ..., r, tal que

X “

rÿ

j“1

aj ˝ bj ˝ cj .

Si r es el entero mas pequeno que satisafce dicha igualdad, entoncesse dice que X es un tensor de rango r.

TEC Presentacion Coloquios 16 / 35

Page 18: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

Dado un valor de r, este tipo de descomposicion trata de encontrarlos vectores aj , bj , cj que minimicen el siguiente problema:

mınA,B,C

X ´

rÿ

j“1

aj ˝ bj ˝ cj

2

fr

,

donde A “ ra1 ... ars, B “ rb1 ... brs y C “ rc1 ... crs.

TEC Presentacion Coloquios 17 / 35

Page 19: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La solucion de dicho problema se realiza de forma iterativa.

Sea Bp0q y Cp0q matrices iniciales. Entonces

Apk`1q “ argmınA

}Xp1q ´ ApCpkq d Bpkqq}2fr,

Bpk`1q “ argmınB

}Xp2q ´ BpCpkq d Apk`1qq}2fr,

Cpk`1q “ argmınC

}Xp3q ´ CpBpk`1q d Apk`1qq}2fr,

donde:

P b Q “

¨

˚

˝

p11Q ¨ ¨ ¨ p1sQ...

. . ....

pr1Q ¨ ¨ ¨ prsQ

˛

(Producto Kronecker)

P d Q “ rp1 b q1 ... ps b qss (Producto Khatri-Rao)

Xp1q, Xp2q y Xp3q son las representaciones matriciales de las carashorizontales, laterales y frontales, respectivamente.

TEC Presentacion Coloquios 18 / 35

Page 20: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

Descomposicion en Valores Singulares (SVD) de Matrices

Factorizacion QR de Matrices

TEC Presentacion Coloquios 19 / 35

Page 21: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La T´SVD de Tensores

TEC Presentacion Coloquios 20 / 35

Page 22: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La T´SVD de tensores se obtiene utilizando la transformada discretade Fourier.

TEC Presentacion Coloquios 21 / 35

Page 23: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La T´SVD de tensores se obtiene utilizando la transformada discretade Fourier.

TEC Presentacion Coloquios 22 / 35

Page 24: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La T´QR de Tensores

TEC Presentacion Coloquios 23 / 35

Page 25: Descomposición Tensorial y sus Aplicaciones en ...

Parte 3: Descomposicion Tensorial

La T´QR de tensores se obtiene utilizando la transformada discretade Fourier.

TEC Presentacion Coloquios 24 / 35

Page 26: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 25 / 35

Page 27: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Una imagen a color I P Rmˆnˆp se puede interpretar como un tensorde orden 3, donde las primeras dimensiones (m,n) representan elnumero de filas y columnas de la imagen y la tercera dimension (p)representa el numero de canales.

TEC Presentacion Coloquios 26 / 35

Page 28: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Una imagen a color I P Rmˆnˆp se puede interpretar como un tensorde orden 3, donde las primeras dimensiones (m,n) representan elnumero de filas y columnas de la imagen y la tercera dimension (p)representa el numero de canales.

TEC Presentacion Coloquios 27 / 35

Page 29: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Un video a escala de grises se puede interpretar como un tensor dondelas primeras dos dimensiones es el tamano de cada frame del video yla tercera dimension es el numero de frames del video.

TEC Presentacion Coloquios 28 / 35

Page 30: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Similarmente a los videos, el conjunto de impagenes hiperespectralesel espectro electromagnetico es un tensor.

TEC Presentacion Coloquios 29 / 35

Page 31: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Eliminacion de ruido en imagenes.

TEC Presentacion Coloquios 30 / 35

Page 32: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Deteccion de movimiento en videos.

TEC Presentacion Coloquios 31 / 35

Page 33: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Eliminacion de ruido en video.

TEC Presentacion Coloquios 32 / 35

Page 34: Descomposición Tensorial y sus Aplicaciones en ...

Parte 4: Aplicaciones en Imagenes

Compresion de imagenes a Color, basado en el T´SVD.

TEC Presentacion Coloquios 33 / 35

Page 35: Descomposición Tensorial y sus Aplicaciones en ...

1 Parte 1: Conceptos Basicos

2 Parte 2: Operaciones Tensoriales

3 Parte 3: Descomposicion Tensorial

4 Parte 4: Aplicaciones en Imagenes

5 Parte 5: Referencias Bibliograficas

TEC Presentacion Coloquios 34 / 35

Page 36: Descomposición Tensorial y sus Aplicaciones en ...

Parte 5: Referencias Bibliograficas

Esta presentacion se baso en los siguientes artıculos cientıficos

Kolda, T. G., & Bader, B. W. (2009). Tensor decompositions andapplications. SIAM review, 51(3), 455-500.

Zhang, Z., & Aeron, S. (2016). Exact tensor completion usingt-SVD. IEEE Transactions on Signal Processing, 65(6), 1511-1526.

Zheng, Y., & Xu, A. B. (2021). Tensor completion via tensor QRdecomposition and L2,1´ norm minimization. Signal Processing,189, 108240.

Lu, C., Feng, J., Chen, Y., Liu, W., Lin, Z., & Yan, S. (2019). Tensorrobust principal component analysis with a new tensor nuclearnorm. IEEE transactions on pattern analysis and machineintelligence, 42(4), 925-938.

Rabanser, S., Shchur, O., & Gunnemann, S. (2017). Introduction totensor decompositions and their applications in machinelearning. arXiv preprint arXiv:1711.10781.

TEC Presentacion Coloquios 35 / 35