Procesamiento de Señales basado en Wavelets Notas de Clase...

Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Procesamiento de Senales basado en WaveletsNotas de Clase - Parte I

Juan Carlos Gomez 1

<[email protected]>

1Laboratorio de Sistemas Dinamicos y Procesamiento de la InformacionFCEIA, Universidad Nacional de Rosario, Argentina

Semestre 2, 2006

Parte I (Wavelets) Semestre 2, 2006 1 / 28

Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Contenidos

1 Introduccion

2 Background MatematicoEspacios de BanachEspacios de HilbertBases OrtonormalesFrames

3 Bibliografıa


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

La Transformada de Fourier permite analizar elcontenido frecuencial de una senal pero la informacion delocalizacion temporal se pierde =⇒ problemas paraanalizar fenomenos transitorios de corta duracion.

La Transformada Wavelet en cambio, permitedescomponer senales en sus diferentes componentesfrecuenciales con una resolucion adecuada a la escalatemporal. Preservan la informacion temporal y frecuencialen el dominio transformado.

La Transformada Wavelet permite analizar una senal endistintos niveles de resolucion =⇒ Analisis deMultiresolucion.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

El Analisis de Fourier permite descomponer una senalcomo una combinacion lineal de senales senoidales dedistinta frecuencia =⇒ Funciones base de duracioninfinita.

El Analisis Wavelet permite descomponer una senalcomo una combinacion lineal de senales de duracionefectiva limitada que se obtienen por traslacion y escaladode una funcion original denominada mother Wavelet.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

Ejemplo:


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

Cronologıa de las Wavelets

1807 Jean Baptiste Fourier (frances) =⇒ Descomposicion deSenales en series trigonometricas

1909 Alfred Haar (hungaro) =⇒ Descubre funciones base queson ahora reconocidas como las primeras wavelets.

1930 John Littlewood y R.A. Paley (Cambridge University) =⇒Prueban que informacion local de una senal puedeobtenerse agrupando los terminos de la serie de Fourier enoctavas.

1946 Dennis Gabor (britanico-hungaro) =⇒ Descomposicion deuna senal en paquetes tiempo-frecuencia (Gabor chirps)

1976 Claude Galan y Daniel Esteban (IBM) =⇒ Descubren lacodificacion sub-banda para transmision de senalesdigitales.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

1981 Jean Morlet (Elf-Aquitaine) =⇒ Descomposicion desenales sısmicas en onditas de forma constante.

1984 Jean Morlet y Alex Grossmann =⇒ Introducen el terminowavelet en la literatura matematica.

1985 Yves Meyer (University of Paris) =⇒ Descubre la primerawavelet ortogonal suave.

1986 Stephan Mallat (University of Pennsilvanya) =⇒ Pruebaque las bases Haar, las octavas de Littlewood-Paley, laschirps de Gabor y los filtros de sub-banda estan todosrelacionados con los algoritmos wavelets.

1987 Ingrid Daubechies (Rutgers University and AT&T Labs)=⇒ Construye la primera wavelet ortogonal suave consoporte compacto.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Introduccion

1990 David Donoho y Ian Johnstone (Stanford University) =⇒Proponen algoritmos para denoising de imagenes usandowavelets.

1992 T. Hopper (FBI) y J. Bradley y C. Brislawn (Los AlamosNational Labs) =⇒ El FBI usa un metodo de compresionde imagenes basado en wavelets para comprimir la base dedatos de huellas dactilares.

1999 International Standards Organization =⇒ Un metodo decompresion basado en wavelets es incorporado al nuevoestandar de compresion de imagenes digitales JPEG2000(tasas de compresion en el rango 1:200).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Background Matematico - Espacios de Banach

Consideraremos a las senales como vectores (o eventualmentematrices) inmersos en un espacio vectorial. Para poder definiruna distancia entre vectores se asume que el espacio vectorialadmite una norma −→ Espacio de Banach.

Espacio de Banach: Es un espacio vectorial normado quees completo con respecto a la metrica inducida por lanorma.Norma: es una funcion definida positiva (denotada ‖·‖)que verifica las siguientes propiedades:

1 ∀x ∈ H, ‖x‖ ≥ 0, y ‖x‖ = 0 ⇔ x = 0.2 ∀λ ∈ C, ‖λx‖ = |λ| ‖x‖3 ∀x, y ∈ H, ‖x + y‖ ≤ ‖x‖+ ‖y‖

Metrica: la norma puede usarse para definir una metricaque mide la distancia entre dos elementos del espacio:

d(x, y) = ‖x− y‖ , ∀x, y ∈ H


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


La existencia de una metrica permite definir el conceptode convergencia de una secuencia {xk}k∈N de vectoresxk ∈ H del espacio, como

limk→∞

xk = x ⇐⇒ limk→∞

d(x, xk) = limk→∞

‖x− xk‖ = 0

Completitud: Un espacio H se dice completo si todasecuencia convergente de Cauchy en H, converge a unelemento de H.Una secuencia {xk}k∈N se dice que es Cauchy si paracualquier ε > 0, y n y p suficientemente grandes, entonces‖xn − xp‖ < ε.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Ejemplo 1: Para un entero p > 0 definimos para las secuenciasdiscretas (senales en tiempo discreto) x(n), las normas p, como:

‖x‖p ,

( ∞∑n=−∞

|x(n)|p)1/p

El espacio `p(Z) ={

x : ‖x‖p < ∞}

, es un espacio de Banach

con la norma p.

Ejemplo 2: Analogamente puede definirse el espacio Lp(R)como el espacio de las funciones medibles f sobre R (senales entiempo continuo) para las cuales es

‖f‖p ,

(∫ ∞

−∞|f(t)|p dt

)1/p

< ∞

El espacio Lp(R) con esta norma es un espacio de Banach.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Para el caso particular de p = 2 los espacios de Banachantes definidos resultan

`2(Z): espacio se senales en tiempo discreto de energıafinita (transformables Fourier).L2(R): espacio de senales en tiempo continuo de energıafinita (transformables Fourier).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Background Matematico - Espacios de Hilbert

Para poder definir angulos entre vectores y ortogonalidad esnecesario trabajar en espacios donde pueda definirse unproducto interno

Espacio de Hilbert: Es un espacio vectorial con productointerno que es completo con respecto a la metricainducida por (la norma inducida por) el producto interno.

Producto Interno: es una funcion a valores reales(denotada 〈·, ·〉) entre dos elementos cualesquiera x e ydel espacio H que verifica las propiedades:

1 〈x, y〉 = 〈y, x〉∗, para todo x, y ∈ H.2 〈αx + βy, u〉 = α 〈x, u〉+ β 〈y, u〉 , para todo x, y, u ∈ H

y escalares α, β.3 〈x, x〉 > 0, y 〈x, x〉 = 0 si y solo si x = O.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


El producto interno en H induce una norma como:

‖x‖H , 〈x, x〉1/2

Todo espacio de Hilbert es Banach con la norma inducidapor el producto interno.

Lo contrario no se verifica en gral., i.e., no todos losespacios de Banach pueden ser provistos de una estructurade Hilbert.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Ejemplo 3: Un producto interno entre senales en tiempodiscreto f(n) y g(n) puede definirse como:

〈f, g〉 ,∞∑

n=−∞f(n)g∗(n),

que corresponde a la norma en `2(Z)

‖f‖2 = 〈f, f〉 =∞∑

n=−∞|f(n)|2

En consecuencia, `2(Z) es un espacio de Hilbert con esteproducto interno.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Ejemplo 4: Analogamente, un producto interno entresenales en tiempo continuo f(t) y g(t) puede definirsecomo:

〈f, g〉 ,∫ ∞

−∞f(t)g∗(t)dt,

que corresponde a la norma en L2(R)

‖f‖2 = 〈f, f〉 =∫ ∞

−∞|f(t)|2 dt

En consecuencia, L2(R) es un espacio de Hilbert con esteproducto interno.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Definicion: Dos funciones (senales en tiempo continuo)f1(t) y f2(t) se dice que son iguales en L2(R), si se verifica

‖f1 − f2‖2 =∫ ∞

−∞f1(t)f∗2 (t)dt = 0.

Esto significa que f1(t) = f2(t) para casi todo t (salvo enun conjunto de medida nula).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Ejemplo 5: Consideremos el espacio de k-uplas denumeros complejos Ck. Dados

u = (u1, u2, · · · , uk) ∈ Ck

v = (v1, v2, · · · , vk) ∈ Ck

El producto interno se define como

〈u, v〉 ,k∑

j=1

ujv∗j ,

Ck es un espacio de Hilbert con este producto interno.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Ejemplo 6: Consideremos el espacio L2(T) de funcionesde la variable compleja z, que son cuadrado (Lebesgue)integrables sobre la circunferencia unitariaT , {z : ‖z‖ = 1} en el plano complejo Z.Puede definirse un producto interno entre dos funcionesF (z), G(z) ∈ L2(T) como:

〈F,G〉 ,12π

∫ π

−πF (ejω)G∗(ejω)dω,

L2(T) es un espacio de Hilbert con este producto interno.Puede probarse que la transformada Z de una secuenciaen `2(Z) pertenece a L2(T).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Background MatematicoBases Ortonormales en Espacios de Hilbert

Definiciones:

i. Dos vectores x, y en un espacio de Hilbert H se dice que sonortogonales, y se denota x ⊥ y, si 〈x, y〉 = 0.

ii. Un vector x ∈ H se dice que es ortogonal a un subconjuntoS ⊂ H, y se escribe x ⊥ S, si x es ortogonal a cada y ∈ S.

iii. Dos subconjuntos S, Q ⊂ H son ortogonales, S ⊥ Q, si〈x, y〉 = 0 para todo x ∈ S e y ∈ Q.

iv. Para un dado S ⊂ H, el conjunto S⊥ definido como

S⊥ , {y ∈ H : y ⊥ x,∀x ∈ S}

se denomina complemento ortogonal de S.

v. Un elemento x ∈ H se dice normal si ‖x‖ = 1.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


vi. Un conjunto de elementos S = {xi} en H se dice que es unconjunto ortogonal si sus elementos son ortogonales entre si.Si ademas, se verifica que para todo xi ∈ S, ‖xi‖ = 1, elconjunto se dice ortonormal. Una propiedad importante de unconjunto ortogonal es que sus elementos son linealmenteindependientes.

vii. Un conjunto ortonormal S = {xi}∞i=0 en un espacio conproducto interno se dice que es completo si su span es todo elespacio. Para el caso de un espacio de Hilbert H, existe unresultado que establece que un conjunto ortonormal es completosi y solo si el unico elemento en H que es ortogonal a cada unode los elementos xi es el elemento nulo.

viii. Un conjunto ortonormal completo en un espacio de Hilbert sedenomina una base ortonormal.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Es posible probar que todo espacio de Hilbert tiene una baseortonormal. Esto es importante porque permite unarepresentacion unica de cualquier elemento del espacio comouna combinacion lineal de los elementos de la base.En otras palabras, dada una base ortonormal {Bk}∞k=0 en unespacio de Hilbert H, cada elemento x ∈ H puederepresentarse unıvocamente como

x =∞∑

k=0

〈x,Bk〉 Bk

donde la igualdad debe interpretarse como convergencia en lanorma inducida por el producto interno. Ademas resulta

‖x‖2 =∞∑

k=0

|〈x,Bk〉|2 .


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Background MatematicoFrames en Espacios de Hilbert

Definicion: Una familia de funciones {ϕj}j∈J en unespacio de Hilbert H se denomina un frame, si existenconstantes A > 0 y B < ∞ tales que para todo f ∈ H severifica

A ‖f‖2 ≤∑j∈J

|〈f, ϕj〉|2 ≤ B ‖f‖2

A y B se denominan cotas del frame

Si A = B el frame se denomina tight frame, y se verificaque para todo f ∈ H∑

j∈J

|〈f, ϕj〉|2 = A ‖f‖2

lo que permite probar (identidad de polarizacion) que


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


f = A−1∑j∈J

〈f, ϕj〉ϕj

que es similar a la expansion de f en bases ortonormales.Sin embargo:

N.B.: Los frames, aun tight frames, no son en generalbases ortonormales.

Ejemplo 7: Consideremos el espacio R2 y los vectores

e1 = (0, 1), e2 = (−√

32 ,−1

2), y e3 = (√

32 ,−1

2).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Se verifica que para todo v = (v1, v2) ∈ H es

3∑j=1

|〈v, ej〉|2 =∣∣v2

2

∣∣2 +

∣∣∣∣∣−√

32

v1 −12v2

∣∣∣∣∣2

+

∣∣∣∣∣√

32

v1 −12v2

∣∣∣∣∣2

=32

(|v1|2 + |v2|2

)=

32‖v‖2

Puede verse que {e1, e2, e3} es un tight frame, pero noson bases ortonormales ya que no son linealmenteindependientes. La cota del frame es A = 3/2 y constituyelo que se denomina factor de redundancia (tres vectoresen un espacio de dos dimensiones).


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa


Proposicion: Si {ϕj}j∈J es un tight frame en H, concota del frame A = 1, y ademas ‖ϕj‖ = 1 para todoj ∈ J , entonces {ϕj}j∈J es una base ortonormal.

Para un tight frame, la expresion

f = A−1∑j∈J

〈f, ϕj〉ϕj

permite recuperar la senal f a partir de los coeficientes desu expansion en frames 〈f, ϕj〉. Mas adelante veremoscomo construir frames de wavelets.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Bibliografıa

General

1 Daubechies, I.. Ten Lectures on Wavelets, SIAM,Philadelphia, 1992.

2 Daubechies, I.. The Wavelet Transform, Time-FrequencyLocalization and Signal Analysis, IEEE Transactions onInformation Theory, Vol. 36, No. 5, 1990.

3 Mallat, S.G.. A Wavelet Tour of Signal Processing,Academic Press; 2nd edition, 1999.

4 Sydney Burrus, C., Gopinath, R. and Guo, H..Introduction to Wavelets and Wavelet Transforms,Prentice Hall, N.J., 1997.


Parte I

Contenidos

Introduccion

Background

Espacios deBanach

Espacios deHilbert

BasesOrtonormales

Frames

Bibliografıa

Bibliografıa

Complementaria

5 Gonzalez, R.C. and Woods, R.E.. Digital ImageProcessing, 2nd edition, Prentice Hall, N.J., 2002.

6 Misiti, M., Misiti, Y., Oppenheim, G., and Poggi, J.-M..Wavelet Toolbox, For Use with Matlab, The MathWorks,Natick, 2002.

7 Donoho, D.. Denoising by Soft-Thresholding, IEEETransactions on Information Theory, Vol. 41, No. 3, 1995.

8 Gonzalez, R.C., Woods, R.E., and Eddings, S.L.. DigitalImage Processing using Matlab, Prentice Hall, N.J., 2004.


Procesamiento de Señales basado en Wavelets Notas de Clase...

Documents

Transcript of Procesamiento de Señales basado en Wavelets Notas de Clase...