“Técnicas recientes de procesado geométrico de imágenes y ... · Técnicas de poda 4....

“Técnicas recientes de procesado geométrico de imágenes y de secuencias de vídeo”

Philippe Salembier

JORNADA CIENTÍFICA RSMETELECOMUNICACIONES Y MATEMÁTICAS

Junio 2005

Estructura de la Presentación

1. Introducción1. Necesidad del filtrado basado en regiones2. Representación de señales y procesado geométrico 3. Estrategias clásicas de filtrado4. Operadores conexos

2. Operadores conexos basados en procesos de reconstrucción1. Reconstrucción anti-extensiva2. Reconstrucción auto-dual

3. Operadores conexos basados en técnicas de poda de árboles1. Representación mediante árboles2. Técnicas de poda

4. Conclusión

Introducción

Reconstrucción ConclusionesPoda de árboles

• Necesidad del filtrado basado en regiones• Representación de señales y procesado geométrico • Estrategias clásicas de filtrado• Operadores conexos

Introducción

Necesidad del filtrado basado en regiones

• Representaciones clásicas:– Imagen : conjunto de píxeles o

combinación lineal de componentes frecuenciales– Vídeo : conjunto de imágenes

• Aplicaciones multimedia:– Compresión: noción de objetos, codificación selectiva,

interactividad con el contenido– Indexación: descripción semántica del contenido,

creación de tablas de contenido e índice– Una parte importante de la percepción es “geométrica”

• Las regiones (espacial, temporal, espacio-temporal)juegan un papel central

Reconstrucción ConclusionesPoda de árbolesIntroducción

Modelo de imagen Procesado

Conjunto de píxeles Procesado individual de los píxelesHistograma, Contraste, Color

Espacio-frecuencial Filtros linealesTransformadas de Fourier, DCT, Wavelet

Geométrico: regiones Morfología matemáticaDifusión EDPOperadores conexos

Objetos: Segmentación, modelo contorno/textura

Representación de señales y procesado geométrico


Señal o Imagen = apilamiento de sus conjuntos de niveles


Introducción

( )f t

{ }/ ( )X t f tλ λ= ≥



Introducción Reconstrucción ConclusionesPoda de árboles

C Nt

x xt

β

β

∂=

∂⇓

∂= ∇

∂

{ }

[ ] [ ] ( [ ] [ ])

p Xb B

k

X B p b

x n b n x k b n k

∈∈

∞

=−∞

⊕ = +

⇓

⊕ = + −∨

∪

Morfología matemática:(1960)

• Retículo• Dilatación / erosión de

conjuntos binarios• Dilatación / erosión de

funciones a nivel de gris• Apertura, cierre, etc.

Difusión mediante EDP:(1980)

• Geometría diferencial• EDP para transformar

las líneas de niveles • Difusión anisotrópica,

filtros de choque. • Dilatación = Flujo normal

de velocidad constante

Estrategias clásicas de filtrado

Uso de señales externas (respuesta impulsional, ventana o elemento estructurante) o desplazamiento de los contornos:⇒ Distorsión⇒ Estructuras no presentes en la señal original


Original

Promedio

Apertura

Cierre Difusión anisotrópica

Mediana

Operadores conexos


• Noción de zona plana:– Zonas donde la señal es constante– Crea una partición del espacio

• Definición intuitiva de los operadores conexos:– Operador que actúa por fusión de las zonas planas – No puede introducir o desplazar los contornos

• Definición formal:– Un operador ψ es conexo si la partición de zonas planas de su

entrada f es siempre “más fina” que la partición de zonas planas de su salida:

– Una partición A es “más fina” que una partición B si∀ x,y ∈ RA ⇒ x,y ∈ RB

)(ff ψΡ⊆Ρ

Ejemplo 1: filtrar / preservar (binario)

Apertura por reconstrucción binaria (Klein 76)


Original

Erosión

Salida

Iterar,)()(

XYYXY

kCk

B∩1

0

−==δε

XY0 Yk

Ejemplo 2: filtrar / preservar (nivel de gris)Apertura por reconstrucción de erosión (Serra 88)


Iterar,)()(

fggfg

kCk

h∧=

=

−1

0

δε

Original

Erosión

Salida

Iterar,)()(

XYYXY

kCk

B∩1

0

−==δε

Operadores conexos basados en procesos de reconstrucción


• Reconstrucción anti-extensiva• Reconstrucción auto-dual

Introducción

Proceso de reconstrucción

• Definición:Anti-extensivo (ψ(f) ≤ f), Extensivo (f ≤ ψ(f))

• Filtrado con reconstrucción:


kk

kCk

kk

kCk

gfg

fgg

gfg

fgg

∞→↑

−

∞→↓

−

=

∨=

=

∧=

lim)(

)(

lim)(

)(

ρ

ε

ρ

δ 11

))(()(),)(()( ffffff αρψαρψ ↑↓ ==

f

g

f

go g1

f

g gk

Ejemplo 1: filtros de tamaño


))(()( fff hερψ ↓=

150

200

100

50

00 20 40 60 80

Original

Erosión

Reconstrucción

Niv

el d

e gr

is

Muestra

Reconstrucción de erosión

200

150

100

50

00 20 40 60 80

Niv

el d

e gr

is

Muestra

Salida

Marcador

Original

Reconstrucción del marcador

)()(caso otro ,

)())(( si ,

fmf

ffffm hh

↓

↓

=

==

ρψ

εερ0

Ejemplo 1: filtros de tamaño

Reconstrucción de erosión



Erosión

Marcador

Ejemplo 2: filtros de contraste


Reconstrucción de f-c

0

50

100

150

200

0 20 40 60 80

OriginalReconstrucción

Niv

el d

e gr

is

Muestra

Original - c

)()( fcff −= ↓ρψ

)()(caso otro ,

)( si ,

fmf

cffcffm

↓

↓

=

−=−=

ρψ

ρ0

Reconstrucción de f-c


Tamaño versus contraste


Filtrado de tamaño Filtrado de contraste

Reconstrucción auto-dual

• Definición (Meyer 98):

• Filtrado:


[ ][ ]

kk

kCkC

kCkCk

gfg

fggfggg

∞→

−−

−−

=

∧∨=∨∧=

lim)(

)()()()(

ρ

δεεδ

11

11

))(()( fff αρψ =

200

150

100

50

00 20 40 60 80

Original

MarcadorN

ivel

de

gris

Muestra

Reconstrucción

Filtros con reconstrucción auto-dual


Reconstrucción de Apertura CierreApertura Cierre

Reconstrucción del filtro de mediana

Filtro de mediana

¡Proporciona una versión conexa de cualquier filtro!

Operadores conexos basados en procesos de reconstrucción

• Trabaja directamente sobre una representación muestreada de la señal

• Implementación “simple” (Implementaciones eficientes a base de colas de tipo FIFO)

• Procesado en dos pasos:– Simplificación (casi con cualquier operador)– Reconstrucción

• Pueden proporcionar una versión conexa de cualquier filtro

• Pero imponen restricciones en el criterio de simplificación


Operadores conexos basados en técnicas de poda de árboles


• Representación mediante árboles• Técnicas de poda

Introducción

Estrategia de procesado

• Creación de una representación jerárquica de regiones (árbol)• Simplificar el árbol por poda• Restituir la imagen filtrada a partir del árbol podado

Creaciónárbol Poda

Restituciónimagen

Max-treeMin-treeÁrbol binario de partición

Imagen Imagen


Max-tree, Min-tree

• Representación orientada a los máximos o mínimos (Árbol(f) ≠ Árbol(-f))

• Nodos: zonas planas; Jerarquía: relación de inclusión• Existen algoritmos eficientes


Max-tree Min-tree

Árbol binario de partición

• Representación auto-dual (Árbol(f) = Árbol(-f))• Secuencia de fusión de pares de regiones• Flexibilidad en el proceso de fusión


1 2

5

6

3

7

4

1 2

5

6

3

1 2

5

Fusión nº1 Fusión nº2 Fusión nº3

Imagen original

1

3

3

2

5 67

4

4 4

Árbol binario de partición con criterios de color y de movimiento


E

Fusión con criterio de colorFusión con criterio de color

Fusión con criterio de movimientoFusión con criterio de movimiento

Comparación


Señal original

Árbol binario de partición

0

50

100

150

200

Min-Tree

Max-Tree

Nivelde gris

24

3540

42

43

45

4848

48

49

52 52

58

6262

63

66

70

70

75

79

86

87

8990

95

95

96 102

102

104

108

108

109

111

111

114

114

115

117

124

127

127

129

130

141

142142

156

142142

141

130

129

127

127 124

115

115

114114

111 111

109

108 108

104

102

96 95

95

90

8987 86

79

75

7070

6663

62

62

58

52

49

48

45

43

42

40

35

24

24

156

102

117

Filtrado: Poda

Criterio no crecienteCriterio creciente

)()( Si 2121 RCRCRR ≤⇒⊆

Creaciónárbol Poda

Restituciónimagen

Imagen Imagen


Criterio no creciente: modificaciones de las decisiones


N4 N5

N2 N3

N1

Estructura para el algoritmode Viterbi

N2 N3

N1

N4 N5

Eliminar Mantener

Eliminar

Mantener MantenerEliminar

Mantener MantenerEliminar

Mantener

Árbol original(Max-Tree, Min-Tree orÁrbol bin. de partición)

coste:0coste:1

coste:1 coste:0

coste:0coste:1

coste:1coste:0coste:1coste:0

• Modificar el número mínimo de decisiones para definir una poda• Problema de programación dinámica (algoritmo de Viterbi)

N4 N5

N2 N3

N1

Estructura para el algoritmode Viterbi

Ejemplo de optimización

N2 N3

N1

N4 N5

Remove Preserve

Remove

Preserve PreserveRemove

Preserve PreserveRemove

Remove

Árbol original(Max-Tree, Min-Tree oÁrbol bin. de partición)

cost:0cost:1

cost:1 cost:0

cost:0cost:1

cost:1cost:0cost:1cost:0

C=1


Ejemplos


Original

Apertura de área(Max-tree)

Cierre de área(Min-tree)

Criterio creciente: Área

Ejemplos


Original Simplificación de movimiento

Dual Diferencia

Criterio no-creciente: DFD

Optimización con restricción

• Minimización de un criterio C(.) con restricción K(.)(C y K: aditivos)

( ) ( )

( ) ( ) ( ) KN

iN N

ii

KN

iN

i

TNKNKNCMin

TNKNCMin

ii i

ii

≤

+⇔

≤

∑∑ ∑

∑∑

que tal con ,

con ,

** λλ

N0

N1 N3N2

( ) ( ) ( ) ( )

{ } 321

00

,,

**

i

=⇒

+<+ ∑ ∑

ii

N Nii

NPodar

NKNCNKNCSi i

λλ


Ejemplo:

• Criterio: Número de zonas planasC(Ni) = 1

• Restricción: PSNR > 31 dB

• Criterio: Perímetro de las zonas planas: C(Ni) = Perímetro de Ni

• Restricción: PSNR > 31 dB

( )∑ ∑∈

−ψ=i iN Nx

2)x(f)x)(f(SE

Zonas planas: 219

Perímetro: 3684

Zonas planas: 87

Perímetro: 4491

Original: zonas planas: > 10 000Perímetro: > 30 000


Otras aplicacionesOptimización con restricción (aplicación a la codificación)


Propagación y Segmentación

Detección de objetos (caras)

F. Marqués, V. Vilaplana

Operadores conexos basados en técnicas de poda de árboles

• Trabaja sobre una representación estructurada de la señal

• Procesado en tres pasos:– Creación del árbol– Simplificación mediante poda– Restitución de la imagen

• Flexibilidad:– Criterios de creación del árbol (color, movimiento, etc.)– Criterios de poda:

• Filtrado: área, contraste, características geométricas, textura, movimiento, etc.

• Propagación y segmentación automática o interactiva• Optimización con restricción (ejemplo de aplicación: codificación)• Detección de objetos


Conclusión• Filtrado basado en regiones ⇒ Operador conexo

• Representación “píxel” ⇒ Reconstrucción– Cualquier filtro ⇒ Versión “conexa”

• Representación “región” ⇒ Árbol: Max-tree, ABP,...– Filtrado ⇒ Poda– Flexibilidad ⇒ Creación y poda– Criterio creciente ⇒ Poda directa – Criterio no creciente ⇒ Programación dinámica

(Viterbi)– Optimización con restricción ⇒ Optimización con técnicas

de Lagrange• Otras aplicaciones

– Segmentación– Detección de objetos (cara)


Extensiones• Aspectos teóricos

– Estudio de la propiedades teóricas de los filtros: Creciente, extensivo, idempotente, reglas de composición, etc. (importante para crear nuevos filtros)

• Combinar con técnicas alternativas– Operadores conexos fusionan zonas planas sin desformarlas– Morfología matemática y técnicas de procesado mediante

Ecuaciones en Derivadas Parciales: deformación de las zonas planas

– Combinación de las dos técnicas alternativas

• Aplicaciones– Extender los criterios de los filtros– Estudiar el interés de la versión conexa de los filtros clásicos– Análisis multiescala


Extensiones

Lapl

acia

npy

ram

id

S

S

SG

auss

ian

pyra

mid

Extensiones

Tamaño(max)

Contraste(max)

Frecuencia

MUCHAS GRACIASMUCHAS GRACIAS

“Técnicas recientes de procesado geométrico de imágenes y ... · Técnicas de poda 4....

Documents

Transcript of “Técnicas recientes de procesado geométrico de imágenes y ... · Técnicas de poda 4....