Classe 7 Visió

43
20391: Visió per Computador Apunts de l’assignatura Jordi Vitrià 20391: Visió per Computador 1 Classe 7 (Des)Enfocament.

Transcript of Classe 7 Visió

Page 1: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Jordi Vitrià 20391: Visió per Computador 1

Classe 7

(Des)Enfocament.

Page 2: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

L’enfocament (o desenfocament) és un fenomen òptic relativament intuïtiu i clar. Tothom l’ha experimentat!

Però perquè existeix aquest fenomen?

L’enfocament (o desenfocament) és un efecte

Jordi Vitrià 20391: Visió per Computador 2

L’enfocament (o desenfocament) és un efecte col·lateral de l’existència de les lents en els sistemes de formació de la imatge per a fer-lo més eficient respecte a la quantitat d’energia rebuda de cada punt del món.

Page 3: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

El control de l’enfocament (o desenfocament) és bàsic en qualsevol sistema de captació d’imatges, i té l’objectiu fonamental d’adquirir en cada moment la millor imatge possible del món (“millor” en el sentit de “millor definició

Jordi Vitrià 20391: Visió per Computador 3

del món (“millor” en el sentit de “millor definició espacial”).

Aquest control es coneix amb el nom d’ACOMODACIÓ.

Page 4: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

L’acomodació en el sistema visual humà està controlada pels muscles ciliats, que deformen el cristal·lí per a modificar les seves propietats òptiques (la f ).

Jordi Vitrià 20391: Visió per Computador 4

Page 5: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

L’acomodació en el sistema visual humà és útil a distàncies curtes.

Jordi Vitrià 20391: Visió per Computador 5

Page 6: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

És realment important, o té algun paper important, l’acomodació en el processament visual?

L’experiment de Müller (1826) (vergència acomodativa) demostra que sí.

Jordi Vitrià 20391: Visió per Computador 6

Podem calcular distàncies!

Page 7: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

En el món animal hi ha animals pels quals els processos d’acomodació tenen un valor de supervivència.

Jordi Vitrià 20391: Visió per Computador 7

Page 8: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

Jordi Vitrià 20391: Visió per Computador 8

Page 9: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Quina és la relació entre la lent i l’enfocament?

Què és l’enfocament?

Jordi Vitrià 20391: Visió per Computador 9

f

Page 10: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Quina és la relació entre la lent i l’enfocament?

Què és l’enfocament?

Punt de llum

Eix òptic

u

v’

L

v

Pla d’enfocamentfvu

1

'

11 =+Fórmula de Gauss

Jordi Vitrià 20391: Visió per Computador 10

Eix òptic

ff

Pla imatge

'2

)'(2

v

vvLD

−=

Si v és fixa, llavors D � v’, i v’� u, pel que D� u.

Pla imatge

D és un bon descriptor de profunditat.

Page 11: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Formació de la imatge (aproximació de primer ordre):

Un punt que hauria de tenir valor I(x,y) si estes enfocat, quan està desenfocat produeix un cercle de diàmetre Di valor

Què és l’enfocament?

( ) ),(2/2

12

yxIDπ

Jordi Vitrià 20391: Visió per Computador 11

També podem considerar un model més realista, que tingui en compte els efectes del a difracció, aberracions òptiques, presència de diferents λ’s, etc.Llavors un punt produeix una PSF (Point Spread Function) h(x,y) que es pot aproximar amb una Gaussiana.

( )2/2 Dπ

Page 12: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Formació de la imatge (aproximació de segon ordre): Aberracions cromàtiques longitudinals i tangencials.

Què és l’enfocament?

Jordi Vitrià 20391: Visió per Computador 12

Page 13: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Formació de la imatge (aproximació de segon ordre): Com podem “escriure” una imatge que conté objectes a diferents profunditats?

Què és l’enfocament?

Jordi Vitrià 20391: Visió per Computador 13

Page 14: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Formació de la imatge (aproximació de segon ordre): Model d’imatge:

Què és l’enfocament?

∑ ⊗=u

vuuv yxhyxSyxI ),(),(),( ),(

Jordi Vitrià 20391: Visió per Computador 14

On Su(x,y) representa la irradiància dels punts de la superficie visible que es troben a distància u de la lent i h(u,v)(x,y) la funció de dispersió puntual d’un punt situat a una distància u de la lent amb un pla imatge col·locat a v.

u

Page 15: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Què és l’enfocament?

Jordi Vitrià 20391: Visió per Computador 15

Page 16: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Objectiu : Trobar la millor posició d’enfocament d’un objecte (o punt de la imatge). Això obliga a definir un criteri d’enfocament, que ha de complir:

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 16

1. El criteri ha de ser una funció amb el màxim a la posició d’enfocament òptima.

2. El criteri hauria de ser una funció unimodal.3. Ha de ser robust.

Page 17: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Valor del criteri

Molt Alt

Alt

Baix

Jordi Vitrià 20391: Visió per Computador 17

Molt Baix

Page 18: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Criteris basats en la Transformada de Fourier, analitzant els continguts en altes freqüències de imatge.

Criteri de la variança,

Jordi Vitrià 20391: Visió per Computador 18

∑∑ ==−= N

y

N

xyxI

N 1

2

12

2 |),(|1 µσ

Page 19: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Criteri de Tenengrad,Calculem sobre cada finestra de la imatge

∑ + 22

yx II

Jordi Vitrià 20391: Visió per Computador 19

I el criteri és

22 )),(()),((),( yxIIyxIIyxS yx ×+×=

∑∑yx

yxS 2),(max

Page 20: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Criteri de Tenengrad.El mòdul del Gradient es comporta bé.

Jordi Vitrià 20391: Visió per Computador 20

Page 21: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Criteri de Tenengrad.Resultat.

Jordi Vitrià 20391: Visió per Computador 21

Page 22: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Tenengrad (a partir de 30 imatges)

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 22

Page 23: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Tenegrad Focus Measure, Neighborhood k = 10

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 23

Tenegrad Focus Measure, Neighborhood k = 30

Page 24: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Tenegrad Focus Measure, Neighborhood k = 50

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 24

Page 25: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Aproximació intuïtiva:

Quan comparem dues imatges de la mateixa escena amb diferents enfocaments, quin és el “criteri visual” més intuïtiu? El CONTRAST entre els nivells de gris.

Jordi Vitrià 20391: Visió per Computador 25

Page 26: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Aproximació intuïtiva:

Però, Què és el contrast (des d’un punt de vista formal)?És el contrast suficient per a acomodar?

Definim l’histograma de contrast dinàmic (DCH) per

Jordi Vitrià 20391: Visió per Computador 26

Definim l’histograma de contrast dinàmic (DCH) per a cada parella d’imatges consecutives en una seqüència d’enfocament-desenfocament:

{ }'),( i ),( amb ),(# 11 gyxIgyxIWyxDCH ii

I

Ii

i==∈= +

+

Page 27: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

DCH:

Jordi Vitrià 20391: Visió per Computador 27

Page 28: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Definim el Criteri d’Enfocament Dinàmic (DFC) d’una regió de la imatge com la pendent de la línia de regressió ortogonal estimada sobre el seu DCH.

Si DFC>1, llavors la primera imatge està menys enfocada que la primera, i viceversa.

Jordi Vitrià 20391: Visió per Computador 28

Page 29: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 29

Page 30: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 30

Page 31: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir de l’enfocament .

Jordi Vitrià 20391: Visió per Computador 31

Page 32: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Objectiu : Fer una estimació en paral·lel per a tots els punts de la imatge a partir d’un parell d’imatges.

Observació: L’operador de convolució que representa

Jordi Vitrià 20391: Visió per Computador 32

Observació: L’operador de convolució que representa el desenfocament, h(x,y), canvia quan variem:

1. La posició del pla imatge.2. La posició de l’objecte.3. L’obertura.

Page 33: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Obertura

Jordi Vitrià 20391: Visió per Computador 33

Page 34: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

OberturaMàxima

Jordi Vitrià 20391: Visió per Computador 34

OberturaMínima

Page 35: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Lent

Pla d’enfocament

Pla imatge

Jordi Vitrià 20391: Visió per Computador 35

Objecte

Objecte

LentPla

d’enfocament

Pla imatge

Obertura

Page 36: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Donada una regió de l’escena s(x,y) i l’operador de desenfocament h(x,y), llavors obtenim una versió de la imatge amb l’obertura màximament tancada, i1(x,y), i una amb una obertura gran:

),(),(),( yxsyxhyxi ⊗=

Jordi Vitrià 20391: Visió per Computador 36

Llavors es compleix que:

Si determinem la PSF ja hem acabat!

),(),(),(2 yxsyxhyxi u ⊗=

),(),(),( 21 yxiyxhyxi u =⊗

Page 37: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Donat un sistema òptic, podem determinar experimentalment la taula corresponent a les hu(x,y).

Donada una parella d’imatges, podem determinar per a cada regió de la imatge la PSF que li correspon

Jordi Vitrià 20391: Visió per Computador 37

cada regió de la imatge la PSF que li correspon minimitzant la següent expressió:

[ ]∑∑ −⊗y

v

x

yxiyxhyxi2

21 ),(),(),(

Page 38: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 38

Page 39: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 39

Page 40: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 40

Page 41: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 41

Page 42: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 42

Page 43: Classe 7  Visió

20391: Visió per ComputadorApunts de l’assignatura

Càlcul de la profunditat a partir del desenfocament .

Jordi Vitrià 20391: Visió per Computador 43