Classe 5 Visió

20391: Visió per ComputadorApunts de l’assignatura

Jordi Vitrià 20391: Visió per Computador 1

Classe 5

Visió Binocular


Si adquirim dues imatges simultànies del món des de dos punts de vista (lleugerament) diferent, llavors les imatges són (lleugerament) diferents!


Quina avantatge pot tenir el fet d’adquirir simultàniament dues imatges lleugerament diferents?


El sistema visual humà té un camp visual horitzontal de 200º i vertical de 135º.


Figure shows a plot of the field of view using the head as the coordinate system. The two shaded regions represent the view from the left eye and the right eye respectively. The darker shaded region represents the region of binocular overlap. The oval in the center represents the region where the ocular muscles can point the high resolution fovea region of the eyes. The region where high resolution vision can occur simply by pointing the eyes relative to the head covers a wide field of view. In terms of resolution expressed as pixels, assuming the nominal resolution of the fovea region as 1 arc minute, the region of high resolution vision is equivalent to 24 million pixels.


El sistema visual humà segons R.Descartes, Tractatus de Homine, 1664.

Com pot ser que només percebem una imatge?



El sistema visual humà.Com pot ser que només percebem una imatge?



Visió BinocularLa determinació de la posició 3D d’un punt de l’escena a partir de la seva projecció en dues imatges presenta dues problemàtiques:

• El problema de la reconstrucció , o a partir de les projeccions determinar la seva situació a


les projeccions determinar la seva situació a l’escena.

• Paràmetres de les càmares.• Calibració.

• El problema de la correspondència , o determinar automàticament les parelles de projeccions de cada punt visible.

• Semblança i no identitat.• Oclusions.


Visió Binocular: Variables (model simple – vergència simètrica).

P(x,y,z) ó (xl,yl,zl) ó (xr,yr,zr)

α α


OlOr

XlXr

f f

Zl

Yl

Zr

Yr

d

Z

(X,Y,Z)

Pl(x’l,y’l)

Pl(x’r,y’r)


Visió Binocular: Variables (model simple –vergència simètrica).

−+

−=

z

y

fd

x

z

y

x )sin(2

)cos(0)sin(

010

)sin(0)cos(

1

1

1α

αα

αα

+−

−=

z

y

fd

x

z

y

x )sin(2

)cos(0)sin(

010

)sin(0)cos(

2

2

2α

αα

αα


)(

)(

'

'

i

ii

i

ii

zf

fyy

zf

fxx

−=

−=


Visió Binocular: Variables (model simple –vergència simètrica).

Hi ha 10 equacions i 9 incògnites, lo qual restringeix el conjunt de solucions: la línia epipolar.

PP

pp

L R


Pla Epipolar: definit per Or , Ol i P

OOrr

pprrppll

OOll

Línies epipolars: Projecció a r de la línia

que passa per P i pl

eell

Epipols

eerr


Visió Binocular: Variables (model simple –eixos òptics paral·lels).

PP


OOll OOrr

dd

ZZ

x’x’ll x’x’rr

ff


Visió Binocular: Variables (model simple –eixos òptics paral·lels).

Com que α és zero, llavors la profunditat (f-z) és

)( '' xx

fdzf

−=− d

fZ ≈


La profunditat és inversament proporcional a la

diferència en coordenades x, que s’anomena disparitat .

)( ''

lr xxzf

−=−

dxfZ ≈


Vista Esquerra Vista Dreta


Vista Esquerra Vista Dreta

Disparitat


La distància entre l’observador i un objecte està directament (inversament proporcional) relacionada amb la disparitat!



Precisió en el càlcul de Z

Z2

Dos punts de vista

∂Z1

Z1

Ol Or

• Precisió (Resolució) vs. Separació entre càmares (d)– Error en z ∝ 1/d– PROS de separar-les més,

• Millor estimació de la profunditat

– CONTRES


∂Z2>∂Z1

– CONTRES• menor FOV (Field of View) comú• Correspondència més difícil degut a

oclusions

• Precisió (Resolució) vs. Profunditat– Disparitat (>0) ∝ 1/Profunditat– Error Profunditat ∝ Profunditat2

– Com més a prop del punt, més precisió. )(Z

2

dxfd

Z ∂=∂

dx

dfZ =


FOVEstèreo amb Eixos Paral·lels. – Línia de Base curta

• Camp visual (FOV) comú gran.• Errors de profunditat grans.

Geometria i error


Esquerra Dreta

• Errors de profunditat grans.

– Línia de Base llarga• Camp visual (FOV) comú petit.• Errors de profunditat petits.• Oclusions!


Estèreo amb Eixos Paral·lels. – Línia de Base curta

• Camp visual (FOV) comú gran.• Errors de profunditat grans.

FOV

Geometria i error


• Errors de profunditat grans.

– Línia de Base llarga• Camp visual (FOV) comú petit.• Errors de profunditat petits.• Oclusions!

Esquerrra Dreta


Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .

– Angle de convergència θ– El FOV comú creix.

• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.

• I a l’horòpter!

FOV

θθθθ

Punt de Fixació

Geometria i error



– La disparitat augmenta en relació a la distància al punt de fixació.

• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter

• Precisió vs. Profunditat– Error ∝ Profunditat2

– Com més a prop el punt, millor

Esquerra Dreta




• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt de fixació.


Punt de

Fixació

Horòpter

Geometria i error







Esquerra Dreta

ααααl ααααr

ααααr = ααααl

dα α α α = 0






Punt de Fixació

Horòpter

Geometria i error







Esquerra Dreta

ααααl ααααr

ααααr > ααααl

dα α α α > 0






Punt de Fixació

Horòpter

Geometria i error







Esquerra Dreta

ααααL

ααααr

ααααr < ααααl

dα α α α < 0






Punt de Fixació

Geometria i error







Esquerra Dreta

ααααl ααααr

∆(∆(∆(∆(dα) ?α) ?α) ?α) ?






Punt de Fixació

Horòpter

Geometria i error







Esq Dreta

ααααl ααααr

∆(∆(∆(∆(dα) ?α) ?α) ?α) ?


El problema de la recerca de la correspondència .





A vegades funciona... I a vegades no...


Ocult per la imatge R Ocult per la imatge L



L R




==??

ff gg


El problema de la recerca de la correspondència (dins de la línia epipolar!).

• Mètodes basats en l’àrea (finestres lliscants).• Criteris de semblança.• Algorisme robust.


• Mètodes basats en la correspondència de punts característics (contorns, cantonades, etc).

• És més ràpid.• És més robust.• No és dens.


El problema de la recerca de la correspondència: Mètodes basats en la correspondència de punts característics

Imatge Esquerra

Cantonada Línea


Estructura


El problema de la recerca de la correspondència: Mètodes basats en la correspondència de punts característicsImatge dreta

Cantonada Línia


Estructura


El problema de la recerca de la correspondència (dins de la línia epipolar).

Equacions

Disparitat

∑ ∑ ++++++=−= −=

W

Wk

W

Wlllrlll ldyykdxxIlykxIdydxc )),(),,((),( ψ

)},({maxarg),( dydxcydxd ==d


Disparitat

Cross-Correlation

Sum of Square Difference (SSD)

Sum of Absolute Difference(SAD)(té avantatges computacionals)

)},({maxarg),( dydxcydxdR∈

==d

d

uvvu =Ψ ),(

2)(),( vuvu −−=Ψ

||),( vuvu −−=Ψ



La mida de la finestra és important!Els mètodes no respondran igual!




Algorisme per comparar finestres.Sigui una finestra quadrada de nxn pixels. Sigui min=9 i

max = 19.


max = 19.

1. n ← np

2. Calculem c(dx,dy) pels punts candidats.

3. Si c(dx,dy) té un únic mínim tal que c(dx,dy)<T1,

llavorts ja hem trobat el punt corresponent.

4. Si min{c(dx,dy) }>T2, llavors no hi ha

correspondència.

5. En els altres casos, si hem arribat a max, no hi ha punt

corresponent. Si n<max, llavors n ← n+2 i anem a (2).


Algorisme de Malik&Jones per visió binocular.

El Problema de la correspondència:

(a) Quines son les característiques a comparar?(b) Com les comparem?(c) Han de ser especials o compatibles amb d'altres


(c) Han de ser especials o compatibles amb d'altresprocessos visuals (textura, moviment)?

Pixels → contorns → àrees → respostes de bancs de filtres.



El conjunt de respostes d'un banc de ltres en un punt caracteritza una regió de la imatge amb un conjunt de valors al punt. (Aproximacio de Taylor: ...)




Els filtres son wxw amb w = {3; 5; 7; 10; 14; 20; 28}Es pot demostrar que amb aquest conjunt de filtres

podem reconstrïr una imatge força bé.




Com comparem les respostes?




Norma més robusta:

∑ ∂+∂+⊗−⊗=k

rklkm yyxxIAyxIAe ),(),(


Classe 5 Visió

Travel

Transcript of Classe 5 Visió