Classe 6 Visió

20391: Visió per ComputadorApunts de l’assignaturaMoviment

Jordi Vitrià 20391: Visió per Computador 1

Classe 6

Moviment


El món és dinàmic .

I per tant les imatges tenen una component dinàmica.

En l’anàlisi de la informació

Moviment


En l’anàlisi de la informació dinàmica hi podem trobar tres nivells:

• Perifèric : detecció d’activitat• Atentiu : anàlisi de les parts dinàmiques de l’escena.• Cognitiu: Comprensió de l’escena.


Cognitiu : Reconeix accions complexes.

Atentiu : obté informació útil per reconéixer objectes o actuar.

Perifèric : robust, ràpid...

Moviment



Y

y

Centre de la

càmaraEl moviment

Camp de moviment ↔ Flux òptic

El moviment aparent dels pixels a la imatge genera

un FLUX ÒPTIX a la imatge.


X

Z

x

y

Pla imatge

El moviment d’un punt 3D

genera un CAMP DE

MOVIMENT al món.

Sempre es compleix que Camp de moviment ↔ Flux òptic ?


Camp de moviment ↔ Flux òptic

Sempre es compleix que Camp de moviment ↔↔↔↔ Flux òptic ?


3D3D ImatgeImatge

3D3D Imatge1Imatge1 Imatge2Imatge2


Càlcul del Flux òptic

Concepte necessari: Línies isòfotes




Assumpció I (Conservació del valor): Un punt Pque es mou al món, quedarà projectat a la imatge en un temps t amb un valor I(x,y,t).Si prenen una altra imatge en un temps t+∂ t , amb ∂ t prou petit, llavors el seu valor no haurà canviat:


∂ t prou petit, llavors el seu valor no haurà canviat:

Les components del flux òptic són (u,v) :

),,(),,( ttyyxxItyxI δδδ +++=

tvy

tux

δδδδ

==



La Assumpció I (Conservació del valor) es pot interpretar com la recerca del punt en la mateixa línia isòfota de la imatge a l’instant t+∂ t .






Si I varia suaument respecte (x,y,t) podem expandir en sèrie de Taylor el factor dret de l’equació:



en sèrie de Taylor el factor dret de l’equació:

et

It

y

Iy

x

IxtyxIttyyxxI +

∂∂+

∂∂+

∂∂+=+++ δδδδδδ ),,(),,(



et

It

y

Iy

x

IxtyxIttyyxxI +

∂∂+

∂∂+

∂∂+=+++ δδδδδδ ),,(),,(

Si dividim per δt i fem tendir t a zero, ens queda:

0=∂+∂+∂ IIyIx δδ


0=∂

+∂

+∂ tytxt δδ

O el que és el mateix:

tyx IvIuI −=+



El Problema de l’obertura .

Amb això tenim NOMÉS una equació amb dues incògnites! (i només podem calcular el flux normal)


Cal imposar una altra solució per a determinar (u,v)!!

Assumpció II (Suavitat): es i ee han de ser petits!

yxvvuue yxyxs ∂∂+++= ∫∫ )()( 2222

yxIvIuIe tyxe ∂∂++= ∫∫ )(



Amb això ja tenim dues equacions amb duesincògnites!

Aquest sistema es resol amb càlcul de variacions , i dóna:


On són promitjos locals.

)(

)(222

1

yx

t

n

y

n

x

x

nn

II

IvIuIIuu

++++

+=+

λ )(

)(222

1

yx

t

n

y

n

x

y

nn

II

IvIuIIvv

++++

+=+

λ

( )nn vu ,


http://psylux.psych.tu-dresden.de/i1/kaw/diverses%20Material/www.illusionworks.com/html/barber_pole.html

Càlcul del Flux òptic:

Barber Pole : Demostració a Internet.



Moviment a partir del seguiment de característiques



Moviment a partir del seguiment de característiques

• Més lent degut al pre-procés.• Alta precisió.• Intervals temporals més grans.


• Intervals temporals més grans.• Com més complexa la característica, millor.• Suporta una família limitada de deformacions.


Detecció d’activitat.Aproximació I: imatge de diferències binàries.

Aproximació II: descriptors estadístics.Fem un test estadístic sobre el valor λ:

<−

=sinó0

|),,(),,(| si1),(

τryxItyxIyxDB jk


Fem un test estadístic sobre el valor λ: Si λ és petit, Ho : les finestres corresponen a la mateixa regió ; Si λλλλ és gran, H1 : les finestres no corresponen a la mateixa regió ;

),( 00 σµ

),(),,( 2211 σµσµ

21

22

2121

22

σσ

µµσσ

λ

+++

=


Tracking

Restriccions (de coherència del pas):

• Els objectes no poden canviar bruscament de trajectòria.• La projecció d’una corba suau en 3D és una corba suau.

Altres restriccions:


Altres restriccions:

• Entre una imatge i la següent la localització d’un punt serà propera.• La seva velocitat escalar serà semblant.• La direcció del moviment també.


Tracking



Tasques visuals relacionades amb el moviment.

• Detecció; Alerta.• Segmentació.• Determinació translacions i rotacions (anàlisi).• Navegació (docking; detecció obstacles; conducció)


• Navegació (docking; detecció obstacles; conducció)• Profunditat a partir de moviment.• Forma• Reconeixement.


Processament visual del moviment: Mètodes

Seqüència d’imatges


Extracció de característiques

Gradient Correlació Diferències

Flux òpticImatge de diferències


Processament visual del moviment: Usos

Processamentpreatentiu

Detecció demoviment


SegmentacióEstimació

del movimentForma/Distància

Reconeixementhttp://www.biols.susx.ac.uk/home/George_Mather/Motion/KDE.HTMLhttp://astro.temple.edu/~tshipley/movies/upRunMov.movhttp://astro.temple.edu/~tshipley/movies/upWalk.movhttp://www.michaelbach.de/ot/mot_spoke-illusion/index.htmlhttp://www.michaelbach.de/ot/mot_adapt/index.htmlhttp://www.brl.ntt.co.jp/IllusionForum/basics/visual/english/aftereff.html


Processament visual del moviment: Usos


Classe 6 Visió

Business

Transcript of Classe 6 Visió