Classe 10 Visió

20391: Visió per ComputadorApunts de l’assignatura

Jordi Vitrià 20391: Visió per Computador 1

Classe 10

Reconeixement d’Objectes (II)

20391: Visió per ComputadorApunts de l’assignaturaReconeixement basat en l’aparença

L’aparença...

I si enlloc de guardar característiques o models 3D guardéssim directament una col·lecció de vistes de l’objecte?


Com podem emmagatzemar aquesta informació de forma compacta i eficient?

Com podem codificar en aquesta representació informació visual interessant?


Eina: Reducció de dimensionalitat de les dades originals.

;),,,,(),,,(: 2121 nmyyyxxxT mn <<→ KK


... Conservant la informació necessària per a classificar, reconèixer, etc!

I eliminant – o minimitzant – aquella informació que no es rellevant (il·luminació, petites variacions..)

2121 mn


Eina: Anàlisi de Components Principals (PCA).




ΣΦΦ=Λ t1

2

3

4


-9 -8 -7 -6 -5 -4 -3 -2 -1-4

-3

-2

-1

0



Passos:1) Obtenir la matriu de covariança de les dades.


T

XX=Σ



Passos:2) Trobar els eigenvectors v i eigenvalors λ de la matriu Σ.3) Ordenar els eigenvectors segons els seus eigenvalors i quedar-se amb els m primers.4) Crear la matriu V

[ ]mvvvV ||| 21 L=


[ ]mvvvV ||| 21 L=



Passos:5) Quan tenim una nova dada (o les dades originals), la podem projectar al nou espai:

iTi

xVx =



Exemple: Eigenfaces per reconèixer.

La tasca consisteix en reconèixer la identitat d’una persona (d’entre un conjunt donat de persones).


?

?


Exemple: Eigenfaces.

Necessitem la mitja i els valors propis (eigenfaces) de la matriu de covariança de les cares:

Cara mitja


Eigenfaces



Interpretació: Expressem una cara com a combinació lineal de cares.


== y1 + y2 + y3



Classificarem a l’espai de dimensió reduïda.


Eigenspace projection

Classificació segonsel veí més proper



Si tenim m dades d’aprenentatge de dimensió n, amb m<n, i no podem calcular els vectors propis (la matriu de covariança és de dimensió n x n)!



Exemple: Eigenfaces per detectar.

L’espai definit per les eigenfaces es pot veure com un subespai de l’espai de les imatges. Sempre podem calcular la distància entre qualsevol imatge i aquest subespai! I utilitzar-ho com a criteri per decidir si és una cara o no.



Exemple: Eigenfaces per detectar.



Exemple: Detecció i reconeixement amb Eigenobjectes.



Representacions paramètriques de l’aparença.

Aprenentatge visual de models d’objectes: adquirir un model compacte de l’aparença dels objectes sota diferents poses I il·luminacions.


Visual workspace: Each appearance model is parametrized by the variables of the vision task at hand:(a) Object recognition → object pose and illumination parameters.(b) Tracking → the coordinates of the hand-eye system with respect to a moving object.



We define the variables of a vision task as the visual degrees of freedom (DOF):

q=(q1, ..., qm)T


1 m

where m is the total number of DOF at work. For any vector q, the vision sensor produces an image vector i.



Images are normalized such that the total energy contained within is unity, and projected in their corresponding eigenspace.The result is a point f j in the eigenspace.The discrete points obtained by projecting all the discrete samples of the workspace can be assumed to lie on a manifold that represents a continuous appearance function.


The discrete points can be interpolated using a standard quadratic B-spline interpolation algorithm. The resulting manifold can be expressed as

f(q) = f(q1 ,..., qm )

It resides in a low dimensional space and therefore is a compact representation of appearance as a function of the task DOF q.



The parametric space representation enables us to accomplish object detection in a very efficient manner: looking for the closest point in the appearance manifold and measuring the distance.


B-spline

d Projected

point

Visual Task parameters



It can be used for 3D object recognition and pose estimation.

It can also be used for visual servoing: A sizable image window is selected that represents the


image window is selected that represents the appearance of the object when the robot is in the desired position. A large set of object images isthen obtained by incrementally perturbing the robot end-effector with respect to the desired position. The appearance manifold in this case represents the mapping between camera image and robot displacement.


Interpretació: Expressem una imatge com a combinació lineal de eigenvectors.



Eigenspaces for Navigation

Visual navigation requires fast and robust perception. Traditional reconstruction approaches have not provided and adequate solution for navigation.

Appearance-based vision techniques provides an alternative approach by defining simple processes which transform images

Reconeixement basat en l’aparença


approach by defining simple processes which transform images into commands for displacement and steering and corrections to estimated position and orientation.



ć�ǩ� Task :

Navigate from home position to an office in the first floor of our building.

The environment is



Pćō�PPṭǩ�ĀṭPṭō�ṣ

structured and stable, but not static.



Goal



Start





Room 1

Room 2Room 3


Exemple : Reconeixement de cares en temps real.


Classe 10 Visió

Travel

Transcript of Classe 10 Visió