Juan Pablo VásquezRalf Wilke

18 de Diciembre 2008

ÍNDICEVision conjuntaAdquisición de la imagenPreprocesamiento de la imagenExtracción de pontos de interes con SIFT

(Lowe 2003)Explicación del algoritmo

Matching con imagenes de referenciaCalculación del valor todal de la cuentaConclusionesAcceso al paper

Vision conjunta

Preprocessing SIFT

Fotos de Referencia SIFT

Base de datos de

Productos

Matching Calculación

Base de Precios

Foto del Carro

Cantidad

Total de la cuenta

Foto del CarroPara sacar la foto de los productos, usamos

una web-cam de calidad basicaEn comparación a una camara fotografica, la

imagen es en los bordes desenfocadaEn un uso practico, una camera más caro con

una calidad más alta tendrá que ser usado

PreprocesamientoLas fotos tomando de la web-cam salen

depentiente de la iluminación claro / oscuro y con poco contraste.

Para estar más indepentiente de la iluminación, hacemos un preprocesamiento de la imagen tomada.

Histogram Spreading

Contrast Correction

Gamma Correcion

abaxy ))((

DxCy

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

0 50 100 150 200 250

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

0 50 100 150 200 250

PreprocesamientoResultados

Antes Después

SIFT - OverviewDeteccion de los extremos localesEntre ellos, localizacion de los puntos de

interes, que describen bien las caractersticas de la imagen.

Asignacion de orientacion de los gradientes en la vecindad de estos puntos.

Descripción de las caractersticas de una imagen en un vector.

SIFT – Extremos Locales

( , , ) ( , , ) ( , )L x y G x y I x y

2

22

2exp

2

1),,(

yxyxGUsar una gausiana G

Filtar la imagen I con G

Usar differentes

SIFT – Extremos LocalesCalcular la diferecia del resuldato de la

convolución de vestinosEsto sirve como un filtro pasa banda con

varias frequencias para detectar extremos locales de varias extensión

SIFT – Extremos LocalesTratar con extremos solamente, si todos

pixeles vestinos tienen un valor más o menos del pixel examinada

Con este, muchos candidatos falsos están eleminado.

SIFT – Puntos de InteresBuscar punctos con alto contraste para ser

indepentiente de riudoEstimar la DOG con una seria de Taylor

Derivar e igualar a cero

Aplicar un umbral de >3 % del valor maximo posible

xx

Dxx

x

DDxD T

T

2

2

2

1)(

xx

DDxD

x

D

x

Dx

T

ˆ2

1)ˆ(ˆ

2

12

SIFT – Puntos de InteresEliminar punctos en lineas rectasUsar la matriz Hessiana

Linea recta: valor propio grande, más pequeño

Sacar puncto, si cumple con r = 10

rconyx

D

y

D

x

DHDet

y

D

x

DHTrace

2

2

2

2

2

2

2

2

2

)(

)(

r

r

HDet

HTrace 22 )1(

)(

)(

Asignación de orientaciónExaminar el valor del gradiente y su orientación.

),1(),1(

)1,()1,(tantan),(

)1,()1,(),1(),1(),(

11

2222

yxLyxL

yxLyxL

Lx

Lyx

yxLyxLyxLyxLLLyxm

y

yx

SIFT - DescripciónVentana gaussiana representada por el

círculoDistribución en sectores más grandes Uso de un histograma con 8 distintas

orientacionesEste hace la descripción bastante robusta con

respecto a las translaciones por culpa de cambio del punto de vista

Generacion: Base de datosPara el reconocamiento hay que tener fotos

de cada una productoLa aplicación de SIFT por estas imagenes

tiene que ser hecho solamente una vez

Generacion: Base de datosEl vector de descripción de cada puncto de

interes tiene 128 dimensionesEn una imagen normal del tamaño 800x600

de un producto hay más que 1000 punctos de interes

Para memorizar la descriptión de muchos productos, mucha memoria es necesaria

MatchingBuscar en una espacio con 128 dimensionesCalcular distancia euclidiana de todos

candidatosEliminar candidato, si el segundo más cerca

no es significante más lejos que el más cercaBrute-ForceEn nuestro trabajo la existencia de un

producto es definido con un umbral fijo

Total de la cuentaDe la deteccíon sale un vector con la cantidad

de cada productoBase de datos con los precios, igual a una

caja con barcodeMultiplicar y Sumar

ConclusionesLos resultados obtenidos se podrían mejorar

aumentando la resolución de la cámara utilizada, pero esto aumentaría considerablemente el tiempo de ejecución.

Este puedee ser mucho menos usando una GPU de una trajeta grafica

El programa detecta la presencia o ausencia de un producto, pero no la cantidad en la que éste está presente.

Este proyecto es una buena solución para un número pequeño de productos, pero muchos recursos son necesarios para poder ser implementado a gran escala.

Acceso al paperSe puede bajar el paper en la pagina web

http://www.ralfwilke.com/chile/puc