Sistema de aprendizaje y reconocimiento de objetos...

Sistema de aprendizaje y reconocimiento de objetos 3D apartir de vistas planas*

Carmen de Trazegnies, Cristina Urdiales y Francisco Sandoval

Departamento de Tecnologıa Electronica. E.T.S.I.TelecomunicacionUniversidad de Malaga, Campus de Teatinos, 29071 Malaga, [email protected]

Resumen. En este trabajo se presenta un nuevo algoritmo de aprendizaje y reconocimiento deobjetos 3D. Cada objeto se caracteriza estudiando el contorno de su silueta desde distintos puntosde vista. Los contornos son representados mediante las primeras componentes principales de latransformada de Fourier de su curvatura. Cada uno de estos vectores de caracterısticas es asociadoa las coordenadas angulares del punto desde el que se tomo la vista. A coordenadas angularescercanas les corresponden vistas similares y , por tanto vectores similares. Ası, es posible agruparlos vectores correspondientes a cada objeto en clases. Cada objeto tridimensional es reconocido atraves del estudio de las transiciones de una clase a otra asociadas a una secuencia de vistas tomadasalrededor del mismo. Este estudio se realiza con ayuda de un modelado en Modelos Ocultos deMarkov. El metodo propuesto ha demostrado ser resistente frente a distorsiones suaves, errores desegmentacion y ruido.

1. Introduccion

El reconocimiento de objetos es un paso clave en cualquier proceso generi-co de vision artificial. Por ello se ha concentrado un gran esfuerzo en este temaen lasultimas decadas, centrado en particular en objetos tridimensionales, queson los que suelen encontrarse en un entorno real. En este contexto, el procesode vision comprende tanto el aprendizaje de objetos nuevos como su posteriorreconocimiento la siguiente vez que se le presentan al sistema. En general, elreconocimiento se suele basar en la creacion de modelos de los objetos estudi-ados que, en lugar de preservar toda la informacion pertinente a dichos objetos,tratan de almacenar la menor cantidad de ella posible para optimizar el procesode reconocimiento (Ullman, 1996). La seleccion de los parametros que definenun modelo es uno de los pasos mas crıticos del proceso de reconocimiento. Losmodelos pueden suministrarse a priori al sistema mediante aprendizaje supervisa-do, pero tambien cabe la posibilidad de permitirle al sistema adquirir modelosnuevos a partir de pautas establecidas mediante aprendizaje no supervisado. Unavez se dispone de un conjunto de modelos aprendidos, cualquier objeto entrante

∗ Este trabajo ha sido parcialmente financiado por el Ministerio de Ciencia y Tecnologıa y porFondos FEDER a traves del proyecto No TIC2001-1758.

2 • Carmen de Trazegnies, Cristina Urdiales y Francisco Sandoval

puede reconocerse por comparacion con ellos. El proceso de comparacion defineal algoritmo de reconocimiento en sı.

Las primeras propuestas para resolver el problema del reconocimiento de ob-jetos 3D estaban basadas en modelos estructurales, que descomponıan cada objetoen un conjunto de primitivas geometricas. El mayor problema de estas tecnicas esque los modelos presentaban una inestabilidad inherente, debido a que un mismoobjeto se puede descomponer en distintas combinaciones de primitivas (Buelthoffy Edelman, 1992) (Leonardis, Jaklic y Solina, 1997).

Los modelos basados en vistas surgieron para facilitar el aprendizaje au-tomatico de objetos de modo estable (Poggio y Edelman, 1990). Una compara-cion directa de las imagenes como mapas de bits no es posible en la practica, yaque implica una carga computacional excesiva, y ademas no es deseable, porquelos mapas de bits son muy sensibles a ruidos, cambios de iluminacion y otras al-teraciones, y presentan una informacion no estructurada. Por este motivo, la ma-yorıa de los sistemas de reconocimiento se basan en la extraccion de rasgos signi-ficativos del conjunto de vistas planas. Los rasgos elegidos deben ser resistentes aeste tipo de distorsiones en la imagen original.

Algunos metodos extraen la informacion relevante del mapa de bits completomediante distintos tipos de descomposicion vectorial. Ası, cada vista se transfor-ma en un punto de un espacio N-dimensional de representacion. Un objeto 3D,serıa representado por una trayectoria de puntos en este espacio (Murase y Nayar,1995). De este modo, tras observar una vista cualquiera de un objeto, el sistemapuede decidir a que objeto corresponde sin mas que comprobar cual es curva derepresentacion mas cercana a la misma. Sin embargo, estos metodos son muy sen-sibles a la aparicion de sombras y cambios de iluminacion (Startchik, Milanse yPun, 1998). Ademas, este tipo de aproximacion no es valido si dos de las curvasintersectan, lo cual limita su aplicacion a conjuntos de objetos que no presentenvistas similares entre sı (Campbell y Flynn, 1999).

Los metodos de reconocimiento basados en vistas presentan algunos retos es-pecıficos de su aplicacion a objetos reales. Ası, la posicion angular entre la camaray el objeto observado puede variar en repeticiones de una misma prueba. Ademas,en la practica, algunas vistas del objeto pueden estar ocluıdas o ser inaccesiblesal observador, especialmente cuando se trate de objetos voluminosos o pesados(Trazegnies, Bandera, Urdiales y Sandoval, 2003). Por este motivo, el presentetrabajo propone un metodo que puede hacer uso de objetos reales o virtuales parael proceso de modelado. Ası, gracias a la resistencia del algoritmo frente a ruidoo distorsiones, incluso aunque los objetos reales no coincidan exactamente conlos modelos virtuales usados para su entrenamiento, los resultados del proceso dereconocimiento de objetos reales son correctos.

En el presente trabajo se va a partir de la silueta del objeto en cada vista,que constituye una representacion, en general, muy robusta frente a distorsiones

Aprendizaje y reconocimiento de objetos 3D• 3

(Startchik et al., 1998). Cada silueta se ha codificado mediante su funcion de cur-vatura (FC). El calculo de las FCs se ha realizado mediante un nuevo algoritmoadaptativo, desarrollado por los autores (Trazegnies, Urdiales, Bandera y San-doval, 2003a), de modo que el posible ruido de la silueta original es filtrado sinque por ello se pierdan los detalles importantes de su forma. Para obtener invar-ianza frente a rotacion, se trabaja con la transformada de Fourier de la FC. Parareducir el descriptor de la silueta a un mınimo numero de componentes se ha em-pleado una descomposicion por Analisis en Componentes Principales. El procesocompleto de codificacion de vistas se describe en la seccion 2.1.

Las vistas de un mismo objeto, tomadas desde puntos cercanos, deben pre-sentar un gran parecido. El sistema propuesto aprovecha esta peculiaridad parareducir los conjuntos completos de vistas de cada objeto a un grupos reducidos devistas significativas mediante un algoritmo automatico de clasificacion (seccion2.2). De este modo, un objeto 3D queda descrito por un mapa de clasificacion desus vistas. Finalmente, los mapas de vistas se codifican mediante modelos ocultosde Markov (HMM), como se propone en la seccion 3.

Cuando se observa una vista de un nuevo objeto, el sistema de reconocimientodebe decidir si se trata de uno de los objetos ya modelados o es un objeto des-conocido. En el primer caso, el sistema aporta un resultado de reconocimiento.De lo contrario, se inicia el algoritmo de aprendizaje del objeto como un modelonuevo. En la seccion 4 se presentan resultados de los procesos de aprendizaje yreconocimiento, tanto de objetos virtuales como reales. Porultimo, en la seccion5 se presentan las conclusiones y se proponen algunas lıneas de investigacion paracontinuar y ampliar el presente trabajo.

2. Representacion de objetos 3D

2.1. Descripcion de formas planas

Los metodos de reconocimiento de objetos basados en la silueta deben capturarlos rasgos mas prominentes de la figura a la vez que filtrar detalles poco impor-tantes para su descripcion. Un buen descriptor deberıa ser: i) poco costoso com-putacionalmente; ii) resistente al ruido de discretizacion, ası como a ruidos u oclu-siones parciales producidas por errores de segmentacion; iii) resistente a transfor-maciones geometricas; y iv) significativo para los algoritmos de reconocimiento.Un primer acercamiento a la resolucion de este problema puede ser la extracciondel contorno de la silueta. Un contorno es una estructura intrınsecamente unidi-mensional que representa de forma fiel la silueta (Trazegnies et al., 2003a).

La codificacion de contornos con frecuencia se realiza mediante el calculo desu funcion de curvatura. La FC es una medida de cuanto se dobla la curva en cada


punto, por lo tanto, dado un punto de comienzo, mediante la FC se puede recons-truir el contorno completo del objeto observado. Cuando el contorno esta definidode forma discreta mediante una sucesion de puntos , es necesario desarrollar unatecnica para estimar la FC discreta que mejor se ajuste al contorno original. Lamayorıa de las tecnicas existentes filtran implıcita o explıcitamente el contorno auna frecuencia de corte fija (Agam y Dinstein, 1997) (Mokhtarian y Mackworth,1986). Basicamente, si la frecuencia de corte es muy alta, la curvatura es muyruidosa. Pero a medida que la frecuencia de corte disminuye, el ruido se filtrajunto con los detalles del contorno que aparezcan a una escala similar a la delruido y, por tanto, la FC se suaviza, distorsionando la informacion sobre la formadel contorno. La funcion de curvatura adaptativa (FCA), propuesta en (Trazegnieset al., 2003a), se adapta a la escala natural de cada contorno de tal manera quees capaz de eliminar el ruido sin perder informacion relevante de la forma delcontorno, como esquinas pronunciadas o detalles de pequena escala

Las FCAs son muy resistentes frente a ruido (Trazegnies et al., 2003a).Ademas, siluetas similares representadas a distintas escalas presentan funcionesde curvatura muy similares, siempre queestas sean interpoladas a una longitudfija. Sin embargo, las rotaciones de las imagenes captadas provocan un desplaza-miento circular en las FCAs de sus contornos. Para evitar este efecto, cada con-torno es representado por la transformada rapida de Fourier (FFT, -Fast FourierTransform) de su funcion de curvatura (FCFFT). El modulo de la transformada||FCFFT|| es invariante a rotacion. Ademas, dado el tipo de informacion que ha si-do codificado en la FCA, su FFT es fuertemente redundante (Trazegnies, Urdiales,Bandera y Sandoval, 2002), lo cual parece sugerir que la dimension intrınseca delconjunto que contiene a todas las posibles FCs de contornos cerrados debe ser rel-ativamente reducida. Dado que se puede demostrar que el conjunto de todos loscontornos discretos de longitud fija tiene las propiedades de una variedad rieman-niana (Klassen, Srivastava, Mio y Joshi, 2004), esto querrıa decir que existe unnumero reducido de direcciones en esta variedad, que transmiten la mayor partede la informacion de forma de los contornos de figuras planas.

Con el fin de reducir la dimension del espacio de representacion de los con-tornos de figuras planas, se utiliza la tecnica de Analisis de Componentes Prin-cipales (PCA,Principal Components Analysis), bien conocida por su capacidadpara realizar una reduccion dimensional de conjuntos de datos extensos (Startchiket al., 1998).

La mejor aproximacion de la proyeccion de un conjunto de||FCFFT||s sobreun subespacio vectorial de dimensionP es la que se obtiene mediante lasP Com-ponentes Principales asociadas a losP mayores autovalores de su matriz de au-tocorrelacion (Sirovich y Everson, 1992). EstosP autovectores forman una baseortogonal del subespacio. Cada contorno de figura plana se puede representar en


este subespacio como un vector al que se considerara su vector de caracterısticas(FV - Feature Vector)

Con el objetivo de calcular la base PCA, se elige un conjunto de 27 siluetasarbitrarias y diferentes. La base resultante presenta 10 autovectores con una con-tribucion apreciable a la caracterizacion de formas planas. Esta base ha demostra-do ser representativa incluso para objetos no pertenecientes al conjunto inicialutilizado para el calculo (Trazegnies et al., 2003a) (Urdiales, Bandera y Sandoval,2002).

2.2. Representacion de un conjunto de vistas

El proceso de descripcion de un objeto consiste en su codificacion a partir deun conjunto de vistas del mismo. La Fig. 1.a muestra un objeto tridimensionalobservado desde puntos de vista equiespaciados a su alrededor, que se represen-tan en coordenadas esfericas sobre un sistema de referencia centrado en el objeto.Cuando se observaeste desde un punto arbitrario del espacio, puede extraersede la imagen el contorno de dicha vista, que puede ser caracterizado medianteun FV (Fig. 1.b y c) por el procedimiento presentado en la seccion 2.1. Comolos FVs propuestos son muy resistentes frente a cambios de escala (Trazegnieset al., 2003a) (Urdiales et al., 2002), se puede suponer que a todos los puntos devista con las mismas coordenadas angulares les corresponde el mismo FV. Ası, unobjeto tridimensional puede ser descrito por un mapa bidimensional de vectoresde caracterısticas.

Figura 1. Puntos de vista para un objeto 3D; b) vista plana y su FV; y c) otra vista plana y su FV

Aunque cada objeto puede presentar vistas muy diferentes entre sı dependien-do de la posicion del observador, estas vistas tienden a variar suavemente cuando


el observador se mueve lentamente a su alrededor (Urdiales et al., 2002). Ası,cabe la posibilidad de establecer una particion sobre el mapa de vistas de modoque los FVs que muestren un elevado parecido entre sı se agrupen en zonas. Porlo tanto, no es necesario almacenar todos los posibles FVs, sino solo un conjuntoreducido de FVs significativos para cada objeto. En la Fig. 2 se muestra un ejem-plo de objeto virtual y su mapa de vistas asociado. En el mapa (Fig. 2.b), se haasignado arbitrariamente colores distintos a las distintas zonas de vistas segun suparecido. Ası, cada zona que corresponda a vistas parecidas entre sı se describecon ununico FV, que es representativo para toda esta zona. Esto implica a su vezque las clases de FVs ası definidas sirven para clasificar todas las vistas posiblesdel objeto. En el presente trabajo se ha escogido una representacion a partir devistas tomadas con30o de separacion tanto en la direccion azimutal como en lapolar.

Figura 2. a) Objeto virtual; y b) mapa de vistas.

Para que el sistema de reconocimiento funcione de modo no supervisado, esnecesario que el sistema de clasificacion de los FVs sea un proceso automatico.El metodo de clasificacion utilizado en el presente trabajo es una modificacion delalgoritmo de agrupacion por analisis modal (Urdiales et al., 2002), en el que lasvistas se agrupan de acuerdo con la distancia relativa de sus vectores de carac-terısticas. Para esta comparacion se ha utilizado como medida de parecido la dis-tancia de Tanimoto (Deichsel y Trampisch, 1985), ya que, tal como se demuestraen (Trazegnies et al., 2003a), se adapta mucho mejor a la naturaleza del problemaque otras posibles medidas de parecido. La principal diferencia con el metodo declasificacion en (Urdiales et al., 2002) consiste en que se ha establecido un radiode clasificacion fijo y se permite que el sistema decida de forma no-supervisadael numero de clases necesario para describir correctamente un mapa de vistas.


Un punto delicado en la implementacion del algoritmo de clasificacion es laeleccion de un radio de agrupacion apropiado. Un radio relativamente grande noes deseable, porque resta capacidad de diferenciacion entre formas distintas. Sinembargo, la eleccion de un radio muy pequeno no es tampoco conveniente, porqueobligarıa a explorar el objeto a intervalos angulares mas pequenos. Es necesarioresaltar que en realidad no existe un valor ideal de radio de clasificacion, puestoque depende del grado de parecido entre vistas que se considere razonable. En lapractica se ha demostrado que un radio de entre 0.05 y 0.1 es apropiado para finesde clasificacion (Trazegnies et al., 2003) (Trazegnies et al., 2003a)

3. Algoritmo de reconocimiento

Una vez que un conjunto de objetos queda caracterizado por sus mapas devistas, se podrıa pensar en desarrollar un metodo de reconocimiento basado enla comparacion entre los mapas. Sin embargo, esta aproximacion no es valida porvarias razones: i) la posicion inicial del objeto es desconocida a priori, por lo tantouna comparacion de este tipo deberıa considerar todas las posibles orientacionesrelativas entre el objeto observado y los modelos; ii) normalmente no todas lasvistas del objeto observado son accesibles; y iii) si algunas de las vistas presentandistorsiones o ruido, el proceso global de comparacion puede verse afectado. Conel fin de eludir estos problemas, en el presente trabajo se propone reconocer cadaobjeto con un mınimo de vistas del mismo. Para ello se ha decidido aprovechar lasecuencialidad del proceso de captura de vistas consecutivas para describir cadaobjeto mediante un Modelo Oculto de Markov (MOM).

Los Modelos de Markov se han aplicado conexito al problema de reconocimien-to de imagenes en casos en los que se ha podido establecer una relacion de se-cuencialidad a partir de la definicion del problema (Kuo y Agazzi, 1994) (Natara-jan, Lu, Schwartz, Bazzi y Makhoul, 2001). En particular, existen diversas apli-caciones de modelos ocultos de Markov al reconocimiento de figuras planas apartir de su contorno (He y Kundu, 1991) (Hornegger, Niemann, Paulus y Schlot-tke, 1991) (Trazegnies, Miguel, Urdiales, Bandera y Sandoval, 2001) (Trazegnies,Urdiales, Bandera y Sandoval, 2003b). La principal diferencia entre el sistemapropuesto y los citados es que, en lugar de reconocer vistas planas a partir de se-cuencias de rasgos en su contorno, en el presente trabajo se utilizaran MOMs parareconocer objetos tridimensionales a partir de una secuencia de vistas obtenidasal observar el objeto desde puntos de vista consecutivos alrededor del mismo.

3.1. Definicion del modelo oculto de Markov

Cada modeloλp de un objetop viene definido por un conjunto de paramet-ros: λp = (Hp,Πp, Ap, Bp). La eleccion de los parametros apropiados para


la definicion de cada MOM es crucial para el comportamiento del sistema dereconocimiento. En el sistema de reconocimiento propuesto en este trabajo losparametrosλp se han escogido como se detalla a continuacion:

Un conjunto de estados ocultosHp = {Hp,1,Hp,2, ..., Hp,i, ..., Hp,M} paracada modelop. Cada una de las clases procedentes del proceso de agrupacionde las vistas de un objeto es un estado oculto del modelo. Es necesario observarque los estados ocultos se definen para cada modelo de forma independiente.Los conjuntos de estados ocultos pueden variar de un modelo a otro, lo cualfacilita que cada modelo este adaptado a la complejidad del objeto al que co-rresponde.Un vector de probabilidades iniciales de observacionΠp = (π1, π2, ..., πi, ..., πM ).Cada elementoπi del vectorΠp representa la probabilidad de que, observandoel objetop, se encuentre una vista perteneciente a la clasei en la primera posi-cion de la secuencia. Las componentes deΠp toman valores proporcionales ala frecuencia de aparicion de cada clase de vistas en el objeto modelado.Una matriz de transicion Ap. Cada elementoai,j de Ap representa la proba-bilidad de que, observando el objetop, se encuentre una vista correspondientea la clasej despues de una vista perteneciente a la clasei. Los coeficientesde la matriz de transicion se ajustan mediante la aplicacion del algoritmo deBaum-Welch (Rabiner, 1989).Una matriz de probabilidad de observacionBp(V q). Los coeficientesbp

i,q de lamatrizBp(V q) representan la probabilidad de que laq-esimavista observadase corresponda con cada estado oculto del sistema. Si la distancia entre laq-esimavista (V q) y el centroide de la clasei del modelop (Hp,i) es mayor queel radio de agrupacion predefinido, entoncesbp

i,q es igual a0. Los elementosno nulos de cada columna adoptan el mismo valor de modo que se satisface laigualdad:

M∑

i=1

bpi,q = 1 (1)

El juego de parametros(Hp,Πp, Ap, Bp) se ajusta para cada modelop du-rante el proceso de entrenamiento mediante el algoritmo de Baum-Welch (Rabin-er, 1989). Este algoritmo, derivado del algoritmo de maximizacion de esperan-za (Expectation Maximization Algorithm), es un metodo de optimizacion local.Por lo tanto, la eleccion de los parametros iniciales del sistema determinan: i)el numero de iteraciones necesarias para que el sistema converja a una solucionestable; y ii) la tendencia a converger a un maximo optimo o de segundo orden.Con este fin se ha inicializado la matriz de transicion Ap con los valores resul-tantes de la contabilizacion de transiciones entre cada pareja de estados ocultossobre el mapa de clases del objeto en cuestion. Estos valores deben estar cerca de


los resultantes del algoritmo de optimizacion y, de hecho, reducen el numero deiteraciones del algoritmo en la mayorıa de los casos a menos de 5.

3.2. Proceso de reconocimiento

Durante el proceso de reconocimiento se compara una secuencia de vistas conla probabilidad de que cada uno de los modelos almacenados por el sistema hayapodido generar tal secuencia. Como se ha comentado anteriormente, es deseableque la longitud de la secuencia se reduzca a unas pocas vistas, pero es necesarioque el sistema tenga cierta seguridad de que el objeto haya sido correctamente re-conocido. Para llevar acabo este proceso el sistema realiza el siguiente algoritmo:

1. Captura de una vistaV q del objeto.2. Extraccion de la silueta del objeto por medio de una sustraccion simple de

fondo.3. Calculo de su curvatura mediante la funcion propuesta en (Trazegnies et al.,

2003a).4. Extraccion de un vector de caracterısticas de la forma propuesta en la seccion

2.1.5. Calculo de su probabilidad de observacion Bp(V q) respecto de cada modelo

p.6. Evaluacion de la probabilidadP (V q|p) de que la vista, o secuencia de vistas

observadas hasta el momento pertenezcan a cada modelo almacenado. Estecalculo se realiza mediante el algoritmo Forward-Backward, descrito en (Ra-biner, 1989), para minimizar el coste computacional.

7. Si solo una de las probabilidadesP (V q|pi) es mayor que el umbral de re-conocimiento, el objeto observado es reconocido como correspondiente almodelopi. Si todas las probabilidadesP (V q|p) son nulas, el objeto observadoes considerado como nuevo y el sistema inicia el proceso de aprendizaje delmismo. En cualquier otro caso, el sistema de captura de vistas debe avanzarun paso y se repite el algoritmo desde el punto 1.

4. Experimentos y Resultados

Uno de los principales problemas de los metodos de reconocimiento basadosen vistas radica en que requieren tantas de estas vistas como sean necesarias hastaque la identidad del objeto quede claramente definida. Sin embargo, en el mun-do real no todos los puntos de vista se encuentran accesibles, ya que los objetosforzosamente presentan una base de apoyo y, en el caso mas general, no puedenmanipularse, en especial si son grandes o pesados. Este hecho supone que losmodelos capturados se construyen a partir de un numero limitado de vistas que,


ademas, pueden estar sujetas a error. Ello significa que en ocasiones no se po-dra distinguir facilmente entre objetos que presenten vistas comunes.

Para evitar este tipo de problemas es posible recurrir a un entrenamiento delsistema en un entorno virtual, consistente en mostrarle un conjunto de objetos vir-tuales, que es probable que se encuentre en el entorno en que trabaja. No obstante,incluso cuando el modelo virtual sea una copia exacta del real, las vistas reales es-taran afectadas, por ruido de captura. Ası, en ocasiones, puede resultar complejoidentificar un objeto real con su homonimo virtual. Sin embargo, la experienciaha demostrado que la naturaleza secuencial del proceso permite resolver este pro-blema de forma satisfactoria en la mayorıa de los casos, aportando ademas datosinteresantes sobre que implican los conceptos que el sistema almacena sobre untipo de objetos determinado.

Se han realizado dos series de experimentos con dos conjuntos de objetos.El primero (Fig. 3 ) es un conjunto de formas geometricas y formas sencillascon fuerte simetrıa. En el segundo (Fig. 4 ) se incluyeron varios disenos distintosde sillas. Una base de objetos compleja presenta la ventaja de que los objetosse diferencian mas entre sı, pero son mas sensibles a errores de segmentacion,mientras que en una base de datos simple, son mas faciles de almacenar y, engeneral, suelen ser menos sensibles a los errores de captura y segmentacion porquesu naturaleza no se define por detalles pequenos. Ası, se pueden contemplar losefectos sobre ambos casos extremos.

Figura 3. Conjunto de objetos de prueba sencillos


Figura 4. Conjunto de prueba incluyendo distintos modelos de sillas

4.1. Resultados para objetos sencillos

Para comprobar el comportamiento del algoritmo propuesto, se ha generadoun conjunto de 15 objetos virtuales (Fig. 3). En este conjunto se han incluidointencionadamente objetos que, aun siendo distintos, presentan vistas similares,de modo que podrıan llegar a dar lugar a confusion en su reconocimiento.

Los objetos del conjunto de prueba se presentan sucesivamente al sistema. Laorientacion de la vista inicial siempre es escogida al azar, para dar mayor genera-lidad al caracter de las pruebas. Es importante senalar que, si se intentan entrenarobjetos similares, el sistema los reconocera y no creara ningun prototipo paraellos. Ası, antes de aprender un objeto determinado, el sistema intenta reconocerloa partir de la informacion de que dispone en ese momento. Solo si ese objeto nose identifica, el sistema pasa a almacenarlo.

Por ejemplo, al explorar el cono de la Fig. 3.g el sistema ya dispone de modelospara los objetos mostrados en la Fig. 3.a-f. El resultado de esta prueba se muestraen la Fig. 5.a. Tanto la primera como la segunda vistas se pueden confundir conotros objetos. Como el sistema no encuentra un resultadounico, requiere una ter-cera vista, en la cual el vertice del cono es ya visible. La secuencia resultante nopuede pertenecer a ninguno de los objetos almacenados hasta el momento, por lotanto el sistema anade un modelo del nuevo objeto a los ya existentes. Como sepuede observar en la Fig. 5.b, una vez que el sistema dispone de un modelo paraeste objeto, la aparicion del vertice en una vista hace que el reconocimiento seaunıvoco y correcto.

En la Fig. 6.a, en cambio, se muestra un ejemplo en el que la similitud deun numero reducido de vistas lleva a un reconocimiento erroneo. En este caso elobjeto propuesto, la copa en Fig. 3.j, muestra una secuencia de vistas que induceal sistema a relacionarla con un modelo que no le corresponde y que, en reali-dad, solo presenta un vago parecido con la misma. El problema se resolverıa si la


Figura 5. Prueba de reconocimiento para el objeto en Fig. 3.g: a) cuando el sistema aun no tienemodelo para el mismo; y b) una vez que su modelo ha sido adquirido

secuencia de vistas continuara hasta una posicion frontal, de modo que el perfilcaracterıstico de la copa fuera visible. Sin embargo, el sistema dispone aun de tanpocos modelos, que con las dos vistas mostradas encuentra un solo modelo conalta probabilidad y no tiene necesidad de continuar el proceso.

En la Fig. 6.b se muestra el resultado de la repeticion de este experimento unavez que el sistema dispone de modelos para los demas objetos de la Fig. 3. El he-cho de que el conjunto de modelos disponibles sea mas completo hace que las dosprimeras vistas no basten para determinar la naturaleza de la copa. Ası, la necesi-dad de adquirir una secuencia mas larga de vistas hara posible la observacion de lavista frontal, caracterıstica de este objeto, y el sistema se vera obligado a iniciar elproceso de modelado. La repeticion de la prueba una vez que el sistema contieneeste modelo da un resultado correcto (Fig. 6.c)

Figura 6. a) Prueba de reconocimiento para el objeto de la Fig. 3.j cuando el sistema dispone depocos modelos; b) Repeticion de la prueba despues de que el sistema adquiera mas modelos; y c)Prueba de reconocimiento cuando el sistema tiene un modelo adecuado a este objeto


4.2. Resultados frente a deformaciones inducidas sobre objetos sencillos

Uno de los retos mas importantes en la tarea de reconocimiento de objetoses la capacidad para reconocer o clasificar versiones deformadas de los objetosoriginales. Esto es especialmente importante si se pretende que el sistema seacapaz de operar con objetos reales.

Al no poder asegurar la identidad completa de los FVs de las versiones distor-sionadas de una imagen respecto del FV de la imagen original, es necesario que laestrategia de reconocimiento se plantee considerando esta posibilidad. Los MOMsson especialmente adecuados para este fin. Durante el proceso de reconocimien-to, cada vista es relacionada de modo probabilıstico con los estados ocultos delmodelo correspondiente. Ası, el hecho de que una vista se vea afectada de alguntipo de deformacion, solo afecta ligeramente al valor de la probabilidad en unode los pasos de la secuencia. El sistema se puede recuperar con las siguientes vis-tas, de modo que pequenas variaciones sobre las vistas adquiridas no afectaransignificativamente al resultado final.

Para comprobar este planteamiento se han introducido de forma sintetica algu-nas alteraciones sobre los objetos originales. En la Fig. 7 se muestran los resulta-dos una prueba de este tipo. El objeto seleccionado se muestra en la Fig. 7.a y lasversiones deformadas en las Fig.7.b-d. Bajo cada uno de los objetos se presentael mapa de clasificacion del mismo. Es necesario observar que algunas vistas delos objetos deformados no se pueden clasificar satisfactoriamente como ningunode los estados ocultos, porque en ellas la deformacion es tan fuerte el sistema yano las considera parecidas a las del modelo original.

Figura 7. a) Objeto del conjunto de entrenamiento y su mapa de clases de vistas; b-d) deformacionesdel objeto en (a) y sus mapas de clases de vistas; y e) Porcentajes de reconocimiento correcto de(b)-(c) como similares al objeto en (a)

Para evaluar la fiabilidad en el reconocimiento se han realizado 50 pruebas dereconocimiento con cada una de las versiones deformadas del objeto. Como enpruebas anteriores, la orientacion inicial es escogida aleatoriamente, de modo que


se puede considerar que los buenos resultados obtenidos (Fig. 7.e) son estadısti-camente significativos.

En la Fig. 8 se muestran dos ejemplos de reconocimiento para el objeto rep-resentado en la Fig. 7.b. Como se puede observar, en este caso uno de los objetoscon los que confunde la copa deformada es la botella de la Fig. 3.h. En efecto, lacopa deformada presenta un perfil mucho mas anguloso que la original, por lo queen general sus vistas guardaran cierto parecido con la botella citada, cuya formaes angulosa y ligeramente irregular. De este modo, muchos de los ensayos estarandudosos entre la copa y la botella, pudiendo dar como resultado una u otra debidoa ligeras variaciones en las vistas estudiadas.

Figura 8. Prueba de reconocimiento para el objeto en Fig. 7.b: a) reconocimiento erroneo; y b)reconocimiento correcto

4.3. Resultados para objetos complejos y objetos reales

La segunda serie de experimentos consistio en tratar de reconocer objetos mascomplejos, en particular, la base de datos de sillas de la Fig. 4. La presencia de dis-torsiones, ruido de captura o errores de segmentacion, aunque no afecte muy sig-nificativamente la forma de un cubo o un cilindro, puede cambiar la naturaleza de,por ejemplo, una llave. Los experimentos de este apartado han ido encaminadosprimero a probar la resistencia frente a errores y distorsiones del reconocimientode objetos complejos y, a continuacion, a probar la validez de los objetos apren-didos para reconocer otros similares en el mundo real.

Una primera prueba consistio en deformarunicamente una vista del objetomanualmente, para comprobar la capacidad de recuperacion del sistema frente aerrores puntuales. Para ello, se borro un pedazo irregular de la esquina superiorizquierda del respaldo de la primera silla solo en la primera vista. La prueba de


reconocimiento correspondiente se muestra en la Fig. 9.b. En la Fig. 9.a se ha in-cluido, a efectos de comparacion, la misma prueba para la silla sin deformar. Elsistema reacciona de forma similar en ambos casos. Tras analizar la primera vistade la silla sin distorsionar, la probabilidad de que pertenezca a la silla correcta esya la mas alta, mientras que para la silla distorsionada esta probabilidad es relati-vamente baja. Sin embargo, se mantiene una cierta confianza en estar en presenciade la misma. Para que el sistema pueda tomar una decision es necesario ponderarla secuencialidad de las vistas. Con solo una segunda vista, esta vez sin distorsion,el sistema reafirma en estar frente al prototipo de la Fig. 4.a, descartando comple-tamente los demas. Es importante senalar que este resultado satisfactorio solo esposible gracias a la tolerancia de los MOMs ante la alteracion del orden de vistasde la secuencia de observaciones. Ulteriores pruebas con deformaciones equiva-lentes a las mostradas en la Fig. 7 aportaron resultados similares, demostrandoque, a pesar de la menor escala de los detalles que definen a los objetos comple-jos, el sistema de reconocimiento sigue siendo robusto a pequenas deformacioneso ruido.

Figura 9. a) Reconocimiento de una silla sin distorsionar; y b) reconocimiento de la misma sillacon oclusion parcial del respaldo en la primera vista.

Comprobado el buen funcionamiento del sistema bajo condicionesoptimas-entorno virtual y errores controlados-, cabe proceder a experimentar con obje-tos reales. Para ello se ha capturado una serie de imagenes de sillas disponiblesen un entorno de oficinas. Es importante destacar que las vistas se han obtenidomanualmente y, aunque se ha intentado que la separacion angular entre dos vistasconsecutivas sea de30o, hay que considerar este valor como aproximado. Inclu-so, con objeto de modelar eventuales errores en la secuenciacion, se han incluidosecuencias con algunas vistas en orden alterado o con vistas repetidas. Ademas,las sillas reales escogidas no coinciden exactamente con ninguno de los modelos.


Dado que este trabajo no se centra en el proceso de segmentacion, ya de porsi un problema difıcil de resolver, se ha optado por un metodo sencillo de seg-mentacion por extraccion de fondo (McKenna, Jabri, Duric, Rosenfeld y Wech-sler, 2000). Este metodo se basa en disponer de una imagen del fondo sobre elque se situan los objetos, en ausencia deestos (Fig. 10.a). Cuando se captura unaimagen con un objeto (Fig. 10.b), ambas se sustraen pixel a pixel y, despues de unprocesado destinado a eliminar clases pequenas, se extrae todo lo que en la imagenno era fondo (Fig. 10.c). Es importante indicar que los algoritmos de segmentacionpor sustraccion de fondo tambien estan sujetos a errores, principalmente debidosa sombras y cambios de iluminacion. Estos errores, que pueden afectar de distintamanera incluso a vistas consecutivas, provocaran deformaciones en los contornosde objetos percibidos.

Figura 10. Segmentacion por substraccion de fondo: a) fondo sin objetos; b) imagen capturada; c)objetos detectados.

La Fig. 11.a muestra dos ejemplos de pruebas de reconocimiento con secuen-cias de vistas de la silla real. En primer lugar, se ha presentado una secuencia quecomienza con una vista lateral (Fig. 11.a). En la primera vista se puede observarun perfil cuyos rasgos dominantes son el poseer unas patas bien separadas y lainclinacion del respaldo respecto del asiento. A pesar de que la silla observadano tiene brazos, su asiento es lo suficientemente grueso como para que el sistemaconfunda su contorno con el de la silla de la Fig. 4.f, que tiene unos brazos bajos.En la segunda vista se hace mas patente la inclinacion de las patas y la carenciade brazos de la silla real, quedando comounico modelo compatible el de la sillade la Fig. 4.a, aunque la forma de su respaldo no se corresponda completamentecon la de la silla real. Hay que resaltar que, si bienesto es un error, ya que la sillaobservada y los prototipos con los que se la relaciona no son iguales, dicho errores razonable, ya que se reconoce el objeto lo mejor que se puede en virtud a lasvistas disponibles. Este comportamiento permite englobar ciertos objetos bajo unmismo concepto y reducir el numero de modelos a aprender de forma razonable.


Figura 11. Reconocimiento de una silla sin brazos real: a) a partir de una secuencia ordenada devistas; b) a partir de una secuencia que incluye vistas desordenadas.

En la Fig. 11.b se presenta una segunda prueba de reconocimiento para lamisma silla real conteniendo un error en el orden de las vistas, de modo que laprimera vista es igual a la tercera. Estas dos vistas son muy parecidas al prototipode la silla de la Fig. 4.f. La segunda vista, es compatible con todos los prototipospropuestos y, por tanto, no ayuda a distinguir entre ellos. La cuarta vista muestraclaramente la forma del respaldo, casi identica al de la silla en Fig. 4.d. Esta sillaaparece ahora comounico candidato posible, si bien es cierto que sus patas sondistintas a las de la silla observada, el parecido general de la forma del respaldo ydel asiento justifican este resultado.

En una nueva prueba algo mas compleja, se presenta al sistema la silla real dela Fig. 12. Esta silla guarda cierto parecido con la de la Fig. 4.d, pero es necesarioobservar que no son exactamente iguales: la forma de los brazos es distinta y tantoel respaldo como el asiento de la silla real son mas gruesos que los del modelovirtual. En primer lugar, se alimenta al sistema con una secuencia de vistas a partirde un perfil de la silla real (Fig. 13.a). Tal como se puede observar, a partir de laprimera vista se manejan como posibles candidatas dos sillas de respaldo cuadradoy con brazos. La segunda y la tercera vistas hacen que la probabilidad de ser lasilla de la Fig. 4.d crezca sensiblemente, si bien se mantiene aun por debajo dela silla de la Fig. 4h.Esto ocurre porque la vista posterior de la silla propuesta esmuy reconocible, ya que muestra claramente la forma del respaldo y la estructurade las patas mientras los brazos sobresalen visiblemente a los lados.

En la Fig. 13.b se presenta una prueba en la que se ha alimentado de nuevoel sistema con la silla real de la Fig. 12, pero esta vez incluyendo un error de se-cuenciacion que consiste en la repeticion de la primera vista. En las primeras dosvistas los brazos no son un rasgo dominante, consecuentemente, el sistema en-cuentra algunos candidatos con probabilidad alta de reconocimiento pero sin bra-zos. Se puede observar que la tercera vista ya determina un reconocimientounico.


Figura 12. a) Imagen capturada de una silla real; y b) vista segmentada por sustraccion de fondo.

Figura 13. Reconocimiento de una silla con brazos real: a) a partir de una secuencia ordenada devistas; b) a partir de una secuencia que incluye vistas desordenadas.

Al igual que en el ejemplo de la Fig. 13.a, el resultado es la silla de la Fig. 4.d, quees la que mas se parece a la silla real. Para explicar por que el reconocimiento finalse decanta por el modelo con brazos debe observarse que la tercera vista muestraclaramente las proporciones de la silla observada, que es bastante mas estrechaque la de la Fig. 4.h. Ademas, a los lados de la silla se pueden observar los dospequenos salientes que indican la presencia de brazos.

Es de resaltar que en ningun momento el sistema ha barajado en estos exper-imentos que los objetos entrantes no fuesen sillas. Si a ello se suma el hecho deque basicamente ha decidido entre unos modelos y otros por la forma del respaldoy el asiento, los brazos y las patas, podrıa considerarse que el concepto de silla seha adquirido correctamente.

5. Conclusiones

En este estudio se ha presentado un nuevo metodo de reconocimiento de obje-tos 3D. El sistema consiste en la caracterizacion del conjunto de vistas disponibles

Referencias • 19

de cada objeto mediante los vectores de caracterısticas, extraıdos de las funcionesde curvatura de sus contornos en el dominio de Fourier. Dada una secuencia devistas, un objeto puede ser reconocido estimando su probabilidad de ser cualquierade los objetos almacenados en el sistema mediante Modelos Ocultos de Markov.

Es importante senalar que todos los procedimientos propuestos en este tra-bajo funcionan de manera no supervisada, lo que posibilita que los procesos deaprendizaje y reconocimiento de objetos no se realicen de forma aislada sino quepuedan interactuar, de modo que el sistema pueda adquirir nuevos modelos todavez que encuentre objetos que no conoce. Una caracterıstica especialmente in-teresante, derivada del buen comportamiento frente a ruido, transformaciones odistorsiones, es que es posible reconocer objetos reales a partir de modelos vir-tuales. Ası, se abre la posibilidad de entrenarlo con bases de datos predefinidaspara el entorno en el que el sistema deba trabajar, sin perjuicio de que, durante sufuncionamiento, pueda adquirir nuevos modelos del mundo real.

Se ha realizado una gran variedad de pruebas con objetos virtuales y reales. Es-tas pruebas han demostrado que objetos similares fueron correctamente reconoci-dos a pesar de presentar distorsiones suaves, errores de segmentacion o ruido. Lasprincipales ventajas del sistema propuesto son: i) la capacidad de representacionde objetos con poco volumen de informacion: ii) la posibilidad de agrupar objetospor su parecido; y iii) los modelos nuevos se aprenden y se incluyen en la base dedatos de un modo no-supervisado.

El sistema de reconocimiento presentado no responde a un esquema de eje-cucion totalmente cerrado, sino que es un desarrollo flexible que aborda el pro-blema del reconocimiento de objetos 3D de manera modular. Ası, es posible in-troducir diversas mejoras al algoritmo basico sin alterar la estructura general delsistema. Entre las posibles mejoras que cabrıa proponer, se han seleccionado lassiguientes: i) la extension del algoritmo propuesto para el reconocimiento de obje-tos en conjuntos de modelos extensos; y ii) la optimizacion del algoritmo medianteun mecanismo de control de la mirada, capaz de decidir cual es la mejor vista aadquirir para distinguir entre varios posibles modelos candidatos

Referencias

Agam, G. y Dinstein, I. (1997). Geometric separation of partially overlappingnonrigid objects applied to automatic chromosome classification.IEEETrans. on Pattern Analysis and Machine Intelligence, 19(11), 1212-1222.

Buelthoff, H. H. y Edelman, S. (1992). Psychophysical support for a 2D viewinterpolation theory of object recognition.Proc. of the National Academyof Science, 89, 60-64.

Campbell, R. y Flynn, P. (1999). Eigenshapes for 3D object recognition inrange data. EnProc. of the international conference on computer vision

20 • Referencias

and pattern recognition (cvpr’99)(p. 505-510). Fort Collins - Colorado,USA.

Deichsel, G. y Trampisch, H. J. (1985).Clusteranalyse und Diskriminanzanalyse.Stuttgart: Gustav Fischer Verlag.

He, Y. y Kundu, A. (1991). 2D shape classification using Hidden Markov Models.Trans. on Pattern Analysis and Machine Intelligence., 13(11), 1172-1184.

Hornegger, J., Niemann, H., Paulus, D. y Schlottke, G. (1991). Object recognitionusing Hidden Markov Models,. En E. Gelsema y L. Kanal (Eds.),Patternrecognition in practice iv(p. 37-44). Amsterdam: Elsevier.

Klassen, E., Srivastava, A., Mio, M. y Joshi, S. H. (2004). Analysis of planarshapes using geodesic paths on shape spaces.IEEE Trans. Pattern Analysisand Machine Intelligence, 26(3), 372-383.

Kuo, S. S. y Agazzi, O. E. (1994). Keyword spotting in poorly printed documentsusing pseudo 2D Hidden Markov Models.Trans. on Pattern Analysis andMachine Intelligence, 16(8), 842-848.

Leonardis, A., Jaklic, A. y Solina, F. (1997). Superquadrics for segmentingand modeling range data.IEEE Trans. on Pattern Analysis and MachineIntelligence, 19(11), 1289-1295.

McKenna, S., Jabri, S., Duric, Z., Rosenfeld, A. y Wechsler, H. (2000). Trackinggroups of people.Computer Vision and Image Understanding, 80(1), 42-56.

Mokhtarian, F. y Mackworth, A. K. (1986). Scale-based description andrecognition of planar curves and two-dimensional shapes.IEEE Trans.Pattern Analysis and Machine Intelligence, 8(1), 34-43.

Murase, H. y Nayar, S. K. (1995). Visual learning and recognition of 3D objectsfrom appearance.International Journal of Computer Vision, 14, 5-24.

Natarajan, P., Lu, Z., Schwartz, R., Bazzi, I. y Makhoul, J. (2001). Multilingualmachine printed OCR.International Journal of Pattern Recognition andArtificial Intelligence, 15(1), 43-63.

Poggio, T. y Edelman, S. (1990). A network that learns to recognize three-dimensional objects.Nature, 343, 263-266.

Rabiner, L. R. (1989). A tutorial on Hidden Markov Models and selectedapplications in speech recognition.Proceedings of the IEEE, 77(2), 257-286.

Sirovich, L. y Everson, R. (1992). Analysis and management of large scientificdatabases.Int. Journal of Supercomputing Applications, 6(1), 50-68.

Startchik, S., Milanse, R. y Pun, T. (1998). Projective and illumination invariantrepresentation of disjoint shapes. EnProc. of the fifth european conferenceon computer vision (eccv ’98)(p. 264). Freiburg, Alemania.

Trazegnies, C. de, Bandera, J., Urdiales, C. y Sandoval, F. (2003). A real 3Dobject recognition algorithm based on virtual training. EnIasted conference

Referencias • 21

on signal processing, pattern recognition and applications, (sppra 2003)(p.342-347). Rodas, Grecia.

Trazegnies, C. de, Miguel, F. J., Urdiales, C., Bandera, A. y Sandoval, F. (2001).Planar shape recognition based on Hidden Markov Models.ElectronicsLetters, 37(24), 1448-1449.

Trazegnies, C. de, Urdiales, C., Bandera, A. y Sandoval, F. (2002). Planarshapes indexing and retrieval based on Hidden Markov Models.PatternRecognition Letters, 23(10), 1143-1151.

Trazegnies, C. de, Urdiales, C., Bandera, A. y Sandoval, F. (2003a). 3Dobject recognition based on curvature information of planar views.PatternRecognition, 36(11), 2571-2584.

Trazegnies, C. de, Urdiales, C., Bandera, A. y Sandoval, F. (2003b). A HiddenMarkov Model object recognition technique for incomplete and disortedcorner sequences.Image and Vision Computing, 21(10), 879-889.

Ullman, S. (1996).High-level vision: Object recognition and visual cognition.Cambridge - MA, USA: MIT Press.

Urdiales, C., Bandera, A. y Sandoval, F. (2002). Non parametric planar shaperepresentation based on adaptive curvature functions.Pattern Recognition,35(1), 43-53.

Sistema de aprendizaje y reconocimiento de objetos...

Documents

Transcript of Sistema de aprendizaje y reconocimiento de objetos...