1. Objetivos2. Resultados3. Publicaciones4. Prototipo actual5. Conclusiones

SUBPROYECTO-3: Sistema de Visión para el Guiado de Vehículos Autónomos

1. Objetivos

q Desarrollar el prototipo de un dispositivo de visión artificial para ayuda a la navegación. Investigación en arquitectura robótica y en visión.

q Se propone desarrollar un periférico de visión inteligente especializado, autónomo y versátil. Posibilidad de implantación en diferentes plataformas.

1. Objetivos

q Subsistema basado en luz natural para conseguir:• amplio uso• reducida relación precio–prestaciones• ausencia de interferencias• modularidad

q Visión realista en entornos industriales

q Proporcionar una interfaz de alto nivel que unifique el tratamiento de cada una de las operaciones que implemente el dispositivo como unidad de alto rendimiento.

q Incorporar operaciones elementales de procesamiento de imagen sobre arquitecturas específicas (filtros, modelos de iluminación, descriptores, cálculo de invariantes, ...).

2. Resultados

q Tarea 3.1: Caracterización global del nodo.3.1.1 Establecimiento de requerimientos y de especificaciones üü3.1.2 Diseño de la arquitectura y caracterización de interfaces üü3.1.3 Integración de módulos, evaluación y prueba (50%)

q Tarea 3.2: Subsistema robótico del dispositivo de visión.3.2.1 Especificación y diseño del operativo üü3.2.2 Diseño y realización del control de sensores y actuadores de

orientación, enfoque y luminosidad üü3.2.3 Diseño y realización de la interfaz üü3.2.4 Integración de módulos, evaluación y prueba (50%)

q Tarea 3.3: Subsistema de procesamiento de la imagen.3.3.1 Estudio y desarrollo de los algoritmos üü3.3.2 Implantación hardware üü3.3.3 Integración de módulos, evaluación y prueba (50%)

2. Resultados Tarea 3.1: Caracterización global del nodo.3.1.1 Establecimiento de requerimientos y de especificaciones

Entrada Materia Prima

Salida Productos

EPO: Pikolinos

2. Resultados

§Balance de carga.

§QoS.

§Interfaz abierta.

§Particularizar los servicios del sistema de visión.

§Posibilidad de procesamiento en el procesador de la cámara, en coprocesadores especializados, en el nodo central de la plataforma o en procesadores remotos.

§Tesis doctoral (mayo,01)

Tarea 3.1: Caracterización global del nodo.3.1.2 Diseño de la arquitectura y caracterización de interfaces

Aglets

Linux

JVM

Nodo

Clase NRSF

Aglets

Windows

JVM

Nodo

Clase NRSF

Aglets

IRIX

JVM

Nodo

Clase NRSF

Aglets

AIX

JVM

Nodo

Clase NRSF

AVM

AS

SMA

Servicios SV

AVM

ACD

ACF

AGA

RIAMRA

AS

AS MRA

MRA

AVE

AVI

AVFBAVTACE

ACO

ACZ

ACPT SAAS

Modelo de generación de configuraciones y mantenimiento de la consistencia.

2. Resultados

La interfaz con el resto de la plataforma móvil queda embebida por los agentes.

Tarea 3.1: Caracterización global del nodo.3.1.2 Diseño de la arquitectura y caracterización de interfaces

HW del Sistema de Visión

RT Linux

MASV

ARTIS

2. Resultados

q Realizada la definición del sistema y la especificación de los agentes del sistema.

q Realizados los modelos de servicios (procesamiento de imagen y control de la cámara).

q En realización la especificación de los agentes del servicio de visión.

Tarea 3.1: Caracterización global del nodo.3.1.3 Integración de módulos, evaluación y prueba (50%)

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.

3.2.1 Especificación y diseño del operativo

Aglets

Linux

JVM

Nodo

Clase NRSF

Aglets

Windows

JVM

Nodo

Clase NRSF

Aglets

IRIX

JVM

Nodo

Clase NRSF

Aglets

AIX

JVM

Nodo

Clase NRSF

AVM

AS

SMA

Servicios SV

AVM

ACD

ACF

AGA

RIAMRA

AS

AS MRA

MRA

AVE

AVI

AVFBAVTACE

ACO

ACZ

ACPT SA

AS

Sistema operativo de la cámara basado en agentes móviles sobre AGLETS.

2. Resultados

Realización del sistema operativo como una capa MAS sobre AGLETS.

Tarea 3.2: Subsistema robóticodel dispositivo de visión.

3.2.1 Especificación y diseño del operativo

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.

3.2.1 Especificación y diseño del operativo

MAC

NIC

MDIAdaptador

CPU

NRSC

SAMROM

EPROMRAMCoprocesador Criptográfico

WatchDog

NIC+NRSC

Red de Comunic

Reloj

Reloj

Interfaz.

BusHost

MEM

MEM

Sincronizador

Bus del

Host

Coprocesador de agentes.

2. Resultados

Subsistema de control de motores de la cámara basado en agentes móviles sobre AGLETS

Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.2 Diseño y realización del control de sensores y actuadores ...

Aglets

Linux

JVM

Nodo

Clase NRSF

Aglets

Windows

JVM

Nodo

Clase NRSF

Aglets

IRIX

JVM

Nodo

Clase NRSF

Aglets

AIX

JVM

Nodo

Clase NRSF

AVM

AS

SMA

Servicios SV

AVM

ACD

ACF

AGA

RIAMRA

AS

AS MRA

MRA

AVE

AVI

AVFBAVTACE

ACO

ACZ

ACPT SA

AS

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.2 Diseño y realización del control de sensores y actuadores ...

Drivers de potencia para control de motores

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.

3.2.3 Diseño y realización de la interfaz

21 40 53 ; A0 CA 00 00 ; NAD/PCB/LEN/CLA/INS/P1/P2 Cabecera

4D ; CL Longitud del comando

00 ; CN Comando 0x00

4B ; DL Tamaño de los datos del comando

01 01 82 ; Datos del comando 0x00

DC E9 1B 55 89 A0 D5 22 ; Firma digital

16 48 08 B1 A4 84 8F 2B ; Paquete encriptado núm. 1

3B DA AC 07 A2 31 B0 83 ; Paquete encriptado núm. 2

E2 27 5D 47 C8 27 D5 0E ; Paquete encriptado núm. 3

7C 9C A6 51 E5 0D FE 18 ; Paquete encriptado núm. 4

54 04 80 26 49 FC A6 71 ; Paquete encriptado núm. 5

B2 FA 69 51 0C 22 B7 24 ; Paquete encriptado núm. 6

BF 7E 3F 64 D0 1A BC 24 ; Paquete encriptado núm. 7

F3 6E 88 6E 69 0F 0F 61 ; Paquete encriptado núm. 8

05 ; RL Tamaño de la respuesta

EB ; LRC Checksum

12 40 07 ; ; NAD/PCB/LEN Cabecera estándar

80 ; CN Comando 0x80

03 ; DL Tamaño de los datos del comando

B1 01 ; ACK

04 ; Número de secuencia

90 00 ; SW1/SW2 Estado normal

F2 ; LRC Checksum

Pila NRSP

Comandos NRSF

APDUISO-7816/4

T=1ISO-7816/3

Dispositivo ISO-7816

COLA

LRC

CUERPO

Datos (Comando o Respuesta APDU)

CABECERA

NAD PCB LEN

CUERPO

Datos (Respuesta NRSF)

COLA

SW1 SW2

CABECERA

CLA INS P1 P2

CUERPO

Datos (Comando NRSF)CL RL

CUERPO

Datos

CABECERA

CN DL

Interfaz host/coprocesador

Agente SIA

Influenciashacia el Entorno

Memorización+

Deliberación

MRU: Unidad de Encaminamiento de Mensajes

Percepción

σdesde el Entorno

Interfaz SMA-SIAMensajedesde SMA

Interfaz SIA-SIAMensajedesde SIA

Interfaz RA-SIAMensajedesde RA

Interfaz SIA-SMA

Interfaz SIA-RIA

Interfaz SIA-RA Mensajehacia RA

Mensajehacia RIA

Mensajehacia SMA

Interfaz SIA-SIA Mensajehacia SIA

MRU

Interfaz SIA-SA Mensajehacia SA

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.

3.2.3 Diseño y realización de la interfaz

Nivel de agentes

Agente RA

Influenciashacia el Entorno

Mensajehacia SIA

Memorización+

Deliberación

Interfaz RA-SIA

Interfaz SIA-RA

Percepciónσdesde el Entorno

Mensajedesde SIA

P1

P2

Agente ααSIAiAgente αα RA

p(S,LP)

P3

P4

ααRA

<< notInterested(S, ααSIAi

)

msg1

msg4

ααRA

<< Propose(S, P)

ααSIA

<< Refuse(S, ααSIA

)

ααSIA

<< Accept(S, ααSIA

)

(b)(a)

(d)(c)

tc≡ c(S, C, αSIA)Pm = Best(LP)C = Contract(Pm)αSIA = Provider(Pm)

Proposals(S,LP)

n=0

n� 0

n� 0

p(S,LP)

p(S,{})

LP� Ø

LP=Ø

p(S,LP)

tc

tc

ta

d(S,C,αRA)

Accept(S,C)

¬Accept(S,C)

e(S,αSIA)

S

canDo(S)

p(S, LP-{Pm})

Commit(S,Self,αRA)Impossible(S)

Commit(S,αSIA,Self)

p(S,LP)

m(S, n -1)tm

m(S, n -1)

p(S, LP+{P})

¬canDo(S)

Allocate(S)

b(S, P, αRA)

tm≡ m(S, card())

ta≡ a(S, αRA)

P=Proposal(S)

msg1 ≡ << RequestForServiceProvider (S,Self)

msg4 ≡≡ αSIAi << Award(S, C, αR A)

P1 ≡ obtiene los agentes P2 ≡ contabiliza respuestas

P3 ≡ recoge propuestas P4 ≡ busca mejor proveedor

S ≡ Solicitud LP ≡ Lista de PropuestasP ≡ Propuesta

2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.4 Integración de módulos, evaluación y prueba (50%)

q S.O. de la cámara basado en agentes móviles sobre AGLETS.

q Coprocesador de agentes.

q Tarjeta controladora de motores

q Interfaz host/coprocesador

q Interfaz entre agentes

q Desarrollo e integración de los agentes de control de motores sobre AGLETS

q Desarrollo sobre ARTIS

Realizado

En realización

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen.

3.3.1 Estudio y desarrollo de los algoritmos

Aglets

Linux

JVM

Nodo

Clase NRSF

Aglets

Windows

JVM

Nodo

Clase NRSF

Aglets

IRIX

JVM

Nodo

Clase NRSF

Aglets

AIX

JVM

Nodo

Clase NRSF

AVM

AS

SMA

Servicios SV

AVM

ACD

ACF

AGA

RIAMRA

AS

AS MRA

MRA

AVE

AVI

AVFBAVT

ACE

ACO

ACZ

ACPT SA

AS

Subsistema de procesamiento de imagen basado en agentes móviles sobre AGLETS

Tratamiento de la

Incertidumbre

Tratamiento de la

incertidumbre debida a la distancia de

interés.

Tratamiento de la

incertidumbre debida a la

iluminación.

Hardware

Hardware de bajo nivel

para visión en tiempo real.

2. Resultados

Visión de nivel medio

Módulo de análisis de

secuencias de imágenes.

Filtros

Implantación de filtros

hardware de imagen.

Tarea 3.3: Subsistema de procesamiento de la imagen.

3.3.1 Estudio y desarrollo de los algoritmos

Visión de nivel medio

Módulo de análisis de

secuencias de imágenes.

Hardware

Hardware de bajo nivel

para visión en tiempo real.

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen

Filtros

Implantación de filtros

hardware de imagen.

Tratamiento de la

Incertidumbre

Tratamiento de la

incertidumbre debida a la distancia de

interés.

Tratamiento de la

incertidumbre debida a la

iluminación.

3.3.1 Estudio y desarrollo de los algoritmos

Módulos de tratamiento de la incertidumbre en visión:

§ Métodos para cancelar la incertidumbre de la señal percibida en los sistemas de visión a fin de poder operar en condiciones realistas(iluminación inadecuada, dificultades de enfoque, etc.).

§ Propuesta de modelo de tratamiento de la incertidumbremediante bases de conocimiento.

§ Propuesta de arquitectura de visión para el tratamiento de la incertidumbre debida a la distancia de interés.

§ Extracción de texturas en imágenes de escenas naturales para segmentarlas, en situaciones de iluminación extrema (penumbra y deslumbramientos) y distribución irregular de la iluminación.

§ Tesis doctoral ( otoño, 01).

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos

2. Resultados

Nivel de iluminación

Distancia de interés

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos

Tratamiento de la

Incertidumbre

Tratamiento de la

incertidumbre debida a la distancia de

interés.

Tratamiento de la

incertidumbre debida a la

iluminación.

Hardware

Hardware de bajo nivel

para visión en tiempo real.

2. Resultados

Filtros

Implantación de filtros

hardware de imagen.

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos

Visión de nivel medio

Módulo de análisis de

secuencias de imágenes.

Propuesta de módulos de visión de nivel medio para:§ Desarrollo de hardware de nivel medio orientado a ayuda a la

navegación.

§ Empleo de redes neuronales auto-organizativas como caracterizadores morfológicos de los objetos de una escena.

§ Aplicación al análisis de secuencias de imágenes, entendidascomo deformaciones de la red a lo largo del aprendizaje de los diferentes frames; para ayuda a la navegación.

§ Arquitecturas específicas de visión para procesamiento en tiempo real basadas en la utilización de los mapas auto-organizativos de tipo Growing Neural Gas.

§ Tesis doctoral ( Otoño, 01).

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos

2. Resultados

Reconocimiento de formas mediante mapas auto-organizativos de tipo Growing Neural Gas.

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos

Visión de nivel medio

Módulo de análisis de

secuencias de imágenes.

Tratamiento de la

Incertidumbre

Tratamiento de la

incertidumbre debida a la distancia de

interés.

Tratamiento de la

incertidumbre debida a la

iluminación.

Hardware

Hardware de bajo nivel

para visión en tiempo real.

2. Resultados

Filtros

Implantación de filtros

hardware de imagen.

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

Microprocesador especializado en visión TR:

§ Plataforma para implantación de operaciones de visión con características inherentes de restricciones temporales y tolerancia a fallos.

§ Modelos de implementación de primitivas basados en tablas look-uppara procesamiento en tiempo real.

§ Desarrollo de arquitecturas específicas para el tratamiento de imágenes, sobre una base metodológica para abordar los problemas de tiempo real al nivel de primitivas computacionales.§ Propuesta extensible a procesadores de tiempo real.

§ Tesis doctoral (Julio,01).

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

2. Resultados

Nivel 3: Algoritmos específicos

Nivel 2: Funciones

Nivel 1: Instrucciones ensamblador

CPU CLÁSICA

Nivel 1:Primitivas

CPU IMPRECISA¿�?

Resultados exactos

(y sólo al final)Resultados inexactos

(en tiempos parciales, según calidad)

Acceso a tablaSelección del resultado en arbol

Resultados experimentación VHDL, FPGAs

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

Visión de nivel medio

Módulo de análisis de

secuencias de imágenes.

Tratamiento de la

Incertidumbre

Tratamiento de la

incertidumbre debida a la distancia de

interés.

Tratamiento de la

incertidumbre debida a la

iluminación.

Hardware

Hardware de bajo nivel

para visión en tiempo real.

2. Resultados

Filtros

Implantación de filtros

hardware de imagen.

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

q Hardware de visión de bajo y medio nivel:§ Plataforma para implantación de operaciones de visión con

características inherentes de restricciones temporales y tolerancia a fallos.

§ Microprocesadores específicos de filtrado de imagen y de tratamiento de la incertidumbre.§ Implantación hardware de arquitecturas de visión de bajo nivel

(gradientes, primitivas morfológicas, etc.) para realizar filtros que operen en paralelo sobre la imagen completa.§ Implantación hardware de arquitecturas de visión de nivel medio para

desarrollar filtros de tratamiento de la incertidumbre.

§ Tesis doctoral (Otoño, 02).

2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

2. Resultados

Paralelización de primitivas morfológicas a Imagen Completa.Arquitectura Segmentada.

HOST

mi

t1

t2...ti

MatrizMi

dat1dat2...dati

EP

2

t1

t2...ti

t1

t2...ti

t1

t2...ti

dbt1dbt2...dbti

ddt1ddt2...ddti

dit1dit2...diti

EP

1

EP

3

EP

4

Mapas del terreno basados en primitivas morfológicas

Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware

Sobre plataforma TMS320C40

T i e m p o s m e d i o s v s T a m a ñ o d e l E E

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

20000

5x5 9x913

x1317

x1721

x2125

x2529

x2933

x3337

x3741

x4145

x4549

x4953

x5357

x5761

x6165

x6569

x6973

x7377

x7781

x8185

x8589

x8993

x9397

x97

101x10

1

T a m a ñ o d e l E l e m e n t o E s t r u c t u r a n t e

Tiem

po (m

s)

Imagen Completa Local

Ibarra Picó, F; Fuster Guillo, A; Colom Lopez, J. “Remote server of processes on cards based on digital signal processors”. IEEE Multimedia Systems '99, International Conference on Multimedia Computing and Systems (IEEE ICMCS'99).

Pujol, F.A.; García Chamizo, J.M.; Ledesma Latorre, B.; Fuster Guilló, A.; Pujol, M.; Filtrado Morfológico de Imágenes: Implementación de Primitivas Basadas en DSPs. VIII Conferencia de la Asociación Española para la Inteligencia Artificial. Murcia, 16-19 Noviembre 1999.

Pujol, F.A.; García Chamizo, J.M.; Ledesma, B.; Fuster, A.; Pujol, M; DSP Implementations of Morphological Filtering: Application to Path Planning Problems. 11th Portuguese Conference on Pattern Recognition, Porto, Portugal, May 11th – 12th, 2000.

Ferrández Pastor, F.J.; García Chamizo, J.M.; Pujol López, F. Método para la determinación de distancias mediante técnica multifrecuencialConferencia Internacional de Telecomunicaciones y Electrónica (TELEC’2000) Santiago de Cuba (Cuba), julio 2000

3. Publicaciones

García Chamizo, J.M.; Pujol López, F.; Llorens Largo, F.; Pujol López, M.; Rizo Aldeguer, R. Selection of a Suitable Measurement to Obtain a Quality Segmented Image. 5th Iberoamerican Symposium on Pattern Recognition, Lisboa (Portugal), september 2000

Ferrández Pastor, F.J.; García Chamizo, J.M.; Pujol López, F. A new Method for Position Location in Random Media 8th International Conference on Electromagnetics of Complex Media (Bianisotropics'2000). Lisboa (Portugal). September, 2000

García Chamizo J.M.; Maciá Pérez F. A Mobile Agent-based Model for a Node Regeneration System. International Conference on Knowledge Based Computer Systems (KBCS 2000). Mumbai, India. December, 2000

F.A. Pujol; J.M. García Chamizo; A. Fuster; M. Pujol; R. Rizo; Use of Mathematical Morphology in Real-Time Path Planning. Kybernetes(The International Journal of Systems & Cybernetics) Editorial: MCB University Press. nº 6, junio de 2001.

3. Publicaciones

Enviados

García Chamizo, J.M.; Ledesma Latorre, B.; Fuster Guilló, A.; Pujol López, F.A. Spatial Modulation of Light by Reflection. Invariant Processing of Spatial Distributions in Images. Engineering Applications of Artificial Intelligence (Elsevier Journal).

García Chamizo J.M.; Mora Pascual J.; Mora Mora H. High performance adder based on ROM look-up tables. Integration, the VLSI Journal.

García Chamizo J.M.; Mora Pascual J.; Mora Mora H. Partial product generation for high performance multiplier. Journal of Circuits Systems and Computers.

Azorín López J., Flórez Revuelta F., Fuster Guilló A., García Chamizo J. M. Sistema de reparto de correo guiado por visión. 4t Congrés Català d'intel·ligència artificial. CCIA2001. Octubre 2001.

3. Publicaciones

El prototipo desarrolla actividades de reparto automático de mensajeríaen las instalaciones del departamento, que es el problema que se ha utilizado a modo de banco de pruebas.

4. Prototipo actual Ejemplo de aplicación

SistemaImagen

del entorno

Datos de posición de la plataforma

Datos elaboradosde visión

Actuación sobre loselementos de control

Imagendel entorno

Datos de posiciónde la plataforma

Cámara

IR

USSUBSISTEMA DE

MOVIMIENTO

SUBSISTEMADE VISIÓN

Datos elaboradosde visión

Actuación sobre loselementos de control

Motores Pan-tilt

Control

Seguir pared

Ev itarobstáculo

Interfazcon s is tema

de visión

Ev itar final del pasillo

Encontrar final del pasillo

Encontrar obstáculo

Sen

sore

s

Act

uad

ores

S. Visión

Diagrama del subsistema de movimiento Diagrama del subsistema de visión

Detección delrectángulo

Recono-cimiento

Adquisición de imágenes

Fitrado del ruido

Detección de características

Segmentación

S. Movimiento

Bu

ffer

q Modelado basado en agentes móviles y sistemas multiagente.

q Tratamiento de la incertidumbre en sistemas de visión artificial.

q Arquitecturas para visión de nivel medio basadas en redes neuronales.

q Procesamiento de bajo nivel para tiempo real.

q Línea futura. Localización en ambientes sin visibilidad

5. Conclusiones Líneas abiertas de investigación

Proyecto V-PRISMA 5. Conclusiones

q Visión mediante periférico robótico inteligente para sistemas móviles autónomos.§ Mejorar las técnicas de percepción visual de escenas reales,

resolviendo los problemas de incertidumbre en visión.

§ Desarrollar arquitecturas específicas de visión para procesamiento en tiempo real mediante hardware de procesamiento y coprocesamiento.

§ Implantar, en el dispositivo de visión, el sistema operativo de tiempo real basado en agentes que se ha desarrollado para gestionar la plataforma.

§ Incorporar soporte inalámbrico multicanal de comunicación para que la cámara pueda interaccionar con otros sistemas además de la propia plataforma sobre la que se encuentre instalada y para proporcionar la opción de control remoto mediante mando a distancia.