“Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf ·...

Universidad Politécnica de CartagenaUniversidad Politécnica de Cartagena

GrupoGrupo de de NeurotecnologíaNeurotecnología, Control y, Control yRobóticaRobótica

““NeuroNeuro--robótica y Guiado robótica y Guiado Visual”Visual”

ObjetivosObjetivosGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Algoritmos de visión idoneos para aplicaciones en neuro-robóticaEmulación sistema oculo-motor humanoElemento de arquitectura multisensorialFunciones:

Seguimiento ocular y panorámicoIntegración visión-tactoControl de alcance y agarreBasados en modelos de aprendizajeControl de pre-shaping del manipulador robot

Plataforma antropomórfica

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Coordinación entre mapas visuo-motores y tactil-motores

Diferentes representaciones espaciales

Sistema de referencias absoluto en coordenadas ciclópeas

Módulo de conmutación de comportamientos

Mapas neuronales de aprendizaje adpatativo

Control de la postura del sistema robot

CARACTERÍSTICASCARACTERÍSTICAS

Plataforma Antropomórfica Plataforma Antropomórfica

Mano RobotCabezal LINCE

Sensores de Visión

SensoresDe Tacto

Neurocontrolador

Brazo Robot


• El comportamiento del sistema biológicohumano no funciona correctamente basadosólo en información retinal

• El sistema humano genera diferentesrepresentaciones del entorno en función de diferentes canales sensitivos

• La discrepancia entre información visual y táctil en el agarre (p.e) es resulta por un módulo selector de comportamientos

CONSIDERACIONESCONSIDERACIONESGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

PROCESO DE ALCANCE Y AGARRE


Temporalcoordination

Móduloselección de

comportamiento


comportamiento

Selecciónvisual de objetivos

REI

Controladordel cabezal

Controladorvisuo-motor

de brazo

Controladortactil-motor

de brazo

Aplicación

Carcaterísticasdel objeto


de mano


Módulo Selector de Comportamiento Jerarquía

Controladores Senso-Motores Algoritmos VAM

DESCRIPCIÓN DE BLOQUES

4 representaciones para operacioens de alcance

ISROV ISRMV

ISROT ISRMP


•Establece prioridades entre los canales visualesy tactiles, dependiendo de la tarea específica a realizar

Visión Tacto ComandoNO NO Búsqueda visual de objetivosSI NO Alcance Visual. Entrada visual al

módulo de REINO SI Maniobra de agarre para centrar el

objeto. Compensación de los pesos neuronales

SI SI Agarre o manipulación. Informacióntáctil para el módulo de REI


MÓDULO SELECTOR DE COMPORTAMIENTO

Temporalcoordination


comportamiento


comportamiento

Selecciónvisual de objetivos

REI

Controladordel cabezal


de brazo

Controladortactil-motor

de brazo

Aplicación

Carcaterísticasdel objeto


de mano


REACH TO GRASP

Modelos neuronalespara la coordinaciónespacio temporal de Reach To Grasp

Producción de la fuerza de agarre de modo anticipativo

Modulación de la forma de la manodurante el movimiento

Identification – Grip channelpreshapingdigital grip

Localisation – Arm channelpreprogrammed ballistic movement

Tactileguidance

Visualguidance


EYEPOSITIONING

HEAD

Movement Trigger

HandPreshaping

ArmTransport

LocationPositional cuesExtrinsic propertiesVisuomotor Transformations

IdentificationShape/ Orientation cuesIntrinsic propertiesVisuomotor Transformations

Contact

TemporalCoordination

Visu

al G

uid a

n ce

Ope

nL o

o p

Mechanical Action Sensory Exploration

Tact

ileG

uid a

n ce

Clo

s ed

L oo p


Coordenadas Absolutas Base de la cabeza

Representación ciclópea

del punto de fijación

θ: Vergencia

φ: Versión

γ: Elevación

CABEZAL LINCE CABEZAL LINCE [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

CABEZAL LINCE CABEZAL LINCE [2][2]

8.5 Kg8.5 KgPesoPeso

360 mm360 mmLLííneanea base base

0.00750.0075°°0.00750.0075°°0.00750.0075°°RepetibilidadRepetibilidad

10N.m10N.m1.6Nm1.6Nm115mNm115mNmTorqueTorque

AC MotorAC MotorDC MotorDC MotorDC MotorDC MotorTiposTipos de de actuadoresactuadores

15001500°°/s/s2240004000°°/s/s2260006000°°/s/s22AceleraciAceleracióónn mmááximaxima

230230°°/s/s400400°°/s/s600600°°/s/sVelocidadVelocidad mmááximaxima

±±180180°°±±3030°°±±3030°°RangoRango mmááximoximo

PanorPanoráámicomicoElevaciElevacióónnVergenciaVergencia


Identificación del objeto a manipular

Identificación de brazo y mano robot

Posición 3D del objetio

Posición 3D del efector final y de la mano

Orientación del objeto y del manipulador

ALGORITMO

Border-Based Elastical Graph Matching (BBEGM)

SISTEMA DE ADQUISICIÓN VISUAL SISTEMA DE ADQUISICIÓN VISUAL [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Extracción del Modelo

1. Caracterización del nodo (propiedadeslocales)

2. Unión entre nodos(propiedades globales)

1

2

SISTEMA DE ADQUISICIÓN VISUAL [2]SISTEMA DE ADQUISICIÓN VISUAL [2]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica


SELECCIÓN Y REFUERZOSELECCIÓN Y REFUERZOTTMAXMAX: Número de candidatos: Número de candidatos

–– Se establece una competición entre los nodos Se establece una competición entre los nodos candidatos para cada imagen de entradacandidatos para cada imagen de entrada

–– Se calculan 3 parámetros: Se calculan 3 parámetros: Similitud entre nodosSimilitud entre nodosDirecciónDirecciónLongitudLongitud

–– Mayor índice P para cada par de nodos determina la Mayor índice P para cada par de nodos determina la elección correctaelección correcta

SISTEMA DE ADQUISICIÓN VISUAL [3]SISTEMA DE ADQUISICIÓN VISUAL [3]

Imágenes del modelo

Creation of a graph model

0º 90º45º

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [4]SISTEMA DE ADQUISICIÓN VISUAL [4]

MATCHING

1. Determina los posibles nodoscandidatos en base a propiedades locales

2. Determina la calidad del proceso de identificación en base a propiedades globales

+∆θ


Modelos: Seis figuras geométricas rotadas en pasos Modelos: Seis figuras geométricas rotadas en pasos de 0 de 0 90 grados. Total: 42 grafos de modelos90 grados. Total: 42 grafos de modelos

Imágenes para Imágenes para testtest: Figuras rotadas en ángulos : Figuras rotadas en ángulos intermedios. Total: 48 imágenes de entradaintermedios. Total: 48 imágenes de entrada

Imágenes (modelos + imágenes de entrada) Imágenes (modelos + imágenes de entrada) reducidas desde 768 x 576 a 128 x 128 reducidas desde 768 x 576 a 128 x 128 pixelspixels(interpolación (interpolación bilinealbilineal))


IdentificaciónRotación

Posición 3D


ISROV, MV:

Transformación Retinal-Motora

Representación de objetivoscon respecto al sistema de

referencias absoluto

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [1]Representación de Objetivos [1]

• Proyección de información visual sobre los comandos motoresPPMm (Motor Present Position Map)

Vdr

∆

ISRMP


Modelo neuronal para

proyectar información

táctil

Tdr

∆

ISROT


Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaINSTALACIONES ROBÓTICASINSTALACIONES ROBÓTICAS

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRESULTADOS EXPERIMENTALESRESULTADOS EXPERIMENTALES

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaCONCLUSIONESCONCLUSIONES

• Integración de modelos visuales en plataformas multisensoriales

• Emulación sistema biológico humano

• Algoritmos de identificación visual en sistemas distribuidos

• Robustez ante cambio de plataformas

• Invariante a escala, cambios de iluminación, y rotaciones

• Control visuo-motor en dispositivos hardware

“Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf ·...

Documents

Transcript of “Neuro-robótica y Guiado Visual”dfists.ua.es/controlvisual/ponencias/NRGVupct.pdf ·...