Universidad Politécnica de CartagenaUniversidad Politécnica de Cartagena

GrupoGrupo de de NeurotecnologíaNeurotecnología, Control y, Control yRobóticaRobótica

““NeuroNeuro--robótica y Guiado robótica y Guiado Visual”Visual”

ObjetivosObjetivosGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Algoritmos de visión idoneos para aplicaciones en neuro-robóticaEmulación sistema oculo-motor humanoElemento de arquitectura multisensorialFunciones:

Seguimiento ocular y panorámicoIntegración visión-tactoControl de alcance y agarreBasados en modelos de aprendizajeControl de pre-shaping del manipulador robot

Plataforma antropomórfica

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Coordinación entre mapas visuo-motores y tactil-motores

Diferentes representaciones espaciales

Sistema de referencias absoluto en coordenadas ciclópeas

Módulo de conmutación de comportamientos

Mapas neuronales de aprendizaje adpatativo

Control de la postura del sistema robot

CARACTERÍSTICASCARACTERÍSTICAS

Plataforma Antropomórfica Plataforma Antropomórfica

Mano RobotCabezal LINCE

Sensores de Visión

SensoresDe Tacto

Neurocontrolador

Brazo Robot

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

• El comportamiento del sistema biológicohumano no funciona correctamente basadosólo en información retinal

• El sistema humano genera diferentesrepresentaciones del entorno en función de diferentes canales sensitivos

• La discrepancia entre información visual y táctil en el agarre (p.e) es resulta por un módulo selector de comportamientos

CONSIDERACIONESCONSIDERACIONESGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

PROCESO DE ALCANCE Y AGARRE

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Temporalcoordination

Móduloselección de

comportamiento

Móduloselección de

comportamiento

Selecciónvisual de objetivos

REI

Controladordel cabezal

Controladorvisuo-motor

de brazo

Controladortactil-motor

de brazo

Aplicación

Carcaterísticasdel objeto

Controladorvisuo-motor

de mano

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Módulo Selector de Comportamiento Jerarquía

Controladores Senso-Motores Algoritmos VAM

DESCRIPCIÓN DE BLOQUES

4 representaciones para operacioens de alcance

ISROV ISRMV

ISROT ISRMP

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

•Establece prioridades entre los canales visualesy tactiles, dependiendo de la tarea específica a realizar

Visión Tacto ComandoNO NO Búsqueda visual de objetivosSI NO Alcance Visual. Entrada visual al

módulo de REINO SI Maniobra de agarre para centrar el

objeto. Compensación de los pesos neuronales

SI SI Agarre o manipulación. Informacióntáctil para el módulo de REI

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

MÓDULO SELECTOR DE COMPORTAMIENTO

Temporalcoordination

Móduloselección de

comportamiento

Móduloselección de

comportamiento

Selecciónvisual de objetivos

REI

Controladordel cabezal

Controladorvisuo-motor

de brazo

Controladortactil-motor

de brazo

Aplicación

Carcaterísticasdel objeto

Controladorvisuo-motor

de mano

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

REACH TO GRASP

Modelos neuronalespara la coordinaciónespacio temporal de Reach To Grasp

Producción de la fuerza de agarre de modo anticipativo

Modulación de la forma de la manodurante el movimiento

Identification – Grip channelpreshapingdigital grip

Localisation – Arm channelpreprogrammed ballistic movement

Tactileguidance

Visualguidance

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

EYEPOSITIONING

HEAD

Movement Trigger

HandPreshaping

ArmTransport

LocationPositional cuesExtrinsic propertiesVisuomotor Transformations

IdentificationShape/ Orientation cuesIntrinsic propertiesVisuomotor Transformations

Contact

TemporalCoordination

Visu

al G

uid a

n ce

Ope

nL o

o p

Mechanical Action Sensory Exploration

Tact

ileG

uid a

n ce

Clo

s ed

L oo p

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Coordenadas Absolutas Base de la cabeza

Representación ciclópea

del punto de fijación

θ: Vergencia

φ: Versión

γ: Elevación

CABEZAL LINCE CABEZAL LINCE [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

CABEZAL LINCE CABEZAL LINCE [2][2]

8.5 Kg8.5 KgPesoPeso

360 mm360 mmLLííneanea base base

0.00750.0075°°0.00750.0075°°0.00750.0075°°RepetibilidadRepetibilidad

10N.m10N.m1.6Nm1.6Nm115mNm115mNmTorqueTorque

AC MotorAC MotorDC MotorDC MotorDC MotorDC MotorTiposTipos de de actuadoresactuadores

15001500°°/s/s2240004000°°/s/s2260006000°°/s/s22AceleraciAceleracióónn mmááximaxima

230230°°/s/s400400°°/s/s600600°°/s/sVelocidadVelocidad mmááximaxima

±±180180°°±±3030°°±±3030°°RangoRango mmááximoximo

PanorPanoráámicomicoElevaciElevacióónnVergenciaVergencia

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Identificación del objeto a manipular

Identificación de brazo y mano robot

Posición 3D del objetio

Posición 3D del efector final y de la mano

Orientación del objeto y del manipulador

ALGORITMO

Border-Based Elastical Graph Matching (BBEGM)

SISTEMA DE ADQUISICIÓN VISUAL SISTEMA DE ADQUISICIÓN VISUAL [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Extracción del Modelo

1. Caracterización del nodo (propiedadeslocales)

2. Unión entre nodos(propiedades globales)

1

2

SISTEMA DE ADQUISICIÓN VISUAL [2]SISTEMA DE ADQUISICIÓN VISUAL [2]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica

SELECCIÓN Y REFUERZOSELECCIÓN Y REFUERZOTTMAXMAX: Número de candidatos: Número de candidatos

–– Se establece una competición entre los nodos Se establece una competición entre los nodos candidatos para cada imagen de entradacandidatos para cada imagen de entrada

–– Se calculan 3 parámetros: Se calculan 3 parámetros: Similitud entre nodosSimilitud entre nodosDirecciónDirecciónLongitudLongitud

–– Mayor índice P para cada par de nodos determina la Mayor índice P para cada par de nodos determina la elección correctaelección correcta

SISTEMA DE ADQUISICIÓN VISUAL [3]SISTEMA DE ADQUISICIÓN VISUAL [3]

Imágenes del modelo

Creation of a graph model

0º 90º45º

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [4]SISTEMA DE ADQUISICIÓN VISUAL [4]

MATCHING

1. Determina los posibles nodoscandidatos en base a propiedades locales

2. Determina la calidad del proceso de identificación en base a propiedades globales

+∆θ

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [5]SISTEMA DE ADQUISICIÓN VISUAL [5]

Modelos: Seis figuras geométricas rotadas en pasos Modelos: Seis figuras geométricas rotadas en pasos de 0 de 0 90 grados. Total: 42 grafos de modelos90 grados. Total: 42 grafos de modelos

Imágenes para Imágenes para testtest: Figuras rotadas en ángulos : Figuras rotadas en ángulos intermedios. Total: 48 imágenes de entradaintermedios. Total: 48 imágenes de entrada

Imágenes (modelos + imágenes de entrada) Imágenes (modelos + imágenes de entrada) reducidas desde 768 x 576 a 128 x 128 reducidas desde 768 x 576 a 128 x 128 pixelspixels(interpolación (interpolación bilinealbilineal))

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [6]SISTEMA DE ADQUISICIÓN VISUAL [6]

IdentificaciónRotación

Posición 3D

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [7]SISTEMA DE ADQUISICIÓN VISUAL [7]

ISROV, MV:

Transformación Retinal-Motora

Representación de objetivoscon respecto al sistema de

referencias absoluto

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [1]Representación de Objetivos [1]

• Proyección de información visual sobre los comandos motoresPPMm (Motor Present Position Map)

Vdr

∆

ISRMP

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [2]Representación de Objetivos [2]

Modelo neuronal para

proyectar información

táctil

Tdr

∆

ISROT

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [3]Representación de Objetivos [3]

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaINSTALACIONES ROBÓTICASINSTALACIONES ROBÓTICAS

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRESULTADOS EXPERIMENTALESRESULTADOS EXPERIMENTALES

Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaCONCLUSIONESCONCLUSIONES

• Integración de modelos visuales en plataformas multisensoriales

• Emulación sistema biológico humano

• Algoritmos de identificación visual en sistemas distribuidos

• Robustez ante cambio de plataformas

• Invariante a escala, cambios de iluminación, y rotaciones

• Control visuo-motor en dispositivos hardware