Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de...

Área de Instrumentación

INSTITUTO DE ASTROFÍSICA DE CANARIASINSTITUTO DE ASTROFÍSICA DE CANARIAS

Jorge Maella MarecaInstituto de Astrofísica de Canarias

Realización de Software en el proyecto EAVRealización de Software en el proyecto EAV

Autor: Jorge Maella Mareca

Dirección: Luis Fernando Rodríguez Ramos

Nicolás Sosa García

Autor: Jorge Maella Mareca

Dirección: Luis Fernando Rodríguez Ramos

Nicolás Sosa García

Área de InstrumentaciónJorge Maella MarecaInstituto de Astrofísica de Canarias

Contenido de la exposiciónContenido de la exposición

- Proyecto Espacio Acústico Virtual (EAV)- Adaptación del software a la nueva

plataforma- Proceso de Calibrado software de las

cámaras.- Sonidos: Estructura actual y trabajos

realizados.- Documentación.- Turno de preguntas.

- Proyecto Espacio Acústico Virtual (EAV)- Adaptación del software a la nueva

plataforma- Proceso de Calibrado software de las

cámaras.- Sonidos: Estructura actual y trabajos

realizados.- Documentación.- Turno de preguntas.


Espacio Acústico Virtual Espacio Acústico Virtual

-Objetivo: Percepción del entorno usando únicamente sonidos

- Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras”

- Tecnología: Visión Espacial + Espacialización de sonidos

- Destinado a las personas ciegas

-Objetivo: Percepción del entorno usando únicamente sonidos

- Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras”

- Tecnología: Visión Espacial + Espacialización de sonidos

- Destinado a las personas ciegas


Adaptación a la nueva plataforma: Prototipo Anterior

Adaptación a la nueva plataforma: Prototipo Anterior

- Computador modelo Matrox 4Sight – II- Framegrabber Matrox Meteor – II /Multi – Channel - Captura de vídeo no entrelazado- Captura de dos imágenes de 320 x 240 píxeles a

la vez. Una de cada cámara.- Demasiado grande para ser portable.

- Computador modelo Matrox 4Sight – II- Framegrabber Matrox Meteor – II /Multi – Channel - Captura de vídeo no entrelazado- Captura de dos imágenes de 320 x 240 píxeles a

la vez. Una de cada cámara.- Demasiado grande para ser portable.

Motivación para el CambioMotivación para el Cambio


Presentación de la nueva Plataforma

Presentación de la nueva Plataforma

- Computador Espresso Pocket PC- Dimensiones reducidas, 150 x 106 x 32 mm.- Potencia: Intel Celeron 700MHz, 256MB RAM- Integra hardware de sonido SoundBlaster

compatible

- Computador Espresso Pocket PC- Dimensiones reducidas, 150 x 106 x 32 mm.- Potencia: Intel Celeron 700MHz, 256MB RAM- Integra hardware de sonido SoundBlaster

compatible


Captura de Imágenes: USB + Vídeo entrelazadoCaptura de Imágenes:

USB + Vídeo entrelazado

- Captura de imágenes mediante bus USB.- Inconveniente: Solo se puede capturar una señal de vídeo con USB - Cámaras deben poder trabajar en modo entrelazado. - Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120.- Líneas pares, cámara derecha e impares izquierda.

- Captura de imágenes mediante bus USB.- Inconveniente: Solo se puede capturar una señal de vídeo con USB - Cámaras deben poder trabajar en modo entrelazado. - Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120.- Líneas pares, cámara derecha e impares izquierda.


Software del EAV: Estructura + Cambios a realizar

Software del EAV: Estructura + Cambios a realizar

- Estructura del programa de Estereovisión:

Bucle que realiza lo siguiente:- Capturar Imágenes y rectificarlas

- Transformarlas en imágenes sonoras.

- Reproducir los sonidos e iterar en el proceso.

- Primer trabajo:

Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez.

Separar la imagen entrelazada en dos por software.

- Estructura del programa de Estereovisión:

Bucle que realiza lo siguiente:- Capturar Imágenes y rectificarlas

- Transformarlas en imágenes sonoras.

- Reproducir los sonidos e iterar en el proceso.

- Primer trabajo:

Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez.

Separar la imagen entrelazada en dos por software.


Software del EAV: Estructura + Cambios a realizar (2)

Software del EAV: Estructura + Cambios a realizar (2)

- Problemillas...:

Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3.

Cambio en la versión del API de sonido WaveOut.

- Resultados: Buenos.

Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo.

Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.

- Problemillas...:

Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3.

Cambio en la versión del API de sonido WaveOut.

- Resultados: Buenos.

Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo.

Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.


Calibrado Software de las Cámaras

Calibrado Software de las Cámaras

- ¿qué es?- Procedimiento para calcular un conjunto de parámetros de las

lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades.

- Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras.

- Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design.

- Mi Tarea: Estandarizar y Documentar el proceso.

- ¿qué es?- Procedimiento para calcular un conjunto de parámetros de las

lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades.

- Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras.

- Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design.

- Mi Tarea: Estandarizar y Documentar el proceso.


Sonidos: Estructura del software encargado de la Reproducción.

Sonidos: Estructura del software encargado de la Reproducción.

- Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes.

Se carga a memoria al comenzar la ejecución

- Datos Técnicos:

Frecuencia de muestreo 48KHz.

Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms

Separación entre la emisión de 2 sonidos -> 1ms.

Máximo número de sonidos por frame -> 153.

- Se envían a reproducir todos los sonidos de un frame mezclados por software.

- Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes.

Se carga a memoria al comenzar la ejecución

- Datos Técnicos:

Frecuencia de muestreo 48KHz.

Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms

Separación entre la emisión de 2 sonidos -> 1ms.

Máximo número de sonidos por frame -> 153.

- Se envían a reproducir todos los sonidos de un frame mezclados por software.


Primera Tarea: Estudio de técnicas de

compresión del buffer de sonidos

Primera Tarea: Estudio de técnicas de

compresión del buffer de sonidos

- Motivación

Se espera tener colecciones de sonidos de cientos de Mbytes.

En los portátiles el consumo condiciona la memoria.

- Estudio de varias técnicas:

Compresión en memoria sin pérdidas:- Redes neuronales, tablas de búsqueda, tablas estilo cache.

Compresión con pérdidas: Algoritmo de mu – law.

Compresión en disco: huffman, lempel/Ziv.

- Estudio y documentación, no implementación.

- Motivación

Se espera tener colecciones de sonidos de cientos de Mbytes.

En los portátiles el consumo condiciona la memoria.

- Estudio de varias técnicas:

Compresión en memoria sin pérdidas:- Redes neuronales, tablas de búsqueda, tablas estilo cache.

Compresión con pérdidas: Algoritmo de mu – law.

Compresión en disco: huffman, lempel/Ziv.

- Estudio y documentación, no implementación.


Segunda Tarea: Búsqueda de una reproducción sonora más limpia. Segunda Tarea: Búsqueda de una reproducción sonora más limpia.

- Motivación: Dos defectillos en la reproducción:

Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio.

Evitar cortes bruscos en la reproducción sonora.

- Realización: Programación de otra manera del API WaveOut

CALLBACK + encolar paquetes de sonidos.

Sincronización por cita con semáforos.

- Prestaciones: Igual que el anterior, pero ...

Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.

- Motivación: Dos defectillos en la reproducción:

Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio.

Evitar cortes bruscos en la reproducción sonora.

- Realización: Programación de otra manera del API WaveOut

CALLBACK + encolar paquetes de sonidos.

Sincronización por cita con semáforos.

- Prestaciones: Igual que el anterior, pero ...

Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.


El Reto: Búsqueda de la Polifonía en la emisión sonora.

El Reto: Búsqueda de la Polifonía en la emisión sonora.

- Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa.

- Motivación: Evitar la diferencia en los niveles de amplitud sonoros.

- Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa.

- Motivación: Evitar la diferencia en los niveles de amplitud sonoros.

ActualmenteActualmente

0

2

4

6

8

10

12

1

13

25

37

49

61

73

85

97

109

Sonidos

DeseoDeseo

0

2

4

6

8

10

12

1

13

25

37

49

61

73

85

97

109

Sonidos


El Reto: Búsqueda de la Polifonía en la emisión sonora (2).

El Reto: Búsqueda de la Polifonía en la emisión sonora (2).

- La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX.

- Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose.

- Programación: Viable, Se Realizó:

Uso de threads ó interrupciones de reloj.

- Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia

El sistema operativo, el API o el hardware.

- Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.

- La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX.

- Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose.

- Programación: Viable, Se Realizó:

Uso de threads ó interrupciones de reloj.

- Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia

El sistema operativo, el API o el hardware.

- Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.


Documentación Documentación

- Finalizo con la lista de documentos realizados:- “VisionEspressoUSB_v1.1.doc”

- “Calibrado_v1.2.doc”

- “AlternativasDeCompresion_v1.0.doc”

- “VisionSonidosModificados_v1.1.doc”

- “VisionPolifoniaDS_v1.0.doc”

- “EstadoDelSoftwareEAV_v1.0.doc”

- Finalizo con la lista de documentos realizados:- “VisionEspressoUSB_v1.1.doc”

- “Calibrado_v1.2.doc”

- “AlternativasDeCompresion_v1.0.doc”

- “VisionSonidosModificados_v1.1.doc”

- “VisionPolifoniaDS_v1.0.doc”

- “EstadoDelSoftwareEAV_v1.0.doc”


PreguntasPreguntas

Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de...

Documents

Transcript of Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de...