PROYECTO DE GRADO

Presentado a

LA UNIVERSIDAD DE LOS ANDESFACULTAD DE INGENIERIA

DEPARTAMENTO DE INGENIERIA ELECTRICA Y ELECTRONICA

Para obtener el tıtulo de

INGENIERO ELECTRONICO

por

Sebastian Lancheros Olarte

DISENO E IMPLEMENTACION DE UN SISTEMA DE EFECTOSPARA UN TECLADO MIDI

Sustentado el 19 de junio de 2018 frente al jurado: Luis Felipe Giraldo

- Asesor: Fredy E. Segura Quijano PhD, Profesor Asociado, Universidad de Los Andes

FES

A mis papas y mi hermana que me apoyaron y acompanaron durante todo mi procesoacademico.

AgradecimientosGracias a mis padres por estar siempre apoyandome, a mi hermana por aconsejarme siempre y a todami familia por estar siempre presente. A Fredy, mi asesor, por ayudarme a desarrollar todo el proyectoy ser un guıa en el proceso. Y a mis amigos por permitirme darme todos los descansos necesarios paradesarrollar este proyecto con la calma necesaria.

i

Tabla de contenido

1 Introduccion 11.1 Descripcion de la problematica y justificacion del trabajo . . . . . . . . . . . . . . . . . 11.2 Alcance y productos finales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.3.1 Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.3.2 Objetivos Especıficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 Marco teorico, conceptual e historico 22.1 Marco Conceptual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 MIDI: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2 Marco Teorico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.2.1 Controlador MIDI: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.2 DAW (Digital Audio Workstation): . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2.3 Reaper: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.3 Marco Historico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42.3.1 Mi.mu Gloves: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

3 Definicion y especificacion del trabajo 53.1 Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53.2 Especificaciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

4 Metodologıa del trabajo 64.1 Plan de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.2 Busqueda de informacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.3 Alternativas de desarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.4 Normativas, leyes, reglamentos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

5 Trabajo realizado 95.1 Descripcion del Resultado Final . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95.2 Trabajo computacional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

6 Validacion del trabajo 136.1 Metodologıa de prueba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136.2 Validacion de los resultados del trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . 146.3 Evaluacion del plan de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

7 Discusion 20

8 Conclusiones y trabajos futuros 218.1 Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218.2 Trabajo Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

A Resumen Ejecutivo 23A.1 Objetivos del proyecto de grado . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

A.1.1 Objetivo General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23A.1.2 Objetivos Especıficos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

A.2 Descripcion de los objetivos generales y especıficos . . . . . . . . . . . . . . . . . . . . . 23A.3 Desarrollo, proceso, recursos, decisiones . . . . . . . . . . . . . . . . . . . . . . . . . . . 23A.4 Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24A.5 Visto bueno del asesor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

ii

Indice de figuras

2.1 Teclado MIDI iRig Keys Pro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.2 Interfaz de un DAW . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32.3 Estructura de los Mi.mu gloves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

5.1 Conexion de tarjetas Arduino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105.2 Prototipo inicial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115.3 Prototipo final . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

6.1 Protocolo de prueba para los movimientos de las manos . . . . . . . . . . . . . . . . . . 136.2 Toma de datos en el eje X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146.3 Toma de datos en el eje Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156.4 Toma de datos en el rango MIDI con movimiento de mano hacia arriba . . . . . . . . . 166.5 Toma de datos en el rango MIDI con movimiento de mano hacia arriba . . . . . . . . . 166.6 Toma de datos en el rango MIDI con movimiento de rotacion de la mano . . . . . . . . 176.7 Pruebas iniciales por Andres Serrano y Andres Moreno . . . . . . . . . . . . . . . . . . . 176.8 Pruebas finales por Emilio Anzola . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186.9 Pruebas finales por Andres Moreno . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

iii

Indice de tablas

4.1 Actividades desarrolladas en el semestre . . . . . . . . . . . . . . . . . . . . . . . . . . . 64.2 Alternativas de tarjetas de desarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74.3 alternativas de acelerometro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

iv

1. Introduccion

1.1 Descripcion de la problematica y justificacion del trabajo

En el ambito musical se busca actualmente implementar metodos que permitan extender la sonoridadde los instrumentos sin afectar la interpretacion de los musicos. De igual manera, en la parte delespectaculo, es posible identificar que para los tecladistas es muy complicado tener una interaccioncon el publico debido a la forma en la que se interpreta su instrumento. Al haber evaluado estos dosaspectos, y buscado una solucion integral que satisficiera ambos, se decidio implementar la electronicapara generar un sistema que permita extender la sonoridad del teclado por medio de una interfazkinesica.

1.2 Alcance y productos finales

Para la entrega final del proyecto se presentara el prototipo final donde el jurado podra evidenciar sucorrecto funcionamiento en tiempo real. Ademas, este se implementara con musicos y se documentarasu uso para poder identificar la viabilidad de este y las posbles mejoras. Esta documentacion seexhibira por medio de videos en la presentacion final. Por ultimo, se presentaran los trabajos futurosplanteados segun los resultados obtenidos.

1.3 Objetivos

1.3.1 Objetivo General

Desarrollar un sistema que permita mejorar la experiencia interpretativa de un tecladista MIDI pormedio de una interfaz kinesica.

1.3.2 Objetivos Especıficos

1. Desarrollar pruebas y mediciones para calibrar el sistema.

2. Realizar una documentacion con la cual se pueda entender el proyecto y generar una replicacionde este.

3. Realizar y documentar pruebas con musicos para identificar la viabilidad del sistema.

4. Documentar el uso del prototipo final directamente con el usuario.

5. Identificar problemas adicionales para modificar el sistema a posteriori para generar una mayorutilidad.

1

2.Marco teorico, conceptual e historico

2.1 Marco Conceptual

2.1.1 MIDI:

El estandar de interfaz digital de instrumentos musicales o MIDI por sus siglas en ingles (Musical Instru-ment Digital Interface), es un protocolo de comunicacion creado en 1982 que permite el intercambiode informacion entre multiples instrumentos digitales (tanto software como hardware), actuadores,computadores y otros dispositivos relacionados. El lenguaje MIDI se utiliza para convertir eventos deinterpretacion o control (como tocar un numero, presionar un boton, mover un potenciometro, entreotros) a su equivalente mensaje digital y ası transmitir este mensaje a otros dispositivos MIDI quepuedan generar y controlar el sonido. [1]

El estandar MIDI es muy utilizado en la actualidad debido a que los archivos MIDI tienen un tamanomucho menor a los archivos de audio de alta calidad, ocupando estos ultimos aproximadamente 100veces mas la capacidad que ocupan los MIDI ya que estos ultimos no contienen ningun archivo deaudio sino unicamente instrucciones.

Las instrucciones, o mensajes MIDI son transmitidos como secuencia de bytes. Estos bytes son divi-didos en dos grupos: bytes de datos (de 00 a 7F o 0 a 127 en decimal) que transmiten informacioncomo el numero respectivo a una nota, la intensidad de la pulsacion, el volumen, entre otros. Y losbytes de comandos (de 80 a FF o 128 a 255 en decimal) que transmiten diferentes tipos de comandoscomo activar y desactivar notas, pitch bend (cambio en el tono) entre otros. En los mensajes MIDI,los bytes de comandos se ubican en el primer byte del mensaje que son seguidos por bytes de datos.Por ejemplo, el mensaje: 128 60 100 se refiere al comando 128 (activar una nota), la nota referenteal byte 60 (Do - octava 4) y la intensidad referente al byte 100 (donde 127 se refiere a la intensidadmaxima y 1 a la mınima).

2.2 Marco Teorico

2.2.1 Controlador MIDI:

Un controlador MIDI es un dispositivo que cuenta con pulsadores y potenciometros que permitentransmitir diferentes tipos de mensajes MIDI. Estos controladores pueden ser utilizados para interpre-tar notas o controlar diferentes efectos en los sonidos. Debido a que estos controladores utilizan elprotocolo MIDI, estos no generan sonido por si mismos, el sonido se genera en un software especıfico(conocido como DAW) al recibir los mensajes MIDI enviados por los controladores.

El controlador MIDI que se utilizara en este proyecto es un teclado electronico MIDI que simula unaorganeta, este es especificamente el teclado iRig Keys que cuenta con 37 teclas las cuales otorgan unrango de 3 octavas. Una octava es el intervalo de 8 grados entre dos notas de la escala musical, por loque en este caso, al tener 3 octavas, se tienen tres teclas por cada nota (3 Do, 3 Re, etc). Es posibleobservar este teclado MIDI en la figura 2.1.

2

CAPITULO 2. MARCO TEORICO, CONCEPTUAL E HISTORICO 3

Figura 2.1: Teclado MIDI iRig Keys Pro[2]

2.2.2 DAW (Digital Audio Workstation):

El proceso de grabacion y edicion de audio ha pasado por una gran variedad de cambios hasta llegara lo que ahora se conoce como estacion de trabajo de audio digital o DAW por sus siglas en ingles.Un DAW es un software especializado en realizar el procesamiento del audio de forma digital, desde lagrabacion, hasta el producto final. Estos software son utilizados hoy en dıa por la mayorıa de produc-tores musicales e ingenieros de sonido debido a su versatilidad y a los cambios revolucionarios que hangenerado en las principales practicas del manejo del audio, como lo son, grabacion, edicion, mezcla ymasterizacion [3]. El principal cambio que ha generado este software en estas practicas es la capacidadde realizar grabaciones y ediciones no destructivas, debido a que cuando se realizaban estos procesosde manera analoga era necesario recortar fısicamente las cintas o grabar sobre ellas. Las estaciones detrabajo digitales son ademas muy utiles debido a que estas identifican los mensajes MIDI y permitengenerar o modular el sonido a partir de estos.

Figura 2.2: Interfaz de un DAW[4]

En la figura 2.2 es posible visualizar la interfaz de un DAW. Aqui se puede observar que es un softwarecon una gran variedad de opciones que permiten desarrollar un buen procesamiento del audio. En estacantidad de diferentes opciones se pueden procesar los mensajes MIDI por lo que al trabajar con audiopermite un desarrollo muy integral.

CAPITULO 2. MARCO TEORICO, CONCEPTUAL E HISTORICO 4

2.2.3 Reaper:

Reaper es una estacion de trabajo de audio digital (DAW) que detecta el lenguaje MIDI y permitetrabajar con este. Ademas es un DAW que otorga un periodo de prueba totalmente gratis por losprimeros 60 dıas y posteriormente ofrece la oportunidad de comprar la licencia, pero, en caso de queel usuario no lo desee, permite seguir usandolo de forma gratuita.

2.3 Marco Historico

2.3.1 Mi.mu Gloves:

El producto mi.mu gloves es una alternativa que busca una nueva manera de controlar la musica pormedio de movimientos en las manos. Los mi.mu gloves, son un par de guantes que funcionan como uninstrumento y controlador musical. El artista, al tener los guantes puestos, puede hacer y manipularla musica mediante diferentes movimientos con sus manos. El enfoque que tiene este producto es elde generar libertad a los artistas para poder crear nuevas composiciones [5]. En la figura 2.3 se puedeobservar la composicion de los guantes junto con los componentes incluidos para entender un poco massu funcionamiento. El principal problema que se tiene con este producto es su complejidad, ya querequiere de movimientos complejos que el artista debe aprender para poder utilizarlo correctamente.

Figura 2.3: Estructura de los Mi.mu gloves[6]

3.Definicion y especificacion del trabajo

3.1 Definicion

Al analizar diferentes escenarios en el ambito musical, es posible encontrar dos elementos que serequieren potencializar cada vez mas. El primero, es la necesidad generar nuevos sonidos con losinstrumentos. El segundo, es la falta de interaccion de los musicos con su instrumento para generar unespectaculo mas llamativo e interesante. Para atacar estas dos problematicas con la interfaz kinesica,se tuvo en cuenta un usuario especıfico que es el musico tecladista. Esta decision se tomo debido aque este es uno de los instrumentos en los cuales se podrıa evidenciar un avance significativo en estasproblematicas.

3.2 Especificaciones

• El sistema se restringe especıficamente a los tecladistas y no a los pianistas en general debido aque los pianistas clasicos necesitan utilizar ambas manos en todo momento por la necesidad dereproducir melodıas y armonıas al mismo tiempo.

• El prototipo esta desarrollado para utilizarse en un periodo corto de tiempo, especıficamente enuna cancion, por lo que no requiere una baterıa de alto consumo.

• El sistema es un prototipo, por lo que no se busca un diseno completamente ergonomico.

• El sistema requiere de un computador para su funcionamiento.

• El prototipo no es a prueba de agua, golpes, ni polvo.

• El prototipo cuenta con una parte inalambrica y otra que requiere conectarse al computador.

• El prototipo solo identifica un movimiento a la vez, por lo que no se pueden modificar dosparametros con distintos movimientos al mismo tiempo.

5

4.Metodologıa del trabajo

4.1 Plan de trabajo

Para desarrollar el proyecto, se realizaron diferentes tareas para lograr el desarrollo optimo de este. Enel proceso se tuvo en cuenta todas las tareas necesarias previas, durante y posteriores a la fabricaciondel prototipo. Todas estas actividades se listaron en el plan de trabajo que se puede observar en latabla 4.1.

Tabla 4.1: Actividades desarrolladas en el semestreSemana Actividad ReunionesSemana 1 Definicion del problemaSemana 2 Definicion del problema Reunion 1Semana 3 Seleccion de tecnologıa y adquisicion de componentes Reunion 2Semana 4 Pruebas iniciales a los sensores Reunion 3Semana 4 y 5 Programacion tarjeta de desarollo (Raspberry Pi 3)Semana 5 Conexion de teclado MIDI con tarjeta Raspberry Pi 3 Reunion 4Semana 6 Cambios de tecnologıa y trabajo con acelerometro Reunion 5Semana 7 Programacion de tarjetas de desarrollo (Arduino) Reunion 6Semana 8 Conexion entre las dos tarjetas de arduino Reunion 7Semana 9 Conversion de datos seriales a datos MIDI y manejo de datos en DAW Reunion 8Semana 10 Montaje del primer prototipo Reunion 9Semana 11 Reunion con los musicos y retroalimentacion Reunion 10Semana 12 Correcciones segun retroalimentacion Reunion 11Semana 13 Reunion final con los musicos y documentacion del prototipo final Reunion 12Semana 14 Preparacion de la presentacion final Reunion 13

4.2 Busqueda de informacion

Como fuentes de informacion se tuvieron en cuenta diferentes proyectos de codigo abierto que utilizabanciertas funciones utiles o que realizaban tareas similares a alguna tarea especıfica del proyecto. Ademasse tuvo en cuenta la documentacion de diferentes funciones que permitıan desarrollar ciertas necesidadeso que permitıan dismininuir lineas de codigo. De igual manera, el conocimiento adquirido durante lacarrera fue muy importante para desarrollar este proyecto, especıficamente el conocimiento adquiridosobre microcontroladores, sensores y todos los proyectos practicos realizados en diferentes semestres.

4.3 Alternativas de desarrollo

En la tabla 4.2 es posible observar las diferentes alternativas de tarjetas de desarrollo que se tuvieronen cuenta para desarrollar el proyecto.

6

CAPITULO 4. METODOLOGIA DEL TRABAJO 7

Tabla 4.2: Alternativas de tarjetas de desarrolloDispositivo Especificaciones

Raspberry Pi 3

-Voltaje de entrada: 5V-Pines de entrada y salida: 26 (4 PMW)-Frecuencia: 1.4 GHz-Tamano: 8,2 x 5,6 cm-Precio: 184.450 COP

Arduino Nano

-Voltaje de entrada: 7V - 12V-Pines analogos: 8-Pines digitales: 22 (6 PMW)-Frecuencia: 16 MHz-Tamano: 4,5 x 1,8 cm-Precio: 14.000 COP

Bluno BeetleSKU:DFR0339

-Voltaje de entrada: 5V - 8V-Pines analogos: 4-Pines digitales: 4 (2 PMW)-Frecuencia: 16 MHz-Tamano: 2,88 x 3,31 cm-Precio: 64.800 COP

Node MCU

-Voltaje de entrada: 5V-Pines de entrada y salida (10)-Frecuencia: 16 MHz-Tamano: 4,9 x 2,45 cm-Precio: 23.500 COP

Bela

-Voltaje de entrada: 5V-Pines analogos: 8-Pines digitales: 16-Frecuencia: 1 GHz-Tamano: 8,7 x 5,4 cm-Precio: 300.000 COP

La primera alternativa que se tuvo en cuenta y con la cual se trabajo al principio fue la tarjetaRaspberry Pi 3. Se comenzo trabajando con esta tarjeta debido a su alta frecuencia de trabajo encomparacion a las otras tarjetas. Despues de realizar diferentes pruebas se encontro que esta tarjetano era la mejor alternativa debido a que al interactuar con los mensajes MIDI se generaba un retrasoen la reproduccion del sonido. Por lo tanto, se decidio realizar un cambio en la alternativa de desarrollo.

La solucion que se decidio llevar a cabo fue reproducir el sonido por medio de un DAW en un com-putador portatil y generar y enviar los mensajes MIDI en una tarjeta Arduino Nano. Se eligio estatarjeta debido a que, a pesar de que se planeaba desarrollar una tarjeta propia, sus especificacioneseran suficientes para desarrollar un prototipo que cumpliera las necesidades fundamentales teniendoen cuenta la restriccion del tiempo. Ademas, esta cuenta con un precio y tamano inferior a las otrastarjetas que contaban con caracterısticas similares. Cabe resaltar que se tuvo en cuenta la tarjeta Beladebido a que esta desarrollada para proyectos enfocados al procesamiento de audio, pero se descartoesta opcion debido a su alto precio.

CAPITULO 4. METODOLOGIA DEL TRABAJO 8

Tabla 4.3: alternativas de acelerometroDispositivo Caracterısticas

MPU 6050

-3 ejes de medida-ADC de 16 bits-rango: +/- 2g, +/- 4g, +/- 8g y +/- 16g-voltaje de operacion: 2,375 - 3,46V-salida analoga

ADXL 335

-3 ejes de medida-rango: +/- 3g-voltaje de operacion: 1,8 - 3,6V-salida analoga

ADXL 193

-1 eje de medida-rango: +/- 250g-voltaje de operacion: 3,5- 6V-salida analoga

Al analizar las diferentes alternativas para el sensor de movimiento se encontraron los diferentesacelerometros que se pueden observar en la tabla 4.3. Se encontro que el sensor ADXL 193 tieneun rango mucho mayor a los demas acelerometros, pero este cuenta con solamente un eje de medida.Por lo que, se decidio elegir uno de los otros dos acelerometros, que a pesar de que contaban concaracterısticas similares, se eligio el MPU6050 debido a que al tener un ADC de 16 bits permite elmuestreo de varios acelerometros al mismo tiempo sin la necesidad de usar un multiplexor. A pesarde que en el proyecto solamente se iba a utilizar un acelerometro, esta caracterıstica permite agregarmas acelerometros a futuro sin necesidad de cambiar la referencia de estos.

4.4 Normativas, leyes, reglamentos

La resolucion 434 de 2001 dicta las normas para la evaluacion e importacion de tecnologıas biomedicas,por lo cual es util tenerla en cuenta para desarrollar el proyecto debido a que es un dispositivo queesta en contacto directo con el cuerpo [7].

La Ley 1286 de 2009 fortalece al Sistema Nacional de Ciencia, Tecnologıa e Innovacion en Colombiay es importante tenerla en cuenta debido a que a pesar de que el proyecto es un prototipo, se planeacontinuar trabajando con este para lograr un producto comercial [8].

El decreto 2257 de 29 de diciembre de 2017 busca desarrollar las actividades cientıficas y tecnologicas,proyectos de investigacion y creacion de tecnologıa por lo que tambien es importante tenerlo en cuentaal momento de querer desarrollar un prototipo comercial [9].

5.Trabajo realizado

5.1 Descripcion del Resultado Final

1. Definicion del problema:Para la definicion del problema se tuvieron en cuenta diferentes necesidades que se requerıan enel campo de la musica y una vez hecho esto se eligieron dos necesidades especıficas que permitıanuna solucion provechosa por medio de la ingenierıa electronica.

2. Busqueda de posibles soluciones y tecnologıas:Una vez definido el problema, se realizo una busqueda respecto a las diferentes posibles solucionesteniendo en cuenta el estado del arte y opiniones y recomendaciones dadas por diferentes musicoscon los que se tuvo reuniones indicandoles el proyecto y su alcance esperado.

3. Trabajo con la tarjeta Raspberry Pi 3:Se encontro que en esta tarjeta la manera mas optima para reproducir y modificar sonido conlos mensajes MIDI era mediante el software Sonic Pi. Pero, se evidencio que se generaba unretardo en el sonido de aproximadamente 1 segundo y al modular algun parametro este retardoaumentaba. Teniendo en cuenta este problema, se encontro que la solucion mas optima era tra-bajar con un DAW en un computador y utilizar una tarjeta Arduino Nano para trabajar con losdatos del sensor.

4. Entendimiento del sensor MPU6050:Para evidenciar y entender el funcionamiento del acelerometro en el sensor MPU6050, se conectoal arduino y se desarrollaron diferentes pruebas con diferentes movimientos de las manos paraevidenciar como cambiaba el comportamiento en cada uno de sus ejes. Este protocolo se repitio10 veces para cada movimiento y con los datos tomados, se realizo un promedio para encontrarlos umbrales de los datos otorgados por el sensor y el error que se podıa obtener.

5. Conversion de datos del acelerometro al rango MIDI:Teniendo en cuenta que el protocolo MIDI recibe como datos numeros enteros en un rango de0 a 127, se requerıa realizar una conversion para poder transmitir los datos otorgados por elsensor como datos MIDI. Para lograr esto, se utilizaron los umbrales obtenidos anteriormente yla funcion de arduino multiMap. Una vez desarrollado esto, se realizaron las mismas pruebas queen el literal anterior para evidenciar el comportamiento y comprobar que este fuera lineal y quese mantuviera en el rango de datos MIDI.

6. Trabajo con arduino adicional:Al investigar y trabajar con el DAW se identifico que para que este reconociera los mensajesMIDI, debıa hacerlo por medio de una interfaz MIDI. De esta manera, se encontro el softwaregratuito ”hairless-midiserial” el cual permite identificar los dispositivos seriales (como arduino)como interfaces MIDI. Ası, se decidio utilizar un Arduino Uno como modulo esclavo para querecibiera los datos del Arduino Nano e igualmente disminuyera el procesamiento de este ultimo.En la figura 5.1, es posible observar la conexion de los modulos y sensores en cada arduino paraentender un poco mejor el rol de cada uno.

9

CAPITULO 5. TRABAJO REALIZADO 10

Figura 5.1: Conexion de tarjetas Arduino

7. Conexion entre los dos arduinos por medio de bluetooth:Para conectar los dos modulos bluetooth HC-05 se utilizaron los comandos AT, que son instruc-ciones utilizadas en este caso para acceder y modificar las opciones por defecto de modulos. Deesta manera, se asignaron roles de maestro y esclavo a cada modulo segun era necesario. Igual-mente, se verifico que el baud rate fuera el mismo para ambos modulos y por ultimo se le asignoal modulo maestro que se conectara automaticamente al modulo esclavo utilizando el comandoAT+BIND, AT+PAIR y AT+CMODE.

8. Conversion de datos a mensajes MIDI:Teniendo en cuenta que el computador recibe datos seriales por medio del arduino como numerosenteros, se utilizo la funcion sendControlChange de la librerıa MIDI de arduino con la cual sepueden enviar estos datos como mensajes MIDI. A esta funcion se le asignan dos parametros im-portantes que son el valor y el canal. Al valor se le atribuyen los valores dados por el acelerometroy al canal un numero fijo de 1 a 16 en el cual el mensaje sera enviado para que el DAW lo iden-tifique. Gracias a que a cada mensaje MIDI tenıa un canal dado, fue posible asignar cadamovimiento de la mano a un canal diferente para que fueran modificados por los mensajes MIDI.

9. Asignacion de movimientos a parametros en el DAW:El DAW Reaper cuenta con una funcion llamada Learn Parameter la cual permite asignar uncanal MIDI para modular algun parametro especıfico. Al haber asignado un canal a cada unode los movimientos en los mensajes MIDI, se seleccionaron diferentes efectos en el DAW y se leasigno un canal a cada uno de estos para que se modificaran segun los mensajes MIDI recibidos.

10. Desarrollo de primer prototipo:Una vez teniendo la parte electronica en correcto funcionamiento, se desarrollo un primer pro-totipo que constaba de un guante con el sensor cocido a su interior y el arduino ubicado en laparte de la muneca del guante con una baterıa de 9 voltios. Este primer prototipo se puedeobservar a continuacion en la figura 5.2.

CAPITULO 5. TRABAJO REALIZADO 11

Figura 5.2: Prototipo inicial

11. Retroalimentacion de los musicos:Se realizaron reuniones con 3 estudiantes de musica diferentes en las cuales se les explico el avancedel proyecto y su funcionamiento. De esta manera, se les pidio que se pusieran el prototipo y seles dio libertad para que tocaran el instrumento y utilizaran el prototipo de la manera que ellosprefirieran. Esto fue muy util debido a que permitio evidenciar ciertos movimientos que a losmusicos les parecıa util pero que no se habıan considerado anteriormente e igualmente, eviden-ciar ciertos movimientos que no eran comodos para ellos. En esta actividad tambien se les pidioa los musicos que dieran una retroalimentacion del prototipo, por lo que se obtuvo diferentesrecomendaciones y opiniones que permitieron mejorar el dispositivo.

12. Correcciones segun la retroalimentacion:Al haber recibido los comentarios de los musicos, se cambio el prototipo de la mano derecha a unprototipo mas ergonomico y en la mano izquierda ya que este fue el principal consejo por partede ellos. Hecho esto, se modifico el codigo para anadiendo un movimiento adicional que se vioutil segun la retroalimentacion. Ademas, se anadio un pulsador que cuenta con 2 estados. Elprimero permite modular los efectos, y el segundo permite desactivar todos los efectos en casode que el musico quiera interpretar un sonido sin ninguna modulacion. Por ultimo, se tuvieronen cuenta los efectos que recomendaron los musicos para tener un mejor control del sonido. Esteprototipo final se pueve observar en la figura 5.3.

CAPITULO 5. TRABAJO REALIZADO 12

Figura 5.3: Prototipo final

13. Reunion final con los musicos:Al finalizar, se tuvo reuniones con los musicos en las cuales se les entrego el prototipo final yse les indico su funcionamiento. Ası, los musicos interpretaron el instrumento y utilizaron elprototipo a su libertad teniendo en cuenta las restricciones dadas. Esto permitio identificar laviabilidad del sistema y de igual manera, identificar los posibles trabajos futuros con este.

5.2 Trabajo computacional

• Se utilizo el software arduino IDE para programar las tarjetas arduino y evidenciar el fun-cionamiento de los sensores.

• Para graficar el comportamiento de los sensores se utilizo el monitor serial de arduino IDE y elsoftware Excel.

• Se utilizo el software Hairless-midiserial para detectar el arduino como una interfaz MIDI.

• Se utilizo el sowtware REAPER debido a que es un Software gratuito y completo que cumplecon las necesidades requeridas para el prototipo.

6.Validacion del trabajo

6.1 Metodologıa de prueba

Para el correcto funcionamiento del proyecto, se realizo un protocolo de pruebas para poder obteneruna modulacion de los efectos que fuera coherente con el movimiento de las manos. Este protocolo seobserva en la Figura 6.1.

Figura 6.1: Protocolo de prueba para los movimientos de las manos

En este protocolo se inicia por definir que movimiento se va a tomar, debido a que en total se tienen 3diferentes movimientos. Posteriormente, se procede a tomar los datos entregados por el acelerometro,para este procedimiento se realizan 10 iteraciones. Despues, se saca un promedio de estas 10 iteracionesy se obtiene el error. Luego, se grafica este promedio con sus errores para evidenciar el comportamiento.

13

CAPITULO 6. VALIDACION DEL TRABAJO 14

Ası, se obtienen los umbrales de los datos y puntos intermedios para utilizar en la funcion multiMap dearduino, con esta funcion se asignan valores de salida de 0 a 127 al acelerometro. Una vez convertidoslos valores de salida, se vuelve a tomar los datos del sensor con el nuevo rango y se compara elcomportamiento del sensor con ambos rangos. De esta manera, si el comportamiento es lineal, sepuede afirmar que los mensajes MIDI van a modular los parametros correctamente. En caso de queel comportamiento no sea lineal, se regresa a los datos tomados inicialmente y se toma una mayorcantidad de puntos intermedios para obtener una mejor resolucion.

6.2 Validacion de los resultados del trabajo

Para evidenciar el correcto funcionamiento del acelerometro junto con el rango de los datos otorgados,se realizo una toma de datos en el monitor serial de Arduino IDE y se graficaron estos datos en Excel.Se realizaron 10 iteraciones para cada movimiento de las manos y se saco un promedio teniendo encuenta los errores. Estos resultados se pueden visualizar a continuacion en las figuras 6.2 y 6.3, lascuales presentan la lectura de los datos en funcion del tiempo.

Figura 6.2: Toma de datos en el eje X

Como se puede observar en la figura 6.2, para cada movimento en el eje X los resutados se obtienenen rangos completamente distintos. Esto permite asignar los dos movimientos a dos canales diferentespara poder modular dos parametros distintos. Se puede afirmar ademas, que los rangos son [-2675,16099] para la inclinacion de la mano hacia arriba y [-13852, -4405] para la inclinacion hacia abajo.

CAPITULO 6. VALIDACION DEL TRABAJO 15

Figura 6.3: Toma de datos en el eje Y

Se puede visualizar en la figura 6.3 que con la rotacion de la mano, se obtienen datos en un rangode [-15753, 15786]. Al analizar los datos obtenidos, se decidio utilizar todo el rango para modular unefecto, pero, se decidio que en el rango de [-7030, 1312] el acelerometro no enviarıa datos debido a queen este rango la mano esta en la posicion horizontal en la cual el musico estarıa tocando el teclado yno se requerirıa modificar algun efecto en esta posicion.

Una vez tomados los datos entregados por el acelerometro, se utilizo la funcion multiMap de arduinopara que los datos de salida se convirtieran al rango [0, 127] y se realizaron las mismas pruebas. Lafuncion multiMap permite convertir los valores entregados por un sensor a un rango especıfico, ademasde linealizar la respuesta de estos. Para que la funcion convierta estos valores, basta unicamente conindicar el rango de los valores originales y los deseados. Pero, para que la respuesta fuera lineal, eranecesario asignar valores intermedios en ambos rangos. Por lo tanto, la toma de datos con cada uno delos movimientos, ademas de permitir evidenciar el funcionamiento de los sensores, fue muy util paraobtener respuestas lineales.

En este caso, se evaluaba que la respuesta fuera lineal y los valores estuvieran en el rango MIDI [0,127] para que los mensajes MIDI funcionaran correctamente, estos resultados se pueden encontrar aen las figuras 6.4, 6.5 y 6.6.

CAPITULO 6. VALIDACION DEL TRABAJO 16

Figura 6.4: Toma de datos en el rango MIDI con movimiento de mano hacia arriba

Como se puede observar en la figura 6.4, la respuesta del sensor en el rango MIDI es lineal. Ademasse puede ver que se obtiene un error constante, esto es debido a que estas pruebas se realizaron conmovimientos realizados por una persona, indicandole el momento de comenzar y de finalizar. Por lotanto, el error humano es una fuente de error importante a tener en cuenta.

Figura 6.5: Toma de datos en el rango MIDI con movimiento de mano hacia arriba

En la figura 6.5, se puede visualizar que la respuesta del sensor con este movimiento es lineal y estaen el rango MIDI, pero que, el error no es constante. Esto se debe a que, igualmente se tiene el errorhumano, pero este era un movimiento un poco menos sencillo de realizar. Por lo que, igualmente, el

CAPITULO 6. VALIDACION DEL TRABAJO 17

error humano afecto en esta prueba.

Figura 6.6: Toma de datos en el rango MIDI con movimiento de rotacion de la mano

Por ultimo, en la figura 6.6 es posible ver que la respuesta del sensor con la rotacion de la manotambien es lineal y se encuentra en el rango MIDI. De igual manera, se obtiene tambien un error cuyaprincipal fuente de error es el error humano. Ademas, otra posible fuentes de error para estas 3 tomasde datos son las iteraciones que se realizaron debido a que entre mas iteraciones se pudo haber tenidoun menor error.

Figura 6.7: Pruebas iniciales por Andres Serrano y Andres Moreno

CAPITULO 6. VALIDACION DEL TRABAJO 18

Posteriormente, al tener el primer prototipo funcional terminado se hicieron reuniones con los musicospara poder evidenciar el funcionamiento del prototipo con el usuario directo. En la figura 6.7 es posibleobservar parte de la documentacion de este proceso.

Al tener estas reuniones se recibio retroalimentacion por parte de los musicos y se encontraron losposibles cambios para el prototipo indicados a continuacion:

1. Adecuar el prototipo para la mano izquierda.

2. Anadir un boton para activar y desactivar efectos.

3. Seleccionar otros efectos que permitan generar un sonido mas natural.

4. Hacer un prototipo mas ergonomico y comodo para los usuarios.

5. Anadir un movimiento adicional: inclinacion de la mano hacia abajo (los movimientos que setenıan anteriormente eran la inclinacion de la mano hacia arriba y la rotacion de la mano).

Se realizaron estos cambios en el prototipo final para obtener un sistema que cumpliera con las necesi-dades de los usuarios. Con este prototipo final se volvieron a realizar reuniones con los musicos en lasque se evidencio la viabilidad del producto y se encontraron posibles mejoras para realizar en trabajosfuturos. Parte de la documentacion de estas reuniones se pueden encontrar en las figuras 6.8 y 6.9 yen los enlaces a continuacion:

• https://www.youtube.com/watch?v=G3cKjN_jsO8

• https://www.youtube.com/watch?v=pmHWLtu1fEQ

• https://www.youtube.com/watch?v=ZOaHUthoJSc

Figura 6.8: Pruebas finales por Emilio Anzola

CAPITULO 6. VALIDACION DEL TRABAJO 19

Figura 6.9: Pruebas finales por Andres Moreno

6.3 Evaluacion del plan de trabajo

Respecto a la propuesta, es necesario mencionar que el proyecto se cambio al comienzo del semestredebido a que se encontro que la opcion actual era mas viable y permitıa solucionar problematicasmas significativas. Por lo tanto las actividades realizadas se basaron en la propuesta inicial pero esaplicada a la nueva solucion. Debido a que al comenzar el proyecto no se tenıa totalmente claro todoslos aspectos de la propuesta, a medida que se avanzo en el proyecto se fueron anadiendo algunasactividades necesarias.

7.DiscusionAl iniciar el desarrollo del proyecto se trabajo con una tarjeta Raspberry Pi 3, con la cual no se pudoobtener un resultado optimo debido a que el enfoque de esta tarjeta no es el procesamiento de audioni trabajo con mensajes MIDI. Por lo que, para solucionar este problema, se decidio cambiar la tec-nologıa. Este cambio, permitio desarrollar un sistema mas completo y mas sencillo de utilizar para losmusicos ya que los DAW son softwares universales con los que se trabaja normalmente en el ambitomusical.

Al analizar la funcionalidad del acelerometro, se encontro que los valores debıan ser convertidos a unrango especıfico, ademas de que entre mas lineal fuera la respuesta, mejor iba a ser el comportamientodel sistema. Esto se logro y se obtuvo un sistema con una respuesta lineal, pero no fue posible ev-idenciar que tan lineal era el sistema. Esto debido a los errores causados por la inestabilidad de lamano, para corregir estos errores, era necesario realizar las pruebas con la ayuda de alguna maquinaque mantuviera una rotacion angular constante. A pesar de que era necesario tener en cuenta estefactor, no era indispensable tener una respuesta 100% lineal para obtener un resultado optimo, por loque no fue necesario realizar mas pruebas con el acelerometro.

Al realizar el trabajo con el acelerometro se pudo evidenciar que si se anaden mas acelerometros (almenos 1) ubicados en diferentes posiciones, es posible reconocer nuevos movimientos para obtener unsistema mas complejo.

Al realizar las reuniones con los musicos en las cuales ellos utilizaban el prototipo, se pudo evidenciarque en la parte electronica se realizo un buen trabajo ya que el prototipo funciona adecuadamente.Pero, en la parte musical hubo varias fallas debido a que no se estuvo trabajando constantementecon los musicos, esto causo que no se pudiera generar el sonido especıfico que deseaban los musicos.Con este analisis, se obtiene el aprendizaje de que es necesario trabajar constantemente con el usuariodebido a que la parte tecnologica no es lo unico importante y ademas, para desarrollar un dispositivointegral, es necesario involucrarse en otras areas de conocimiento.

Al finalizar el proyecto, fue posible evidenciar que el sistema fue viable y util para los musicos y esto sepuede evidenciar con la documentacion en la que se toca una cancion conocida pero se identifica queesta tiene un sonido diferente gracias al sistema. Por el contrario, no fue posible evidenciar cuantitati-vamente la viabilidad del prototipo debido a que la estrategia tomada para esto fue realizar encuestasa los musicos que utilizaron el producto, pero al ser unicamente 3 encuestas y los encuestados ser cono-cidos, se decidio que no era una estrategia util que diera suficiente informacion. Para solucionar esteproblema, se propone realizar encuestas a un numero mayor de musicos y que estos sean desconocidos,antes de realizar estas encuestas se les mostrarıa el video ilustrando el funcionamiento del sistema.Realice un analisis de los resultados obtenidos respecto a los objetivos iniciales del proyecto y justifiquelas razones por las que se cumplieron o no.

20

8.Conclusiones y trabajos futuros

8.1 Conclusiones

1. Fue posible desarrollar una interfaz kinesica que con el movimiento de la mano modificara losefectos deseados por los musicos.

2. Se realizo una documentacion por medio de videos y un documento con los cuales se puedeentender el funcionamiento del prototipo y se puede realizar una replicacion de este.

3. Gracias a las pruebas realizadas en el proyecto, fue posible modificar la salida del acelerometropara tener una salida lineal en un rango deseado.

4. Se realizaron pruebas y documentaciones con musicos para identificar que el sistema es viablepero que se necesita seguir trabajando en el para obtener un producto comercial.

5. A pesar de que en la parte tecnologica el prototipo cumple con los requisitos, en la parte musicalno lo hace del todo. Por esto se debe trabajar en conjunto y regularmente con el usuario paraobtener un producto que cumpla con todos los requisitos.

6. Se encontraron posibles modificaciones para mejorar el prototipo a futuro.

8.2 Trabajo Futuros

Al haber hecho las ultimas reuniones con los musicos, se encontraron posibles mejoras y nuevos proyec-tos para realizar a futuro, estos se encuentran a continuacion:

• Crear una notacion musical en el pentagrama para cada uno de los movimientos de la mano. Deesta manera se podran crear composiciones en conjunto con el sistema.

• Desarrollar un prototipo mas elaborado con el cual se puedan realizar nuevos movimientos.

• Trabajar en conjunto con los musicos para desarrollar un sistema que cumpla conlas necesidadestanto tecnologicas como musicales.

• Desarrollar sistemas con la misma funcionalidad de este proyecto, pero que funcione en diferentesinstrumentos.

21

Referencias[1] D.M. Huber, The MIDI Manual, 3a ed., Burlington, Massachusetts: Focal Press, 2007.

[2] imagen del teclado midi, disponible en linea en: https://www.apple.com/us_smb_78313/shop/

product/HG282ZM/B/ik-multimedia-irig-keys-pro

[3] S. Savage, The Art of Digital Audio Recording, 1a ed., Nueva York, Oxford University Press, 2011.

[4] imagen del DAW, disponible en linea en: https://ask.audio/articles/

8-tips-for-choosing-the-right-daw-for-you

[5] MI.MU GLOVES LIMITED, ”mi.mu: Tech”, Inglaterra.

[6] imagen del dispositivo mi.mu gloves, disponible en linea en: https://mimugloves.com/tech/

[7] RESOLUCION NUMERO 434 DE 2001, Ministerio de salud, Colombia, 2001.

[8] Ley No 1286, Congreso de Colombia, Colombia, 23 de enero de 2009.

[9] Decreto No 2257, Ministerio de tecnologıas de la informacion y las comunicaciones, Colombia, 29de dic 2017.

22

A.Resumen Ejecutivo

DISENO E IMPLEMENTACION DE UN SISTEMA DEEFECTOS PARA UN TECLADO MIDI

Estudiante: Sebastian Lancheros OlarteAsesor: Fredy E. Segura Quijano PhD

A.1 Objetivos del proyecto de grado

A.1.1 Objetivo General

Desarrollar un sistema que permita mejorar la experiencia interpretativa de un tecladista MIDI pormedio de una interfaz kinesica.

A.1.2 Objetivos Especıficos

1. Desarrollar pruebas y mediciones para calibrar el sistema.

2. Realizar una documentacion con la cual se pueda entender el proyecto y generar una replicacionde este.

3. Realizar y documentar pruebas con musicos para identificar la viabilidad del sistema.

4. Documentar el uso del prototipo final directamente con el usuario.

5. Identificar problemas adicionales para modificar el sistema a posteriori para generar una mayorutilidad.

A.2 Descripcion de los objetivos generales y especıficos

Se busca con el objetivo general lograr que se generen nuevos sonidos en el instrumento ademas degenerar una mayor interaccion de los musicos con el instrumento para ası generar un espectaculo masllamativo.

Con los objetivos especıficos se busca calibrar el sistema y documentar todo el proyecto para permitiruna sencilla replicacion. Ademas se busca con estos, desarrollar un prototipo que cumpla con losrequerimientos dados por los musicos.

A.3 Desarrollo, proceso, recursos, decisiones

El proceso se dividio en las siguientes etapas:

1. Definicion del problema

2. Busqueda de posibles soluciones y tecnologıas

3. Trabajo con tarjeta Raspberry Pi 3

4. Entendimiento del sensor MPU6050

5. Conversion de datos del acelerometro al rango MIDI

6. Trabajo con arduino adicional

23

APENDICE A. RESUMEN EJECUTIVO 24

7. Conexion entre los dos arduinos por medio de bluetooth

8. Conversion de datos a mensajes MIDI

9. Asignacion de movimientos a parametros en el DAW

10. Desarrollo del primer prototipo

11. Retroalimentacion de los musicos

12. Correcciones segun la retroalimentacion

13. Reunion final con los musicos

Estas 13 etapas permitieron un desarrollo ordenado del proyecto para ası poder solucionar los erroresa medida que estos surgıan.

En las primeras 4 etapas se analizo el problema, la solucion que se iba a tomar y los recursos quese ıban a utilizar. de la etapa 4 a la etapa 9 se realizo todo el proceso del desarrollo del sistema engeneral y de la etapa 10 a la 13 se llevo a cabo el proceso de interactuar directamente con el usuariopara realizar correcciones y obtener un resultado que fuera viable. Todas las decisiones se tomaron enbase a pruebas, evidencias y ademas trabajo con tecnologıa en el cual se pudo evidenciar de primeramano por que era necesario cambiar algun componente.

A.4 Resultados

Para obtener un prototipo funcional se requirio de un trabajo en conjunto con el asesor del proyectoy los usuarios directos, los cuales eran estudiantes de musica. Como resultado final se obtuvo unprototipo funcional que cumple con las especificaciones dadas inicialmente. Este prototipo es capazde modificar efectos musicales por medio de el movimiento de las manos y fue posible probarlo con losusuarios.

Al analizar el producto final es posible identificar que a pesar de que se cumplio con las necesidadesbasicas, es posible mejorarlo anadiendo mas sensores y realizando un trabajo mas constante con losmusicos para que la utilidad incremente y sea posible ser usado como una herramienta sencilla.

A.5 Visto bueno del asesor