SISTEMA INTERPRETE DEL LENGUAJE DE SEÑAS BOLIVIANO BAJO TECNOLOGIA DE VISION POR COMPUTADOR

7/21/2019 SISTEMA INTERPRETE DEL LENGUAJE DE SEÑAS BOLIVIANO BAJO TECNOLOGIA DE VISION POR COMPUTADOR

http://slidepdf.com/reader/full/sistema-interprete-del-lenguaje-de-senas-boliviano-bajo-tecnologia-de-vision 1/171



i

CAPÍTULO 1.- INTRODUCCIÓN. ..................................................................................................... 1

.......................................................................................................... 2

............................................................ 2

.................................................................. 2

................................................. 3

................................................................................................. 3

............................................................................. 6

....................................................................................................................... 7

............................................................................................................ 8

.............................................................................. 8

CAPITULO 2.- MARCO TEÓRICO. ................................................................................................. 12

............................................................................... 12

............................................................................................................ 12

......................................................................................................... 13

......................................................................... 14

............................................................................................ 14

.............................................................. 15

........................................................................................ 16

............................................................................................... 16

.......................................................................... 16

........................................................................................................................ 17

.................................................................................................... 18



ii

.............................................................................................................. 18

......................................................................................... 18

.............................................................................................................. 19

............................................................................................................ 19

................................................................................................... 20

................................................................................................................. 21

.................................................................... 21

....................................................................................... 22

.............................................................................................. 22

....................................................................... 23

.......................................................................................................... 23

............................................................... 24

......................................................................................... 25

............................................................................................ 25

.......................................................................................... 25

...................................................................................... 25

.......................................................................................... 25

........................................................... 26

.............................................................................................. 26

......................................................................................................... 26

..................................... 26

........................................................................................................ 26

........................................................................................................ 26

..................................................................................................... 27

................................................................................................ 27

............................................................. 27

...................................................................................... 28

............................................................................... 30

....................................................................... 31

....................................................................................................... 32



iii

................................................................................................... 33

.......................................................... 34

................................................................................. 34

......................................................................... 34

....................................................................................................................... 34

35

.............................................. 35

...................................................................... 36

....................................................... 36

............................................................ 36

...................................................... 36

......................................................................................... 36

............................................................................................. 37

............................................................................... 37

.............................................................................................. 37

......................................................... 38

............................................................................................. 39

................................................................. 39

.................................................................. 39

............................................................................... 41

.............................................................................................. 43

.............................................................................. 44

.............................................................................. 44

CAPITULO 4.- ANÁLISIS DE REQUERIMIENTOS. ....................................................................... 46

....................................................................................................... 46

....................................................................................................... 46

................................................................................................................ 48

.................................................................................................. 48

....................................................................................................................... 48

......................................................................................................... 48



iv

.............................................................................................................. 48

.................................................................................................. 48

............................................................................................ 48

......................................................................................... 49

......................................................................................... 49

.................................................................................. 49

......................................................................................................... 49

............................................................... 49

.......................................................................... 51

....................................................................... 51

............................................................................... 51

....................................................................... 52

.............................................................................. 52

.................................. 53

.......................................... 53

................................... 54

.............................................................. 54

...................................................................... 54

.................................................................................. 55

.......................................................................... 55

................................... 55

........................................................................................... 55

...................................................................................................................... 56

......................................................................................................................... 56

................................................................................................. 56

......................................................................................... 57

............................................................................................................ 57

........................................................................................................... 58

.................................................................................................... 59

................................................................... 59



v

.................................................................................................. 59

..................... 61

.............................. 63

...................... 64

..................................... 65

................................... 66

............................................... 68

............................................. 70

................................................ 71

......................................................... 73

..................................................................... 74

................ 76

.................................................. 77

CAPITULO 5.- ARQUITECTURA DEL SISTEMA. ......................................................................... 79



vi

CAPITULO 6.- IMPLEMENTACIÓN DEL PROTOTIPO. ............................................................... 97

.............................................. 97

.................... 98

................. 99

........................................................................................... 99

........................................................................... 99

................................................... 99

............................................... 100

................................................................................... 100

.................................................................................. 101

.............................................................................. 101

........................................................................................ 102

....................................................................................... 102

........................................................................................... 102

....................................................................................... 102

...................................................................... 103

........................................................................................................... 103

CAPITULO 7.- PRUEBAS Y RESULTADOS DEL PROTOTIPO. ................................................. 104



vii

CAPITULO 8.- CONCLUSIONES Y RECOMENDACIONES. ......................................................... 119

BIBLIOGRAFÍA ................................................................................................................................. 123

Glosario de Términos ................................................................................................................. 125

Anexo A. Diagramas de Clases correspondientes a la Arquitectura lógica del sistema 126

Anexo B. Base de Datos para la implementación del prototipo ......................................... 140

Anexo C. Datos Técnicos de Kinect ........................................................................................... 142

Anexo D. Seudocódigo de algoritmos. ..................................................................................... 144

Anexo E. Demostraciones y Deducciones Matemáticas. ...................................................... 150



viii

......................................................................... 12

....... 13

............................................................... 13............................... 14

................................................................ 15

.............. 15

........................................ 16

.......................................................................................... 17

.................................................................. 17

............................................................................................. 18

........................................................................................ 19

..................................................... 19.............................. 20

..................................................................................... 21

........................................................................... 21

............... 22

................................................ 23

...................................................... 23

...... 27

........................................ 30

.............................. 33

............................................................ 34

................................................................ 35



ix

........................................................................... 98

.............................................. 99

................................................................... 100

..................................................... 100

......................................................................................... 101

............................................................ 103

......................................................... 104

..................................................................... 105

.................................................................. 106

............................................................ 106



x

........................................................... 107

................................................ 107

........................................................ 108

......... 109

... 110

............................... 111

........................... 115

............................................................. 116



xi

...................... 83

..... 86

........ 87

....... 88

.......................... 90

....................... 93

................. 95



Parte I. Presentación del Proyecto Capítulo 1. Introducción

1

CAPÍTULO 1.- INTRODUCCIÓN.




2

Descriptor o Modelo de Objeto (Herramienta en el campo de Visión por Computador), sirve para modelar un determinado objeto de forma que

sus características sean independientes a colocación, tamaño, orientación, etc.




3




4




5




6




7




8




9




10



Parte II. Aspectos Referenciales del Proyecto Capítulo 2. Marco Teórico

12

CAPITULO 2.- MARCO TEÓRICO.




13

, (2. 1)




14

0,0 0,1 1,0 1,1 ⋯ 0, 1⋯ 1, 1⋮ ⋮ 1,0 1,1 ⋱ ⋮… 1, 1

(2. 2)




15

, , , , , , (2. 3)

, 0,299∗, 0,587∗, 0,114∗, (2. 4)




16

, , (2. 5)

, y ,




17

, , ∗ (2. 6)

, ℎ , ∗ , (2. 7)




18

, , , (2. 8)

, 1 , > , 0 , ≤ (2. 9)




19

(2. 10)




20

, … , ; + , + , … , ∑ = y ∑ =+

(2. 11)

∗ = ; ∗

=+(2. 12)

∗ ∗ ; 1 (2. 13)

∗ ∗ (2. 14)

} ; 1 ≤ ≥ (2. 15)




21




22




23




24

-

-

-

-




25




26

1 ,= ; :( , ) { 0 1 ≠ (2. 16)

(, ), (2. 17)

≤ √ ℎlog2ℎ 1 l o g 4 ; ∶ ℎ

(2. 18)




27

, , … } ⊂ ⊆ − ∈ : ∗ 0 } ∈ , ∈




28

∈ ∶ ∗ ≥ 1} − − ∈ ∶ ∗ ≤ 1 }

∗ 1 ≥ 0 1 ∗ 1 ≤ 0 1 (2. 19)

∗ ( ∗

) 1 ≥ 0(2. 20)

2 ∗ ∗ ( ∗ )‖‖

2‖‖ ; ∗ ( ∗ ) 1(2. 21)

‖‖ ∗ ∗ 1 ≥ 0 (2. 22)




29

‖‖

∗ ∗ 1 ≥ 0 (2. 23)

min

= 12

,= 12 :

= 0 ; 0 ≤ ≤ 1 , … .

(2. 24)

""

∗ ∗ = → ∗

=

(2. 25)

= (2. 26)




30

≥ 1

≤ 1 −

"" "Φx → z x ∈ X ⊂ ; ∈ ⊂ ; para m > n }"

‖‖

∗ ∗ Φ 1 ≥ 0(2. 27)

= 12 Φ()Φ,= 12

:

= 0 ; 0 ≤ ≤ 1 , … .

(2. 28)




31

(Φ()Φ() ∗ ).

Φ

Φ

= ↔1,2

(2. 29)

ΦΦ Φ

= 12 , ,=

:

= 0 ; 0 ≤

≤ 1 , … .

(2. 30)

, ′ exp ‖ ′‖2 (2. 31)

‖ ′‖




32

""

, } ⊂ 1,2,…} ≡1,2,…}\

( ) ( ) 0 ≤ ≤ ;

(2. 32)




33




34




35



Parte II. Aspectos Referenciales del Proyecto Capítulo 3. Marco Referencial

36




37




38




39

2 Gesto – espacial, que involucra gestos en un contexto espacial (3D).3 Gesto – viso – espacial, que involucra gestos en un contexto espacial, que además requiere percepción visual.




40




41




42




43




44



Parte III. Desarrollo del Proyecto: Concepción, Requerimientos y Diseño Capítulo 4. Análisis de Requerimientos

46

CAPITULO 4.- ANÁLISIS DE REQUERIMIENTOS.

Figura 4. 1

COMPONENTEINTÉRPRETE

COMPONENTEENTRENADOR

SISTEMA INTERPRETE

LENGUAJE DE SEÑAS

COMPONENTE DEALMACENAMIENTO




47

Interfaz HumanoMáquina

(HMI)

Adquisición yTratamiento de

Datos

Servicios dealmacenamiento y

recuperación de datos

COMPONENTE DE

ALMACENAMIENTO

PRESENTACIÓN

LÓGICA DEAPLICACIÓN

SERVICIOS

ALMACENAMIENTO

Creación decaracterísticas dereconocimiento

Inferencia de la basede conocimientos

Interfaz HumanoMáquina

(HMI)

Creación decaracterísticas de

Entrenamietno

Entrenamiento declasificadores

Servicios dealmacenamiento y

recuperación de datos

COMPONENTE INTÉRPRETE COMPONENTE ENTRENADOR




48




49




50




51




52




53




54




55

Figura 4. 3 Organización del Sistema




56




57




58




59




60




61




62




63




64




65




66




67




68




69




70




71




72




73




74




75




76




77




78



Parte III. Desarrollo del Proyecto: Concepción, Requerimientos y Diseño Capítulo 5. Arquitectura del Sistema

79

CAPITULO 5.- ARQUITECTURA DEL SISTEMA.

Almacén de Datos

Adquisición de Datos

Gestión del Sistema

EntrenamientoReconocimiento

.

.

Capa de Servicios de Negocio

Capa de servicios de Usuario

Capa de Servicios de Datos




80

Retención temporal enmemoria

Obtención de Datos deDispositivos de entrada

Obtención de Datosde Interés

(Sincronización de Tramas)

- Retención de Información arribada- Tratamiento de datos.- Identificación y configuración delDispositivos de entrada.




81

MantenedorTramas

-ImagenColor: byte[][]-skeleton: Int[][]

Imagen Relevante

-Imagen: byte[][]

Parámetros IR

-letra: string-SetEntrenamiento: bool

Características

-vectorHOG: double[]-celda: int

DispositivoDeEntrada

-estado: bool-ID: string

TramaColor

-metaData: byt e[][]

TramaSkeleton

-metadata: int[][]

-bin: int-solapamiento: int

+ObtenerImagenRelevante(im): void

+CrearCaracteristicas(): void

+Adquirir tramas(): void

+ProcesarImagen(): void

+VerificarConexion(): bool

-SegmentarImagen(): void

Controlador deadquisicion de datos

+AdquirirDatos(): void

+Iniciar(): void+CopiarMetadata(dest): void




82

:Caracteristicas:ImagenRelevante

:Controlador deAdquisicion de datos

:MantenedorTramas

3:[TramasListas]:Adquirir tramas()

AdquirirDatos() :DispositivoDeEntrada

2:[estado]: Iniciar()

1: estado := VerificarConexion()

3.1:CopiarMetadata(ImagenColor)

3.2:CopiarMetadata(skeleton)

3.3[skeleton!=null] ObtenerImagenRelevante(ImagenColor)

4: ProcesarImagen()4.1: CrearCaracteristicas()

Ademas de configurar losparámetros del dispositivo, Inicialos evento de sincronización de

tramasRecibe las Tramas de datos conuna ltencia de 30 tramas porsegundo




83

Interfaz HMI

Generar de Bancos deCaracteristicas

Generar ConjuntoClasificadores

Elegir Clasificador Óptimo

Elemento dealmacenamiento

(Acciones del Usuario)




84

Controlador de entrenamiento

conjunto clasificadores

-Clasificadores: Resultadoclasificador[]

Resultado cla sificador

-sigma: double

-error estimado: double

Set de Datos

Set de Entrenamiento

-Caracteristicas Negativas: double[][]-Caracteristicas Negativas: double[][]

Set de Prueba

Banco de Caracteristicas

Caracteristicas EntrenamientoCaracteristicas Prueba

Controlador de almacenamiento

Controlador de aplicacion

-Características: double[][] -Características: double[][]


-error real: double

+RecuperarDatos(letra): string[][]+GuardarDatos(datos): void

+GenerarBancosCaracteristicas(): void+GenerarConjuntoClasificadores(letra):void+ElegirClasificadorÓptimo(): void

+VisualizarResumenEntrenamiento(letra):void

Caracteristicas

-vectorC: double[]

+ExtraerCaracteristicas(imagen,letra):void

-AgregarAlBanco(vector,letra):void

+Generar(bancoDeCaracteristicas,letra):void

+EstimarResultados(sigma,boxC): void

-generalización: double-boxC: double

+AgregarAlConjunto(ResultadoClsificador): void

+AgregarSetEntrenamiento(caracteristica):void +AgregarSetPrueba(caracteristica):void

ClasificadorSVM

-alpha: double[][]

+Entrenar():double[][]

-supporVectors: double[][]

Figura 5. 6




85

:Controlador deentrenamiento

:Controlador dealmacenamiento

GenerarBancosCaracteristicas()

1. datos:=RecuperarDatos()

:Caracteristicas2:*Nuevo()

:Caracteristicas3:*ExtraerCaracteristicas(imagen,letra)

:BancoDeCaracteristicas

4: * AgregarAlBanco(caracteristica)

5:GuardarDatos(bancoDeCaracteristicas)Instancia un objetocaracterísticas

Emplea eldescriptor HOG




86


:Controlador de almacenamiento

GenerarConjuntoClasificadores()

1. datos:=RecuperarDatos(Datos)

2:Generar(Datos,letra):SetDeDatos

:SetDeEntrenamiento

SetdePrueba

2.1a:[entrenamiento]:AgregarSetEntrenamiento(datos)2.1b:[prueba]:AgregarSetPrueba(datos)

:ResultadoClasificador

3: EstimarResultados(sigma,boxC,SetDeDatos)

:ConjuntoClasificadores

4: AgregarAlConjunto(resultadoClasificador)

5:GuardarDatos(conjuntoClasificadores)

:ClasificadorSVM3.1: resultados:= Entrenar()

Asignación de losconjuntos deentrenamientos,dependinetes d e la letra

estima indices de erroresperado, error de

clasificación ygeneralización




87


:Controlador de almacenamiento1. datos:=RecuperarDatos(Datos)

:ClasificadorSVM

ElegirClasificadorOptimo()

:Controlador de Aplicación

2:VisualizarResumenEntrenamiento()

3: Entrenar()

4: GuardarDatos(ClsificadorSVM)

Calcula los vertores desoporte, coeficientes delagrange, etc.




88

Evaluación de pertenencia

Visualización del resultadoAdquisición de las

características de entrada

Interfaz HMI

(El usuario solo recibe unarespuesta visual)




89

Controlador deReconocimiento

+Clasificar()

Banco de clasificadores

-clasificadores: clasificador[24]

clasificadorSVM

-supportVectors: double[][]-coeficientesLagrange: double[][] Controlador de Aplicacion

+RealimentaciónVisual(clase): void

+Evaluar(caracteristicas):bool

ControladorAdquisición de datos

+Ver característica(): void+BuscarPertenencia(caracteristicas):intl




90


:Controlador deAdquisicion de datos

:ClasificadorSVM

Controlador de Aplicación

Clasificar()

1: dato:= VerCaractertistica()

:Banco de Clasificadores

2: clase:= BuscarPertenencia(dato)

2.1:[i=1,...24]Evaluar(dato)

3:[ReglaValida]RealimentacionVisual(clase)

Se busca la pertenencia para cadaclasificador dentro del Banco declasificadores

Se envia el mensaje cuando la Condicion qdetermina si el resultado es obtenido esvalido es verdadera

El mensaje es enviado al Controlador deAdquisición de datos, que es la clase que secomunica con la clase caracteristicas. Verelemento de adquisición de datos




91

Repositorio de Datos

Almacenamiento de DatosRecuperación de Datos

Servicio deAlmacenamiento




92

letra

-nombre: string-letra: string-set: bool-usuario: string

clasificador

-letra: string-sigma: double-boxConstraint: double

coeficientes alpha

-letra: string-ruta de archivo: string coeficientes de traslacion

-letra: string-ruta de archivo: string

Vectores de Soporte

- letra: string-ruta de archivo: string

Imagen asociada

-nombre: string-ruta de imagen: string

Descriptor HOG

-letra: string

-celda:int-solapamiento:int-bins:int

Se compone de

Se compone deSe compone de

poseees interpretada por

posee


+GuardarDatos(): void-RecuperarDatos(): void-Eliminar datos(): void

Usuario Base de datos

-Nombre: string-Password:int

+RechazaUsuario(): void+ValidarUsuario(): void+AutenticarUsuario():void

Conexion Base de datos

-Conexion: string-Estado: string

+AbrirConexion():void+CerrarConexion(): void

Controlador Base de datos

+Guardar(): void+Eliminar(): void+recuperar():void

Controlador memoria

+Guardar archivo(): void+Borrar archivo(): void+Leer archivo(): void

Consulta

+CrearRegistro(): void+ModificarRegistro():void

archivo

-nombre: string-estado: string

+Eliminar Registro(): void

+Abrir(): void+Cerrar(): void+leer():void




93

:Controlador dealmacenamiento

:UsuarioBaseDeDatos :Controlador memoria

:consulta

Transacción*()

1: ValidarUsuario()

ConexionBasededatos2. Abrir Conexión()

3.Transaccion*()

4. CerrarConexion()

:archivo

6. Transacción*()

5.AccederMemoria()

"Transacción*" este mensaje puedereemplazarse por cualquiera de los validos,como ser Guardar(), Borrar(), etc.




94

controlador de reconocimiento

+ActualizarBancoClasificadores(): void

Controlador almacenamiento

+RecuperarInfClasificadores(): void



clasificadorSVM

-supportVectors: double[][]-coeficientesLagrange: double[][]


+AgregarClasificador(clasificadorSVM): void

:Controlador deReconocimiento

:ClasificadorSVM:Controlador dealmacenamiento

ActualizarBancoClasificadores()

1: datos= RecuperarInfClasificadores()

:ClasificadorSVM

2: [i=1.2...24]Nuevo(datos(i))

3:[i=1...24]AgregarClasificador(clasificadorSVM)

Se realiza la operación para cada clasificadorque vaya a formar parte del Banco declasificadores




95



Parte IV. Desarrollo del Proyecto: Prototipo y Pruebas Capítulo 6. Implementación del Prototipo

97

CAPITULO 6.- IMPLEMENTACIÓN DEL PROTOTIPO.




98

DATOSENTRENAMIENTO

SVM

BD - Archivos

Adquisición de Datos

Reconocimiento

DISPOSITIVO DEENTRADA

entrenamiento

BASE DE CONOCIMIENTOS(BANCO DE CL ASIFICADORES

SVM)

HMI

INTÉRPRETE

ENTRENADOR

ALMACENAMIENTO




99




100




101




102




103



Parte IV. Desarrollo del Proyecto: Prototipo y Pruebas Capítulo 7. Pruebas y Resultados del Prototipo

104

CAPITULO 7.- PRUEBAS Y RESULTADOS DELPROTOTIPO.




105




106




107




108

Figura 7. 7




109




110

6 ∗ 4 24




111




112

Tabla 7. 1 indicador de error previsto para el banco de clasificadores óptimos




113

Tabla 7. 2 Indicador de error de clasificación para el banco de clasificadores




114

Tabla 7. 3 Índice de generalización del banco de clasificadores




115

Tabla 7. 4 Distancias Euclideanas de las clases referidas a la letra “i”




116

Tabla 7. 5 Distancias Euclideanas de las clases referidas al primer grupo de la letra “i”, para condiciones

similares de iluminación a las de entrenamiento.




117

Tabla 7. 6 Distancias Euclideanas de las clases referidas al segundo y tercer grupo de la letra “i”, para

condiciones diferentes de iluminación a las de entrenamiento.



Parte V. Conclusiva Capítulo 8. Conclusiones y Recomendaciones

119

CAPITULO 8.- CONCLUSIONES Y RECOMENDACIONES.




120




121



Material Anexo y Complementario Bibliografía

123

BIBLIOGRAFÍA



Material Anexo y Complementario Bibliografía

124



Material Anexo y Complementario Glosario de Términos

125

Glosario de Términos



Material Anexo y Complementario Anexo A

126

Anexo A. Diagramas de Clasescorrespondientes a la Arquitectura lógica

del sistema

MantenedorTramas

-ImagenColor: byte[][]-skeleton: Int[][]

Imagen Relevante

-Imagen: byte[][]

Parámetros IR

-letra: string-SetEntrenamiento: bool

Características

-vectorHOG: double[]

-celda: int

DispositivoDeEntrada

-estado: bool-ID: string

TramaColor

-metaData: byte[][]

TramaSkeleton

-metadata: int[][]

-bin: int-solapamiento: int

+ObtenerImagenRelevante(im): void

+CrearCaracteristicas(): void

+Adquirir tramas(): void

+ProcesarImagen(): void

+VerificarConexion(): bool

-SegmentarImagen(): void

Controlador de

adquisicion de datos

+AdquirirDatos(): void

+Iniciar(): void+CopiarMetadata(dest): void




127




128




129

Controlador de entrenamiento

conjunto clasificadores

-Clasificadores: Resultadoclasificador[]

Resultado clasificador

-sigma: double

-error estimado: double

Set de Datos

Set de Entrenamiento


Set de Prueba

Banco de Caracteristicas

Caracteristicas EntrenamientoCaracteristicas Prueba


Controlador de aplicacion

-Características: d ouble[][] -Características: d ouble[][]


-error real: double

+RecuperarDatos(letra): string[][]+GuardarDatos(datos): void

+GenerarBancosCaracteristicas(): void+GenerarConjuntoClasificadores(letra):void+ElegirClasificadorÓptimo(): void

+VisualizarResumenEntrenamiento(letra):void

Caracteristicas

-vectorC: double[]

+ExtraerCaracteristicas(imagen,letra):void

-AgregarAlBanco(vector,letra):void

+Generar(bancoDeCaracteristicas,letra):void

+EstimarResultados(sigma,boxC): void

-generalización: double-boxC: double

+AgregarAlConjunto(ResultadoClsificador): void

+AgregarSetEntrenamiento(caracteristica):void +AgregarSetPrueba(caracteristica):void

ClasificadorSVM

-alpha: double[][]

+Entrenar():double[][]

-supporVectors: double[][]




130




131




132


+Clasificar()



clasificadorSVM

-supportVectors: double[][]-coeficientesLagrange: double[][] Controlador de Aplicacion

+RealimentaciónVisual(clase): void


ControladorAdquisición de datos

+Ver característica(): void+BuscarPertenencia(caracteristicas):intl




133

letra

-nombre: string-letra: string-set: bool-usuario: string

clasificador

-letra: string-sigma: double

-boxConstraint: double

coeficientes alpha

-letra: string-ruta de archivo: string coeficientes de traslacion

-letra: string-ruta de archivo: string

Vectores de Soporte

- letra: string-ruta de archivo: string

Imagen asociada

-nombre: string-ruta de imagen: string

Descriptor HOG

-letra: string-celda:int-solapamiento:int-bins:int

Se compone de

Se compone deSe compone de

posee es interpretada por

posee




134




135




136


+GuardarDatos(): void-RecuperarDatos(): void-Eliminar da tos(): void

Usuario Base de datos

-Nombre: string-Password:int

+RechazaUsuario(): void+ValidarUsuario(): void+AutenticarUsuario():void

Conexion Base de datos

-Conexion: string-Estado: string

+AbrirConexion():void+CerrarConexion(): void

Controlador Base de datos

+Guardar(): void+Eliminar(): void+recuperar():void

Controlador memoria

+Guardar archivo(): void+Borrar archivo(): void+Leer archivo(): void

Consulta

+CrearRegistro(): void+ModificarRegistro():void

archivo

-nombre: string-estado: string

+Eliminar Registro(): void

+Abrir(): void+Cerrar(): void+leer():void




137




138




139



Material Anexo y Complementario Anexo B

140

Anexo B. Base de Datos para laimplementación del prototipo

La implementación fue desarrollada con la herramienta SQL Server 2008, a continuación se

muestra el código del script para la creación de la Base de Datos



Material Anexo y Complementario Anexo B

141



Material Anexo y Complementario Anexo C

142

Anexo C. Datos Técnicos de Kinect



Material Anexo y Complementario Anexo C

143



Material Anexo y Complementario Anexo E

144

Anexo D. Seudocódigo de algoritmos.

1 , 0 , 0; ≤

≤ 2 5 5 1 , 0 , 0 ∗ ≤ ∗ ≤ 2 5 5

∗ ∗ ∗ ∗

≤ 2 5 5 }




145

15∗

∗0 . 8 5 ; ∗ 0 . 1 5 .

óó≠0




146

_ ∗ 1 0 1; ∗ 1 0 1´, atan,,

0 ; 0 ;() ∗ ( ) ∗

: , : 180°, 0; ℎ 0; ∗ << 1 ∗ ℎ < < ( ) ∗ <()∗

,ℎ;() ∗ < , () ∗ < ,




147

min 12 0 : {0 ≤ ≤ , 1 , 2 , … , 0,

, } ⊂ 1, …} ≡ 1, … }\

min 12

12 12 [ ]

Sujeto a: 0 ≤ , ≤ , yNT , +




148

≡ | < , 1 > 0 , 1} ≡| < , 1 > 0 , 1}

, ∈ a r g ma x ∇ | ∈ } ∈ arg min ∇ | ∈ }

∇ 1 0




149

, , , 0 2 ( , ) , ,

≥ 0 < < 0 ≤ 0

,

,




150

Anexo E. Demostraciones y DeduccionesMatemáticas.

"" " 0" """ ≤ 0"

∗ ∗ ∗ 0 ∗ ≤ 0ℎ∗ 0 ∗ ≤ 0 ≥ 0 ≥ 0

∇∗ ∇ℎ∗

= ∇∗

= 0 ‖‖ ∗ ∗ 1 ≥ 0 1,2…

12 ‖‖ ∗ ∗ ∗ 1= 0




151

∇ 12 ‖‖ ∇= ∗ ∗ 1 0

∇ , ∂∂w 12 ‖‖ ∗ ∗ ∗ 1= 0

∂∂b 12 ‖‖ ∗ ∗ ∗ 1= 0

= 0

= 0 12 ∗ ∗ ∗ ∗

= ∗ ∗

=

= 0

12 =

= =

= 0 ∗ = 0




152

= 12

,= 0

= 12

,= 12 :

= 0 ; 0 ≤ ≤ 1 , … .

=

1 ∗ i ≠ 0




153

ΦΦ = ↔,

(2. 35)

, ex p ‖1 2‖222

, ex p ‖1 2‖222 exp 12 2 ∗ 1 ∗ 2 2222 , ex p 1222 ∗exp 2222 ∗exp 2 ∗ 1 ∗ 222

, ex p 12

22 ∗exp 22

22 ∗ 212

2!∞

0

, 22! ∗ exp 1222 ∗ 1 ∗ exp 2222 ∗ 2∞0, Φ1 ∗ Φ2 12∞

0




154

, , , ∫

∫, ≥ 0

, exp ‖1 2‖222

, 22! ∗ exp 1222 ∗ 1 ∗ exp 2222 ∗ 2∞

0 , 22! ∗ exp 2222 ∗ 2 ∗ exp 1222 ∗ 1∞

0

,

,

, exp ‖ ‖222




22! ∗ exp 222 ∗ ∗ exp 222 ∗ 2∞0

22! ∗ exp 222 ∗ ∗ exp 222 ∗ 2 ∞0

2

2

!∗ exp 2

22 ∗ ∞

0

∗ 2

2

!∗ exp 2

22 ∗

2 ∗ exp 2 ∗ 2∞

SISTEMA INTERPRETE DEL LENGUAJE DE SEÑAS BOLIVIANO BAJO TECNOLOGIA DE VISION POR COMPUTADOR

Documents

Transcript of SISTEMA INTERPRETE DEL LENGUAJE DE SEÑAS BOLIVIANO BAJO TECNOLOGIA DE VISION POR COMPUTADOR