Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM
description
Transcript of Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM
Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal
Primera Reunión de arranque del proyectoEn la ETSI Telecomunicación de la UPM
Proyecto
INDICE y AGENDA 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas
T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz
11:30-12:00 Café 12:00-13:20 Tareas
T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación
13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio
PROYECTOS
INTRODUCCIÓN
ENFOQUE
VOZ TEXTO
SIGNOS
RAZONABLE
COMPLICADO
El proceso de traducción se puede llevar a cabo en los dos sentidos
SIGNOS - VOZ
COMPLICADO
Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D
Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes
Mejores tasas Poco práctico
VOZ - SIGNOS
RAZONABLE
Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía
Dominios RestringidosEn torno a 100-1000 palabras: información
meteorológica, deportes,....
UN PRIMER PROTOTIPO
En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una
persona experta
TAREAS: OBJETIVO Y
PLANIFICACIÓN GENERAL
OBJETIVO CONCRETO
Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda.
Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).
PLANIFICACIÓN GENERALOriginal (15 meses)
Real (12 meses)
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10
T11
T12
T13
T14
T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11
T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación
ESTUDIO LINGÜÍSTICO
1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS
Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios
Descripción de situaciones y escenarios
2 PASO: RECOPILACIÓN DE FRASES
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases
3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD
el denei es obligatorio desde los catorce años
para solicitar por primera vez el denei necesitas dos fotos
si usted solicita por primera vez el denei debe llevar la partida de nacimiento
si usted tiene entre treinta y setenta años debe renovar el denei
las personas mayores de setenta años ya no tienen que renovar el denei
para hacerte las fotografías tienes que pagar cuatro euros
con tu denei puedes viajar a estos países
para alquilar un coche tienes que presentar el denei
Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases
Desde los catorce años el denei es obligatorio
Con más de catorce años te tienes que sacar el denei
Cuando tengas catorce años tienes que disponer del denei
4 PASO: TRADUCCIÓN
Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos
Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados
DISEÑO DE LA ARQUITECTURA
ARQUITECTURA
Requiere de un corpus paralelo de varios miles
de frases para entrenar los motores de traducción
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture SequenceSpeech
Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
ARQUITECTURA
Gran Experiencia: Optimizado en
múltiples proyectos
Speech Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture SequenceSpeech
Recognition
Rule-based Translation
Natural Speech
Word Sequence Translation
Rules
Acoustic Models
Language Model
Statistical Translation
Probabilistic Model
Gesture Animation
Gesture Descriptions
Gesture Sequence
RECONOCIMIENTO DE VOZ
RECONOCIMIENTO DE VOZ
VOZ
RECONOCIMIENTO DE VOZ
VOZ
Ya hechoDisponible
Café
TRADUCCIÓN BASADA EN REGLAS
TRADUCCIÓN POR REGLAS Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas:
Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos.
El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO:
Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
TRADUCCIÓN ESTADÍSTICA
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
TRADUCCIÓN ESTADÍSTICA
Generación de Modelos
Traducción y Modelos de Lenguaje
Traducción
Modelos de Traducción y
Modelos de Lenguaje
Texto Signos
Texto Signos
Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD
GENERACIÓN DE LA BASE DE DATOS DE SIGNOS
LISTA DE SIGNOS A GENERAR
Lista de signos a generar
Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo
podemos generar sin problemas
REPRESENTACIÓN DE LOS SIGNOS
VGUIDO: Agente animado del proyecto eSIGN• http://www.sign-lang.uni-hamburg.de/eSIGN/• Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/.• Libre para investigación
REPRESENTACIÓN DE LOS SIGNOS
Notación HamNoSys
Editor de SIGNOS
Genera un fichero SIGML (formato XML)
para representar cada SIGNO
REPRESENTACIÓN DE LOS SIGNOS
<sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual>
<hampinch12open/><hamextfingero/><hampalmul/><hamchest/><hamlrat/><hamarmextended/><hamseqbegin/><hammovedl/><hamsmallmod/><hamrepeatreverse/><hamseqend/><hamrepeatfromstartseveral/>
</hamnosys_manual> </hns_sign></sigml>
INTRODUCCIÓN A HAMNOSYS
Demo de generación de un signo
EVALUACIÓN DE LOS PROTOTIPOS
EVALUACIÓN DE LOS PROTOTIPOS
USUARIOS FINALES
Evaluación subjetiva según una encuesta
• Inteligibilidad
• Velocidad
• Utilidad....
Evaluación objetiva• Tasa de reconocimiento
• Velocidad....
• Número de repeticiones
DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto.
Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....
http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php
RUEGOS Y PREGUNTAS