Sistemas de Diálogo Hablado

Workshop-Brainstorming30 abril 2013

Seminario de Lógica y Lenguaje. Universidad de Sevilla

Sistemas de Diálogo Hablados

Seminario de Lógica y Lenguaje. Universidad de Sevilla

InterpretaciónDiscurso

Gestión de Diálogo

ProcesamientoSeñal

ReconocimientoVoz

ComprensiónLenguaje

Generación delLenguajeTexto-Habla

Sistemas de Diálogo Hablados

Seminario de Lógica y Lenguaje. Universidad de Sevilla

InterpretaciónDiscurso

Gestión de Diálogo

ProcesamientoSeñal

ReconocimientoVoz

ComprensiónLenguaje

Generación delLenguajeTexto-Habla

• La flor es bonita• La (det) flor (n) es (v) bonita (adj)• La flor (SN) es bonita (SV)• Flor 1. f. Brote de muchas plantas,

formado por hojas de colores, del que se formará el fruto.

- Morfología- Sintaxis- Semántica

Esquema

Seminario de Lógica y Lenguaje. Universidad de Sevilla

A: Ingeniería Lenguaje

• Procesamiento de la Señal y Habla

• Reconocimiento de voz• Comprensión del lenguaje• Texto-Habla

B: Gestión Diálogo

• Discurso y Diálogo– Interpretación Discurso– Gestión Diálogo– Generación del lenguaje

Procesamiento de la Señal y Habla

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Procesamiento de la señal• Convertir la onda sonora en un vector de rasgos

acústicos• Reconocimiento de voz

• Decodificar el vector de rasgos acústicos en una secuencia de palabras

• Comprensión del lenguaje• Determinar el significado de las palabras reconocidas

• Texto-Habla• Generar voz sintética a partir de una cadena de palabras

etiquetadas acústicamente

Desafíos y Limitaciones: Tipo de Habla -> Reconocimiento de Voz

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Dependiente Hablante vs. no-dependiente• Pronunciación

• Habla controlada• Tamaño y tipo de vocabulario• Gramática

• Habla espontánea vs. habla leída• Vocabulario fuera de rango• Cobertura gramatical

• Calidad de la señal de entrada• Transductor (micrófono vs. móvil, etc.)• Ruido de fondo

Esquema

Seminario de Lógica y Lenguaje. Universidad de Sevilla

A: Ingeniería Lenguaje

• Procesamiento de la Señal y Habla

• Reconocimiento de voz• Comprensión del lenguaje• Texto-Habla

B: Gestión Diálogo

• Discurso y Diálogo– Interpretación Discurso– Gestión Diálogo– Generación del lenguaje

Discurso y Diálogo

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Interpretación del discurso• Entender lo que el usuario quiere dar a entender en todo

el volumen de su discurso y en cada una de sus intervenciones

• Gestión del diálogo• Determinar la respuesta del sistema al usuario para

conseguir los objetivos del usuario frente al sistema• Generación del lenguaje

• Generar oraciones en lenguaje natural que faciliten la interacción con el usuario para la consecución de esos objetivos

Esquema

Seminario de Lógica y Lenguaje. Universidad de Sevilla

A: Ingeniería Lenguaje

• Procesamiento de la Señal y Habla

• Reconocimiento de voz• Comprensión del lenguaje• Texto-Habla

B: Gestión Diálogo

• Discurso y Diálogo– Interpretación Discurso

• Referencia• Intención hablante

– Gestión Diálogo– Generación del lenguaje

Referencia Discurso: Soluciones

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Fuentes de conocimiento: del dominio, del discurso, del mundo• Rasgos ortográficos• Palabras clave• Historia del diálogo• Estructura del diálogo• Cambios temáticos• Rasgos prosódicos: duración, pausa, F0, rapidez habla• Etc.

• Grupos focales• Se mantienen los últimos objetos en un paquete• Se seleccionan los objetos que satisfacen las características

semánticas y sintácticas del paquete empezando por los más de arriba

• Centering• Backward-looking: Se fija un punto central en la oración y se

busca los anclajes hacia atrás• Forward-looking

Referencia Discurso: Soluciones

Seminario de Lógica y Lenguaje. Universidad de Sevilla

S: Buenos días, en qué puedo ayudarleU: Me gustaría comprar entradas para la obra “El discurso del rey”S: ¿A qué teatro le gustaría ir?U: Al teatro central. ¿Cuál es el horario de representaciones?S: A las 7 y a las 9 los sábados.

El discurso del reyTeatro central19:00 horas

21:00 horas

sábado

Intención Hablante: Soluciones

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Procesamiento entrada del usuario:– Cada entrada es una intención/tarea en si misma (crea un

subdiálogo)– Cada entrada lleva a conseguir una intención/tarea única

• Procesamiento de la intención se basa en palabras claves o en su representación sintáctico-semántica

• Diseño de mapas de palabras clave/tareas:– Emparejamiento con modelos– Modelos probabilísticos– Medidas de similitud de vectores de rasgos– Etc.

Esquema

Seminario de Lógica y Lenguaje. Universidad de Sevilla

A: Ingeniería Lenguaje

• Procesamiento de la Señal y Habla

• Reconocimiento de voz• Comprensión del lenguaje• Texto-Habla

B: Gestión Diálogo

• Discurso y Diálogo– Interpretación Discurso– Gestión Diálogo– Generación del lenguaje

Gestión Diálogo: Funciones

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Guiar el diálogo con el usuario hasta la consecución de las tareas– Contestar– Solicitar información– Confirmar/aclarar– Notificar de peticiones no servidas en el sistema– Sugerir alternativas a las peticiones recibidas del usuario– Etc.

• Interfaz entre los componentes de usuario/lenguaje y la base de datos/gestor del conocimiento

Resumen

Seminario de Lógica y Lenguaje. Universidad de Sevilla

• Limitaciones de la entrada desde el Reconocedor de voz• Limitaciones de la aplicación (volumen de vocabulario) y

dominio (+/- complejo)• Estructuras complejas de la lengua:

• Referencia• Intención del hablante

• Estrategias de análisis del discurso:• Almacenamiento historial diálogo• Implicaturas

• http://www.limsi.fr/tlp/kiosk-sncf.html

Demo