Exemples de sistemes de diàleg

Sistemes de diàleg a gran escala

• Diferents canals• Diferents llengües• Diferents aplicacions • Certa complexitat• Arquitectura modular i flexible:

distribuïda• Integració de mòduls heterogenis

Sistemes de diàleg a gran escala (II)

Arquitectures distribuïdes, basades en missatges• Galaxy Communicator Software Infrastructure

(Seneff, Lau and Polifroni, 1999) – Un hub central permet la interacció entre mòduls

• The Open Agent Architecture (Martin, Cheyer and Moran, 1999) – Un unitat central controla agents heterogenis

• The MULTIPLATFORM (Herzog et al, 2004) – Control no centralitzat, comunicació assíncrona

Sistemes de diàleg a gran escala (III)

• TRIPS: The Rochester Interactive Planning System (Allen et al, 2001)Especialitzat en planificació de tasques– evacuar gent de una illa amb huracan– coordinació de vehicles en una emergencia,…

• COLLLAGEN (Rich, Sidner and Lesh, 2001)– Appicació teoría sobre el discurs col.laboratiu

• GEMINI platform (Hamerich et al, 2004)– Basat en VoiceXML– Facilita la generació de sistemes per

aplicacions

Desarrollo de un Sistema de Diálogo para Habla Espontánea en un Dominio Semántico Restringido (98 - 01)– Desenvolupar una interfície telefònica per a una

tasca concreta. Consultes sobre horaris i preus de trens regionals i grans línies de RENFE

– Financiat per la CICYT– Colaboració amb altres universidats (UPV,

UV, UJC, UZ)

Exemple de projecte

• Adquisició de corpus (conjunt d’exemples) per estudiar cóm l’usuari s’expressa quan demana informació sobre trens.

• Estudiar i desenvolupar el sistema de reconeixement de veu, comprensió del llenguatge i sistema de generació de resposta

• Desenvolupament d’un prototipus per consultes telefòniques en castellà sobre els trens de RENFE

Tasques del projecte

• Tasca ben delimitada. Fàcil d’entendre• Vocabulari estable i regular. No

apareixen paraules estrangeres (Si en informació sobre viatges en avió o espectacles)

• Les converses són riques (bastanta iteracció entre usuari- domini)

• 2 corpus : – persona-persona– Mago de OZ

Elecció de la tasca

• 200 converses que trocaven al centre d’informació RENFE. Consultes reals (no simulacions)

• Trucades des de Barcelona. En castellà

• Es van escollir exemples variats• Recollir les diferents maneres

d’expressar les consultes• Llenguatge massa complexe pels

sistemes que es disposaven

Adquisició del corpus persona-persona

• Utilitzat per acabar de definir la tasca– No incloure trens de rodalies : massa

complexitat lèxica– Si viatges de anar-tornar i classes– No consultes sobre altres serveis relacionats

(restaurants, abonaments, reserves,..)

• Dissenyar el controlodar de diàleg i generació de resposta

• Preparar un segon corpus persona-màquina

Adquisició del corpus persona-persona

• Les persones s’expresssen diferent quan saben que parlen a una màquina

• El sistema Mago-de-Oz permet recollir exemples de cóm parla l’usuari a un sistema abans de tenir el sistema

• “Enganyar” a l’usuari

• Si es disposa de “part” del sistema (ex. Reconeixedor, millor utilitzar-lo

Adquisició del corpus Mago-de-Oz

• Utilitzava sistema de text a veu per donar similitud

• Definició de l’estrategia a seguir per dónar informació a l’usuari. Regles:– Si pregunta sobre horaris o preus sense dir

destir ---> preguntar destí– Si el resultat d’una consulta són més de 3 trens

---> donar el nº de trens i el primer i últim

• Preparació de les respostes. (Plantilles predefinides)

Adquisició del corpus Mago-de-Oz

• Com aconseguir que la gent participi– Connectar el sistema a un punt de servei real.

(Pot resultar difícil).

• Preparar a la gent que participi. 75 persones Consultes:– 2 escenaris definits

• Horaris del primer tren de Castelló a València

– 1 escenari més obert• Indicar que ha de demanar informació sobre un tren

Adquisició del corpus Mago-de-Oz

• 225 sessions– Senyals adquirides (un canal d’entrada i un de

sortida)– Segmentació entre torns– Text associat a cada torn– Símbols per indicar fenòmens estranys:

• Paraules mal pronunciades• Soroll extern

Adquisició del corpus Mago-de-Oz

Controlador del diàleg (XII)

Implementació:

- Construcció a mà de les transicions del diàleg(dialog flow)

• Gramàtiques

• Llenguatge de scripts

• Graf d’objectes o mòduls del diàleg

– Eines semi-automàtiques

Rapid Dialogue Prototyping Institute of Techology of Lausane

– Model probabilístic i tècniques d’aprenentatge Grup de PLN de la UPV (Basurde)

Controlador del diàleg (XIII)

Models probabilístics Grup de PLN de la UPV (Basurde). Model 1

– Model de diàleg per trobar l’optim acte de diàleg que ha de realitzar el sistema en cada estat ^D = argmaxPr(D|w,d) D – w últim torn de l’usuari– d història del diàleg (seqüència d’actes anteriors de diàleg) ^– D òptim acte del sistema

Controlador del diàleg (XIV)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

Vull anar a Madrid amb l’Unamuno

Anotació semànticaVull : consulta anar :<hora_sortida> a :<marca_desti> Madrid :<ciutat_desti> amb l’’Unamuno :<tipus_tren>

Controlador del diàleg (XV)

Models probabilístics Grup de PLN de la UPV (Basurde). Model 2

– Incorporació de unitats semàntiques que assigna el mòdul de comprensió a les paraules de la intervenció ^ D = argmaxPr(D|u,w,d) D – u unitats semàntiques donades pel mòdul de comprensió – w últim torn de l’usuari– d història del diàleg ^– D òptim acte del sistema

Controlador del diàleg (XVI)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

Vull anar a Madrid amb l’Unamuno

Anotació semàntica amb categories

Vull : consulta anar :<hora_sortida>

a :<marca_desti>

Madrid : INSTANCIA: <ciutat_desti> amb l’Unamuno INSTANCIA: :<tipus_tren>

Controlador del diàleg (XVII)

Models probabilístics Grup de PLN de la UPV (Basurde)

El model diàleg utilitza

– Model Hidden Markov basat en paraules per assignar actes de diàleg als torns de l’usuari

– Gramàtica N-gram com a història de diàleg – Corpus amb etiquetes semàntiques

Controlador del diàleg (XVIII)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

– Considerar informació essencial per determinar l’estratègia de diàleg– Etiqueta semàntica. Actes de diàleg

- Intenció de l’usuari

- Informació en un segment: sub-sentència del torn– Per reduir etiquetes --> categorització de ciutats, hores, dies,...

Controlador del diàleg (XIX)

Models probabilísticsGrup de PLN de la UPV (Basurde). Anotació de corpus

– 226 diàlegs orals en espanyol

– Obtinguts amb la tècnica de Wizard of Oz

– Contingut: preguntes de hora de sortida i arribada, cost del

viatge, tipus de tren, etc..

– 394 etiquetes d’actes de diàleg: 137 del sistema i 257 de

l’usuari

Controlador del diàleg (X)

Eines semi-automàtiques

Rapid Dialogue Prototyping Laboratory, Swiss Federal

Institute of Techology of Lausane

– Genera un model de diàleg per una aplicació concreta en

3 fases:

– Recull corupus de diàleg utilitzant tècnica Wizard of Oz

– Construcció d’un primer model del diàleg utilitzant l’eina

Rapid Dialogue Prototyping

– Implementació i validació del prototipus

aTTemps (accès telefonic al Temps)

– aTTemps is an automatic system to access meteorological information by phone.

– Supported by• Catalunya Government• Universitat Politècnica de Catalunya• Universitat de Barcelona

Project Overview (II)

Provides personalized real-time data on a set of

meteorological conditions on each place of the Catalan geography

In Catalan language

http://www.smc.gencat.es

Project: aTTemps (accès telefonic al Temps)

The Dialogue Manager Module in aTTemps (I)

Main goals

• Provide the right information in minimum time

• Guiding the user in order to avoid situations where she will be lost

System: Welcome to the ATTEMPS meteorological warning and information system. You can always say help, correction, repetition or exit. From which Catalan place do you want information, or do you want to establish a warning?

User: I am interested in Barcelona, please.

System: From Badalona, which information do you need?

User: I want to correct, not from Badalona.

System: From which Catalan place do you want information

User: I want to know the weather right now in Barcelona.

System: From Barcelona, which information do you need?

User: I need the temperature, please.

System: In the last measure at 14:30h, the temperature was 20 degrees. Do you need any other information

User: No, thanks.

System: Thanks for calling

aTTemps : An example of conversation

The Dialogue Manager Module in aTTemps (II)

Strategy

• Dialogue Flow. Barge-in

• Confirmation policy

• Implicit as a general rule

• Explicit in critical situations

• Amount of Data per Turn

• Considering the complexity

• Helping features. Helping messages

• Language generation

• Using templates

Rapid Dialogue Prototyping Laboratory

Swiss Federal Institute of Techology of Lausane

– Eines semi-automàtiques

–Genera un model de diàleg per una aplicació concreta en 3 fases:

– Recull corupus de diàleg utilitzant tècnica Wizard of Oz

– Construcció d’un primer model del diàleg utilitzant l’eina Rapid

Dialogue Prototyping

– Implementació i validació del prototipus

REFERÈNCIES• Allen, J., Byron, D., Dzikovska, M., Ferguson, G., Galescu,

L and Stent, A. (2001) ‘Toward Conversational Human-Computer Interaction’, AI Magazine, vol. 22, no. 4, Winter.

• Araki, M. and Tachibana, K. (2006) ‘Multimodal Dialog Description Language for Rapid System Development’, Workshop Proceedings, the 7th SIGdial Workshop on Discourse and Dialogue, Sidney, Australia.

• Hamerich, W., Schubert, V., Schless, V., Córdoba, R., Pardo, J., D’Haro, L., Kladis, B., Kocsis, O. and Igel, S. (2004) ‘Semi-Automatic Generation of Dialogue Applications in the GEMINI Project’, Workshop Proceedings, SIGdial Workshop on Discourse and Dialogue, Cambridge, USA

REFERÈNCIES (II)

• Herzog, G., Ndiaye, A., Merten, S., Kirchmann, H., Becker, T., Poller, P. (2004) ‘Large-scale software integration for spoken language and multimodal dialog systems’, Journal of Natural Language Engineering, vol. 10, no. 3-4, September, pp. 283-305.

• Ito, K. (2005) ‘Introducing Multimodal Character Agents into Existing Web applications’, Conference Proceedings, the World Wide Web Conference, Chiba, Japan, pp. 966-967.

• Kumar, S., Cohen, P.R. and Huber, M.J. (2002) ‘Direct Execution of Team Specification in STAPLE, Conference Proceedings, AAMAS Conference, Bologna, Italy, pp. 567- 568.

• Martin, D. L., Cheyer, A. J. and Moran, D. B. (1999) ‘The Open Agent Architecture: A Framework for Building Distributed Software Systems’, Applied Artificial Intelligence, vol. 13, pp. 91-128.

REFERÈNCIES (III)

• Narayan, M., Williams, C. Perugini, S. and Ramakrishnan, N. (2004) ‘Staging Transformations for Multimodal Web interaction Management’, Conference Proceedings, World Wide Web Conference, New York, USA, pp. 212-223.

• Seneff, S., Lau, R. and Polifroni, J. (1999), ‘Organization, communication and control in the Galaxy-II conversational system’, Conference Proceedings, Eurospeech, Budapest, Hungary, pp. 1271-1274.

• Rich, Ch., Sidner, C. and Lesh, N. (2001) ‘COLLAGEN: Applying Collaborative Discourse Theory to Human-Computer Interaction’, AI Magazine,vol. 22,n 4,15-25.

• Richards, J. and Hanson, V. (2004), ‘Web accessibility: A broader view’ Conference Proceedings, World Wide Web Conference, New York, USA, pp. 72-79.