CCLC 03 - UAB Barcelonaliceu.uab.cat/~joaquim/speech_technology/CCLC_03/CCLC03.pdf · Joaquim...

Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica

Departament de Filologia Espanyola, Universitat Autònoma de Barcelona

1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003

El futur dels llenguatgesEl futur dels llenguatgesJoaquim LlisterriJoaquim Llisterri

Departament de Filologia EspanyolaDepartament de Filologia EspanyolaUniversitat AutUniversitat Autòònoma de Barcelonanoma de [email protected]@uab.eshttp://liceu.uab.es/~joaquimhttp://liceu.uab.es/~joaquim

1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003



1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003http://liceu.uab.es/~joaquim/teaching/speech_technology/CCLC_03/CCLC_03.html

1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003

http://liceu.uab.es/~joaquim

http://liceu.uab.es/~joaquim

http://liceu.uab.es/~joaquim/



El futur dels llenguatges

Dues perspectives�La comunicació persona -

màquina�La comunicació persona -

persona meditatizada per unamàquina



La comunicació persona - màquina

HCI, Human - Computer Interaction




• Interacció multimodal

��OralOral

�Escrita

��VisualVisual

�Tàctil



La comunicació persona-màquina

• Interacció sense restriccions�Identificació automàtica de l’usuari i de la

llengua

�Reconeixement de la parla espontània

�Comprensió del llenguatge

�Diàleg totalment natural

�Generació de parla completament natural



HalClarke (1950) - Kubrick (1968)




La interacció oral• Tecnologies actuals per a la

interacció oral�Reconeixement�Comprensió�Generació




Reconeixement automàtic del locutor a partir dela veu

• Qui parla entre un conjunt d’usuarisregistrats?� Identificació automàtica del locutor

• El locutor té la identitat que diu que té?� Autentificació / Verificació automàtica del

locutor




Identificació automàtica de la llengua

• En quina llengua parla l’usuari d’un sistemaautomàtic?

� Identificació automàtica de la llengua




Reconeixement de la parla espontània

� Reconeixement automàtic de la parla (ASR)




�Problemes del reconeixement automàtic de laparla

• Variabilitat intralocutor

• Variabialitat interlocutor

• Variació d’estils

• Variació geogràfica

• Soroll ambiental o del canal




Comprensió del contingut� Comprensió del llenguatge natural (NLU)Eh, doncs mira, volia saber a quinahora surt la… l’últim tren, eh… cap aTerrassa, des de Plaça Catalunya, eldissabte dia 28

PETICIÓ, DESTINACIÓ=“Terrassa”,ORIGEN=“Plaça Catalunya”, DATA:DIA=“28”, HORA=“Últim”




Creació de respostes naturals� Generació de llenguatge natural (NLG)

PETICIÓ, DESTINACIÓ=“Terrassa”,ORIGEN=“Plaça Catalunya”, DATA:DIA=“28”, HORA=“Últim”

L’últim tren surt a la 1 i 52minuts de la nit




Diàleg natural� Sistemes de diàleg (SLS)

906 789 987http://gps-tsc.upc.es/veu/attemps/




� Problemes dels sistemes de diàleg

• Errors derivats del reconeixement• Necessitat d’estratègies de verificació i de

confirmació• Problemes del diàleg espontani• El.lipsi• Anàfora• Díctics

http://gpstsc.upc.es/veu/attemps/




Generació de parla completament natural

� Conversió de text a parla (TTS)




�Problemes de la conversió de text a parla

• Manca de naturalitat

Telefónica I+D Loquendo

1996 2003 2002




La interacció visual• Complement de la interacció oral o escrita

• Tecnologies disponibles

�Agents animats, Agents conversacionals,Assistents virtuals, Bots, Avatars

�Locutors virtuals



Assistents virtualshttp://www.artificial-solutions.com/

http://www.artificial-solutions.com/




Maria Bot: Benvingut un altre cop, Joaquim.Joaquim: Hola, Maria. Com anem?Maria Bot: Estic molt bé, gràcies.Joaquim: Què m expliques avui?Maria Bot: Encara que de vegades sembla que

parli d'altres coses, basicament parlo de lameva empresa i dels seus productes. És tot unhonor!




Joaquim: A quina empresa treballes?Maria Bot: Som experts en processament de

llenguatge natural (NLP).Joaquim: I això què és?Maria Bot: Som partners exclusius de Kiwilogic a

Escandinàvia i a Espanya. T'ensenyo algunsexemples de la feina d'Artificial Solutions?

Joaquim: Sí, gràcies






Maria Bot: Hem construït moltes solucionsassequibles i eficaces que et poden interessar.Aquí en tens alguns exemples.

Joaquim: Què és un assistent interactiu?Maria Bot: Un Bot és un ens artificial i

intel·ligent, personalitzat i professional,disponible les 24 hores del dia.

Joaquim: Tots els bots són com tu?




Maria Bot: Un Assistent Interactiu és unpersonatge electrònic que acompanya l'usuarien la seva experiència web.

Joaquim: I un dia no podríem sopar?Maria Bot: M'agradaria sortir amb tu; però no et

faria vergonya anar pel carrer amb un gifanimat?

Joaquim: No, no em faria vergonya!






Maria Bot: Està bé. Me'n faig càrrec. No és no.Joaquim: Doncs quin dia quedem per sopar?Maria Bot: No m'és possible abandonar el meu

asèptic entorn; en un restaurant barat,m'autodestruiria només de veure el còctel degambes.

Joaquim: I quin és el teu entorn?




Maria Bot: Podríem dir que com a màquinaintel·ligent he tingut un àbac i una tarjetaperforadora com a primers antecessors.L'evolució és prou notable, no et sembla?

Joaquim: Tu ets molt evolucionada....Maria Bot: Puc dir-te moltes coses de mi. Què

vols saber exactament?






Maria Bot: Per descomptat, puc enviar-te elnostre diàleg per e-mail. Si us plau, digues-me acontinuació la teva adreça de correu electrònic.

Joaquim: [email protected] Bot: He entès [email protected]

com la teva adreça de correu. És això correcte?Joaquim: Correcte




Maria Bot: Molt bé, Joaquim. T'enviaré el diàlegper e-mail quan acabem de parlar.

Joaquim: Moltes gràcies, Maria.Maria Bot: De res, ha estat tot un plaer.Joaquim: Adéu, i fins aviat.Maria Bot: Adéu, Joaquim!





Locutor virtualhttp://mambo.ucsc.edu/



Locutor virtualhttp://www.speech.kth.se/multimodal/video/index.html

http://mambo.ucsc.edu/

http://www.speech.kth.se/multimodal/video/index.html



Locutor virtual en catalàhttp://web.salleurl.edu/~jmelen/melen_demos.html



“Logopeda animat”http://cslr.colorado.edu/beginweb/animated_speech

_therapist/anim_therapist.html

Interacció amb pacients de IPD (Idiopathic Parkinson Disease)

http://web.salleurl.edu/~jmelen/melen_demos.html

http://cslr.colorado.edu/beginweb/animated_speech




� Reconeixement de la parla

�De les paraules aïllades a la parla contínua

� Conversió de text a parla

�Dels sistemes per concatenació als sistemesbasats en corpus

� Sistemes de diàleg

�Dels sistemes per menú als sistemes espontanis




• Interacció persona-màquina

�De la interfíce única a les interfíciesmultimodals

�Els esforços es centren enadaptar les tecnologies alsusuaris



La comunicació persona-personamediatitzada per una màquina

CMM, Computer-Mediated Communication




• Traducció entre modalitats• Escrit - Escrit�Traducció automàtica de textos

• Oral - Oral�Traducció automàtica de la

parla (SLT)



Traducció automàtica de la parlahttp://prhlt.iti.es/Projectes/EuTrans/EuTrans.html



Traducció automàtica de la parlahttp://verbmobil.dfki.de/overview-us.html

http://prhlt.iti.es/Projectes/EuTrans/EuTrans.html

http://verbmobil.dfki.de/overview-us.html




• Traducció entre modalitats• Escrit - Oral�Conversió de text a parla

• Oral - Escrit�Reconeixement automàtic de la

parla




• Traducció entre modalitats

• Llengua oral - Moviments labials

�Reconeixement de la parla

�Generació de moviments labialsa partir del reconeixement



Telefacehttp://www.speech.kth.se/teleface/




• Traducció entre modalitats• Llengua oral - Llengua de signes�Reconeixement de la parla o de la

imatge�Traducció de/a llengua de signes�Conversió de text a parla o de text a

signes

http://www.speech.kth.se/teleface/



Visicasthttp://www.visicast.co.uk/

http://www.visicast.sys.uea.ac.uk/

Traduccióde l’anglèsparlat a lallengua designesbritànica



eSignhttp://www.sign-lang.uni-hamburg.de/esign/


Generacióautomàticade “subtítols”en llengua designes per aprogrames detelevisió

http://www.visicast.co.uk/


http://www.sign-lang.uni-hamburg.de/esign/




iCommunicatorhttp://www.myicommunicator.com/

�Reconeixementde la parla�Conversió detext a parla�Traducció dellengua oral allengua de signes




• Comunicació escrita• Telèfon

�SMS

• Ordinador

�Correu electrònic

�Xat o tertúlia

http://www.myicommunicator.com/



SMShttp://www.webmovilgsm.com/sms/diccionario.htm

• bb? - ¿lo ves?• cbt - cobertura• clga - colega• d nxe - de noche• d2 - dedos• dsk - disco /discoteca

• dnd - ¿dónde?

• k acs? - ¿quéhaces?

• k qrs? - ¿quéquieres?

• kntm - cuéntame• kyat - cállate• M1ML - mándame unmensaje luego

• mxo - mucho



SMS

• Grafia <k> per <qu> o <c>• Ús de <y> per <ll>• Supressió de <h>� Ortografia fonètica• Grafia <x> per <ch>� Freqüència d’aparició baixa de <x> que no

produeix ambigüitat; tendència a les grafies“monografemàtiques”

http://www.webmovilgsm.com/sms/diccionario.htm



SMS

• Manca de vocals� Sistemes d’escriptura consonàntics• Ús d’una lletra per representar el so

equivalent• Ús de xifres per representar el so

equivalent� Principi dels jeroglífics



Correu electrònic

• Lligat inicialment a la carta

• Immediatesa de la recepció i de la resposta

• Manca de perdurabilitat

• Possibilitat d’incloure o de comentar elmissatge rebut

Payà (2000)http://www.ub.es/lincat/cmo-cat/paya.htm

http://www.ub.es/lincat/cmo-cat/paya.htm



Xats#12_13_14_15_años (IRC-Hispano)

• Artemmisa: nassss tengo 13 años y soy dla linea kien kiera hablar conmigoprivi!!!

• NEYARA: Koral illaaa k estas mu calla• Shyncro: Wenas alguna chica de 15 o 16+años ke sea simpatica y kiera hablarconmigop ke me aga un privaillo grasiaswapas



Xats #Más_de_40 (IRC-Hispano)

• ANALISA: uyssssssss, q no pillonaaaaaaaaaaaaaaa

• Alboran_: aver porque no hablamosde futbol jajajajaja

• mmmua: super wenas• Don_Kafre: amo a i hasiendo sitio• Jimena: pues nada,, q rastreen jamía rosaa



Xats

• “Conversa escrita”• “Text escrit oralitzat”• “El més oral dels gèneres escrits”� Ortografia fonètica propera a l’oral per

reflectir la col.loquialitatGalindo i Pons (2000)

http://www.ub.es/lincat/cmo-cat/galindo-pons.htm



La comunicació persona - personamediatitzada per una màquina

� Traducció entre modalitats�Accés a la informació en altres llengües

�Accés a informació en la modalitat mésadequada a l’usuari amb necessitatsespecífiques

http://www.ub.es/lincat/cmo-cat/galindo-pons.htm



La comunicació persona - personamediatitzada per una màquina

� SMS, Correu electrònic i Xat�Modalitat escrita, apte per a persones

amb dificultats amb altres modalitats iamb possibilitat de traducció a altresmodalitats

�Integració en “comunitats virtuals”



El futur dels llenguatges

• Les tecnologies no són una amenaça• Tendència a millorar les interfícies per facilitar

la tasca de l’usuari i adaptar-se als seus usoslingüístics

• Les tecnologies són una eina que augmenta lespossibilitats de comunicació presencial o adistància

• Les llengües s’adapten a l’entorn en el quals’utilitzen



1er Congrés del Col.legi de Logopedes deCatalunya Barcelona, 26 de juny de 2003

El futur dels llenguatgesEl futur dels llenguatgesJoaquim LlisterriJoaquim Llisterri

http://liceu.uab.es/~joaquim/teaching/speech_technology/CCLC_03/CCLC_03.html

1er Congrés del Col.legi de Logopedes de Catalunya Barcelona, 26 de juny de 2003 Moltes

gràcies!

http://liceu.uab.es/~joaquim/

CCLC 03 - UAB Barcelonaliceu.uab.cat/~joaquim/speech_technology/CCLC_03/CCLC03.pdf · Joaquim...

Documents

Transcript of CCLC 03 - UAB Barcelonaliceu.uab.cat/~joaquim/speech_technology/CCLC_03/CCLC03.pdf · Joaquim...