Euskararako hizketaren tratamendua gaur egun · Hizketa ezagutza automatikoa Gizakiak makinak baino...

Euskararako hizketaren tratamendua gaur egun

Inma Hernáez

Aurkibidea

HizketaTeknologien deskribapena

Ahotsaren kodifikazioaHizketa ezagutza automatikoaTestua hizketa bihurketa

Aplikazio ingurugiroakLanabesak eta euskararen gaur egungo eta etorkizunerako aukerak

Hizketa

Komunikaziorako garraiatzaile naturalaKontuan hartzeko alde batzuk:

Mezuaren naturaGauzatze akustikoaEgitura linguistikoa (lexikoa, sintaxia, semantika, pragmatika…)

Igorlea (hizlaria)Ahotsaren ekoizpenaAlde soziolinguistikoakAlde emozionalak

Hartzailea (entzulea)PertzepzioaJarrera

Komunikazio KanalaGiroaTerminalakTransmisioaren bidea

Hizketa

Ezaugarri nabarmenak :Oso konplexua Oso aldakorraIkerketa interdiziplinarra

Ahotsaren kodifikazioa

Ahotsaren seinalea era eraginkor batean transmititzeko ala gordetzeko erabiltzen diren teknika eta algoritmoakHizkuntzaren menpekotasunarik gabekoa.

Ahotsaren kodifikazioa

Aplikazioak:Erantzungailu automatikoakAhozko mezularitzaAhozko erantzun sistemakSegurtasun sistemak TelekonferentziaIrratizko telefonia (mugikorrak)Multimedia….

Hizketa ezagutza automatikoa

“Zozoak beleari ipurbeltz”

Fonetika

Lexikoa

Sintaxia

Semantika

Pragmatika


Hizketa ezagutzaFonetikaLexikoa

SintaktikaTestua

SemantikaPragmatika

EsanahiaHizketaren ulermena


Faktore gakoak :Ingurumena / kanalaErabiltzaileen taldeaLokuzioaren eraHiztegiaAtazaren zailtasuna


Prozesadoreakustikoa

Ezagutzaalgoritmoa

Ulermenalgoritmoa

Araufonologikoak

Eredufonetikoak

Hiztegia etagramatika

AtazarenEredua

lokuzioa esanahia



Ezagutzaalgoritmoa

Ulermenalgoritmoa

Araufonologikoak

Eredufonetikoak


AtazarenEredua

lokuzioa esanahia

Hz


Fonema k-1 Fonema k Fonema k+1

Modelo de Markov


Ezagutzaalgoritmoa

Ulermenalgoritmoa

Araufonologikoak

Eredufonetikoak


AtazarenEredua

lokuzioa esanahia


Pr{la puerta no estaba abierta} = Pr{la} Pr{puerta/la} Pr{no/la puerta} Pr{estaba/la puerta no} Pr{abierta/la puerta no estaba} = Pr{la} Pr{puerta/la} Pr{no/la puerta} Pr{estaba/puerta no} Pr{abierta/no estaba}

Trigrama


Ezagutzarenalgoritmoa

Ulermenarenalgoritmoa

Araufonologikoak

Eredufonetikoak


AtazarenEredua

lokuzioa esanahia


testuaAhotsaDatuBaseak

Modelatzefonetikoa

ProzesadoreAkustikoa

Lengoaiarenmodelatzea

ENTRENAMENDUA


Ezagutzaalgoritmoa

Ulermenalgoritmoa

Araufonologikoak

Eredufonetikoak


AtazarenEredua

lokuzioa esanahia

Hizketa ezagutza automatikoaHiztunaren menpekotasun gabekoakWall Street Journal: diktafono (egunkariaren artikuluak) Frogak gizakiekin: indikatiboak (estatistikoki ez dira

baliogarriak) .

4,4%7,6%20000Ahots garbia, esaldiak trigramekin sortuta

8,6%1,1%5000Wall Street Journal, ahots zaratsua(SNR=10dB)

4,5%0,9%5000Wall Street Journal, ahots garbia

36,7%3,8%2000Bat-bateko telefonozko ahotsa

5%1%26Alfabetoko letrak

0,72%0,009%10Digitu kateatuta

MakinaGizakiaHiztegiaAtaza

Hizketa ezagutza automatikoaGizakiak makinak baino hobeak dira: orokorrean, 5 aldiz gutxienez. Makinak azken atazan baino ez dira hobeak: gizakien goi-mailako

ezagutza (makinek erabili ezin dutena) ezin da erabili. Makinen jokabidea azkar hondatzen da zaratarekin (gizakiena

baino azkarrago)

4,4%7,6%20000Ahots garbia, esaldiak trigramakin sortuta

8,6%1,1%5000Wall Street Journal, ahots zaratsua(SNR=10dB)

4,5%0,9%5000Wall Street Journal, ahots garbia

36,7%3,8%2000Bapateko telefonozko ahotsa

5%1%26Alfabetoko letrak

0,72%0,009%10Digitu kateatuta

MakinaGizakiaHiztegiaAtaza

Aplikazioak

Eskakizunak sistemari:SendotasunaErabileraren erreztasuna (user friendly)Errore tasa txikiaDenbora erreala

Eskakizunak atazari:Benetako probetxua erabiltzailearentzatTolerantzia izatea erroreekinKonfirmatzeko posibilitatea…

AplikazioakDiktafono

Hiztunari moldatutaHiztegia hedagarriaHizketa arina etaerreza

AplikazioakDiktafonoAhozko interfazeak Abantailak:

Eskuak eta begiak askatzen dituEragozpenak:

AkatsakKonputagailura heltzekoerreztasunaMakina automatikoaren kontrolaDomotika

AplikazioakDiktafonoAhozko interfazeakZerbitzu telefonikoak Informazioa bilatzeko

InkestakTransakzio komertzialak :

Banku eragiketakTele-erosketa

Operadore automatikoak….

AplikazioakDiktafonoAhozko interfazeakZerbitzu telefonikoakArreta bereziak Zerbitzu berrietara

sarbidea :itsuentzatgorrentzat

Testu hizketa bihurketa

Irakurtze prozesua:


Tratamendulinguistikoa

Formalismo linguistikoak

Datu-basea:ErregelakSoinu-zatiak

Sintesiarenrobota

Testu ahots bihurgailua

Fonemak etaprosodia

Berbatsue

Testua Ahotsa

Testu hizketa bihurketa: tratamendulinguistikoa

Soinuen zerrenda + ezaugarriak

Tratamendulinguistikoa

Aurre-prozesaketa

Kategorizazioa

Etenak

Transkripziofonetikoa

Silabifikazioa

Azentuazioa

Iraupena

Intonazioa

Indarra

testua

Informaziolinguistikoa.

HiztegiaInformazioaren

norabidea


Gaurko THB sistemen ezaugarriak:UlergarritasunaEdozein testua irakurtzeko gai (ikurrak eta abar)Ahotsaren kalitatea (gizatasuna, naturaltasuna)Ahots desberdinak lortzeko gai (emakumezkoak, gizonezkoak…) Hizkuntza desberdinetan funtzionatzeko gaiBehar duten memoriaBehar duten CPU

moduladordevoz.exe

Testu hizketa bihurketa: kalitatea

Sintesiaren robota

Kalitatearen neurketa:UlergarritasunaNaturaltasuna

DuraciónEntonaciónPausadoEnergía

Eredu prosodikoak

Testu hizketa bihurketa: ereduprosodikoen lorketa

0

50

100

150

200

250

300

350

400

parte 1 parte 2

Edozer egingo nuke zu pozik ikusteagatik.

Edozer egingo nuke zu pozik ikusteagatik

0

2000

4000

6000

8000

10000

12000

1 20 40 60 80 100 120 140 160 180 200 220

Datu basearenlorketa

Datu basearenetiketaketa

Parametroenazterketa

estatistikoa

Ereduarenebaluaketa

Kalitateaonargarria

Datubasea balio

du?

ez

Eredua

Bai

sí

ez

Hasiera

Testu hizketa bihurketa: ahotsaren sintesia.

Adibideak:PSOLA teknika: Prosodia aldatzeko teknika(Pitch-Synchronous-OverLap-and-Add)

ICP-Grenoble

Aholab


Gaurko sintesi teknikak: Unitateen kateatzea :

Unitateak sortu: difonemak. Unitateen hiztegia bildu (unitate guztiekin edozein esaldi lor daiteke)PSOLA teknika erabili nahi dugun prosodia lortzeko.

Korpusen bidezko teknikak

Testu hizketa bihurketa: ahotsaren sintesia. Unitateen kateatzea:

Abadea etorri zen etxera

aakalanarasat...BaBeBiBoBu...

Prosodia Ereduak

Aukeratuunitateak eta

dagozkienereduak.

Prosodia aldatuPSOLA-ren

bidez

/a//Ba//De//a//e//to//rri//Xen//e//tSe//ra/


Gaurko sintesi teknikak: Unitateen kateatze teknikakKorpusen bidezko teknikak:

Ahozko korpusa handi bat erabiltzen, seinale zati handiak kateatzen dira. Prosodia gutxi aldatu behar da (batez ere korpusa oso handia bada)


Prosodia ereduak

Zatiak aukeratzeko algoritmoakIrizpideak:

•Lotzeko lekua•Inguru Prosodikoa:

• originala == ereduarena

abadea etorri da L&HFonemak etaprosodia

Corpusa: grabazioak, soinuz soinu etiketatua

Abadea eta bere lagunak….

Gotzon etorri da zu ….

…eta abadea etorri zenean…

… indabak jaten ari …

…nobedadea eta merkea zen…





…nobedadea eta merkea zen…





…nobedadea eta merkea

1) /abadea et-//-torri da/2) /abadea etorri//da/3) /aba-//-adeaet-//-torri da/4)….

zen…


BaiBaiZerbitzariak

Ez (gaur)BaiPDAk

Aplikazioak:

Oso ona (naturala…)OnargarriaKalitatea

GarestiaMerkeaAhots berriak sortu

~50Mb a 500Mb~5Mb a 10MbMemoria (datu basea)

Korpusen bidezkoUnitate-kateatzeEzaugarria

Testu hizketa bihurketa: Gaurko aplikazioak

UlergarritasunaAhotsaren kalitatea, naturaltasunaEmozioak adierazteko gai (prosodia konplexua)Ahots desberdinak

Multimedia: abatarrak, agenteak

UlergarritasunaEleaniztasunaAhots desberdinak

Telekomunikazio zerbitzuak

UlergarritasunaDispositibo eramangarrietan txertatzeko gaitasuna:

memoria gutxiCPU gutxi

Edozein testua irakurtzeko gai

Elbarrientzako aplikazioak

BaldintzakAplikazioak

Lanabesak eta euskararen gaur egungo eta etorkizunerako aukerak

Non gaude?Ikerkuntza taldeakProduktu eta zerbitzuakEtorkizunean?

Ikerkuntza mailan garatutako sistemakProiektuakBehar duguna…

Ikerkuntza taldeakHizketa Teknologiak

Grupo PR & Speech Techonologies (ZientziaFakultatea, Fisika Saila, UPV-EHU)

Hizketa ezagutza

Ikerkuntza taldeakAhoLab

Egoitza: Ingeniaritza Goi EskolaIngeniariak eta hizkuntzalariakTalde bat Gasteizen (hizketa ezagutzagaratzen)Emaitzak:

Testu hizketa bihurketaAhoTTS (http://bips.bi.ehu.es/tts)Berbatsue

Speech-Dat-EU (FDB-1060)Bizkaifon (Bizkaieraren fonotekea) http://bizkaifon.ehu.es

http://bips.bi.ehu.es/tts

Ikerkuntza taldeak:Aholab

Testu hizketa bihurketa:Daukaguna

Sistema komertziala: AhoTTSGizon eta emakumezko ahotsakUnitateen konkatenazio sistema

Garatzen:Estilo ez-neutroak (emozioak) (ABATEUS)PDA-tan integrazioa prestatzenKorpusen bidezko sistema garatzen


Hizketa ezagutza:Daukaguna:

Datu-base publikoak (ELDA-n):Speech-Dat Basque:

1060 hiztun, telefonia finkoaTranskriptorea AhoPhonTranskripPrototipo batzuk (ez komertzialak)

Garatzen:Prototipoa (hiztegi ertainentzako sistema) komertziala bihurtzen.


Proiektuak:“Hizking 21” (Eusko Jaurlaritza, Industria)

Hizkuntz Teknologiak XXI mendeko ateanTaldea: Elhuyar, VicomTech, Robotiker, Eleka, UPV/EHU (IXA & Aholab)Helburua: Euskara ingelez orain dagoen mailanjarri, 5 urtetan.

Bizkaieraren Bideoteka (DFB)Biometric (MCYT)UPV/EHU…

Telefonica

Teknologiak:Testu hizketa bihurketaReconocimiento

Produktu / zerbitzuak:Fonomail

Euskaltel

Teknologiak, erabiltzeko moduan: Testu-ahots bihurketa (AhoTTS)

Eskainitako zerbitzuak:E-phone (902 543 543): Euskalneteko mezu elektronikoak entzun etaerantzuteko aukera eskaintzen du. Zenbait gairi buruzko informazioajasotzeko bidea ematen du: eguraldia, burtsari buruzkoa, AutonomiaErkidego bakoitzeko azken albistegiak azalduz; zozketen emaitzakemaitzak; gaikako albisteak Kirolak, Gizartea, Ekonomia, Nazioartekoak, Nazioartekoak, Politika eta Kultura eta eguneroko horoskopoa.

Telefonika I+D teknologia erabiltzen du

Disponible sólo en castellano Disponible sólo en castellano

http://www.euskaltel.es/

ATLAS

Hizkuntza teknologien hornitzaileaPlataforma: ibervox

Usuario RTC HardwareCTI

LAN

IBM CompatibleWorkstation

Mac II

IBM Compatible

Servidor desíntesis

PC Servidor dereconocimiento

Host

ATLAS

Euskarazko sintesia (AhoTTS) ibervox-enintegratuaSpeech-Dat-Basque , eta AhoPhonTranskripterabiliz, hizketa ezagutza sistema garatu du, ibervox-en integratuta (Demoa)

Gaztelania, portugesa, katalana, euskara.Momentuz, sistema bat saldu dute EAE-n.

Zer behar dugu?

Hizketa ezagutzan:Sistema telefonikoentzat:

Speech-Dat, mugikorrentzatSpeech-Dat finkoentzat haunditu (2000 hiztun)Prototipoa landu (komertzial bihurtu)

Diktafonoa, Information Retrieval… (hiztegi haundiko sistemak)

Datu baseak garatuIkertu, prototipoak landu, komertzialak izateko.

Zer behar dugu?

Testu hizketa bihurketan:Daukaguna hobetu:

Ahots desberdinak garatuIkertu, ahotsaren kalitatea hobetzekoTratamendu linguistikoa: azterketa sintaktikoautomatikoa integratuEmoziozko estiloak

Korpusen bidezko sistema garatzeko:Algoritmoak garatuDatu baseak, ahots desberdinentzat

Eskerrik asko zuen arretagatik

Galderarik?

Euskararako hizketaren tratamendua gaur egun · Hizketa ezagutza automatikoa Gizakiak makinak baino...

Documents

Transcript of Euskararako hizketaren tratamendua gaur egun · Hizketa ezagutza automatikoa Gizakiak makinak baino...