teoria09-2013

Procesamiento de la seal de voz

Leandro VignoloDiego Milone

Procesamiento Digital de SealesIngeniera Informtica FICH-UNL

9 de mayo de 2013

L. Vignolo (PDS II FICH UNL) Procesamiento de la seal de voz 9 de mayo de 2013 1 / 49

Produccin y percepcin de la voz Organizacin estructural del habla Procesamiento homomrfico

Organizacin de la clase

1 Produccin y percepcin de la vozGeneralidades del aparato fonadorFuentes y modificadores del sonido de la vozGeneralidades del odoPercepcin del sonido

2 Organizacin estructural del hablaNiveles de la estructuraAnlisis por tramos

3 Procesamiento homomrficoDefinicin de los coeficientes cepstralesProcesamiento homomrfico de la vozEstimacin de F0



Aparato fonador

Diagrama esquemtico del aparato fonador



Estructura anatmica del tracto vocal

1 2

3

4

5

678

9

11

1213

14

10



Fuentes principales del sonido

Tipos de entrada

Tren de pulsos cuasiperidicos (sonidos sonoros)Ruido de banda ancha

Modificadores del sonidoRestricciones en el flujo de aireLabios, lengua, dientes, etc.



Pulsos glticos

200

0

-200

-400

dV/dt en cm3/s/ms200

0

-200

-400

Tiempo en ms.

0 1 2 3 4 5 ms

0 20 6040 80

0 0.5 1 1.5 2 2.5 KHz

Energa en dB

20 dB



Energa y entonacin

20 dB

Energa en dB

Tiempo en seg.0 0.5 2 2.51.51

300

200

100

0

F0 en Hz

Tiempo en seg.0 0.5 2 2.51.51



Modificadores del sonido

Morfologa del tracto vocalCircuito nasalRadiacin en los labiosPosicin de la lengua



Anlisis de la seal de voz

Vocal sostenida - Perodo y Frecuencia fundamental (F0) - Formantes

La frecuencia fundamental F0 corresponde a la frecuencia gltica, presenteen los fonemas sonoros, y es una componente importante de la entonacinen el habla.Las frecuencias formantes (F1, F2, F3, ) permiten discriminar entre lasvocales. Su variacin temporal posibilita tambin diferenciar entre losdiferentes fonemas sonoros.



Anlisis de la seal de voz

Sonograma y espectrograma



Espectro de una vocal

Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105

F1 F2

F3

F4

F0




Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105

F1

F2F3

F4

F0



Tringulo de las vocales

/i/ /e/

/a/

/o//u/

50004000

3000

2000

1000

500

F 2

e

n H

z

0 400 800 1200F1 en Hz

Posterioreso graves

Cerradas

Medias

Anterioreso agudas

Medias Abiertas



Partes del odo

1

Externo Medio Interno

2

3

456



Cclea

1

23

4

5

6

7



Onda viajera



Principio de tonotopa

1 0 0 0

2 0 0 0 0

7 0 0 0

5 0 0 0

1 5 0 0

2 0 0 0

3 0 0 0

4 0 0 0

8 0 0

6 0 0

4 0 0 2 0 0

2 0



Frecuencia y Pitch

A menudo confundidos en la literatura, el pitch no es igual a lafrecuencia fundamental.La frecuencia, intensidad y las propiedades espectrales de un sonidointeractan en formas muy complejas para dar una percepcin depitch que puede ser un reflejo muy pobre de la F0. El pitch percibidocambia con la intensidad.El pitch se refiere a un atributo perceptual del sonido, mientras que afrecuencia es un atributo fsico de las seales.



Escala de mel

MelLa unidad del pitch percibido de un tono puro es el mel. No se correspondelinealmente con la frecuencia fsica del tono. Stevens y Volkman (1940)establecieron arbitrariamente: 1000 Hz = 1000 mel.

Escala de mel

Fmel =1000

log (2)log

(1 +

FHz1000

)(Fant, 1973)

Otras variantesOShaugnessy (1987)Umesh (1999)



Banco de filtros en escala de mel

102 103 1040

1000

2000

3000

4000

Frecuencia (Hz)

Pitc

h (m

el)

FantO'ShaughnessyUmeshStevens

0 1000 2000 3000 4000 5000 6000 7000 80000

0.2

0.4

0.6

0.8

1

Frequency [Hz]

Gai

n



t

Emisincompleta

Tramosde anlisis

Tramosprocesados

Sonidosruidos hablasilencios

Fonos y fonemas

Suprasegmentos

Slabas

PalabrasUnidadessintcticas

t t tt

f f ff

/a/-/cla/-/r/-/que/-/un/

/a/-/k/-/l/-/a/-/r/-/o/

/Aclar/ - /que/ - /un/ - /Aleph/

/verbo/ - /nexo. inc./ - /numeral/ - /sust./

/A/ /A/ /T/ /A/ /A/

Morfemas/Aclar/-//-/que/-/un/

Fsica acstica.Procesamientode seales.

Fontica

Fonologa

/u/-/N//k/-/e/

Lxico

Sintaxis

Morfologa



Frases

Prrafos.Textosmono-locutor.

Aclar que un Aleph es uno de los puntosdel espacio que contiene a todos los puntos.

Existe ese Aleph en lo ntimo de unapiedra? Lo he visto cuando vi todas lascosas y lo he olvidado? Nuestra mente esporosa para el olvido; yo mismo estoyfalseando y perdiendo, baja la trgicaerosin de los aos, los rasgos de Beatriz.

- Pero, no es muy oscuro el stano?- La verdad no penetra en un entendimientorebelde. Si todos los lugares de la tierraestn en el Aleph, ah estarn todas laluminarias...

Regionalismos.Hablates no-nativos.Mltiples idiomas.

Qu observatorio formidable, che Borges!O God!, I could be bounded in a nutshell,and count myself a King of infinite space...

Gramtica

Semntica

Pragmtica

/pred./-/sujeto/-/pred./? /pred./? /pred./-/subordinadas/-/sujeto/.

Estructurasgramaticales

Dilogos.Textosmulti-locutor.

Prosodia



Anlisis por tramos

NecesidadVentanas cuadradasTcnicas de ventaneoSolapado en el tiempoAnlisis de las ventanas independientes



t

t

t

t

t

t

t

f

f

f

f

f

f 4, 4, 2, 1, 3, 3



Ventaneo

v(t;n) = (n;N)x(tNd + n), 0 < n NH(m;N) =

27

50 23

50cos(2pim/N)

X(t; k) = T (k) {v(t;n)} , 0 < k Nx



Transformaciones de dominio

i) CE:xt = [u(t; k)] = TF (k) {v(t;n)} ,

ii) CPL:xt = [a(t; k)] = TL(k) {v(t;n)} ,

iii) CC:xt = [c(t; k)] = TC(k) {v(t;n)}




Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105

F1 F2

F3

F4

F0



Otra elocucin de la misma vocal

Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105

F1 F2

F3

F4

F0



Coeficientes cepstrales

c(m) = T 1F {log |TF {v(m)}|}Espectral CepstralEspectro CepstroFrcuencias CuefrenciasFiltro, filtrado Liftro, liftradoArmnicas Ramnicas



Separacin de fuentes y modificadores del sonido

v(n) = g(n) h(n)

V (k) = G(k)H(k)

log |V (k)| = log |G(k)H(k)|

log |V (k)| = log |G(k)|+ log |H(k)|

v(m) = T 1F {log |G(k)|}+ T 1F {log |H(k)|}L. Vignolo (PDS II FICH UNL) Procesamiento de la seal de voz 9 de mayo de 2013 33 / 49



v(m) = T 1F {log |G(k)|}+ T 1F {log |H(k)|}

Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105L. Vignolo (PDS II FICH UNL) Procesamiento de la seal de voz 9 de mayo de 2013 34 / 49



v(m) = T 1F {log |G(k)|}+ T 1F {log |H(k)|}

G y H ocupan partes diferentes del eje de cuefrencias. Podemos separar laparte que vara rpidamente (correspondiente a la excitacin del tractovocal) de la que vara lentamente (la respuesta en frecuencia del tracto).



Fuentes y modificadores de sonido en el espectro

Energa en dB

20 dB

Frecuencia en KHz

0 2.5 7.5 105



Cepstrum de una vocal

(esquema representativo)




Cepstrum Real

Cuefrencia en ms

0 5025

0.20

0

-0.10




Cepstrum Real

Cuefrencia en ms

0 52.5

0.20

0

-0.10



Coeficientes cepstrales en escala de mel

Banco de filtros en escala de melIntegracin por bandas del espectroCoeficientes de energa por cada bandaTransformacin inversa




Escala de mel

Fmel = 1000 log2

(1 +

FHz1000

)

0 1000 2000 3000 4000 5000 6000 7000 80000

0.2

0.4

0.6

0.8

1

Frequency [Hz]

Gai

n




El espectro de magnitud

X[k] = loge |TDF{x[n]}|,

es integrado en bandas

U [i] =

kWi[k]X[k],

y luego se calcula la transformada inversa

C = TDFI{U}.




Integracin por bandas



Estimacin de F0 por cepstrum

0 5 10 15 20 25 30 35 40 45 50

-0.2

-0.1

0

0.1

0.2

/a/

t (ms)

T0

0 1 2 3 4 5 6 7 8 9 10-0.2

0

0.2

0.4

0.6

0.8

t (ms)

c[n]

T0 = 8.26 ms



Estimacin de F0 por autocorrelacin



Bibliografa bsica

L. R. Rabiner y B. Gold, Theory and Application of Digital SignalProcessing, Prentice Hall, 1975.Secciones: 12.1, 12.2, 12.3 y 12.13.J. R. Deller, J. G. Proakis, J. H. Hansen, Discrete-Time Processing ofSpeech Signals, Prentice Hall, 1993.Secciones: 4.1, 4.2.1, 4.2.2, 6.1 y 6.2. Error en la figura 6.3 (c), pp 361.

H.L. Rufiner, Anlisis y modelado digital de la voz: Tcnicasrecientes y aplicaciones,Editorial UNL, 2009. (Captulo 3).J. Makhoul, Linear Prediction: A Tuturial Review, Proc. IEEE, vol63, no. 4,pginas 561-580, 1975.



Bibliografa bsica



Bibliografa bsica


Produccin y percepcin de la vozGeneralidades del aparato fonadorFuentes y modificadores del sonido de la vozGeneralidades del odoPercepcin del sonido

Organizacin estructural del hablaNiveles de la estructuraAnlisis por tramos

Procesamiento homomrficoDefinicin de los coeficientes cepstralesProcesamiento homomrfico de la vozEstimacin de F0

teoria09-2013

Documents

Transcript of teoria09-2013