I v á n L ó p e z E s p e j o

Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del HablaI v á n L ó p e z E s p e j o

TRABAJO FIN DE CARRERA

Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano

Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado

Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro

SUMARIO

TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo




1. INTRODUCCIÓN Y MOTIVACIÓN


Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser

humano Necesidad de adaptación de los sistemas ASR



Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser

humano Necesidad de adaptación de los sistemas ASR

Algunas técnicas para mejorar el matching: Adaptación de los modelos Descomposición de HMMs Realce de las características de voz



Motivaciones Mejora del rendimiento de un sistema ASR Ventajas de la metodología de realce Aplicaciones:

Búsqueda de información Ejecución de transacciones Control de sistemas (entornos industriales) …






2. FUNDAMENTOS DEL SEGUIMIENTO


Seguimiento: Estimación de la secuencia de estados de un sistema a partir de sus observaciones

Modelo compuesto de dos procesos Proceso de estados Proceso observado

Solución MMSE


SeguimientoBayesiano


Justificación del filtro de partículas Evaluación compleja: Solución: modelado markoviano

Aproximación numérica: (muestreo y remuestreo de importancia + integración de Monte Carlo)






3. DISEÑO DEL FILTRO BAYESIANO


Seguimiento de ruido en el domino log MelRuido (estado del sistema)Voz limpia (ruido que contamina la observación)Voz ruidosa (observación)

Definición del espacio de estados dinámico Proceso de ruido, Proceso observado,

3. DISEÑO DEL FILTRO BAYESIANO





3.1 Modelado del proceso de ruido


Codificación de la previsibilidad del ruido: proceso AR en el dominio log Mel


Minimizar


Definición implícita de una distribución gaussiana para el ruido:

Selección de orden unidad para el modelo AR

Distribución a priori modelada como una gaussiana:






3.2 Relación entre estados y observaciones


Se parte de la aproximación:

¿Cuál es la relación entre las observaciones y el ruido?




Distribución para la voz limpia:



Imponemos Se aplica la ley fundamental de

transformación de probabilidades

De esta forma,






3.3 Filtro SIR aplicado


1. Generación de N partículas

2. Cálculo de pesos normalizados

3. Remuestreo sobre las partículas



Existencia de problemas en la práctica Si no se cumple para ningún j DROPOUT SOLUCIÓN:

Evolución independiente de la observación Pérdida de la trayectoria de seguimiento

SOLUCIÓN: Procedimiento de reinicialización del filtro


¡NUEVO PROBLEMA!


Existencia de problemas en la práctica Modos de reinicialización

Generación de nuevas hipótesis sobre la distribución a priori de ruido

Inferir partículas de ruido a partir de muestrear un GMM



Existencia de problemas en la práctica Pobre modelado de ruido

Subestimación de hipótesis SOLUCIÓN: Se incentiva una futura

reinicialización si



Existencia de problemas en la práctica Mitigación de dropouts TEST DE

ACEPTACIÓN RÁPIDA



Modos de inicialización Uso de las l primeras tramas Empleo de la distribución a priori de

ruido






4. GENERACIÓN DE MÁSCARAS SOFT


4. GENERACIÓN DE MÁSCARAS SOFT


Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

1

2 3

4

1

2 3 4




5. TÉCNICA DE REALCE MULTIPLICATIVO


5. TÉCNICA DE REALCE MULTIPLICATIVO


Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22

Tiempo

Can

ales

Mel

10 20 30 40 50 60 70 80 90 100

2

4

6

8

10

12

14

16

18

20

22




6. TEST Y RESULTADOS


Uso de la base de datos Aurora-2 Empleo del conjunto de test A:

1001 grabaciones con secuencias de dígitos Ruidos: metro, multitud conversando, coche y sala de

exposiciones SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio



Test de reconocimiento del habla Aparente independencia del número de partículas



-5 0 5 10 15 20 Limpio0.00

20.00

40.00

60.00

80.00

100.00

120.00

Acc. vs. SNR

Base-LineFP (100)Promediado

SNR (dB)

Acc.

(%

)



Base-Line FP (100) Promediado0

10

20

30

40

50

60

70

80

90

Acc. vs. Técnica empleada

Técnica

Acc.

(%

)



WAcc = 1 - WER


16.43% 26.53% 11.71%





7. CONCLUSIONES


Verificación experimental de la utilidad de una técnica de realce

Preferible, por el momento, uso de ruido estimado mediante promediado espectral: Mayor rendimiento del sistema ASR Menor coste computacional

Necesidad de mejorar la calidad de las estimaciones resultantes del filtro de partículas

7. CONCLUSIONES





8. TRABAJO FUTURO


Solventar usuales pérdidas del seguimiento en el filtro de partículas Nuevo modelo de ruido a priori Inclusión del término de fase relativa (FAT

innecesario) Optimización de la implementación Experimentación con otros conjuntos de test Actualización del modelo AR de ruido y de la

distribución a priori Uso de un detector de actividad de voz

Experimentar con un filtro RPF

8. TRABAJO FUTURO


Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla

GRACIAS

I v á n L ó p e z E s p e j o

Documents

Transcript of I v á n L ó p e z E s p e j o