Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz...

Estimación de Ruido Acústico

PROYECTO FIN DE MÁSTERPROYECTO FIN DE MÁSTER

Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de VozI v á n L ó p e z E s p e j o

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

SUMARIOSUMARIO

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo



1. INTRODUCCIÓN Y MOTIVACIÓN1. INTRODUCCIÓN Y MOTIVACIÓN




� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR

1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN

� Necesidad de adaptación de los sistemas ASR


� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR


� Necesidad de adaptación de los sistemas ASR

� Algunas técnicas para mejorar el matching:� Adaptación de los modelos� Descomposición de HMMs� Realce de las características de voz


� Motivaciones� Mejora del rendimiento de un sistema ASR� Ventajas de la metodología de realce� Aplicaciones:


� Aplicaciones:� Búsqueda de información� Ejecución de transacciones� Control de sistemas (entornos industriales)� …




2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA




� Seguimiento: Estimación de la secuencia deestados de un sistema a partir de susobservaciones

� Modelo compuesto de dos procesos


� Modelo compuesto de dos procesos� Proceso de estados� Proceso observado

� Solución MMSE


� Justificación del filtro de partículas� Evaluación compleja:� Solución: modelado markoviano


� Aproximación numérica: (muestreo y remuestreo deimportancia + integración de Monte Carlo)




3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO




� Seguimiento de ruido en el domino log Mel�Ruido (estado del sistema)�Voz limpia (ruido que contamina la observación)�Voz ruidosa (observación)

3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO

�Voz ruidosa (observación)

� Definición del espacio de estados dinámico� Proceso de ruido,� Proceso observado,



3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido

� Relación entre estados y observaciones� Filtro SIR aplicado



� Codificación de la previsibilidad del ruido:proceso AR en el dominio log Mel



� Definición implícita de una distribucióngaussiana para el ruido:


� Selección de orden unidad para el modelo AR� Distribución a priori modelada como unagaussiana:




3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones


� Filtro SIR aplicado



� Se parte de la aproximación:

� ¿Cuál es la relación entre las observaciones yel ruido?


el ruido?




� Distribución para la voz limpia:


� Imponemos� Se aplica la ley fundamental de

transformación de probabilidades


� De esta forma,




3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

� Modelado del proceso de ruido� Relación entre estados y observaciones



1. Generación de N partículas

2. Cálculo de pesos normalizados


2. Cálculo de pesos normalizados

3. Remuestreo sobre las partículas


� Existencia de problemas en la práctica� Si no se cumple para ningún j � DROPOUT

� SOLUCIÓN:


� Evolución independiente de la observación � Pérdida dela trayectoria de seguimiento

� SOLUCIÓN: Procedimiento de reinicialización delfiltro


� Existencia de problemas en la práctica� Modos de reinicialización

� Generación de nuevas hipótesis sobre ladistribución a priori de ruido


distribución a priori de ruido� Inferir partículas de ruido a partir de muestrear

un GMM


� Existencia de problemas en la práctica� Pobre modelado de ruido � Subestimación

de hipótesis� SOLUCIÓN: Se incentiva una futura


� SOLUCIÓN: Se incentiva una futurareinicialización si


� Existencia de problemas en la práctica� Mitigación de dropouts � TEST DE

ACEPTACIÓN RÁPIDA



� Modos de inicialización� Uso de las l primeras tramas� Empleo de la distribución a priori de ruido





4.4. TEST Y RESULTADOSTEST Y RESULTADOS




� Uso de la base de datos Aurora-2� Empleo del conjunto de test A:

� 1001 grabaciones con secuencias de dígitos� Ruidos: metro, multitud conversando, coche y sala deexposiciones


exposiciones� SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio

� Las estimaciones de ruido son usadas en unaetapa de VTS para la compensación de lascaracterísticas de voz ruidosa


� Ajuste de parámetros� Estudio del MSE


� Más bien basado en la observación, razonamiento ybibliografía


� Test de reconocimiento del habla� Aparente independencia del número de partículas


120,00

Acc. vs. SNR


0,00

20,00

40,00

60,00

80,00

100,00

-5 0 5 10 15 20 Limpio

Acc

. (%

)

SNR (dB)

Base-Line

FP (300)

Interpolación



Acc. vs. Técnica empleada


0

10

20

30

40

50

60

70

80

90

Base-Line FP (300) Interpolación

Acc

. (%

)

Técnica



� WAcc = 1 - WER




5.5. CONCLUSIONESCONCLUSIONES




� Verificación experimental de la utilidad de unatécnica de realce

� Preferible, por el momento, uso de ruidoestimado mediante interpolación espectral:

5.5. CONCLUSIONESCONCLUSIONES

estimado mediante interpolación espectral:� Mayor rendimiento del sistema ASR� Menor coste computacional

� Necesidad de mejorar la calidad de lasestimaciones resultantes del filtro de partículas




6.6. TRABAJO FUTUROTRABAJO FUTURO




� Solventar usuales pérdidas del seguimiento� Nuevo modelo de ruido a priori� Inclusión del término de fase relativa (FAT

innecesario)

6.6. TRABAJO FUTUROTRABAJO FUTURO

innecesario)� Optimización de la implementación� Experimentación con otros conjuntos de test� Actualización del modelo AR de ruido y de

la distribución a priori� Uso de un detector de actividad de voz

� Experimentar con un filtro RPF


Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz

�GRACIAS

Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz...

Documents

Transcript of Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz...