Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
XXIV Congreso Internacional de la Asociación Española deLingüística Aplicada
Madrid, 1 de abril de 2006
Enseñanza de la pronunciacióny tecnologías del habla
Joaquim LlisterriGrup de Fonètica - Departament de Filologia
EspanyolaUniversitat Autònoma de [email protected]
http://liceu.uab.es/~joaquim
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética
Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética
Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Sistemas de grabación-reproducción
• Permiten al estudiante efectuar unagrabación de su pronunciación en L2 ycompararla auditivamente con el modelopropuesto
• Versión informatizada de los laboratoriosde idiomas
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
BROWN, I. (2000) Review of Pro-nunciation. The English Communication
Toolkit. CALICO Software Reviews 10/00.http://calico.org/CALICO_Review/review/pro-nun00.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
ADAMS, C.R. (1998) Review of Español Interactivo 1.01. CALICO Software
Reviews 11/98.http://calico.org/CALICO_Review/review/espaninter00.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
RENIÉ, D. (1998) "Analyse de The Rhythm of French", ALSIC, Apprentissage des
Langues et Systèmes d'Information et de Communication 1, 2: 171-177.http://alsic.u-strasbg.fr/Num2/renie/alsic_n02-log2.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
• Basados en el feedback del procesoaudiofonatorio
Ofrecen un buen modelo depronunciación
Integración del sonido en una estructura
Sobreestimación de la capacidad deautocorrección de los principiantes
RENARD, R. (1979) Introduction à la méthode verbo-tonale de correction
phonétique. Troisième édition entièrement refondue. Bruxelles / CentreInternational de Phonétique Appliquée: Didier / Mons.
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética
Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica
Representaciones estilizadas de laseñal sonora con fines didácticos
Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica
Representaciones estilizadas de laseñal sonora con fines didácticos
Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
• Representaciones articulatorias“estilizadas” que aportan informaciónsobre la posición de los articuladores
• Pueden incorporar descripcionesarticulatorias simplificadas como“instrucciones” para la pronunciación
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
CORSBIE, C.- GORE, J. (2002) Review of Pronunciación y Fonética. Versión
2.0. CALICO Software Reviews 4/02.http://calico.org/CALICO_Review/review/pronun00.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
RENIÉ, D. (1998) "Analyse de The Rhythm of French", ALSIC, Apprentissage des
Langues et Systèmes d'Information et de Communication 1, 2: 171-177.http://alsic.u-strasbg.fr/Num2/renie/alsic_n02-log2.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
DISPENSA, M., Fonética: Los sonidos del español, University of Iowahttp://www.uiowa.edu/~acadtech/phonetics/spanish/frames
et.html
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
• Comparación entre la posiciónarticulatoria “canónica” y la produccióndel estudiante
• Dificultades técnicas: implica unatransformación de la señal sonora enparámetros articulatorios
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
• El problema de la propiocepción
• “Autoconciencia” de la posición de losarticuladores en la producción de unsonido
Buenos resultados en estudiantes conbuen feedback orosensorial
RENARD, R. (1979) Introduction à la méthode verbo-tonale de correction
phonétique. Troisième édition entièrement refondue. Bruxelles / CentreInternational de Phonétique Appliquée: Didier / Mons.
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
No consideran• Factores auditivos• Coarticulación• Compensación articulatoria• Elementos suprasegmentales
Dificultad de integración en laproducción espontánea Limitaciones comunicativas
RENARD, R. (1979) Introduction à la méthode verbo-tonale de correction
phonétique. Troisième édition entièrement refondue. Bruxelles / CentreInternational de Phonétique Appliquée: Didier / Mons.
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica
Representaciones estilizadas de laseñal sonora con fines didácticos
Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica
Representaciones estilizadas de laseñal sonora con fines didácticos
Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
María vive en Málaga
• Evolución temporal de la amplitud Acento, ritmo
Información acústicaForma de onda - oscilograma
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Vocal [i]
• Representación de la relación amplitud-frecuencia Timbre
Información acústicaEspectro
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
María vive en Málaga
• Representación de la evolucióntemporal de la frecuencia y la amplitud
Información acústicaEspectrograma
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información acústicaCurva melódica
• Representación de la evolución temporal de la F0
Melodía, entonación
María vive en Málaga
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información acústicaCurva de intensidad
• Representación de la evolución temporal de laintensidad o energía sonora
Acento, pausas, ritmo
María vive en Málaga
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información acústicahttp://www.praat.org
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
• Imitación de modelos por aproximaciónsucesiva a través de diversas repeticiones
• Estímulo visual presentadoconjuntamente con el auditivo
• La información visual proporcionafeedback sobre la pronunciación delestudiante
Estrategias de trabajo
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
CAZADE, A. (1999) "De l'usage des courbes sonores et autres supports graphiquespour aider l'apprenant en langues", ALSIC, Apprentissage des Langues et Systèmes
d'Information et de Communication 2, 2: 3-32. http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.pdf
Tell Me More - Modelo (parte superior) y pronunciacióndel estudiante (parte inferior)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
GERMAIN, A.- MARTIN, Ph. (2000) "Présentation d'un logiciel de visualisation pourl'apprentissage de l'oral en langue seconde", ALSIC, Apprentissage des Langues et
Systèmes d'Information et de Communication 3,1: 61-76. http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.pdf
WinPitch LTL - Forma de onda, curva de intensidad ycurva melódica
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
GERMAIN, A.- MARTIN, Ph. (2000) "Présentation d'un logiciel de visualisation pourl'apprentissage de l'oral en langue seconde", ALSIC, Apprentissage des Langues et
Systèmes d'Information et de Communication 3,1: 61-76. http://alsic.u-strasbg.fr/Num5/germain/alsic_n05-rec7.pdf
WinPitch LTLCurvamelódica delmodelo (enblanco)y de laproduccióndel estudiante(en azul)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
TAYLOR, R.P. (1999) Review of Accent Coach. English Pronunciation
Trainer. CALICO Software Reviews 7/99.http://calico.org/CALICO_Review/review/accent00.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información acústica
Dificultad de interpretación de losdocumentos En la L1 un mismo enunciado puedetener más de una realización acústicaaceptable• Variación intra-locutor• Variación inter-locutor
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La variación intra-locutor en el nivel segmental“nata” (locutor 1)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La variación intra-locutor en el nivel segmental“nata” (locutor 2)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La variación intra-locutor en el nivel suprasegmentalF0 en 6 repeticiones consecutivas de “La niña de Bali baila la rumba de moda”
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La variación inter-locutor en el nivel segmental“nata” (locutores 1, 2 y 3)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La variación inter-locutor en el nivel suprasegmental“El viento norte y el sol…” (locutores 1, 2, 3, 4, 5 y 6)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Información articulatoria
Información acústicaRepresentaciones de la señal sonoraempleadas en fonética acústica
Representaciones estilizadas de laseñal sonora con fines didácticos
Uso de la información visual en la enseñanza dela pronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Representaciones acústicas estilizadas
Forma de onda “estilizada”
• Representaciones en las que se pone derelieve la informaciónlingüísticamente significativa
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
CAZADE, A. (1999) "De l'usage des courbes sonores et autres supports graphiquespour aider l'apprenant en langues", ALSIC, Apprentissage des Langues et Systèmes
d'Information et de Communication 2, 2: 3-32. http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.pdf
Speaker v.3Curva de intensidad“estilizada”Modelo (parteinferior)Producción delalumno(parte superior)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
CAZADE, A. (1999) "De l'usage des courbes sonores et autres supports graphiquespour aider l'apprenant en langues", ALSIC, Apprentissage des Langues et Systèmes
d'Information et de Communication 2, 2: 3-32. http://alsic.u-strasbg.fr/Num4/cazade/alsic_n04-rec1.pdf
Speaker v.3Curva melódica“estilizada”Modelo (parteinferior)Producción delalumno(parte superior)
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Resultados obtenidos
HARDISON, D. (2004) "Generalization ofcomputer-assisted prosody training:
quantitative and qualitative findings",Language Learning and Technology 8, 1:
34-52.http://llt.msu.edu/vol8num1/p
df/hardison.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HARDISON, D. (2004) "Generalization of computer-assisted prosody training:quantitative and qualitative findings", Language Learning and Technology 8, 1: 34-52.
http://llt.msu.edu/vol8num1/pdf/hardison.pdf
• Grupo experimental: 16 estudiantesuniversitarias americanas en su segundo año defrancés
• Grupo de control: 10 estudiantes• Práctica de pronunciación: 13 sesiones de 40
minutos cada una• Evaluación: pretest, postest y una prueba de
generalización; 3 hablantes nativos de francés;escala del 1 al 7
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HARDISON, D. (2004) "Generalization of computer-assisted prosody training:quantitative and qualitative findings", Language Learning and Technology 8, 1: 34-52.
http://llt.msu.edu/vol8num1/pdf/hardison.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética
Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automáticodel hablaEl diagnóstico automático deerroresLa evaluación automática de lapronunciación
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automáticodel hablaEl diagnóstico automático deerroresLa evaluación automática de lapronunciación
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del habla
Del habla … … al texto
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaTipo de enunciados
• Reconocimiento depalabras aisladas
• Reconocimiento depalabras conectadas
• Reconocimiento de hablacontinua+ dificultad
- dificultad
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaNúmero de locutores
• Sistemas dependientesdel locutor
• Sistemasindependientes dellocutor
+ dificultad
- dificultad
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaLa variación interlocutor
Oscilograma de la palabra catalana “hola” pronunciada por unhablante femenino y por un hablante masculino
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaTamaño del vocabulario
•Vocabulariorestringido
•Vocabulario sinrestricciones
+ dificultad
- dificultad
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaEl entorno
• Entorno silencioso• Entorno con ruido
predictible• Entorno con ruido
aleatorio+ dificultad
- dificultad
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaEtapas en el reconocimiento
Entrenamiento• Corpus de datos• Creación de modelos a partir de los datos
• Modelos acústicos• Modelos de lenguaje
• Creación del diccionario
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automático del hablaEtapas en el reconocimiento
Reconocimiento
• Extracción de parámetros de la señal deentrada
• Comparación con los modelosalmacenados
• Decisión en función de la semejanza odiferencia respecto a los modelos
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Esquema básico de un sistema dereconocimiento automático del habla
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Reconocimiento• Conversión de la onda sonora
producida por el estudiante enuna secuencia de palabrasutilizando los modelos fonéticos ylos modelos de lenguaje creadosdurante la fase de entrenamiento
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Puntuación (scoring)• Evaluación realizada a partir de
la comparación acústica(segmental y/o segmental) entre laproducción del estudiante y elmodelo nativo
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
Detección de errores
• Realizada a partir del grado deconfianza del sistema en ladetección de segmentoscorrespondientes a lasproducciones nativasalmacenados
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
Diagnóstico
• Identificación del tipo de error apartir de modelos de errorestípicos previamente almacenados
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
Corrección (feedback)
• Presentación al estudiante de losresultados obtenidos en las etapasanteriores
• La visualización de la onda sonora nonecesariamente se correlaciona con lapuntuación
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
• El reconocedor debe entrenarse con corpus deproducciones nativas y no nativas
• El entrenamiento puede contemplarproducciones propias de la interlengua de losestudiantes
• El problema se simplifica en el contexto dediálogos con respuestas más o menospredeterminadas
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automáticodel hablaEl diagnóstico automático deerroresLa evaluación automática de lapronunciación
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Diagnóstico automático de errores
• Tecnologías básicas incorporadas asistemas comerciales
Talk to Me / Tell Me More™ (Auralog)Visualización de la señalPuntuación de la pronunciaciónDetección de erroresRepresentación articulatoria
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Talk to Me - Tell Me Morehttp://www.auralog.com/
OscilogramaCurva
melódica
Puntuación
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Talk to Me - Tell Me Morehttp://www.auralog.com/
Detecciónde errores
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Talk to Me - Tell Me Morehttp://www.auralog.com/
Representaciónarticulatoria
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
REESER, T.W. (2001) Review of Tell Me More - French. CALICO Software
Reviews 3/01. http://calico.org/CALICO_Review/review/tmm-fren00.htm
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HAMON, L. (2003) "Analyse de Tell Me More - Français.", ALSIC, Apprentissage des
Langues et Systèmes d'Information et de Communication 6, 2: 141-155.http://alsic.u-strasbg.fr/Num11/hamon/alsic_n11-log1.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HAMON, L. (2003) "Analyse de Tell Me More - Français.", ALSIC, Apprentissage des
Langues et Systèmes d'Information et de Communication 6, 2: 141-155.http://alsic.u-strasbg.fr/Num11/hamon/alsic_n11-log1.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
LAFFORD, B.A. (2004) "Review of Tell Me More Spanish",Language Learning and Technology 8, 3: 21-34.
http://llt.msu.edu/vol8num3/pdf/review1.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
KIM, I.-S. (2006) "Automatic speech recognition: Reliability and pedagogicalimplications for teaching pronunciation", Educational Technology and Society 9, 1:
322-334. http://www.ifets.info/journals/9_1/26.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
FluencyLanguage Technologies Institute, Carnegie Mellon Universityhttp://www.lti.cs.cmu.edu/Research/Fluency/
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Resultados obtenidos
HINCKS, R. (2002) “Speech recognition for language teaching andevaluating: a study of existing software”, in ICSLP 2002.
Proceedings of the 7th International Conference on SpokenLanguage Processing. Denver, Colorado, September 16-20, 2002.
pp. 733-336.http://www.speech.kth.se/~hincks/papers/icslp02
xxx.pdf
HINCKS, R. (2003) "Speech technologies for pronunciation feedbackand evaluation", ReCALL 15, 1: 3-20.
http://www.speech.kth.se/~hincks/papers/REcall.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HINCKS, R. (2003) "Speech technologies for pronunciation feedback andevaluation", ReCALL 15, 1: 3-20.
http://www.speech.kth.se/~hincks/papers/REcall.pdf
• Grupo experimental: 9 estudiantesadultos de inglés técnico y diferentes L1
• Grupo de control: 15 estudiantes decarácterísticas similares
• Práctica de pronunciación: un promediode 12,5h (dt 15) de trabajo con Talk to Me
• Evaluación: pretest y postest
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HINCKS, R. (2003) "Speech technologies for pronunciation feedback andevaluation", ReCALL 15, 1: 3-20.
http://www.speech.kth.se/~hincks/papers/REcall.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HINCKS, R. (2003) "Speech technologies for pronunciation feedback andevaluation", ReCALL 15, 1: 3-20.
http://www.speech.kth.se/~hincks/papers/REcall.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
HINCKS, R. (2003) "Speech technologies for pronunciation feedback andevaluation", ReCALL 15, 1: 3-20.
http://www.speech.kth.se/~hincks/papers/REcall.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Resultados obtenidos
MAYFIELD TOMOKIYO, L.- WANG, L.-ESKÉNAZI, M. (2000) "An Empirical Study ofthe Effectiveness of Speech-Recognition-BasedPronunciation Tutoring", in Interspeech 2000,
Proceedings of the 6th International Conference
on Speech and Language Processing. October2000, Beijing, China.
http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
MAYFIELD TOMOKIYO, L.- WANG, L.- ESKÉNAZI, M. (2000) "An Empirical Study of theEffectiveness of Speech-Recognition-Based Pronunciation Tutoring", in Interspeech 2000,
Proceedings of the 6th International Conference on Speech and Language Processing. October 2000,Beijing, China. http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps
• Grupo experimental: 8 estudiantes de ingléscon diferentes L1
• Grupo de control: 8 estudiantes de inglésemparejados con los del grupo experimental
• Práctica de pronunciación: ejercicios sobre lasfricativas del inglés con Fluency
• Evaluación: pretest y postest; profesor nativo;escala del 1 al 3
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
MAYFIELD TOMOKIYO, L.- WANG, L.- ESKÉNAZI, M. (2000) "An Empirical Study of theEffectiveness of Speech-Recognition-Based Pronunciation Tutoring", in Interspeech 2000,
Proceedings of the 6th International Conference on Speech and Language Processing. October 2000,Beijing, China. http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
MAYFIELD TOMOKIYO, L.- WANG, L.- ESKÉNAZI, M. (2000) "An Empirical Study of theEffectiveness of Speech-Recognition-Based Pronunciation Tutoring", in Interspeech 2000,
Proceedings of the 6th International Conference on Speech and Language Processing. October 2000,Beijing, China. http://www.cs.cmu.edu/~laura/Papers-PS/icslp-fluency.ps
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
• Priorización de los errores
• ¿Qué error debe corregirse?
• ¿Qué errores inciden más en lainteligibilidad?
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
• Estrategias de corrección• ¿Cómo mejorar la pronunciación a
partir del error?• ¿Qué información sobre cómo
corregirse se proporciona alestudiante?
• ¿Cómo se relaciona la representaciónacústica con la puntuación?
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
El reconocimiento automáticodel hablaEl diagnóstico automático deerroresLa evaluación automática de lapronunciación
Reconocimiento automático del habla y enseñanza de lapronunciación asistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La evaluación automática de lapronunciación
• Integración en la webWebGrader™ (SRI International)
Práctica interactiva con frasesPuntuación por segmento, por
palabra y por frasehttp://www-
speech.sri.com/people/julia/webgrader.html
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
WebGrader, SRI Internationalhttp://www-speech.sri.com/people/julia/webgrader.html
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
WebGrader, SRI Internationalhttp://www-speech.sri.com/people/julia/webgrader.html
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ordinate Corporation, Menlo Park, Californiahttp://www.ordinate.com/
• Empresa dedicada a la evaluaciónautomática de la lengua hablada
• Pruebas realizadas por teléfono
• Resultados en la web
• Pruebas en español y en inglés
• Las pruebas incluyen la evaluación de lapronunciación
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ordinate Corporation, Menlo Park, Californiahttp://www.ordinate.com/
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
La evaluación automática de lapronunciación
• Diferencias entre las puntuacionesautomáticas y las puntuaciones deevaluadores humanos
• Tipo de material evaluado• Dependencia del locutor• Dificultad del reconocimiento
automático de los elementossegmentales
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
KIM, I.-S. (2006) "Automatic speech recognition: Reliability and pedagogicalimplications for teaching pronunciation", Educational Technology and Society 9, 1:
322-334. http://www.ifets.info/journals/9_1/26.pdf
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
“As a matter of fact, this is by no means a solvedissue. Speech technologists are still trying to findthe best measures with which to provide ameaningful score: these should be based onspecific pronunciation aspects on which thestudent can work (but which are difficult tocapture automatically) and, at the same time,they should result in a score that is similar tothat provided by human listeners.”
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
• Puede llegarse a niveles aceptables dereconocimiento de enunciados no nativos
• Es posible proporcionar puntuacionessimilares a las humanas en aspectosglobales
• La puntuación debe integrarse con ladetección de errores
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
NERI, A.- CUCCHIARINI, C.- STRIK, H. (2003) "Automatic Speech Recognition forsecond language learning: How and why it actually works", in Proceedings of the 15th
International Congress of Phonetic Sciences. Barcelona, 3-9 August, 2003. pp. 1157-1160. http://lands.let.kun.nl/literature/neri.2003.1.pdf
“[…] it seems safer to let the students practicewith CAPT systems that are not too ambitious,but that can guarantee correct feedback in themajority of the cases. Finally, the success of thesephases does not solely depend on the technicalimplementation of the ASR system, but relies to alarge extent on the way the feedback ispresented.”
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Ayudas informáticas para la enseñanza dela pronunciación y la corrección fonética
Sistemas de grabación-reproducciónEl uso de la información visual en laenseñanza de la pronunciaciónasistida por ordenadorEl uso de las tecnologías del hablaen la enseñanza de la pronunciaciónasistida por ordenador
Joaquim LlisterriGrup de Fonètica, Departament de Filologia Espanyola
Enseñanza de la pronunciación ytecnologías del habla
Presentaciónhttp://liceu.uab.es/~joaquim/applied_linguistics/AESLA_06/TecnoHabla_Pronunciacion_AESLA_06.p
df
Referencias bibliográficashttp://liceu.uab.es/~joaquim/applied_linguistics/L2_phonetics/
CALL_Pron_Bib.html
Top Related