Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda...
-
Upload
angeles-hernandez-carmona -
Category
Documents
-
view
221 -
download
0
Transcript of Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda...
![Page 1: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/1.jpg)
Describiendo las reglas del Lenguaje
Gramáticas ProbabilísticasLuis Villaseñor Pineda
Laboratorio de Tecnologías del LenguajeCoordinación de Ciencias Computacionales,
Instituto Nacional de Astrofísica, Óptica y Electrónica
![Page 2: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/2.jpg)
¿Cómo construimos las reglas de un lenguaje?
¿Cómo un ser humano construye/descubre las reglas a partir de las cuales es posible generar expresiones en un lenguaje?
Dos posibles respuestas: Tenemos un mecanismo innato, es decir, estamos predispuestos
para aprender esas reglas Las aprendemos por contacto con ellas, el ambiente nos
condiciona
![Page 3: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/3.jpg)
¿Cómo construimos las reglas de un lenguaje?
¿Cómo un ser humano construye/descubre las reglas a partir de las cuales es posible generar expresiones en un lenguaje?
Dos posibles respuestas: Tenemos un mecanismo innato, es decir, estamos predispuestos
para aprender esas reglas Las aprendemos por contacto con ellas, el ambiente nos
condiciona Probablemente es una mezcla de ambos !!
![Page 4: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/4.jpg)
¿y para una máquina?
La creación cuidadosa de un conjunto de reglas completo cubriendo todas las posibilidades del lenguaje parece imposible!!
Otro enfoque es la posibilidad de aprender las reglas, inducirlas, a partir de corpus (cuidadosamente anotados) trabajo arduo, lento y costoso
![Page 5: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/5.jpg)
Lo mejor de los dos mundos
Utilizando un formalismo como CFG y agregando elementos para la correcta asociación de
los constituyentes a través de sus probabilidades
Próximas diapositivas tomadas de Probabilistic Linguistics, R. Bod, J. Hay, S. Jannedy, MIT Press
![Page 6: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/6.jpg)
Breve recordatorio …
Dos interpretaciones de la probabilidad: Objetiva – la probabilidad de un fenómeno es una medida de su
frecuencia relativa a través de un experimento Subjetiva – es el grado de creencia de un observador respecto a
cierto fenómeno
P(A) = |A| / |O| |A| = número de muestras del evento A |O| = espacio total del espacio de muestras
![Page 7: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/7.jpg)
Ejemplo
Tenemos un corpus de 50 palabras (no ambiguas), 25 nombres 20 verbos 5 adjetivos
¿Cuál es la probabilidad de seleccionar un verbo?
![Page 8: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/8.jpg)
Frecuencia relativa
La frecuencia relativa de un evento converge a su verdadera probabilidad cuando el número de experimentos se incrementa.
Dado un documento ¿cuál es la probabilidad de que una palabra sea la palabra “de”?
![Page 9: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/9.jpg)
Probabilidad condicional
Joint probability ¿cuál sería la probabilidad de que al tomar dos palabras
tomáramos una nombre y un verbo? P({nombre} ∩ {verbo}) = P({nombre}) * P({verbo}) Suponemos que se trata de de eventos independientes
Conditonal probability ¿cuál es la probabilidad de que al tomar dos palabras
consecutivas tomemos primero un nombre y luego un verbo? P(B|A) = P(A|B) / P(A)
![Page 10: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/10.jpg)
Modelo de Markov
Generalizando P(A,B,C) = P(A) x P(B|A) x P(C|A,B)
Suponiendo que el evento sólo depende del evento inmediatamente anterior P(A1,A2,…,An) = P(A1) x P(A2|A1)x … x P(An|An-1) Tenemos un modelo de markov de primero orden
![Page 11: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/11.jpg)
Gramática probabilística
Necesitamos un corpus Treebank / anotando claramente las características que
deseamos capturar Las reglas que deseamos aprender
Entonces ¿las reglas están predeterminadas?
![Page 12: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/12.jpg)
Treebank ejemplo
![Page 13: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/13.jpg)
Conteo de reglas
![Page 14: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/14.jpg)
Probabilidades de las reglas
![Page 15: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/15.jpg)
Calculando las probabilidades de una derivación
![Page 16: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/16.jpg)
Sin embargo…
Suponer que las reglas son independientes no es del todo adecuado Buzzing bees
Diferentes enfoques han sido propuestos History-based grammars Head-lexicalized probabilistic grammars Probabilistic lexicalized tree-adjoning grammars DOP Data-oriented parsing
![Page 17: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/17.jpg)
DOP
Tenemos una gramática de substitución de árboles probabilísticos
No son reglas sino árboles los elementos básicos No existen restricciones sobre el tamaño o tipo de
nodos en los árboles
![Page 18: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/18.jpg)
Treebank ejemplo DOP
![Page 19: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/19.jpg)
Árboles posibles
![Page 20: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/20.jpg)
Operación de base
Substitución de nodos
![Page 21: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/21.jpg)
Probabilidad de una derivación
A diferencia de otras gramáticas, en ésta existen muchas derivaciones posibles
![Page 22: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/22.jpg)
Algunas derivaciones
![Page 23: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/23.jpg)
La probabilidad de una derivación
Es la suma de las probabilidades de todas las posibles derivaciones
Mientras más evidencia tenemos de cómo se relacionan las palabras más probabilidad de obtener el árbol correcto
No interesan los pasos intermedios, el árbol final es lo importante!!
![Page 24: Describiendo las reglas del Lenguaje Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias.](https://reader035.fdocuments.ec/reader035/viewer/2022062809/5665b47a1a28abb57c91d030/html5/thumbnails/24.jpg)
Evidencia psicolingüística
No únicamente orientamos nuestro léxico También las relaciones entre él
“vete al …”
El lenguaje no es estático se “mueve” según entramos en contacto con diferentes ambientes
Entendemos mejor algunas cosas que otras Por el lenguaje (palabras y sus relaciones) que conocemos Por el lenguaje que escuchamos