Procesamiento de lenguaje natural de textos...

42
Dr. Horacio R. Granero 1 Procesamiento de lenguaje natural de textos jurídicos Horacio R. Granero Pablo Andribet

Transcript of Procesamiento de lenguaje natural de textos...

Page 1: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Dr. Horacio R. Granero

1

Procesamiento de lenguaje

natural de textos jurídicos

Horacio R. Granero Pablo Andribet

Page 2: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

¿Un mundo sin abogados…?

Page 3: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

¿Un mundo sin abogados…?

• Los clientes están

– bajo una importante presión para reducir los

gastos en abogados.

– tienen cada vez más trabajo legal que nunca y

un mayor riesgo.

• El reto de la profesión es

ofrecer un mejor servicio

a un menor costo…

Page 4: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

4

Page 5: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Los Sistemas Expertos

• Si bien no es técnicamente imposible desarrollar un sistema que contemple los distintos presupuestos legales y jurisprudenciales, el tiempo de construcción y los costos del mismo serían desmesurados.

• En el caso de los “sistemas expertos” la verdad está siempre dada en las reglas que el ingeniero del conocimiento le haya incluido.

Page 6: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 7: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Mis dos deseos en el Louvre

Page 8: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

El sueño de Hammurabi

Page 9: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia

Artificial Modelización Estadística de un Ordenamiento Legislativo

Sobre la base del Código de Hammurabi

IV Congreso Iberoamericano de Informática y Derecho,

Reformulación del Derecho y la Seguridad Jurídica,

Bariloche, Argentina en Mayo de 1994

(Horacio R. Granero en conjunto con el científico Joza Vrljicak)

Se postuló la posibilidad de inferir, sobre la base del análisis de las

266 “sentencias” o “leyes” hoy día comprobables de las 282 originalmente escritas el contenido de las 16 de éstas que se

encuentran perdidas

Para ello se tuvo en cuenta que 37 leyes de las 282 comprobables

se refieren a condenas con pena de muerte (PDM)

Page 10: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia Artificial

• Desarrollo:

– Primer paso : Se contabilizaron 9464 palabras, de las cuales 1225 son distintas.

– Segundo paso: Se analizaron las palabras que pertenecían al contexto PDM, que regula 37 casos diferentes (rapto, violación, incesto, asesinato, robo, malversación de fondos, cobardía en la guerra, mala praxis, etc)

• Ley 229: “Si un arquitecto hizo una casa para otro, y no la hizo sólida, y si la casa que hizo se derrumbó y ha hecho morir al propietario de la casa, el arquitecto será muerto” .

Page 11: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia Artificial

– Tercer paso: Se amplió la búsqueda a palabras cercanas

Cuarto paso: Se analizaron las correlaciones de PDM con

otras palabras del Código, estudiándolas de a pares:

40 (mata * o muer*) 0,651500

18 muerte 0,466884

7 arrojará 0,341125

30 huerto 0,101689

Page 12: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia Artificial

• Quinto paso: Se efectuó la estimación de funciones estadísticas utilizando el método de “mínimos cuadrados ordinarios” – La “variable dependiente” (VD) es la PDM

– Las variables que ayudan a “explicar” el comportamiento de la VD son las “variables independientes” (VI)

– Las VD se determinaron

• PDM ………………… 1,00

• Ordalía de agua……. 0,50

• Ordalías dudosas….. 0,75

Page 13: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia Artificial

–Ley 92 Si un negociante prestó a interés trigo o dinero y tomó el interés en su total en trigo o plata y pretende que no recibió ese dinero en trigo o plata….

13

Page 14: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

Hammurabi y la Inteligencia Artificial

• Resultado :

– Fue posible estimar una ecuación con grados de significación aceptables (r-cuadrado > 0,5) para relacionar conceptos en una base textual

– Los ejercicios de validación -como la retro simulación- demostraron buenos niveles de efectividad .

– El modelo “predijo” la PDM en 262 casos de las 266 casos de PDM reales (98,5 %)

– En el caso de la Ley 92 indicó

• Si un negociante prestó a interés trigo o dinero y tomó el interés en su total en trigo o plata y pretende que no recibió ese dinero en trigo o plata … no corresponde la pena de muerte.

Page 15: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

15

Page 16: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 17: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 18: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

? !

Procesamiento de lenguaje natural de textos jurídicos

Page 19: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Natural Language Classifier (NLC)

Desarrollamos una aplicación que funcionara desde nuestro sitio

utilizando la tecnología .NET C#

La aplicación permitía ingresar preguntas relacionadas con la

Liquidación Laboral.

La aplicación respondía con las operaciones relacionadas con la

pregunta realizada.

Page 20: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Natural Language Classifier (NLC)

Desarrollamos una aplicación que funcionara desde nuestro sitio

utilizando la tecnología .NET C#

La aplicación permitía ingresar preguntas relacionadas con la

Liquidación Laboral.

La aplicación respondía con las operaciones relacionadas con la

pregunta realizada.

B

Natural Language Understanding

(NLU) (Ex-Alchemy)

Discovery (Ex-Alchemy)

Page 21: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Natural Language Classifier (NLC)

Desarrollamos una aplicación que funcionara desde nuestro sitio

utilizando la tecnología .NET C#

La aplicación permitía ingresar preguntas relacionadas con la

Liquidación Laboral.

La aplicación respondía con las operaciones relacionadas con la

pregunta realizada.

B

Natural Language Understanding

(NLU) (Ex-Alchemy)

Discovery (Ex-Alchemy)

C

Generamos una aplicación en .NET C# que envía

la pregunta a NLU y realimenta los resultados,

junto con la pregunta en Discovery.

Page 22: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Natural Language Classifier (NLC)

Desarrollamos una aplicación que funcionara desde nuestro sitio

utilizando la tecnología .NET C#

La aplicación permitía ingresar preguntas relacionadas con la

Liquidación Laboral.

La aplicación respondía con las operaciones relacionadas con la

pregunta realizada.

B

Natural Language Understanding

(NLU) (Ex-Alchemy)

Discovery (Ex-Alchemy)

C

Generamos una aplicación en .NET C# que envía

la pregunta a NLU y realimenta los resultados,

junto con la pregunta en Discovery.

D

Etapa actual - Arquitectura de Sherlock

Legal: Primer módulo

Analizamos la pregunta y extraemos toda la información

lingüística necesaria.

Tomando la información de la pregunta se selecciona una

lista de documentos en la base de datos que tienen más

probabilidades de contener la respuesta.

Verificamos contra un modelo entrenado por Naive

Bayes si la lista de documentos es la más pertinente.

Page 23: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Etapa actual: Arquitectura de Sherlock Legal

Segundo módulo

Recibe la pregunta junto con los ids de los

documentos.

Los documentos, que fueron previamente pre-

procesados,

se analizan buscando el/los fragmento/s que más se

acerquen

a la respuesta.

Se analiza, en el caso de preguntas fácticas si el/los

fragmentos seleccionados responden por Si o por No.

Page 24: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Etapa actual: Arquitectura de Sherlock Legal

Segundo módulo

Recibe la pregunta junto con los ids de los

documentos.

Los documentos, que fueron previamente pre-

procesados,

se analizan buscando el/los fragmento/s que más se

acerquen

a la respuesta.

Se analiza, en el caso de preguntas fácticas si el/los

fragmentos seleccionados responden por Si o por No.

B

Page 25: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Etapa actual: Arquitectura de Sherlock Legal

Segundo módulo

Recibe la pregunta junto con los ids de los

documentos.

Los documentos, que fueron previamente pre-

procesados,

se analizan buscando el/los fragmento/s que más se

acerquen

a la respuesta.

Se analiza, en el caso de preguntas fácticas si el/los

fragmentos seleccionados responden por Si o por No.

B C

Page 26: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

A

Etapa actual: Arquitectura de Sherlock Legal

Segundo módulo

Recibe la pregunta junto con los ids de los

documentos.

Los documentos, que fueron previamente pre-

procesados,

se analizan buscando el/los fragmento/s que más se

acerquen

a la respuesta.

Se analiza, en el caso de preguntas fácticas si el/los

fragmentos seleccionados responden por Si o por No.

B C D

Page 27: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 28: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 29: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 30: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 31: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 32: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 33: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 34: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 35: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 36: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 37: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 38: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 39: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 40: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 41: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados
Page 42: Procesamiento de lenguaje natural de textos jurídicosdatamining.dc.uba.ar/datamining/files/Charlas_y... · Se analiza, en el caso de preguntas fácticas si el/los fragmentos seleccionados

42