Redes Neuronales

Aplicación en documentación y bibliotecas

• Introducción

• Clasificación de la información

• Aplicaciones lingüísticas

• Diseño de interfaces

• Almacenamiento y recuperación

• Filtrado

• Imágenes: búsqueda multimedia

1. Definición de redes neuronales

• “un sistema de procesamiento de información compuesto por un gran número de elementos de procesamiento o neuronas profusamente conectados entre sí a través de canales de comunicación (Regueiro).

• Estas conexiones establecen una estructura jerárquica y permiten la interacción con los objetos del mundo real tratando de emular al sistema nervioso biológico. A diferencia de la computación tradicional, basada en algoritmos predecibles, la computación neuronal permite desarrollar sistemas que resuelvan problemas complejos cuya formalización matemática es sumamente difícil”.

Ventajas

• aprendizaje adaptativo

• autoorganización

• tolerancia a fallos

• operación en tiempo real

• fácil inserción dentro de la tecnología existente

Áreas de aplicación

Reconocimiento de patrones, con aplicaciones en sensación remota, análisis de imágenes médicas, visión en computadoras industriales y elementos de proceso de las entradas para computadores.

Bases de datos de conocimiento para información estocástica.

Control de robots. Toma de decisiones. Filtrado de señales. Segmentación, compresión y fusión de datos. Interfaces adaptativas para sistemas hombre/máquina.

Organización de la red

por niveles o capas de neuronas. Se pueden

distinguir tres tipos de capas: de entrada,

ocultas y de salida.

por la forma de conexión entre neuronas:

propagación hacia adelante y propagación

hacia atrás.

Características de las redes neuronales

Topología. Mecanismo de aprendizaje. Tipo de asociación entre las informaciones

de entrada y salida: heteroasociativa y autoasociativa.

Representación de la información de entrada y salida.

2. CLASIFICACIÓN DE LA INFORMACIÓN : Métodos

• .Mapas de Kohonen

• -Pertenece al grupo de red neuronal no supervisada

• -Funcionamiento

• -2 variantes:LVQ "Cuantificación por Vector de Aprendizaje",

caracterizado por tener una salida en una única dimensiónTPM "Mapa de Preservación Topológica", más conocido por

SOM "Mapa auto-organizativo" con salida bidimensional

Aplicaciones e inconvenientes de los SOM

• Aplicaciones de los SOM:-Clasificar, extraer características

-Refleja la imagen topológica de la información de entrada (las entradas con rasgos similares o relacionadas aparecen cercanas en el mapa)

• Inconvenientes:– poco aplicable a conjuntos de información de gran

tamaño– resulta caro y es lento

Mapas de Xia Lin

• Es un mapa auto-organizado, similar al de Kohonen

• Funcionamiento: los vectores de cada documento representan la frecuencia de aparición de los términos y la red es entrenada con estos vectores

• Aplicaciones:– clasifica los datos por materias– visualiza las materias de un conjunto de datos

en un mapa, diferenciadas por los nombres y colores

• Inconvenientes similares al anterior:– resulta caro y lento – aplicable a pequeñas colecciones de datos– los datos son agrupados por un pequeño

número de palabras extraídas generalmente de los títulos

• Demostración:http://www.uky.edu/~xlin

WEBSOM

• Mapa auto-organizativo similar a los anteriores, pero que permite trabajar con grandes cantidades de información y con palabras del texto completo no sólo del título

• Funcionamiento: se crean también vectores de cada documento, con ello se genera un mapa intermedio de categorías de palabras que ordena los términos según sus relaciones y finalmente se elabora automáticamente un mapa que agrupa los documentos según su contenido

Aplicaciones

• el mapa agrupa documentos por su contenido, reflejando las relaciones entre ellos

• los colores más oscuros o menos reflejan la densidad de información y la proximidad entre zonas indica la mayor o menor relación entre los documentos

Ventajas e inconvenientes

• Ventajas: permite la clasificación de gran cantidad de información y trabaja con el texto completo

• Inconvenientes: necesita mucho tiempo y espacio por la dimensión de los vectores, pero exiten métodos para reducirlos

Aplicaciones a otros tipos de documentos

• Artículos de grupos de discusión (News)

• Abstracts de artículos científicos

• Abstracts de patentes• Demostración:

http://websom.hut.fi/websom

ET-MAP

• Es un sistema de clasificación temática y búsqueda de homepages de Internet, similar a los mapas auto-organizados de Kohonen

• Demostración:

http://ai2.BPA.arizona.edu/ent

Mapas de redes de publicaciones científicas

Mapa semejente al de Xia Lin, que relaciona las revistas de determinado campo temático

• Funcionamiento: se construye un vector para el título de cada revista que contiene las citas de cada artículo

• Aplicaciones:

– se obtiene un mapa de relaciones, útil para estudiar las relaciones entre revistas

– también se obtiene otro mapa de dominios

3. Aplicaciones lingüísticas

Procesamiento en lenguaje natural• Se ha utilizado una adaptación de los SOM: estudios

semánticos y pragmáticos• Modelado de la gradación y lógica difusa

– la gradación es habitual en el lenguaje natural– también lo es la contextualidad– la relación lenguaje-mundo es uno a muchos– la mejor herramienta es la lógica difusa

• La ambigüedad del lenguaje puede ser un problema:– se intenta resolver mediante SOMs

Indización y thesauros

• Problemas de vocabulario y de subjetividad• Indización automática: se ha propuesto el sistema

Concept Assigner (basado en una variante de la red Hopfield)

• La tecnología corriente requiere la interacción humana

• Los términos de indización se pueden asignar muy rápido procurando a los indizadores feedback

• Proyecto GATOAC (Generación automática de thesauros orientada a las arquitecturas de componentes)

Traducción automática

• Inferencia gramatical: se aprende, se infiere, un

modelo formal que representa a los ejemplos, patrones

de entrada

• Caso particular de la traducción: traducción semántica

o comprensión del lenguaje

• No están satisfactoriamente resueltos: sólo se han

conseguido avances en dominios restringidos

• El problema del tiempo en las RN artificiales: los modelos conexionistas han de disponer de conexiones con recurrencias: Redes Neuronales Recurrentes

• Se ha demostrado que las RNR pueden resolver tareas en el campo de la:

– Inferencia gramatical (IG)

– Comprensión del lenguaje (CL)

– Traducción automática entre lenguajes (TA)

• Se han entrenado distintos modelos recurrentes y se ha observado que la eficacia del modelo aumenta al realimentar la capa de salida de la red en las neuronas ocultas.

Entre los desarrollos futuros señalados están:

• - inducción de GREs:

– sería deseable estudiar la capacidad de todas o algunas de las RNR para estimar probabilidades asociadas a una GRE

– habría que estudiar el incremento del número de muestras que requeriría aprender una GRE y el tiempo precisado para entrenar la RES

– la inferencia gramatical libre de contexto queda pendiente

• - CL

– es posible construir un traductor texto-a-texto mediante interlingua

• - TA

– hay que seguir trabajando en representaciones que permitan abordar traducciones con vocabularios grandes

– abordar tareas de TA con dominios semánticos más amplios

– abordar estudios sobre traducción entre pares de lenguajes distintos al inglés-castellano ya estudiados

– queda pendiente la integración del traductor conexionista a un modelo reconocedor de voz

Conclusiones

• Las redes neuronales artificiales tienen:

– capacidad de aprendizaje a partir del

mundo real

– habilidad para resolver problemas en los

que aparecen dependencias temporales

• Esto las hace herramientas ideales para:– procesamiento del lenguaje

– reconocimiento de voz

– tratamiento del leguaje natural

– comprensión del lenguaje

– traducción automática entre lenguajes

4. Diseño de interfaces

• La aplicación de redes neuronales permite una mayor interactividad a partir de:– Realización de inferencias– Presentación de alternativas– Autoaprendizaje

• Procedimiento discutido– No se percibe un comportamiento más

eficiente– Por el contrario el coste (por ejemplo en

memoria) es superior a los modelos de desarrollo tradicionales

• La investigación en este campo se orienta hacia:– Modelos hipertextuales e hipermedia

• Hipernet

– Derivados de modelos tradicionales (índices)

• AIR (Adaptative Information Retrieval System)

• SCALIR (Hybrid Symbolic & Connectionist Models in Legal Information Retrieval)

• ANLI (Adaptive Network Library Interface)

• Conet-IR

• Knowboot

5. Almacenamiento y recuperación de la información

Los pesos de las conexiones son las unidades de memoria de la red y el proceso de almacenamiento se conoce como aprendizaje, que puede estar no revisado, supervisado por un entrenador o reforzado:

aprendizaje no revisado no precisa patrones previamente establecidos ni requiere comparación exterior con las respuestas producidas por la red.

aprendizaje supervisado supone el entrenamiento de la red de acuerdo con los ejemplos que se introducen en ella.

aprendizaje reforzado consiste en la información externa que separa a la red para indicarle si la respuesta de una pregunta ha sido satisfactoria o no.

Problemas del almacenamiento

las palabras no siempre se ajustan a los

conceptos o materias que señalan.

las palabras deben reducirse a categorías

numéricas con las que operará el programa

informático.

Técnicas más utilizadas en la búsqueda y recuperación de la información

estadística de caracteres adyacentes o análisis de n-gramas.

índices invertidos. un algoritmo llamado "ránking de

relevancia". "relevance feed-back”. en vez de utilizar la palabra original en el

índice, se puede utilizar un subconjunto de entidades (semánticas) artificiales o incluir un tesauro.

Temas en curso en IR

Se caracterizan por la búsqueda en sistemas que presentan comportamiento adaptativo, interactivo y transparencia: comprensión de búsquedas incompletas o comparaciones incompletas. comprensión de las intenciones vagas (dudosas) del usuario. capacidad para generalizar sobre las búsquedas así como sobre los

resultados de las mismas. adaptación a las necesidades cambiantes de los usuarios. permitir feed-back relevante. ayudar al usuario a buscar inteligentemente por los datos. añadir contexto sensible.

Problemas de evaluación del IR

la relevancia es un concepto muy subjetivo.

la relevancia es siempre relativa a los documentos encontrados.

muchos usuarios no saben lo que están buscando

Búsqueda incompleta

• Las aplicaciones comerciales con más éxito de las RNA en búsqueda de información son las búsquedas en conjuntos de datos incompletos tal como los datos reunidos con un programa de OCR: localizar información difusa, errores de deletreado, variaciones fonéticas,...– Productos: Excalibur, ZyIMAGE,

InfoSelect, etc.

Otras aplicaciones en la búsqueda incompleta son

Búsqueda de información utilizando una red neuronal híbrida multicapa.

Sistemas de diálogo asociativo (ASDIS). Controladores de deletreado convencionales y de

memoria asociativa. Lógica difusa con cuantificadores lingüísticos en la

toma de decisiones y control. Recuperación de información basada en redes

neuronales no supervisadas de agrupamientos temáticos difusos

Data Mining

• Las redes neuronales son buenas en– búsquedas incompletas– datos heterogéneos– datos ruidosos– tareas de generalización y de asociación

• El estudio de Data Mining (descubrimiento de información): la búsqueda de respuestas desconocidas a preguntas desconocidas.

Conclusiones

• el algoritmo utilizado para el desarrollo de la red neuronal demuestra que es posible tratar grandes volúmenes de información.

• el uso de este algoritmo posibilita obtener interfaces intuitivas y gráficas lo cual enriquece las perspectivas desde las que el usuario afronta el proceso de acceso a la información.

• la búsqueda de información puede ser un área frustrante de información ya que en nuevos modelos es difícil demostrar que trabajan mejor cuantitativa y cualitativamente que cualquier modelo previo. El añadido de nuevas dependencias a menudo enlentece los procesos.

• el estudio de la búsqueda de información ha estado siempre mucho más relacionado con patrones de reconocimiento estadístico que con técnicas de Inteligencia Artificial

6. Filtrado de información

DSI• Se filtra y ordena gran cantidad de

información en relación al interés del usuario. Se selecciona la información más relevante.

• Los trabajos sobre DSI con RN son cada vez más, y de mayor interés. Es un servicio de gran aceptación.

Servicio de NEWS personalizado

• Esta red se construye sobre la base de los artículos leídos y marcados como rechazados.

• Se puede usar también buscando por palabras clave de los artículos en conjunción con un modelo de RN.

• Muestra prometedores resultados en el acercamiento hecho a un sistema basado en un IR.

Sistemas expertos para el desarrollo de una colección.

• Proyecto para desarrollar un sistema experto para asistir la selección de material para bibliotecas.

• Parte del proyecto trata la construcción de un componente de aprendizaje dentro del sistema, y dos acercamientos, inducción y RN, son prefijados.

• Algunos autores han discutido la posibilidad de una máquina con capacidad de aprender y adquirir conocimiento en el dominio de la selección de monografías.

Filtrado neuronal de KOHONEN basado en caracteres

• El método de Kohonen se puede implementar con gran facilidad ya que es bastante simple, mediante la entrada de sensores.

• Los textos que mejor se correspondan con las características del mapa. serán los más aptos para agruparse en el mapa.

• Puede usarse como un recurso de filtrado en un entorno con una pregunta estática y un dinámico flujo de información.

7. Ejemplos de aplicaciones

• Neural Data Analysis

• Nicos

• nnsysid