Presentación Geolocalización Noticias (geo news).2012

Click here to load reader

  • date post

    05-Dec-2014
  • Category

    Technology

  • view

    556
  • download

    1

Embed Size (px)

description

Presentación Proyecto Fin de Grado de Geolocalización de Noticias (GeoNews)

Transcript of Presentación Geolocalización Noticias (geo news).2012

  • 1. Geolocalizacin de Noticias (GEONews) Proyecto Fin de Grado Julio - 2012 Guillermo Santos Garca [email protected] @gsantosgo
  • 2. Contenido Introduccin Proceso General de Geolocalizacin Arquitectura Tecnolgica Detalles Implementacin Demo Aplicacin Evaluacin Conclusiones Futuros Trabajos
  • 3. Introduccin Visin general de la aplicacin Geolocalizacin de Noticias
  • 4. Introduccin Informacin estructurada vs no estructurada. Inteligencia artificial y procesamiento del lenguaje natural (PLN). Extraccin de la informacin (IE). Extraccin de conocimiento estructurado, a partir de informacin textual no estructurada en lenguaje natural. Reconocimiento y clasificacin de entidades nombradas (NERC). Extraccin de entidades dentro del texto y posterior clasificacin en categoras (nombres de personas, organizaciones, nombres de lugares,..)
  • 5. Proceso General de Geolocalizacin Tarea 1. Captura de noticias Tarea 2. Reconocimiento y Clasificacin de entidades nombradas Tarea 3. Resolucin de nombres de lugares Tarea 4. Visualizacin
  • 6. Proceso General de Geolocalizacin Reconocimiento y Clasificacin de entidades nombradas (NERC) Basados en Gazetteer. Basados en Reglas. Basados en Aprendizaje Automtico. El presidente de la Generalitat valenciana, Alberto Fabra, ha trasladado al nuevo ministro de Industria, Jos Manuel Soria, el rechazo de la Generalitat valenciana ante el proyecto que propone la instalacin de un cementerio nuclear en la localidad de Zarra (Valencia). El presidente de la [Generalitat valenciana] [Organization], [Alberto Fabra] [Person], ha trasladado al nuevo ministro de Industria, [Jos Manuel Soria] [Person], el rechazo de la Generalitat valenciana [Organization] ante el proyecto que propone la instalacin de un cementerio nuclear en la localidad de [Zarra] [Location] ([Valencia] [Location]).
  • 7. Proceso General de Geolocalizacin Resolucin de nombres de lugares Recibe una lista de nombres de lugares o topnimos, y debe determinar cul es el topnimo mas adecuado para posicionar geogrficamente una noticia sobre un mapa cartogrfico. Ej. Asturias, Espaa Asturias (Latitud: 43.33333, Longitud: -6) Uso de servicio web search de Geonames para obtener coordenadas geogrficas. Problema de ambigedades. Homografa de nombres de lugares con palabras comunes. Homografa de nombres de lugares con nombre y apellidos de personas. Homografa de nombres de lugares con el mismo nombre.
  • 8. Arquitectura Tecnolgica Aplicacin Web con tecnologa Java/J2EE Tecnologas GWT (Google Web Toolkit). Google Maps Servicios Servicio RSS. Servicio de reconocimiento y clasificacin de entidades nombradas. Servicio de resolucin de lugares (topnimos). Servicio Cache Local (Guava Cache).
  • 9. Arquitectura Tecnolgica Arquitectura Web con tecnologa Java/JEE (gwtnewsgeolocation.war)
  • 10. Arquitectura Tecnolgica Tecnologas empleadas GWT (Google Web Toolkit). Patrn MVP. Llamadas asncronas. Integracin GWT con cartografa de Google Maps (acceso API de Google Maps). Servicios Servicio RSS. Servicio de reconocimiento y clasificacin de entidades nombradas (GATE-ANNIE) Servicio de resolucin de lugares (topnimos) mediante el apoyo de los servicios Web de Geonames. Servicio cache local (Guava Cache).
  • 11. Arquitectura Tecnolgica Arquitectura aplicacin Geolocalizacin de Noticias
  • 12. Detalles Implementacin Servicio RSS Permite acceder remotamente a fuentes de informacin RSS para obtener y analizar cada item (elemento) con el objetivo de extraer el ttulo, descripcin y categoras. Formato RSS 2.0 (Lenguaje XML) Informacin Titulo Descripcin Categoras OJO!! Existen fuentes RSS con Publicidad
  • 13. Detalles Implementacin Servicio de reconocimiento y clasificacin de entidades nombradas (NERC) Identificacin de nombres propios dentro del texto, y clasificacin dentro de un conjunto de categoras predefinidas de inters (nombres de personas, organizaciones , nombres de lugares, ) GATE-ANNIE. Reconocedor genrico de entidades.
  • 14. Detalles Implementacin Servicio de reconocimiento y clasificacin de entidades nombradas Recursos de procesamiento ANNIE Tokenizer Sentence Splitter Gazetteer Part-Of-Speech ANNIE NE Transducer OJO!! Problemas de recursos disponibles en espaol
  • 15. Detalles Implementacin Servicio de reconocimiento y clasificacin de entidades nombradas GAZETTEER (Basado en listas) Creacin e Incorporacin de listas de nombres de lugares o topnimos obtenidos a partir de Geonames (continentes, pases, aeropuertos, regiones, estados, provincias, ciudades, mares, ocanos,) Creacin e incorporacin de listas de nombres de personas y organizaciones obtenidos de JRCNames. Lista de palabras de paradas o vacas (stopwords) Qu es Geonames? Base de datos de topnimos (alrededor de 8 millones). Dispone 35 servicios Web (countryInfo, search,)
  • 16. Detalles Implementacin Servicio de resolucin de nombres de lugares Problema de ambigedades Homografa de palabras comunes Homografa de nombres de personas y apellidos (Ej. Javier Solana, Monserrat). Homografa de lugares con el mismo nombre.
  • 17. Detalles Implementacin Servicio de resolucin de nombres de lugares Algoritmo de desambiguacin de lugares. Basado en heursticas Cache de continentes y pases Implementacin Homografa basado en nombres de lugares. Ej. Asturias, Espaa Paso 1. Obtencin de topnimos Continentes, Pases, Localizaciones (search) Ej.: Asturias, Espaa Coordenadas Geogrficas WGS84 (latitud y longitud)
  • 18. Detalles Implementacin Servicio de resolucin de nombres de lugares Implementacin Paso 2. Nombre de lugar con un slo topnimo. Lista de pases elementos para eliminar ambigedades de topnimos.
  • 19. Detalles Implementacin Servicio de resolucin de nombres de lugares Implementacin Paso 3. Eliminacin de topnimos que no pertenezcan a listas de pases, usando cuadro delimitador. Sistema de puntuacin de 0..3, en funcin clase caracterstica y cdigo caracterstica de Geonames.
  • 20. Demo Aplicacin
  • 21. Demo Aplicacin
  • 22. Evaluacin Conjunto de 35 noticias nacionales. Conjunto de 35 noticias internacionales. Comparativa con servicio Conversor RSS a GeoRSS de Geonames Precisin o eficiencia de 35 noticias nacionales GEONews Geonames Falsamente 0% 0% localizadas (0%) Incorrectamente 39,39% 21,21% (39,39%) localizadas Correctamente 60,61% 78,79% (60,61%) localizadas