Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y...

Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y Cartografía. UPM 1

Pepijn van Oort

Calidad de los Datos Espaciales


•Introducción: La Importancia de la QDE

•Definiciones

•Acerca de la QDE

•Futuras Investigaciones y Conclusiones

Resumen previo

Abreviaturas de estas transparencias

QDE: Calidad de los Datos Espaciales

IQD: Información sobre la Calidad de los Datos Espaciales

IDE: Infraestructura(s) de Datos Espaciales (o Geo-Espaciales)IntroducciónDefinicionesAcerca de la QDEFuturas Investigaciones.


•Hay más información

•Es más fácil de acceder a la información

•Hay más usuarios

•Hay más aplicaciones

•Es mucho más fácil combinar datasets y realizar toda clase de manipulaciones SIG con ellos

•Una larga distancia entre el usuario y el productor

Desarrollos en el uso de GeoDatos

IntroducciónDefinicionesAcerca de la QDEFuturas Investigaciones.


• La posibilidad de uso erróneo ha crecido

• Los usuarios quieren saber si un conjunto de datos vale pasa lo que quiere

• Los usuarios quieren saber los efectos de la QDE:• Debido a que quieren hacer un buen trabajo

• Porque les pueden exigir responsabilidades (litigios)

• Hay una necesidad de métodos formales para el almacenamiento, tratamiento y visualización de la IQD (Información sobre la Calidad de los Datos Espaciales)

Como consecuencia:

IntroductionDefinitionsDealing with SDQFuture Research


•Crece el interés en el conocimiento de QDE

•Los estándares se desarrollan para facilitar el almacenamiento y el intercambio de IQDE: SDTS, ICA, CEN/TC278, ISO/TC211

•El software se desarrolla para almacenar los metadatos incluyendo la IQDE.

•Las herramientas para el manejo y la visualización de QDE están desarrolladas pero apenas implementadas en el SIG.

Desarrollos actuales



Ejemplos de importancia de la QDE

Un granjero recibe subsidios proporcionales a su superficie de tierra. El dice que su tierra es mayor ( más subsidios!) que lo que dice el gobierno. La diferencia puede ser debida a (1) errores del granjero, o (2) errores en los geodatos del gobierno


1000

2000

3000

40006000

5000

El polígono 1000 tiene 891,858 m2

No! Son 908,117 m2


• Un país desea bombardear una embajada utilizando un misil con GPS, que vuela automáticamente a la embajada con información procedente de un plano de la ciudad. pero…¿Está todavía ahi la embajada o la han cambiado? (¿está el mapa actualizado?) ¿Cual es la precisión posicional del mapa?




• El ministro de transportes quiere saber cuanto dinero necesita para el mantenimiento de una carretera. La longitud de la carretera en el 1/10.000 parece ser superior a la 1/25.000 Qué mapa debe el ministro utilizar?


1:10,0001:25,000

Mirando un solo mapa no puede saber nada

Comparando ambos mapas no hay duda de que el 1:10.000 es mejor



Usuario: • precio• accesibilidad• Se ajustan estos datos a mi necesidad?

Productor:• Correspondencia con el ‘suelo nominal’• Encuentra especificaciones• Cómo documentar la QDE de una manera

comprensible para todos los usuarios?

Perspectivas sobre calidad de datos


Suelo nominal = una representación simplificada del (complejo) mundo real, de acuerdo con los datos que se han recogido.


1. Linaje 5. Exactitud Temporal

2. Consistencia 6. Exactitud Posicional

3. Completitud 7. Exactitud Temática

4. Exactitud Semántica

Definiciones (1) 7 elementos de calidad de datos

IntroductionDefinitions (1)Dealing with SDQFuture Research


Consistencia lógica

“Entre el 1% (adición de nuevos datos) y el 5% (datos del contrato de pre-mantenimiento)”

Completitud

“Algunas características (features) pueden haber sido eliminadas”

“Detalles de direcciones de calles parcialmente incompletas”Bien:Ayuntamiento de Heelsum: Nombres de calles

incompletos para el 1% de toda la longitud de calles, 5% del todas las calles.

Exactitud Temporal

“Fotografías aéreas 1965-1992”Bien:Grupo de Fotos 1: adquisisción año 1965

Grupo de Fotos 2: adquisisción año 1980

Ejemplos de QDE Pobres



Exactitud Posicional

“Variable”, “+/- 100m”, “100m a 1000m”

“Pueden estar presentes algunas discrepancias cartográficas”

Bien: RMSE = 100 m.

Bien: error posicional < 1 m con una probabilidad del 95%

Exactitud de Atributos “Sin importancia” (para un mapa de vegetación)

“Gran precisión de atributos” Bien: Pr(actualidad = BOSQUE | clasificado como = PASTO) = 0.01

Bien: Porcentaje correctamente clasificado: 85.3%IntroductionDefinitions (1)Dealing with SDQFuture Research



Exactitud Semántica

“Pasto: es todo área cubierta de pasto”

Qué es incorrecto ahí?

¿Está también contado el pasto de los parques en áreas urbanas?

¿Qué ocurre con el pasto en los terraples? ¿O están éstos clasificados como terraplenes?

Que ocurre si hay una combinación de pastos y árboles?

Los requisitos respecto al detalle en la definición de clases dependen del uso.




Ejemplo: Dimensión Temporal

“Las cosechas cultivadas en terrenos de granjas cambian anualmente, por lo tanto, la calidad de las especificaciones de este conjunto de datos se aplican sólo en el año en el que fue adquirido el dato”

Ejemplo: Dimensión Temática:

“la precisión posicional es 10 dm para carreteras, 100 dm límites entre campos”

Ejemplo: Dimensión espacial:

“La precisión posicional es de 60dm en áreas rurales y de 30 dm en áreas urbanas”

1. Dimensión Temporal2. Dimension Espacial3. Dimensión Temática

Definiciones (2): QDE en la 3ª dimensión



Exactitud (accuracy): desviación del ‘verdadero’ valor

Precision: nivel de detalle

Bias: Desviación sistemática

Definiciones (3): accuracy, precision, bias

NO BIAS

PRECISE IMPRECISE

BIAS

NOT ACCURATEACCURATE

NOT ACCURATENOT ACCURATE


P. Están estimadas correctamente las posiciones de los puntos?

• Todos los puntos están biased

• Debido al bias, y1 is inexacto: todos los puntos se desvían de su verdadera posición

• Después de quitar el bias, y1 is preciso

Ejercicio: bias

0

2

4

6

8

10

12

14

16

0 2 4 6 8 10 12 14 16

y_true

y1_tested

P. Está correctamente estimada el área del polígono?R. noR. si

P. En qué otra operación SIG hay un problema bias ? R. recubrimiento

NO BIAS

PRECISE IMPRECISE

BIAS



Overlay: where do series y and z overlap?

0

2

4

6

8

10

12

14

16

0 2 4 6 8 10 12 14 16

y_true

y_tested

z


• y2 is unbiased

• y2 is inaccurate

• y2 is imprecise

Ejercicio: imprecision

P. Están las posiciones de los puntos estimadas correctamente?

P. Está estimada correctamente el área del polígono?

R. No, en promedio: si

R. No, en promedio: si

0

2

4

6

8

10

12

14

0 2 4 6 8 10 12

y_true

y2_tested

NO BIAS

PRECISE IMPRECISE

BIAS





• Modelos de error para cuantificar las implicaciones de QDE.

• Mejores formas de comunicación del error;

• Prevenir mal uso de los datos espaciales;

• Aprender a vivir con los errores.

Prospección de Futuro



Modelos de error: Perturbación de los límites de

polígonos

Polygon Mean Area Standard ID (sq. m) Deviation (m) 1000 891,858 5,420 2000 890,109 9,920 3000 945,222 3,890 4000 358,775 5,408 5000 980,115 6,748 6000 459,807 7,176

La posición de cada punto de cada polígono está perturbada, de acuerdo con positional accuracy de los puntos.

1000

2000

3000

40006000

5000



Modelos de error: Perturbing polygon boundaries

De acuerdo con el mapa, el polígono tiene una superficie de 893,703.

De acuerdo a otra fuente, el polígono tiene un área de 908,117.

Q. Puede deberse esa diferencia de superficies a errores posicionales en el mapa?

A. Si, es posible, pero la otra fuente es muy probablemente incorrecta.

Area of Polygon ID = 1000

908,714

904,143

899,571

895,000

890,429

885,857

881,286

40

30

20

10

0

Std. Dev = 5419.60

Mean = 893703

N = 120.00



Modelos de error: Una matriz de error

De las 24 celdas clasificadas como BOSQUES, 20 eran de hecho BOSQUES, y 4 eran realmente ROBLEDALES.Pr (actual = Robledales | calsificado como = Bosques) = 4/24


Modelos de Error: perturbaciones en las clases de cubiertas

del suelo

Crear 100 Mapas Reclasificados, basados en probabilidades de la matriz de errorPoner en marcha un modelo con cada uno de estos mapas; Incertidumbre en el modelo de salida debido a la QDE. Introduction

DefinitionsDealing with SDQFuture Research


Utilidad: uso de modelos de error

Calcular las probabilidades basadas en QDE, utilizando modelos de errorEl riesgo se expresa en Euros, en número de personas afectadas, etc.


Modelado de errores: ¿que hace que sea tan duro?

• A menudo, el gran número de datasets combinados hace difícil modelar el error de progación.

• Están correlados los errores entre los datasets? Esto no se conoce. La calidad se describe para cada dataset por separado.

• La IQDE no está disponible para todos los datasets o está pobremente descrita.

• El Software no proporciona herramientas para implementar modelos de errores, por lo que tienes que programarlo tu mismo. Sabes como?

Piensas que merece la pena este gasto de tiempo?



Alternativas para valorar la utilidad

Preguntar al productor de datos si el dataset sirve para el trabajo específico que vamos a hacer.

Prueba y error Mirar la calidad que se requiere para aplicaciones similares Utilizar el mejor dato disponible Ser honesto en el hecho de que no hay datasets perfectos.

Comenzar pensando en qué hacer cuando algo vaya mal..



Vivir con el error: mantener la credibilidad

Ejemplo

Un gobierno utiliza un mapa para calcular las compensaciones a los granjeros debido a una inundación..

Se compensa a los granjeros.

Debido a que el mapa no es perfecto, algunos granjeros que deberían haber sido compensados no lo han sido.

De desarrolla un procedimiento que permita a esos granjeros probar que han sufrido daños y poder cobrar la subvención

Todos los granjeros son informados de este procedimiento.. IntroductionDefinitionsDealing with SDQFuture Research


Comunicación del error: metadatos en clearinghouses (1)


En este caso el productor informa de los usos sobre los que puede utilizarse este dataset


Comunicación del error: metadatos en clearinghouses (1)



Software para la gestión de la QDE:

Software para detectar errores.



Software para la gestión de la QDE



Software para prevenir mal uso



Investigación Futura (1)

• Estándares para documentar la calidad adoptada para los datos

• Continuación del trabajo sobre modelamiento del error y comunicación. Continuation of the work on error modeling and communication

• Desarrollo de software

• Para facilitar el modelado del error y el análisis del riesgo

• Para mejorar la comunicación y los avisos

• Promocionar el análisis de riesgo para determinar la utilidad IntroductionDefinitionsDealing with SDQFuture Research


Futuras investigaciones (2)

• Mantener la integridad de la IQDE en las Infraestructuras de GeoDatos

Org. 3

Piensa que la exactitud temática es del 100%,

Pero encuentra el 90%

Org. 1

Exactitud Temática: 100%

isla

Org. 2

Chequeo de consistencia: la isla se quita

Mantener la integridad de la IQDE es un tema técnico y de gestión.

• Técnicamente: Cómo se hace? Puede automatizarse?• Gestión: Quien es el responsable?



Conclusiones

• La calidad de los datos es demasiado importante para ignorarla

• Los efectos de la calidad de los datos pueden ser cuantificados, pero se necesita mejorar la teoría y el software.

• Los métodos para recolectar datos se mejoran día a día y como resultado, la calidad de los datos mejora.

• Pero los errores no serán nunca eliminados del todo y tendremos que acostumbranos a vivir con cierta incertidumbre en nuestros datos.



Gracias por su atención

Preguntas?


Algunos websites

Estándares

• http://www.isotc211.org/scope.htm#19114

• http://mcmcweb.er.usgs.gov/sdts/SDTS_standard_nov97/part1toc.html

Modelamiento del Error

• http://www.clarklabs.org/IdrisiSoftware.asp?cat=2

• http://www.esri.com/news/releases/03_2qtr/reviewer.html

Metadatos

• http://geodesk.girs.wau.nl/geokey/select.htm (in dutch)

• 1:250,000 scale Arkansas State Soil Geographic (STATSGO): http://geoserver2.wr.usgs.gov/servlet/FGDCServlet/retrieve?pn=1&el=F&db=current&rp=3&mr=1&ac=current&cid=25

Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y...

Documents

Transcript of Miguel A. Bernabé + Miguel A. Manso. Grupo de Trabajo MERCATOR. Dep. Ingeniería Topográfica y...