A – Introducción

43
Eurostat Unit A6 – Statistical cooperation SDMX Seminar Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe A – Introducción

description

Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe. A – Introducción. A.2 – Por qué SDMX – importancia de SDMX. S tatistical D ata and M etadata e X change. UNSD. World Bank. SDMX ISO TS 17369. - PowerPoint PPT Presentation

Transcript of A – Introducción

Page 1: A – Introducción

Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe

A – Introducción

Page 2: A – Introducción

2Eurostat Unit A6 – Statistical cooperationSDMX Seminar

A.2 – Por qué SDMX – importancia de SDMX

Page 3: A – Introducción

3Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Statistical Data and Metadata eXchange

World BankUNSDUNSD

SDMXISO TS 17369

Page 4: A – Introducción

4Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Falta de estandarización en intercambios de datos o entre organizacionesFalta de estandarización en intercambios de datos o entre organizaciones

Diferentes formatos de

Datos y metadatos

Diferentes formatos de

Datos y metadatos

EDIFACT

Ficheros Estructurados

XML

Formato papel

Diferentes lugares para almacenar datos y metadatosDiferentes lugares para almacenar datos y metadatos

Diferentes mediosDiferentes medios

Correo electrónico

Subida de ficheros

Formato Web

Medios extraíbles

Teléfono

Papel

¿Por qué SDMX?

Page 5: A – Introducción

5Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Esto es lo que SDMX proporciona y habilita

Qué es SDMX

Un modelo para describir datos y metadatos estadísticos

Un estándar para la comunicación automática de máquina a máquina

Una tecnología que soporta herramientas de TI estandarizadas.

Con el fin de sacar partido a lo siguiente:

Los estadísticos coinciden en el uso de una descripción común de datos y metadatos

El proceso de intercambio de datos es manejado por la descripción común

Las descripciones de datos se ponen a disposición de todo el que quiera entender y reutilizar los datos

Page 6: A – Introducción

6Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Versión 1.0 GESMES/TS

Versión 2.0SDMX-EDISDMX-MLRegistro SDMX

En 2008SDMX se acepta a nivel de Naciones

Unidas

ISO/TS 17369

Septiembre 2004

Versión 1.0

Versión 2.0

Febrero 2008

Se reconoce y soporta SDMX como estándar preferido

SDMX 2.1

Abril 2011 Noviembre 2005

¿De la versión 1.0 a la versión 2.1 hasta…?

Page 7: A – Introducción

7Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Todos los buenos estándares cambian…

Todos los estándares cambian con el tiempo, y se lanzan como una serie de versiones

Los cambios siempre tienen cierto impacto en los usuarios

– No siempre se espera que los usuarios usen la última versión de un estándar

– Las organizaciones estándar (como SDMX) tienen que proporcionar soporte para varias versiones del estándar, todas las que estén en uso

Page 8: A – Introducción

8Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Cambio en la gestión

Peligro (1): demasiados cambios pueden disuadir su adopción

Peligro (2): el no dar a los usuarios las funcionalidades que quieren desalentará su adopción

Se necesita encontrar un equilibrio

Page 9: A – Introducción

9Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Algunos beneficios de los estándares SDMX

SDMX proporciona soporte para cosas que son esenciales para los estadísticos, pero que a menudo les resultan difíciles de lograr

Un estándar internacional para agrupar todos los elementos involucrados en el proceso estadístico dentro de un modelo de información claro

Un enfoque que maximiza la cantidad de información sobre el contexto estadístico que se puede entregar a los usuarios, y la capacidad de enlazar estadísticas entre fuentes similares o diferentes

La automatización de procesos: SDMX permite el desarrollo de herramientas comunes que pueden usarse por todas las organizaciones estadísticas para mejorar sus actividades

Page 10: A – Introducción

10Eurostat Unit A6 – Statistical cooperationSDMX Seminar

“SDMX Reference Infrastructure”

“SDMX Reference Infrastructure”

Organización Estadística

Organización EstadísticaLos servicios web permiten la consulta, visualización y carga automática de datos y metadatos. Las herramientas SDMX permiten consultar una base de datos, o un sistema de ficheros, para la creación de tablas, cuadros, y gráficos a partir de los resultados de la consulta

SDMX es también un estándar avanzado para el descubrimiento de datos con el uso de servicios basados en web

Beneficios de los estándares SDMX (2)

Page 11: A – Introducción

11Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Producción / procesamiento de datos: lo que SDMX puede mejorar

Estándar internacional:- Evita la duplicación de esfuerzos en el desarrollo y mantenimiento de herramientas de TI- Crea un fondo común de habilidades y recursos (comunidad de desarrolladores)

Estandariza la estructura de conjuntos de datos y el formato de transmisión- Se reemplazan formatos heterogéneos por uno estándar- Las nuevas recopilaciones de datos comienzan con una estructura estandarizada

Validación de datos- SDMX permite detectar las inconsistencias de una estructura de datos en un estadio temprano del procesamiento

Aumento de la eficiencia- Más tiempo para el análisis de datos y comprobaciones de la calidad de datos

Page 12: A – Introducción

12Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Por qué SDMX - Resumen

El intercambio y difusión de datos estadísticos es complejo, caro, y consume recursos intensamente

Los mismos datos se almacenan en múltiples ubicaciones Los datos y metadatos a menudo no son reutilizables durante

la recopilación, compilación, análisis, transmisión, difusión Varias organizaciones internacionales tienen estándares

técnicos en propiedad para el intercambio de datos con sus constituyentes

Los estándares combinan problemas específicos de “contenido” con soluciones técnicas

Los estándares múltiples provocan una carga adicional de informes

Transición de una transmisión punto a punto a una red mundial (XML, servicios web)

Page 13: A – Introducción

13Eurostat Unit A6 – Statistical cooperationSDMX Seminar

A.3 – Implementación del sistema de intercambio de datos

Page 14: A – Introducción

14Eurostat Unit A6 – Statistical cooperationSDMX Seminar

A.4 – Elementos básicos SDMX

Page 15: A – Introducción

15Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Especificaciones Técnicas

El Modelo de Información SDMX

Guías para la armonización de

contenido

Guías orientadas al contenido (COG)

Herramientas

Arquitecturas de TI para el intercambio de datos

Herramientas basadas en SDMX

Los componentes SDMX

Page 16: A – Introducción

16Eurostat Unit A6 – Statistical cooperationSDMX Seminar

¿Quién?

¿Qué?

¿Cuándo?¿Quién?

¿Dónde?¿Cómo?

¿Qué?

Descripción del intercambio de datos

Page 17: A – Introducción

17Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Modelo de Información SDMX (“metamodelo”)

Estructura de

Conjunto de

Datos

Estructura de

Conjunto de

Datos

DatosDatos

Metadatos

Estructurales

Metadatos

Estructurales

Definición de Estructura de Datos (DSD) Dimensiones

(ej: país, variable/tema, año)

Dimensiones

(ej: país, variable/tema, año)

Atributos

(ej: unidad de medida)

Atributos

(ej: unidad de medida)

Listas de códigosListas de códigos

Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales

Metadatos sobre un valor individual, una serie temporal o un grupo de series temporales

Proporciona una forma de modelar datos, metadatos y procesos de intercambio

Identifican/Describen

Page 18: A – Introducción

18Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Guías orientadas al contenido

Listas de códigos y conceptos de dominio transversalesListas de códigos y conceptos de dominio transversales

Dominios de temas estadísticosDominios de temas estadísticos

Vocabulario común de metadatosVocabulario común de metadatos

Recomendaciones para armonizar las implementaciones

Organización 1 Organización 2 Organización 3

interoperabilidad interoperabilidad

Page 19: A – Introducción

19Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Listas de código y conceptos de dominio transversal

Dominio 1

FREC

REF. AREA

Dominio 2

Conjunto de conceptos usados

Conceptos de dominio transversal

COMPARABILIDAD

Page 20: A – Introducción

20Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Vocabulario común de metadatos

Page 21: A – Introducción

21Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Dominios de temas estadísticosBasados en la Clasificación de Actividades Estadísticas Internacionales de la

Comisión Económica de las Naciones Unidas para Europa (UNECE)

Page 22: A – Introducción

22Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Uso de conceptos de dominio transversal

Page 23: A – Introducción

23Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Definición de Estructura de Datos: uso de concepto

Unidad Múltiplo

Unidad

Tema

Tiempo/Frecuencia

PaísExistencias/Flujo

Observación

(Dimensión)(Dimensión)

(Dimensión)

(Atributo)

(Dimensión)

(Dimensión)

(Atributo)

(Medida)

Page 24: A – Introducción

24Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Definición de Estructura de Datos:definición de estructuras multi-

dimensionales

Comprende– Concepts que identifica al valor de observación– Concepts que añaden metadatos adicionales sobre el

valor de observación– Concept que es el valor de observación– Cualquiera de estos pueden ser:

• codificados• texto• fecha/tiempo• número• etc.

DimensiónesAtributos

Medida

Representación

Page 25: A – Introducción

25Eurostat Unit A6 – Statistical cooperationSDMX Seminar

A finales de junio

Esquema de organización

Conceptos

Listas de códigos

Esquemas de conceptos

Acuerdo de provisión

DSD

mantenedor Registro SDMX

SDMX describe el intercambio de datos y metadatos

Page 26: A – Introducción

26Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Arquitectura del repositorio de datos (Almacén de datos)

NSI

Demandante “Pull” de Eurostat

eDAMIS

Entrada de Datos

Registro SDMX

Almacén intermedio

Verificación /Conversión

a SDMX

Datos recibidosen

SDMX-MLCargador

registro

Reservas en almacén

Eurobase

consulta

Difusión

XSL paraSDMX-ML

PULL

PUSH

Page 27: A – Introducción

27Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Los componentes

Data warehouse

Data warehouse

Data warehouse

SDMX-RI

(web service)

SDMX-RI

(web service)

SDMX-RI

(web service)

Data Hub

Data Providing Organizations Data collector Organizations Users

messagesSDMX

Data warehouse

Data warehouse

Data warehouse

SDMX-RI

(web service)

SDMX-RI

(web service)

SDMX-RI

(web service)

SDMX-RI

(web service)

SDMX-RI

(web service)

SDMX-RI

(web service)

Data Hub

Data Providing Organizations Data collector Organizations Users

messagesSDMX

Page 28: A – Introducción

28Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Progreso del SDMX, 2011 hasta 2015

Desarrollo de estándares: Abril 2011, estándares técnicos SDMX 2.1 lanzados en sdmx.org

Difusión: Mayo 2011, SDMX Global Conference

Se pueden obtener ocho tutoriales de e-learning de la plataforma CIRCA

Gobernabilidad: Creación de dos Grupos de Trabajo SDMX Working Groups (Grupo de Trabajo Técnico y Grupo de Trabajo Estadístico)

Plan de Acción 2011 hasta 2015

Page 29: A – Introducción

29Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Cómo saber más acerca de SDMX

Page 30: A – Introducción

30Eurostat Unit A6 – Statistical cooperationSDMX Seminar

http://sdmx.org/

Page 31: A – Introducción

31Eurostat Unit A6 – Statistical cooperationSDMX Seminar

http://epp.eurostat.ec.europa.eu/portal/page/portal/pgp_ess/news/ess_news_detail?id=112774074&pg_id=2417&cc=ESTAT_EUROSTAT

Page 32: A – Introducción

https://webgate.ec.europa.eu/fpfis/mwikis/sdmx

Page 33: A – Introducción

33Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Cursos de formación sobre SDMX

SDMX elemental (para estadísticos y personal de TI)Tiene lugar en Eurostat. Dirigido a personas responsables de la gestión y difusión de datos y metadatos basados en SDMX.

Curso avanzado sobre SDMX (para desarrolladores de TI)Tiene lugar en Eurostat. Dirigido a desarrolladores de TI y propuesto en dos versiones:

programadores JAVA

programadores .NET

Curso ESTP sobre “Tecnologías avanzadas para la recopilación y difusión de datos” Externo

Page 34: A – Introducción

34Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Para más información

http://www.sdmx.org (Página web de SDMX)

https://webgate.ec.europa.eu/fpfis/mwikis/sdmx (Espacio de información de Eurostat)

[email protected] (Información general sobre SDMX)

[email protected] (Proyectos de implementación de Eurostat)

Page 35: A – Introducción

35Eurostat Unit A6 – Statistical cooperationSDMX Seminar

A.5 – Herramientas SDMX

Page 36: A – Introducción

36Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Software de código abierto para SDMX

Convertidor SDMXConvierte ficheros de datos de formatos SDMX a

otros formatos de ficheros

Asistente de Estructura de Datos(DSW)

Usado para crear, editar y probar artefactos SDMX

Registro SDMXUn repositorio central para almacenar y compartir

artefactos SDMX

Infraestructura de Referencia (SDMX-RI)

Un conjunto de herramientas que permite conectar sus sistemas TI al mundo SDMX

Asistente de MapeoMapeo y transcodificación de los contenidos de una base de datos existente a estructuras de

datos SDMX

Generador XSDGenera un esquema de definición XML estándar

para una DSD SDMX dada

Page 37: A – Introducción

37Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Convertidor SDMX

Convierte desde todos los formatos existentes de la versión 2.0 estándar de SDMX (genérica, compacta, de utilidad y transversal) así como de GESMES (SDMX-EDI 2.0) FLR y formatos CSV.

La interacción con el Convertidor es posible mediante el uso de una Interfaz Gráfica de Usuario (GUI), intefaz de línea de comandos (CLI) y vía su API de programación.

La interfaz de Servicio Web ofrece la posibilidad de exponer las funcionalidades del Convertidor en la Web. Los clientes pueden hacer una llamada al servidor de la aplicación donde el servicio del Convertidor se encuentre desplegado.

Page 38: A – Introducción

38Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Registro SDMX

Registro de metadatos que implementa al registro de especificaciones SDMX

El Registro SDMX tiene como tarea el proporcionar una estructura, organización, y mantenimiento e interfeaces de consulta para la mayoría de componentes SDMX necesarios para el soporte de la visión de los datos a compartir

Proporciona una interfaz de usuario basada en web así como servicios web para interactuar con los objetos de metadatos estructurales SDMX en uso dentro de Eurostat y con socios estadísticos.

El registro sólo se preocupa de proporcionar la información necesaria para acceder a los conjuntos de datos y metadatos de referencia

Una aplicación que quisiera un conjunto de datos o metadatos concreto consultaría entonces al registro acerca de la URL, y entonces iría y obtendría el conjunto de datos o metadatos directamente del servidor web del proveedor.

Page 39: A – Introducción

39Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Asistente de Estructura de Datos DSW

Una aplicación individual de Java que soporta la versión 2 del estándar SDMX.

Puede usarse tanto offline como online, dependiendo de la elección del usuario y sus derechos de acceso.

Permite el mantenimiento de los siguientes artefactos SDMX v2.0: Definiciones de Estructuras Datos, Listas de Códigos, Esquemas de Concepto, Flujos de Datos, Listas de Códigos Jerarquizadas, Esquemas de Categoría y Esquemas de Organización.

Posibilidad de crear dinámicamente una plantilla para una DSD especificada en formato SDMX v2.0.

Proporciona un mecanismo para importar/exportar definiciones DSD SDMX-ML v2.0 y un mecanismo para importar/exportar definiciones DSD desde/a ficheros de estructura GESMES/TS

Page 40: A – Introducción

40Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Infraestructura de Referencia SDMX (SDMX-RI)

Una infraestructura generalizada de servicios que puede reutilizarse parcial o completamente por una organización interesada en empezar proyectos SDMX para el intercambio de datos.

Estos son los modelos más comunes de Infraestructura de Referencia SDMX:

– Parseador de Consultas SDMX

– Recuperador de Datos

– Recuperador de Estructuras

– Generador de Datos SDMX

– Asistente de Mapeo Dos componentes web:

– Cliente Web

– Proveedor de Servicios Web

Page 41: A – Introducción

41Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Asistente de Mapeo

Facilita el mapeo entre los metadatos estructurales proporcionados por una Definición de Estructura de Datos SDMX-ML (DSD) y aquellos que residen en una base de datos de un entorno de difusión.

Mantiene un Almacén de Mapeo para guardar los mapeos entre SDMX y el esquema de almacenaje de datos locales

En la Infraestructura de Referencia SDMX, proporciona información de mapeo para el Recuperador de Datos.

Page 42: A – Introducción

42Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Generador XSD

Produce Definiciones XML de Esquemas (XSD) basadas en una DSD recibida

Produce esquemas XSD para formatos Compactos, Transversales o de Utilidad para el estándar SDMX v2.0, y pueden usarse:– Como un bloque de construcción reutilizable, a través de su API.

– A través de una Interfaz Gráfica de Usuario (GUI) individual

– A través de una Interfaz de Línea de Comandos (CLI)

– A través de una GUI Web

Page 43: A – Introducción

43Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Relaciones entre Herramientas – Ejemplo

DSW

Convertidor

Registro SDMX

SDMX-RIAsistente de

Mapeo

DSD

Base de Datos

Nacional

Fichero CSV

DSD

Conjunto de Datos

SDMX

Mapeo

Produce

Produce usa

Almacena

ProduceProduce

usa usa