C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe

C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

2Eurostat Unit A6 – Statistical cooperationSDMX Seminar

C.3 – Conversión de un mensaje de datos


FORMATOS DE DATOS

Basado en un Modelo de Información común

– SDMX-EDI (GESMES/TS)

• Sintaxis EDIFACT

• Orientado a serie temporal – Un formato para conjunto de datos

– SDMX-ML

• Sintaxis XML

• Cuatro formatos diferentes para Conjuntos de Datos

• Una validación más fácil (basada en XML)


Element Example id TEST0000 test true truncated false name FISH_AQ_TEST prepared 2010-30-01T09:30:47+01:00 senderid ESTAT sendername Eurostat sendercontactname G. Smith sendercontactdepartment Statistics sendercontactrole Response sendercontacttelephone 0210 2222222 sendercontactfax 0210 00010999 sendercontactx400 sendercontacturi www.sdmx.org sendercontactemail [email protected] receiverid NSI_GB receivername CSO receivercontactname P. Mustermann receivercontactdepartment Statistics receivercontactrole Statistician receivercontacttelephone 02101234567 receivercontactfax 02103810999 receivercontactx400 receivercontacturi www.sdmx.org receivercontactemail [email protected] datasetagency ESTAT datasetid FISH_AQX datasetaction Append extracted 2010-30-01T09:30:47+01:00 reportingbegin 2008-01-01T00:00:00 reportingend 2008-12-31T00:00:00 source DH lang en

Encabezados comunes de datos SDMX


Representaciones equivalentes para la presentación de conjuntos de datosRepresentaciones equivalentes para la presentación de conjuntos de datos

Versión 2.0 Versión 2.1

4 mensajes de datos, cada uno con un formato

bien diferenciado.

DatosGenéricos

Datos Transversales Datos Compactos

Datos de Utilidad

Por tanto, ahora hay 4 mensajes de datos basados en

dos formatos generales:

Obsoletos

Mensajes de datos SDMX

• DatosEstructuraEspecíficaDatosSerieTemporalEstructuraEspecífica

• DatosGenéricos DatosSerieTemporalGenéricos


Ejemplo de Mensaje SDMX-ML Genérico


Ejemplo de Mensaje SDMX-ML Compacto


Ejemplo de Mensaje SDMX-ML Transversal


Formatos equivalentesFormatos equivalentes

SDMX-ML Genérico

SDMX-ML Transversal

SDMX-ML Compacto

Puede expandirse a otros formatos (ej: CSV, GESMES)

Puede expandirse a otros formatos (ej: CSV, GESMES)

Basada en el

mismo IM

Basada en el

mismo IM

Excepciones:

Si una DSD Transversal NO contiene una

dimensión de tiempo

Excepciones:

Si una DSD Transversal NO contiene una

dimensión de tiempo

Conversiones SDMX v2.0


Leer el mensaje de entradaLeer el mensaje de entrada

ParseoParseo Poblar el modelo de datos de la

herramienta (basado en el modelo de

información SDMX v2.0)

Poblar el modelo de datos de la

herramienta (basado en el modelo de

información SDMX v2.0)

Escribir el mensaje convertidoEscribir el mensaje convertido

Usa el modelo de datos para escribir el mensaje de salida en el formato objetivo requerido.

Usa el modelo de datos para escribir el mensaje de salida en el formato objetivo requerido.

Información recuperada desde el RegistroInformación recuperada desde el Registro

Se usa una ID de flujo de datos para recuperar la definición de

flujo de datos del Registro.

Se usa una ID de flujo de datos para recuperar la definición de

flujo de datos del Registro.

La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la

DSD

La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la

DSD

Convertidor SDMX


Conversiones posiblesConversiones posibles

CSV

SDMX-ML Compacto

SDMX-ML Genérico

SDMX-ML de Utilidad

SDMX-ML Transversal *

SDMX-EDI (GESMES/TS)

CSV

SDMX-ML Compacto

SDMX-ML Genérico

SDMX-ML de Utilidad

SDMX-ML Transversal *


CSV

SDMX-ML Compacto

SDMX-ML Genérico

SDMX-ML de Utilidad

SDMX-ML Transversal


CSV

SDMX-ML Compacto

SDMX-ML Genérico

SDMX-ML de Utilidad

SDMX-ML Transversal


Uso principal: Conversión CSV SDMX-ML CompactoUso principal: Conversión CSV SDMX-ML Compacto

Funcionalidad principal del Convertidor SDMX

Eurostat Unit A6 – Statistical cooperationSDMX Seminar

Seleccionar el fichero de entrada

Seleccionar el fichero de salida

Seleccionar los formatos de entrada y salida

Seleccionar la DSD en la unidad local

Identificar una DSD a descargar desde el Registro

SDMX

Identificar un flujo de datos vinculado a la DSD a descargar

desde el Registro SDMX

Seleccionar / gestionar encabezados para

formatos de entrada CSV

Seleccionar tablas de mapeo /

transcodificación

Parámetros CSV

Representación GESMES para formatos

de salida GESMES

Cargar / guardar los ajustes actuales

Parámetros XML para formatos de salida

SDMX


C.4 – Definición de Estructura de Metadatos


Ejemplo Práctico


Ejemplo de metadatos de referencia


Definición de Definición de Estructura de Metadatos

Las Tareas

1. Análisis de un conjunto de metadatos completo para identificar y documentar los “Conceptos” para los que se han de presentar o diseminar metadatos.

2. Determinar la estructura del “Informe de Metadatos” en relación a los conceptos usados, la jerarquía de los conceptos cuando se usan en el informe, y su “representación” (ej: ¿se está usando una lista de códigos? ¿es el formato de texto libre?).

3. Especificar el “objeto tipo” con el que se han de asociar los metadatos, y cómo se identifica este tipo de objeto: el conocimiento del Modelo de Información SDMX se muestra útil en este caso (ya que los metadatos sólo pueden asociarse con tipos de objetos que pueden identificarse en relación a los tipos de objetos que existen en el modelo de información).


Definición de Estructura de Metadatos

Un conjunto de metadatos de referencia tiene un conjunto de metadatos estructurales que describe como se organizan. Estos metadatos identifican – qué conceptos de metadatos de referencia se están presentando– cómo se relacionan estos conceptos entre ellos (normalmente como

jerarquías), – cómo se pueden representar (como texto libre, como valores codificados,

etc.)– cuál es la función de su uso (obligatorio o condicional)– con qué tipos de objetos SDMX formales se asocian

Una MSD comprende dos partes fundamentales:– El Tipo de Objeto(s) con los que los metadatos se pueden asociar– Los Conceptos para los que los metadatos se han de presentar

• estos conceptos se agrupan bajo una (o más) Estructura de Informe(s)


Estructura del Informe de Metadatos – Información de Contacto

En este caso, no hay un nombre individual, sólo la organización y la unidad de organización. Además, no existe un número de teléfono o

de fax, sólo una dirección web de contacto. De esta información se puede obtener la siguiente estructura de

informe y conceptos subyacentes.


Estructura del informe de metadatos – Información de contacto

Atributo Concepto Sub Atributo Concepto Formato

Contacto CONTACTO Organización de contacto

CONTACTO_ORG Texto

Unidad de organización de contacto

CONTACTO_ORG_UNIDAD

Texto

Dirección de correo de contacto

CONTACTO_CORREO_DIRECCIÓN

Texto

El uso del concepto, su lugar en la jerarquía, representación, y asociación se definen en la parte relativa al “Atributo de Metadatos” del MSD (denominado Atributo en la tabla).

La definición real del concepto se encuentra en el Esquema de Concepto

Two levels of hierarchy in the report

Dos niveles de jerarquía en el informe


Estructura del informe de metadatos – Metadatos de contenido

Atributo Concepto Sub Atributo Concepto Formato

Presentación estadística

ESTAD_PRES Unidad estadística ESTAD_UNID Texto

Población estadística

ESTAD_POB Texto

Área de referencia REF_AREA Texto

Cobertura de tiempo TIEMPO_COB Texto


Estructura del informe de metadatos– Esquema de Concepto

Los siguientes conceptos se obtienen de las tablas anteriores:

ESTAD_PRES

ESTAD_UNID

ESTAD_POB

REF_AREA

TIEMPO_COB

CONTACTO_ORG

CONTACTO_ORG_UNID


Los conceptos del esquema de concepto pueden definirse en un jerarquía donde exista un vínculo semántico entre los conceptos padre e hijo;

El concepto(s) hijo tendrá un significado semántico más refinado que el del padre.

CONTACTO


Estructura del infome de metadatos – El tipo de objeto de asociación

El conjunto de metadatos que se presenta (esto es, el contenido real de metadatos) tiene el propósito de ser metadatos sobre “algo”.

Ese “algo” es el tipo de objeto y en una MSD es necesario declarar el tipo de objeto y definir cómo se identifica en relación a sus componentes constituyentes.

Por ejemplo, un Código se identificaría mediante una combinación del identificador de Lista de Códigos y el identificador de Código.


Estructura del informe de metadatos – El tipo de objeto de asociación

El tipo de objeto de asociación debe de poder definirse con el uso de tipos de objetos identificables en el Modelo de Información SDMX – el esquema

XML demanda esto y enumera los siguientes tipos de objetos.



El tipo de objeto es la Categoría de Datos (denominada “Categoría” en el Modelo de Información SDMX).

Si el propósito de la MSD es definir dónde se van a asociar los metadatos en el entorno de difusión de Eurostat entonces esto es todo lo que se

requiere.

Categoría de Datos



Si Eurostat desea publicar esto y ponerlo a disposición de otras organizaciones (ej: en forma de fichero descargable) entonces sería necesario también identificar al Proveedor de Datos (que en este caso es Eurostat).

Los tipos de objeto Catergoría y Proveedor de Datos podrían asociarse con un esquema de codificación – sin duda existiría una lista para todas las categorías de datos (esto sería un “Esquema de Categoría”), pero para el Proveedor de Datos esto podría declararse sin enumerar (esto es, texto).


Estructura del informe de metadatos – Resumen

Esquema de Concepto

Es un “Contenedor” de conceptos. En SDMX este es el nivel donde los conceptos se mantienen.

Tiene una agencia de mantenimiento, identidad y versionado de información.

Los conceptos de un esquema de concepto pueden ser jerárquicos.

A menudo se usan conceptos en la presentación de jerarquías y estas jerarquías se construyen en la Estructura de Presentación de la Definición de Estructura de Metadatos.



Esquema de la estructura del esquema de concepto



Estructura de Presentación – Estructura General

definida dentro de la Definición de Estructura de Metadatos



Estructura de Presentación – Informe de Contacto

CONTACTO_ORG

CONTACTO_ORG_UNID


ESTAD_MSD

ESTAD_METADATOS_CSCATEGORÍA_CONTACTO_INFORME

CONTACTO

Contacto

Nombre contacto organización

Unidad contacto organización

Dirección correo contacto



Estructura de Presentación – Informe de Calidad

ESTAD_MSD

ESTAD_METADATOS_CS

CATEGORÍA_CONTENIDO_

INFORME

Presentación Estadística

Unidad estadística

Población estadística

Área de referencia

Cobertura temporal

ESTAD_PRES

ESTAD_UNID

ESTAD_POB

REF_AREA

TIEMPO_COB



Definición del tipo de objeto de asociación

Esquema

define todos los posibles tipos de objetos que están dentro del alcance

de la MSD

hace referencia a un sub-conjunto de Componentes del Identificador

del identificador de Objetivo Completo



Definir del tipo de objeto de asociación

Tipos de Objeto de Asociación

Categoría de Datos

Proveedor de Datos



Definición del Tipo de Objeto de Asociación

Tipos de Objeto de Asociación

ESTAD_MSD

CATEGORÍA

AGENCIA

CATEGORÍAESTAD_CATEGORÍA

_ESQUEMAProveedor de Datos

Categoría

AGENCIA

comprende los tipos de objeto Categoría y ProveedorDatos

hace referencia sólo al Componente de

Identificador vínculado al

Proveedor de Datos



Definición del Tipo de Objeto de Asociación

Hay que tener en cuenta que estos metadatos están asociados en un nivel bastante alto – el nivel de la categoría de dominio del tema – del

proveedor de datos.

Si hay metadatos en un nivel más bajo de granuralidad, por ejemplo en el nivel de la “tabla”, entonces esto también puede especificarse en

una MSD.

Para asociar metadatos a cada una de las tablas, éstas pueden definirse como un “Flujo de datos” y los metadatos se asocian a la provisión de los

datos mediante un proveedor de datos para este flujo de datos.



Vínculo entre las Estructuras de Presentación y los Identificadores de Objetivo relevantes

ESTAD_MSD

CATEGORÍA

AGENCIA

ESTAD_CATEGORÍA_ESQUEMA

CATEGORÍA_CONTENIDO_INFORME

vincula las Estructuras de Presentación a los

Identificadores de Objetivo relevantes



Vínculo entre las Estructuras de Informe y los Identificadores de Objetivo relevantes

El XML que crea este vínculo es el atributo objetivo de la Estructura del Informe


Conjunto de Metadatos: Estructura

Hace referencia a:– Una Definición de Estructura de Metadatos (MSD)– Una Estructura de Informe– Un Identificador de Objetivo

Define:– Los valores reales de los objetos objetivo

Comprende:– Los Atributos Presentados y sus correspondientes Valores– Estos Atributos pueden ser:

• codificado• Texto• fecha/tiempo • número etc.


Conjunto de Metadatos – Esquema General



El Conjunto de Metadatos de Contacto

Los metadatos se presentan en un

Conjunto de Metadatos

Cada informe de metadatos se

presenta en un Conjunto de

Metadatos individual

Pueden existir muchos

conjuntos en un Mensaje SDMX.



CONTACTO_ORG

CONTACTO_ORG_UNID


ESTAD_MSDCATEGORÍA_CONTACTO_INFORME

CONTACTO

Cuentas Nacionales Unidad C2: producción

Eurostat, Oficina Estadística de las Comunidades Europeas

http://epp.eurostat.ec.europa.eu/portal/page/portal/help/user_support

Proveedor de Datos=EUROSTAT

Categoría = Clave_Indicadores.Estructurales_Indicadores


Conjunto de Metadatos – Fichero de Metadatos


Conjunto de Metadatos – Ejemplo ESMS


Presentación de Metadatos


Presentación de Metadatos en SDMX-ML El mecanismo de Metadatos de Referencia soporta actividades de presentación y

difusión a través de tipos de mensajes especificados Mensaje de Estructura

– Proporciona la Definición de Estructura de Metadatos Mensaje de Metadatos Genérico

– Proporciona un formato simple para cualquier definición de estructura de metadatos

– Todos los metadatos de referencia expresables en formato SDMX-ML pueden marcarse de acuerdo a este formato y los contenidos de la Estructura

– Realiza sólo un mínimo de validación– Soporta la creación de herramientas de software genérico y servicios para el

procesamiento de metadatos de referencia Mensaje de Presentación de Metadatos

– Para cada MSD, se crea un esquema XML (específico para esa MSD)– Realiza una validación sobre conjuntos de datos presentados– Menos detallado que el mensaje de metadatos Genérico– Más fácil de usar al relacionarse directamente la marca XML con los conceptos

relacionados


Definición de flujo de metadatos

Muy similar a una definición de flujo de datos; describe, categoriza, y restringe conjuntos de metadatos

Los conjuntos de metadatos se presentan o difunden según la definición de flujo de metadatos.

Identifica una Definición de Estructura de Metadatos Puede asociarse a uno o más dominio de temas (esto facilita la

búsqueda de datos según un esquema organizado de categoría organizado)

Las restricciones pueden asociarse a la definición de flujo de metadatos, en el sentido de informar sobre peridiocidad o un conjunto de posibles claves que se permiten en un conjunto de metadatos.


C.5 – Herramientas de Metadatos de Referencia


C.6 – Infraestructuras SDMX de Referencia


Qué es la Infraestructura SDMX de Referencia

Conjunto de bloques de construcción que permiten a una oficina estadística exponer datos al mundo externo basados en derechos de acceso

Desarrollado en Java y .NET junto a una API bien definida Proporciona datos y metadatos estructurales basados en

mapeos a un almacén de datos de una organización Conforme a las guías del Servicio Web SDMX Paquete de código fuente abierto bajo licencia EUPL Soporte del Census Hub y proyectos de Eurostat similares.


SDMX-RI – Visión General

Cliente Web Asistente de Mapeo

SDMX-RI – Interfaces de Usuario

SDMX-RI – “bajo la cubierta”

Organización proveedora de

datos

Organización recopiladora de

datos

Vínculo Interno

Servicio Web

Datos Locales que no son

SDMX

Datos de formato SDMX


Informe de estado a fecha de junio 2012

Países que han instalado SDMX-RI: Austria, Bélgica, Bulgaria, Chipre, Eslovenia, Finlandia, Francia*, Hungría, Irlanda, Italia, Letonia, España, Lituania, Luxemburgo, Malta, México, Países Bajos, Noruega, Polonia, Portugal, y Suecia.

* Bloques de construcción seleccionados

Han expresado interés o están trabajando en ello:– Dinamarca, Eslovaquia, Estonia, Grecia, Islandia,

Liechtenstein, Suiza, Reino Unido, Rumanía y Rusia


Módulos

Parseador de Consulta SDMX

Recuperador de Datos

Recuperador de Estructuras

Generador de Datos SDMX

Proveedor de Servicio Web

sdmx_modelo

Cliente Web

Asistente de Mapeo

Interfaces de Usuario



Parseador de consultas

Proveedor de servicio web

Recuperador de datos

Recuperador de estructuras

Generador de datos

Modelo de datos SDMXbase de datos de difusión


Visión general del esquema


SDMX-RI – Flujo de Trabajo

Proveedor de Servicio Web

Parseador de Consulta SDMX

Recuperador de Datos

Generador de Datos

SDMX

Cliente de Servicio Web

CONJUNTO DE DATOS SDMX-ML

CONSULTA SDMX-ML


C.7 – Charla Abierta

C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)

Documents

Transcript of C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)