Datos Abiertos. Capacitación Técnica

Open Government Data

Programa de Democracia y Gobernabilidad

Dr. Juan Pane

14/03/2014 Programa de Democracia y Gobernabilidad.

USAID-CEAMSO. 1

Índice

• Introducción a Open Data – Qué es? – Porqué es útil? – Ejemplos de uso. – Ciclo de Vida de Datos Abiertos

• Aspectos Legales – Leyes en Paraguay – Licencias

• Aspectos Técnicos – Arquitectura – Interoperabilidad – URIs HTTP – Microdata, RDFa

14/03/2014

Programa de Democracia y Gobernabilidad. USAID-CEAMSO.

2

INTROCUCCIÓN A OPEN DATA

Qué es?

Porqué es útil?

Ejemplos de uso.

Ciclo de Vida de Datos Abiertos


USAID-CEAMSO. 3

Gobierno Abierto


USAID-CEAMSO. 4

Rendición

de cuentas

Participación

Colaboración

Transparencia Prevenir - Detectar • Corrupción • Ineficiencias • Nuevas Oportunidades

• Datos Abiertos • Leyes

• Empoderamiento ciudadano

• Retroalimentación • Foros

• Auditorías • Defensorías del pueblo

• Responsabilizar

Para: Mediante:

Tecn

olo

gía

Inn

ova

ció

n

Gobierno abierto


USAID-CEAMSO. 5

Transparecia

Participación Colaboración

Rendición de cuentas

Qué es?

“son datos que pueden ser libremente usados, re-usados y redistribuidos por cualquiera, sujeto

solamente, a lo sumo, a requisitos de atribución y redistribución con la misma licencia”

*(Source: )

14/03/2014


6


USAID-CEAMSO. 7

¿Porqué Datos Abiertos?

• Transparencia, Participación, rendición de cuentas

• Innovación

• Motor económico: – USA: U$D ~400M

– Dinamarca: U$D ~3.300M

– Australia: U$D ~ 13.000M

– UK, UE, Viena, Londres, …

• Nuevos conocimientos al combinar datos

• Mejores servicios

• Transferencia de costos (outsoursing)

Open Government Data


USAID-CEAMSO. 8

El valor real esta en el uso


USAID-CEAMSO. 9


USAID-CEAMSO. 10

Nuevas visualizaciones


USAID-CEAMSO. 11

http://wheredoesmymoneygo.org/

http://isdatabank.info/boost_paraguay/





Nuevas visualizaciones


USAID-CEAMSO. 12

http://openspending.org

http://openspending.org/

http://openspending.org/

Estándar: Datos a 5 Estrellas (Tim Berners-Lee)


USAID-CEAMSO. 13

http://5stardata.info/

http://5stardata.info/

Principio: Compromiso a 5 Estrellas (Tim Davies)

Determinado por la demanda

Proveer contexto

Soporte participación

Crear capacidad y habilidades

Colaborar con la comunidad


USAID-CEAMSO. 14


USAID-CEAMSO. 15

Crear comunidad


USAID-CEAMSO. 16

Ciclo de vida de los datos abiertos

1. Identificar

datos 2.

Establecer contacto

3. Elegir

dataset

4. Apertura

Legal 5.

Apertura técnica

6. Catalogar

7. Usar

8. Feedback

Esquema ideal para Datos Abiertos Gubernamentales


USAID-CEAMSO. 17

Asp

ecto

s Le

gale

s

Asp

ecto

s O

rgan

izac

ion

ales

Co

mu

nid

ad d

e O

pen

Dat

a

Serv

icio

s y

Ap

licac

ion

es

Catálogo

Portal de Datos Abiertos

…

Origenes de Datos

MH MEC MSPBS DNCP SFP Etc… …

Plataforma Tecnológica

Inte

grac

ión

de

Sist

emas

MARCO LEGAL

Leyes en Paraguay

Licencias


USAID-CEAMSO. 18

Marco Legal

• CN. Art. 28: Derecho a informarse. “Las fuentes públicas de información son libres para todos”.

• Ley 01/80: Convención Americana sobre DDHH. Ratifica el pacto de San José de Costa Rica. Art. 13: – “… libertad de buscar, recibir y difundir informaciones

e idea de todo índole … por cualquier procedimiento de su elección”

– “a) el respeto a lo de derechos o a la reputación de los demás, o b) la protección de la seguridad nacional, el orden público o la salud moral públicas …”


USAID-CEAMSO. 19

Ley 05/02 aprueba la adhesión al “Pacto Internacional de Derechos Civiles y Políticos”

Ejemplo de apertura de datos

• Fallo de la Corte 1306 del 15/oct/2013 “las fuentes públicas de información son esos tres podes que ejercen el gobierno del pueblo, más precisamente, los documentos que están en su poder y las personas que lo ejercen”.


USAID-CEAMSO. 20

Ley 1969/2002 Reglamenta la información de carácter privado

• Art.4: Se prohíbe … difundir datos sensibles de personas que sean explícitamente individualizadas o indivializables. Se consideran datos sensibles los referentes a pertenencias raciales o étnicas, preferencias políticas, estado individual de salud, convicciones religiosas, filosóficas o morales, intimidad sexual y, en general, los que fomenten prejuicios y discriminadores, o afecten la dignidad, la privacidad, la intimidad doméstica y la imagen privada de personas o familias.

• Art.5: Los datos de personas físicas o jurídicas que revelen, describan o estimen su situación patrimonial, su solvencia económica o el cumplimiento de sus obligaciones comerciales y financieras, podrán ser publicados o difundidos solamente: – Con autorización expresa – Cuando las instituciones estatales deban publicar en cumplimiento de otras leyes – Cuando consten en las fuentes públicas de información.

• Art.6: Podrán ser publicados o difundidos: – Los datos que consistan únicamente en nombre y apellido, documentos de identidad, domicilio, edad,

fecha y lugar de nacimiento, estado civil, ocupación o profesión, lugar de trabajo y teléfono ocupacional;

– Cuando se trate de datos solicitados por el propio afectado; y, – Cuando la información sea recabada en el ejercicio de sus funciones, por magistrados judiciales,

fiscales, comisiones parlamentarias o por otras autoridades legalmente facultadas para ese efecto.


USAID-CEAMSO. 21

Licencias


USAID-CEAMSO. 22

Resolución modelo de selección de Licencia

• Considerando:

– Texto dependiente de la institución

• Marco legal que habilita a la institución publica datos

• Marco legal que le permite definir que licencia usar

– Texto ejemplo

• Resuelve:

– Texto dependiente de la institución

– Texto ejemplo


USAID-CEAMSO. 23

ASPECTOS TÉCNICOS

Arquitectura

Interoperabilidad

URIs HTTP

Microdata, RDFa


USAID-CEAMSO. 24

Arquitectura


USAID-CEAMSO. 25

Open Data Portal (CMS)

Catálogo Central

C-API

Índices

Orígenes de datos

MSPBS DNCP MH MEC

Servicios Aplicaciones

Alternativas de apertura de datos


USAID-CEAMSO. 26

OLAP O-Data

Files

ETL Proceso

Portal

OLTP

Catálogo

C-API

Portal

OLTP Portal

OLTP

Portal

Metadatos

D-API

Proceso

Licencia

O-Data Files

Portal

OLTP

Catálogo Portal

Metadatos

D-API C-API

ETL

Licencia

OLAP

Metadatos

Licencia

Proceso

D-API

Metadatos

Licencia

Proceso

D-API

Catálogo Central

C-API

Harvesting

a) b) c) d)

Datos para quién? Audiencia:

• Personas: Las personas deben entender y poder consumir la información presentada. – Paginas HTML.

• Máquinas: La información debe poder ser procesada de la

manera más automáticamente posible por otros programas: – Sintaxis: Estructura conocida (HTML, JSON, CSV, XML ) – Semántica: Se entiende el contenido:

• HTML: Microdata, Microformats • JSON: JSON-LD • RDF (clases, propiedades, restricciones) • CVS: Acompañado de metadatos • XML + DTD


USAID-CEAMSO. 27

Interoparabilidad

• Sintáctica: se puede parsear. Sintaxis bien definida – Humanos: HTML, Excel

– Máquinas: Microformats, Microdata, JSON, JSON-LD, CSV

• Semántica: se puede entender, agregar datos. – Esquemas: Cuáles son y qué significa cada columna,

cuáles son las unidades de medida. • Precio vs costo vs tarifa vs …??

– Datos (vocabularios): Qué significa cada valor?. • S6??

14/03/2014


28

Ambigüedad


USAID-CEAMSO. 29

• Variación de la forma base:

– Estatura vs. estaturas

• Homografos:

– Banco (silla) vs. banco (río) vs. …

• Sinonimos:

– Estatura vs. altura vs. …

• Variación de especificidad:

– perro vs. labrador

– Persona vs. paciente vs. contributente..

URI

• Único globalmente

• Un URI nunca representa mas de una entidad/concepto.

• Pero, pueden haber varias URIs que identifican a la misma entidad/concepto


USAID-CEAMSO. 30

E1

name Juan Pane

nationality italiano

lives in Trento

affiliation Univ. Trento

E2

name Ignacio P. F.

born in Paraguay

date of birth 1980

affiliation PF-UNA

Esquema de URIs HTTP


USAID-CEAMSO. 31

Entidades

{base_url}/id/{type}/{id} http://education.data.gov.uk/id/school/520965

{base_url}/doc/{type}/{id} http://education.data.gov.uk/doc/school/520965

Redirección HTTP 303

{base_url}/id/{type} http://education.data.gov.uk/id/school

{base_url}/doc/{type} http://education.data.gov.uk/doc/school

JSON

…

{base_url}/data/{dataset}/{version} http://data.bis.gov.uk/data/organogram/2010-06-30

{base_url}/data/{dataset}/{version}/{subset} http://data.bis.gov.uk/data/organogram/2010-06-30/provenance

Datasets

Documentos

…

JSON

http://education.data.gov.uk/id/school/520965

http://education.data.gov.uk/doc/school/520965


http://education.data.gov.uk/id/school

http://education.data.gov.uk/id/school



http://data.bis.gov.uk/data/organogram/2010-06-30






http://data.bis.gov.uk/data/organogram/2010-06-30/provenance







USAID-CEAMSO. 32

Metadatos

Data Catalog

Dataset Metadata

access URL

Resource Metadata

• license • rights • format • Type • byteSize …

…

• title • description • issued • modifier • identifier • keyword • language • contactPoint • temporal …

access URL

Resource Metadata


Dataset Metadata

access URL

Resource Metadata

• license • rights • format • Type • byteSize • …

…

• title • description • issued • modifier • identifier • keyword • language • contactPoint • temporal …

access URL

Resource Metadata


…

• Title • Description • Issued • …

DatasetURI

Distribution • title • description • issued • modified • license • rights • acccessURL • format • mediaTpe …

Dataset • title • description • issued • modifier • identifier • keyword • language • contactPoint • temporal …

Data Metadata

Datos y metadatos proveídos por los orígenes de datos

HTML

CSV

JSON

Reusable: Capturar la semántica

• En la Web la información esta mayormente disponible en HTML, que es una forma de presentar la información a los humanos.

• Como se puede capturar la semántica de las páginas web, para que sea también interpretada por las máquinas?


USAID-CEAMSO. 33

Persona vs. Máquina: Ejemplo


USAID-CEAMSO. 34

Tablas

Texto

Contenido según el consumidor de la información

<div> <img src=“https://www.contrataciones.gov.py/images/logos/logo-dncp.jpg” />

<p>

E.E.U.U. c/ Tte. Fariña- Asunción, Paragua – Tel. y Fax 415 – 4000 – [email protected].

Atención: Lunes a Jueves 07:15 -13:30 y 14:00 -16:00. Viernes 08:00 – 13:00

</p> </div>


USAID-CEAMSO. 35

<div> <img src=“https://www.contrataciones.gov.py/images/logos/logo-dncp.jpg” /> <p> E.E.U.U. c/ Tte. Fariña- Asunción, Paragua – Tel. y Fax 415 – 4000 – [email protected]. Atención: Lunes a Jueves 07:15 -13:30 y 14:00 -16:00. Viernes 08:00 – 13:00 </p> </div>

Texto

Esquemas Interoperables

• Ontologías: Una ontología es una especificación o un vocabulario que define un dominio del conocimiento, incluyendo las clases, relaciones, funciones y otros objectos, es una representación formal de una conceptualización compartida.

• Schema.org: Bing, Microsoft, Google, Yandex crean un esquema de datos de la información que desean indexar.


USAID-CEAMSO. 36


<div> <img src=“https://www.contrataciones.gov.py/images/logos/logo-dncp.jpg” />

<p>

E.E.U.U. c/ Tte. Fariña- Asunción, Paragua – Tel. y Fax 415 – 4000 – [email protected].

Atención: Lunes a Jueves 07:15 -13:30 y 14:00 -16:00. Viernes 08:00 – 13:00

</p> </div>


USAID-CEAMSO. 37

<div vocab="http://schema.org/" typeof="GovernmentOrganization" resource=”#DNCP”> <img property= "logo" src=“https://www.contrataciones.gov.py/images/logos/logo-dncp.jpg” /> <p> <span property="address"> E.E.U.U. c/ Tte. Fariña- Asunción, Paragua </span> – Tel. y Fax <span property="telephone"> 415 – 4000 </span> – <span property="email"> [email protected] </span>. Atención: Lunes a Jueves 07:15 -13:30 y 14:00 -16:00. Viernes 08:00 – 13:00 </p> </div>

Parseadores existentes


USAID-CEAMSO. 38

http://www.google.com/webmasters/tools/richsnippets



Parseadores existentes (cont.)


USAID-CEAMSO. 39

http://rdfa.info/play/

http://rdfa.info/play/


• Agregar microdata o RDFa lite • Mostrar datos según se requiera, función javascript:

urlBase?format=cvs|xml|rdf|json-ld • Metadatos embebidos

– De los datos – Del dataset


USAID-CEAMSO. 40

Tablas

Resultados más inteligentes


USAID-CEAMSO. 41

Que tánto podemos hacer con Open Data?


USAID-CEAMSO. 42

Presupuesto general de la Nación


USAID-CEAMSO. 43

X13 X48

Presupuesto Boost


USAID-CEAMSO. 44

Variable Descripción

Tipo presupuesto

Principal tipo de clasificación en el presupuesto del Paraguay. Hay

cuatro tipos de programas principales: de administración, acción,

inversión y servicio de la deuda.

admin1 (Nivel)Nivel 1: Nivel de gasto público (por ejemplo, Poder Judicial, Gobiernos

Departamentales, Universidades Nacionales)

admin2 (Entidad) Nivel 2: Ministerio, Organo de gobierno subnacional u otra entidad

admin3 (Unidad

Responsable)Nivel 3: Vice-ministerio o sub-entidad equivalente

Programa Programa

Sub-programa Sub-programa

Finalidad Nivel 1: Clasificación de nivel superior

Función Nivel 2: Clasificación de nivel medio

Sub-función Nivel 2: Clasificación de nivel bajo

Econ1 Nivel 1: Clasificación de nivel superior

Econ2 Nivel 2: Clasificación de nivel medio

Econ3 Nivel 2: Clasificación de nivel bajo

Grupo Nivel 1: Clasificación de nivel superior

Sub-grupo Nivel 2: Clasificación de nivel medio

Objeto Gasto Nivel 2: Clasificación de nivel bajo

Fuente de financiamiento Nivel 1: Clasificación de nivel superior

Origen de financiamiento Nivel 2: Clasificación de nivel bajo

Departamento Departamento de Paraguay

Transferencia

Consolidable

Variable utilizada como filtro para identificar las transferencias

consolidables dentro del gobierno

Tipo de Transferencia

ConsolidableVariable que identifica el tipo de transferencia consolidable

Entidad Madre

(transferencia)

Variable que identifica la entidad madre, es decir la entidad de la que

procede la transferencia

Entidad Hija/Receptora

(transferencia)

Variable que identifica la entidad hija es decir la entidad receptora de

la transferencia

Año Año fiscal

Proyecto Proyecto

admin2 Reciente (Entidad) Variable que actualiza la entidad a su equivalente en 2012

Presupuesto inicial Presupuesto inicial (guaraníes)

Presupuesto vigentePresupuesto vigente = Presupuesto inicial + Modificaciones

(guaraníes)

ObligadoGasto obligado

1 (guaraníes), en la práctica se considera como el

gasto ejecutado

Pagado Gasto pagado 2 (guaraníes)

Variables creadas

Variables de clasificación por objeto del gasto

Variables de clasificación por origen de financiamiento u organismo financiador

Otras variables

Variables de clasificación por departamentos

Montos de presupuesto

1 El Artículo 24 de la Ley Nº 4848 de 2013 define la obligación de la siguiente manera: "La

obligación es un vínculo jurídico financiero entre un Organismo o Entidad del Estado (OEE) y una

persona física o jurídica. En materia de provisión de bienes, obras y servicios, la obligación se

consolida con la entrega efectiva a satisfacción del bien o servicio debidamente documentado.2 El Artículo 22 de la Ley Nº 1535 de 1999 define el gasto pagado de la siguiente manera: "Pago:

Cumplimiento parcial o total de las obligaciones.

Lista de variables

Variables de clasificación administrativa y programática

Variables de clasificación funcional

Variables de clasificación económica

Presentación fácilmente entendible


USAID-CEAMSO. 45




Muchas gracias!

Preguntas?

Dr. Juan Pane [email protected]


USAID-CEAMSO. 46

Créditos de las imágenes: Maurizio Napolitano: http://www.youtube.com/watch?v=YlkjrVAW43Q

http://tigosms.net/Sms-Tigo-Paraguay.png

http://www.marketscape.com/wp-content/uploads/2013/05/lego.jpg

http://2.bp.blogspot.com/_i2j6iMAVrqc/S8vOtsBeC7I/AAAAAAAAAng/RxI_4gVRKOg/s1600/TallestLEGOTower.jpg

http://cdn3.dogomedia.com/pictures/2036/content/legotower2.jpg?1285696406

http://www.geeknaut.com/images/2011/10/weather-icon.jpg

http://a5.mzstatic.com/us/r30/Purple/v4/78/14/18/7814183e-b625-7d5f-018f-65c2206a52b4/icon_256.png

http://a1.mzstatic.com/eu/r30/Purple6/v4/db/53/ac/db53ac53-dc56-2753-cfad-57fa00acb69b/icon_256.png

http://dailyappshow.s3.amazonaws.com/wp-content/uploads/2013/09/icon.512x512-758.png

http://www.motormum.com/images/Sat-Nav-Apps/GPS-Navigation-2-Skobbler-Icon.jpg

http://msnbcmedia.msn.com/j/MSNBC/Components/Photo/_new/pb-121007-spain-tarragona-pyramid-nj-02.photoblog900.jpg

Datos Abiertos. Capacitación Técnica

Technology

Transcript of Datos Abiertos. Capacitación Técnica