Post on 22-Jan-2018
INICIATIVA BARCELONA OPEN DATA
EL VALOR D’OBRIR LES DADES
Reutilització De Dades Obertes
curs 1.4
Docents: Enric Montia i Marc Torres
OBJECTIU DE LA SESSIÓ D’INTRODUCCIÓ A L’OPEN DATA
● Al final de la sessió sereu capaços de:
1. Reconèixer fonts destacades de Dades Obertes
2. Conèixer els tipus i característiques de les fonts de Dades Obertes,
3. Accedir manual i automàticament a fonts de Dades Obertes,
4. Fer servir eines ofimàtiques per reutilitzar Dades Obertes, i
5. Crear visualitzacions bàsiques de Dades.
Facultar als participants en l’ús i les eines per descobrir, analitzar, reutilitzar i presentar Dades Obertes.
1. FONTS DESTACADES DE
DADES OBERTES
Heu fet servir mai
dades obertes?
Expliqueu les vostres experiències
(i de pas ens coneixem)
Activitat Inicial
Temps: 5 minuts
8 principis de les dades obertes
1. completes (s’han publicat totes les dades)
2. primàries (raw data, sense cuinar)
3. a temps (ASAP, sense caducar)
4. accessibles (per als màxims usuaris i propòsits)
5. processables per una màquina (estructurades)
6. no discriminatòries (accesibles per tothom, sense registre)
7. no propietàries (en formats oberts)
8. sense copyright (restriccions mínimes)
https://public.resource.org/8_principles.html
FONTS DESTACADES DE DADES OBERTES
Havent vist els principis anteriors,
visita:
http://data.worldbank.org/
http://datos.gob.es
http://dadesobertes.gencat.cat/
http://www.idescat.cat/
http://opendata.bcn.cat/opendata/
https://gavaobert.gavaciutat.cat/
...i digues si són bones fonts de dades obertes
Activitat
Activitat individual, temps: 15 minuts
Trieu un dataset i penseu quina
informació en podem treure.
Podríem creuar algun dataset?
quin valor afegit podria tenir?
Activitat
Temps: 10
minuts
2. TIPUS DE FONTS DE DADES
(segons el format)
1. Dades publicades no estructurades. Cal tractar el document. (pdf)
2. Dades publicades en formats estructurats propietaris. (xls)
3. Dades publicades en formats estructurats oberts. (csv)
4. Dades a demanda. Serveis API-REST. Protocols de comunicació client-
servidor a demanda. (formats xml, php ,json)
http://api.idescat.cat/emex/v1/nodes.json?lang=es
http://api.idescat.cat/emex/v1/dades.xml?id=250019&lang=es
5. Dades enllaçades interoperables (WWW) Grafs que inclouen dades i
metadades. Sintaxi XML. Llenguatge SPARQL. Enllaços estables URI.
(rdf) http://dadesobertes.gencat.cat/ca/cercador/detall-cataleg/?id=6690
Tipus de Fonts de Dades
3. Accés manual i automàtic
a fonts de Dades Obertes
1. Baixada d’Informació (URL)
2. Carpeta Downloads/Baixades
3. Bloqueig, pop ups
4. FTP
Útil per a accessos a repositoris d’arxius massius
ftp://ftp.geo.euskadi.net/cartografia/salud/
5. Serveis oberts GUI (semi manuals)
http://serveisoberts.gencat.cat/equipaments/explorer
ACCÉS MANUAL I AUTOMÀTIC A FONTS DE DADES
OBERTES
Accessos manuals
Accessos Automatitzats
1. APIsSón funcions ofertes per una biblioteca informàtica per ser
utilitzades per un altre programa per interaccionar
http://api.oberta.cat/event
2. WEB-SERVICE: Protocol REST (ODATA)
És un tipus d’API que opera normalment sobre HTTP.
Les dades són requerides al servidor mitjançant accions
especificades a les capçaleres HTTP (peticions)
http://api.idescat.cat/indicadors/v1/dades.xml
EXEMPLE REST-API: opendata.rubi.cathttps://opendata.rubi.cat/resource/7nx9-3d4y
https://opendata.rubi.cat/resource/7nx9-3d4y.json?
https://opendata.rubi.cat/resource/7nx9-3d4y.json?$select=nom_comercial
https://opendata.rubi.cat/resource/7nx9-3d4y.xml?
ACCÉS MANUAL I AUTOMÀTIC A FONTS DE DADES
OBERTES
4. Eines ofimátiques (no
programació ) per ús amb dades
obertes
Algunes eines que cal conèixer
Desktop:
1. fulls de càlcul
Libre Office, Open Office, Microsoft Office
2. editors
Notepad++
3. eina per netejar i treballar amb dades
http://openrefine.org/
4. eina per extreure dades de pdfs
http://tabula.technology/
Eines online:
● IMPORT.IO, extracció de dades de webs
(https://magic.import.io)Web: http://opendataforafrica.org/apps/gallery
● Fusiontables, eina online per treballar amb dades d’arxius
(https://fusiontables.google.com/DataSource?dsrcid=implicit)
● OverviewDocs, recerca en texts
(https://www.overviewdocs.com)Dataset; http://datos.gob.es/es/catalogo/e00136201-2998la-defensa-nacional-y-las-fuerzas-
armadas-x
● Vizydrop, una eina online per fer gràfics
(https://vizydrop.com/)Dataset atur: http://www.idescat.cat/economia/inec?tc=5&id=0607&dt=201701
Algunes eines que cal conèixer
Amb tot el que hem vist,
visitem ... (eines, eines, eines)
http://keshif.me/demo/VisTools
Activitat
Activitat individual. Temps: 15 minuts
Fem servir FusionTables
per netejar un Dataset
Activitat
Activitat individual. Temps: 10 minuts
Eina online per treballar amb dades d’arxius
(https://fusiontables.google.com/DataSource?dsrcid=implicit)
5. Visualització bàsica de dades
Activitat finalFem servir Instamaps
per mapificar dades obertes
Instamaps permet accedir, tractar,
estilitzar, posar en línia i compartir treballs
en base a dades obertes.
http://www.instamaps.catActivitat individual.
Temps: 2 hores.
MATERIALS EXTENDED
Origen: http://api.idescat.cat/emex/v1/dades.xml?
Objectiu: llistat dels municipis de la província de Barcelona
OPEN REFINE: una eina per netejar i treballar amb dades
Origen:
http://opendata.portdebarcelona.cat/Memories/Estadistica/Informes/es/PortBcn-
MemoriaEstadistica-2015-castellano.pdf
Objectiu: Full de càlcul amb compte de pèrdues i guanys del port de Barcelona
TABULA: una eina per extreure dades de pdf
Origen: http://aca-
web.gencat.cat/aca/appmanager/aca/aca?_nfpb=true&_pageLabel=P31400135511
285082745917
Objectiu: Taula de dades de l’agenda d’events de l’Agència Catalana de l’Aigua
IMPORT.IO: una eina online per extreure dades pàgines web
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)
Objectiu: Accidents amb atropellament a Barcelona en horari d’escola
FUSION TABLES: una eina online per treballar amb dades d’arxius
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)
Objectiu: Gràfic d’accidents amb atropellament a Barcelona. Dia setmana
RAW: una eina online per treballar amb dades i fer gràfics
Origen: http://opendata.bcn.cat/opendata/ca (ACCIDENTS_TIPUS_GU_BCN_2015)
Objectiu: Gràfic de barres d’accidents amb atropellament a Barcelona per messos de l’any
Vizydrop: una eina online per fer gràfics