[opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
14 messages Options
Reply | Threaded
Open this post in threaded view
|

[opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Borruso
Administrator

Il titolo è solo per farvi aprire il messaggio e farvi sorridere, ma la storia è bella.

Intro

Come ricorderete ARPA aveva invitato ufficialmente OpenDataSicilia a collaborare su un’evoluzione delle loro modalità di pubblicazione dei dati. In quell’incontro emerse come ARPA archivi i dati sulle stazioni per il rilievo dell’inquinamento atmosferico in diversi CSV e noi proponemmo di non modificare nulla a queste modalità; avremmo messo in piedi un po’ di scritping che facesse pulizia, riordino e poi esponesse i dati in modo “smart”.

Io, Davide Taibi, Patrick Hausmann e Giovanni Pirrotta ci lavorammo un po’ e arrivammo a dei primi risultati confortanti. Ci mancavano però alcune info sui dati da ARPA e c’era da stabilire con loro come integrare il codice che avevamo scritto con i loro server. Era praticamente a costo zero, di semplice implementazione tecnologica e con un miglioramento netto.
Purtroppo tutto si bloccò, per problemi interni ad ARPA.

La cosa sinceramente mi dispiaceva, perché sono dati importanti. Poi Antonio Conti di ARPA Sicilia a fine gennaio mi scrive tra le altre cose “[…] più sotto, il link al file “MAria_report.xls che già conosci ma nel quale sono state rese “scoperte” le righe e le colonne contenenti tutti i dati giornalieri che risultano visibili nel bollettino […]“.

Questo è il file usato da molto tempo da ARPA per pubblicare i dati sulle stazioni, ma fino a quel momento i dati non erano in chiaro e quindi era (per noi) un po’ inutile. Questa email di Antonio, cambia tutto e decido dopo un po’ di tempo di tornare un po’ a “giocare” con questi dati (vedi vecchio messaggio).

Avvengono tre cose:

  • io creo uno script bash che fa download, pulizia e trasformazione in CSV;
  • Patrick scrive in R una procedura che crea un report automatico a partire da quel CSV;
  • Giovanni Pirrotta alleva le API.

E vi scrivo proprio per palarvi del lavoro di Giovanni.

Le API del bollettino di sintesi dei dati di monitoraggio qualità dell’aria

Giovanni, i dettagli di implementazione ve li racconterà lui, ha creato delle API REST, con cui accedere ai dati del bollettino in modo che sia molto semplice fare cose di questo tipo:

  • creare una mappa che si autoaggiorna, con visualizzati i valori dei dati;
  • realizzare una dashboard, con indicati i giorni “critici”;
  • realizzare un’app per smartphone per leggere i dati;
  • creare un bot che dia informazioni sui dati;
  • crear un accoun twitter che pubblichi i dati tutte le volte che i valori sono superiori a una certa soglia;
  • ricevere un’email ogni mese con dei dati di riepilogo;

Ma andando fuori dai tecnicismi di un API REST: adesso si può accedere a questi dati utilizzando un URL (un “indirizzo web”) speciale, che si può modificare per ottenere i dati di proprio interesse.

Vado con degli esempi:

A me sembra veramente un gran lavoro e ringrazio Giovanni. Cose come queste (a me) cambiano anche l’umore, mi aiutano anche a vedere più lontano.

Criticità e sviluppi

Ci sono almeno un paio di criticità.
La prima è che il server in cui ARPA pubblica questi dati è spesso fuori servizio. Nell’ultimo mese è stato online soltanto per il 62% del tempo.

La seconda è che è necessario che ARPA riprenda il dialogo con noi. Perché se ad esempio decideranno di punto in bianco di modificare lo schema dati del bollettino in XLS, o peggio ancora di non pubblicarlo più, le API di sopra non potranno più funzionare.
Io immagino che il dialogo riprenderà, ma dobbiamo tenere la cosa in considerazione.

Gli sviluppi sono quelli classici, per un’applicazione neonata e non ancora lanciata:

  • c’è da fare test e debug;
  • c’è da documentarla;
  • si potranno proporre migliorie/integrazioni;
  • e ci sarà appunto da lanciarla.

A proposito del lancio: questa mailing list per fortuna è pubblica, ma per il momento non fate girare la cosa (immagino in ogni caso una sezione dedicata al raduno, potrebbe diventare un momento didattico per sviluppatori).

Con Giovanni abbiamo pensato di scrivere qui per le seguenti ragioni:

  • avere un primo feedback;
  • stimolare qualcuno a fare la prima app, sito, mappa, grafico, ecc.;
  • riprendere il dialogo con ARPA.

Mi scuso con Giovanni, nel caso avessi scritto qualche sciocchezza e in chiusura lo ringrazio nuovamente.

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZORouqZHTBRCUt1E1C_dvF%2BWDeBrXYf4ZS4Lye_gtqxGg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Ciro Spataro

L'intera iniziativa e lavoro svolto, di cui hai scritto, Andrea, è a dir poco spettacolare,  di grande valore.

Tuttavia, mi metto nei panni del cittadino"normale" che a malapena sa che il valore limite x la salute umana del PM10 è 50 microgrammi x metro cubo come media dei rilevamenti nelle 24 ore, da legge, e guardando i dati su quei link legge di PM10 con valori di oltre 1000 sulla propria città e gli viene un collasso.

Allora:
È necessario rendere i dati leggibili accompagnandoli da informazioni che fanno comprendere e metabolizzare i dati al cittadino non esperto che conosce forse solo quel valore limite di legge x inquinante per la tutela della salute umana.

Cmq quel valore oltre 1000  rilevato x il PM10 è strano, è assaissimo sopra il valore limiti (20 volte) x tutela della salute umana.
Bisogna capire bene questi dati. Prima di essere pubblicati da ARPA vengono da loro stessi validati (come fa Rap x Palermo)? A volte la strumentazione delle centraline funziona male allora in quel caso, constatato il cattivo funzionamento si annulla il dato e non viene riportato alcun dato x quella centralina x quell'inquinante nel report  giornaliero degli inquinanti da pubblicare online.
Bisogna capire insieme ad ARPA.

Comunque grazie x il lavoro svolto. Notevole!!!!

Il 28/mag/2016 12:00, "andy" <[hidden email]> ha scritto:

Il titolo è solo per farvi aprire il messaggio e farvi sorridere, ma la storia è bella.

Intro

Come ricorderete ARPA aveva invitato ufficialmente OpenDataSicilia a collaborare su un’evoluzione delle loro modalità di pubblicazione dei dati. In quell’incontro emerse come ARPA archivi i dati sulle stazioni per il rilievo dell’inquinamento atmosferico in diversi CSV e noi proponemmo di non modificare nulla a queste modalità; avremmo messo in piedi un po’ di scritping che facesse pulizia, riordino e poi esponesse i dati in modo “smart”.

Io, Davide Taibi, Patrick Hausmann e Giovanni Pirrotta ci lavorammo un po’ e arrivammo a dei primi risultati confortanti. Ci mancavano però alcune info sui dati da ARPA e c’era da stabilire con loro come integrare il codice che avevamo scritto con i loro server. Era praticamente a costo zero, di semplice implementazione tecnologica e con un miglioramento netto.
Purtroppo tutto si bloccò, per problemi interni ad ARPA.

La cosa sinceramente mi dispiaceva, perché sono dati importanti. Poi Antonio Conti di ARPA Sicilia a fine gennaio mi scrive tra le altre cose “[…] più sotto, il link al file “MAria_report.xls che già conosci ma nel quale sono state rese “scoperte” le righe e le colonne contenenti tutti i dati giornalieri che risultano visibili nel bollettino […]“.

Questo è il file usato da molto tempo da ARPA per pubblicare i dati sulle stazioni, ma fino a quel momento i dati non erano in chiaro e quindi era (per noi) un po’ inutile. Questa email di Antonio, cambia tutto e decido dopo un po’ di tempo di tornare un po’ a “giocare” con questi dati (vedi vecchio messaggio).

Avvengono tre cose:

  • io creo uno script bash che fa download, pulizia e trasformazione in CSV;
  • Patrick scrive in R una procedura che crea un report automatico a partire da quel CSV;
  • Giovanni Pirrotta alleva le API.

E vi scrivo proprio per palarvi del lavoro di Giovanni.

Le API del bollettino di sintesi dei dati di monitoraggio qualità dell’aria

Giovanni, i dettagli di implementazione ve li racconterà lui, ha creato delle API REST, con cui accedere ai dati del bollettino in modo che sia molto semplice fare cose di questo tipo:

  • creare una mappa che si autoaggiorna, con visualizzati i valori dei dati;
  • realizzare una dashboard, con indicati i giorni “critici”;
  • realizzare un’app per smartphone per leggere i dati;
  • creare un bot che dia informazioni sui dati;
  • crear un accoun twitter che pubblichi i dati tutte le volte che i valori sono superiori a una certa soglia;
  • ricevere un’email ogni mese con dei dati di riepilogo;

Ma andando fuori dai tecnicismi di un API REST: adesso si può accedere a questi dati utilizzando un URL (un “indirizzo web”) speciale, che si può modificare per ottenere i dati di proprio interesse.

Vado con degli esempi:

A me sembra veramente un gran lavoro e ringrazio Giovanni. Cose come queste (a me) cambiano anche l’umore, mi aiutano anche a vedere più lontano.

Criticità e sviluppi

Ci sono almeno un paio di criticità.
La prima è che il server in cui ARPA pubblica questi dati è spesso fuori servizio. Nell’ultimo mese è stato online soltanto per il 62% del tempo.

La seconda è che è necessario che ARPA riprenda il dialogo con noi. Perché se ad esempio decideranno di punto in bianco di modificare lo schema dati del bollettino in XLS, o peggio ancora di non pubblicarlo più, le API di sopra non potranno più funzionare.
Io immagino che il dialogo riprenderà, ma dobbiamo tenere la cosa in considerazione.

Gli sviluppi sono quelli classici, per un’applicazione neonata e non ancora lanciata:

  • c’è da fare test e debug;
  • c’è da documentarla;
  • si potranno proporre migliorie/integrazioni;
  • e ci sarà appunto da lanciarla.

A proposito del lancio: questa mailing list per fortuna è pubblica, ma per il momento non fate girare la cosa (immagino in ogni caso una sezione dedicata al raduno, potrebbe diventare un momento didattico per sviluppatori).

Con Giovanni abbiamo pensato di scrivere qui per le seguenti ragioni:

  • avere un primo feedback;
  • stimolare qualcuno a fare la prima app, sito, mappa, grafico, ecc.;
  • riprendere il dialogo con ARPA.

Mi scuso con Giovanni, nel caso avessi scritto qualche sciocchezza e in chiusura lo ringrazio nuovamente.

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZORouqZHTBRCUt1E1C_dvF%2BWDeBrXYf4ZS4Lye_gtqxGg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAJyZuP%2Be%3D%2BoSfnQAtbpZpmTuspOSe10w65VF2V%3DqXXk%2Biw428Q%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Borruso
Administrator

2016-05-28 16:35 GMT+02:00 ciro spataro <[hidden email]>:

Tuttavia, mi metto nei panni del cittadino"normale" che a malapena sa che il valore limite x la salute umana del PM10 è 50 microgrammi x metro cubo come media dei rilevamenti nelle 24 ore, da legge, e guardando i dati su quei link legge di PM10 con valori di oltre 1000 sulla propria città e gli viene un collasso.

Hai ragione. In questa fase, il lavoro di Giovanni fa da motore per mille cose. Quando nell'esempio citavo la dashboard, o le mappe, pensavo a una cittadinanza larga. Ma c'è prima da mettere in piedi un motore. E' questa la grande cosa. 

Allora:
È necessario rendere i dati leggibili accompagnandoli da informazioni che fanno comprendere e metabolizzare i dati al cittadino non esperto che conosce forse solo quel valore limite di legge x inquinante per la tutela della salute umana.


I agree. 

Cmq quel valore oltre 1000  rilevato x il PM10 è strano, è assaissimo sopra il valore limiti (20 volte) x tutela della salute umana.
Bisogna capire bene questi dati. Prima di essere pubblicati da ARPA vengono da loro stessi validati (come fa Rap x Palermo)?

Sì, sono validati. 

A volte la strumentazione delle centraline funziona male allora in quel caso, constatato il cattivo funzionamento si annulla il dato e non viene riportato alcun dato x quella centralina x quell'inquinante nel report  giornaliero degli inquinanti da pubblicare online.
Bisogna capire insieme ad ARPA.

Hai ragione e ne parleremo con loro. 

Comunque grazie x il lavoro svolto. Notevole!!!!

Giovanni è bravo :) 




--
 Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326

--

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNj-PQHq0JwMgeKRHo-4i9a-zF1P9cS%2BqiNwaw1qvPDeQ%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Giovanni Pirrotta
In reply to this post by Andrea Borruso
Ciao a tutti
aggiungo solo qualche dettaglio al ricco post di Andrea.

Una mini documentazione delle API Arpa la trovate qui:

I dati sono aggiornati ogni giorno alle ore 6.

Come già evidenziava Andrea la criticità più grande sta nell'accessibilità del report di ARPA per cui, se si vuole andare in produzione, sarà necessario riaprire il dialogo con ARPA.

@cirospataro
Hai ragione, quei picchi sono sospetti. Ciò che indichi tu io lo considero un passo necessario ma successivo. 
In questa fase siamo ancora all'apertura dei dati e al rendere possibile la fruizione e il "riuso" degli stessi in contesti diversi dal quello originario.

Ciao, a presto e a risentirvi
Giovanni

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/951C75DD-4536-471C-B81A-645E12FDC352%40gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Ciro Spataro
si Giovanni
d'accordissimo con la tua strategia
per ora apriamo i dati della PA, poi il resto è in discesa


Il giorno 29 maggio 2016 14:44, Giovanni Pirrotta <[hidden email]> ha scritto:
Ciao a tutti
aggiungo solo qualche dettaglio al ricco post di Andrea.

Una mini documentazione delle API Arpa la trovate qui:

I dati sono aggiornati ogni giorno alle ore 6.

Come già evidenziava Andrea la criticità più grande sta nell'accessibilità del report di ARPA per cui, se si vuole andare in produzione, sarà necessario riaprire il dialogo con ARPA.

@cirospataro
Hai ragione, quei picchi sono sospetti. Ciò che indichi tu io lo considero un passo necessario ma successivo. 
In questa fase siamo ancora all'apertura dei dati e al rendere possibile la fruizione e il "riuso" degli stessi in contesti diversi dal quello originario.

Ciao, a presto e a risentirvi
Giovanni

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/951C75DD-4536-471C-B81A-645E12FDC352%40gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAJyZuP%2BcOdND7XCFuDdXxR%3D0HUN_Z0Pj8aUrkHTHfkQPd58Ytw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Jesse Marsh
In reply to this post by Andrea Borruso
Complimenti sentiti per il lavoro svolto, trovo notevole il contrasto tra la vostra abilità e senso per il bene comune e il marasma in cui versa la pubblica amministrazione, specie in questo caso dove centinaia di milioni di fondi FESR sono stati spesi per dei sistemi trappola che non funzionano, lasciando gli uffici in uno stato in cui non sono nemmeno in grado di garantire la funzionalità dei server. Alcuni valorosi dipendenti cercano di trovare brevi momenti di apertura e di contatto con la realtà ma vengono subito travolti dalle circostanze e risucchiati indietro nelle emergenze quotidiane.
Siamo in grado di capire quali meccanismi sono capaci di allargare il varco? E' forse il caso di diffondere dati anche "che spaventano il cittadino normale"? Il cittadino normale è invece rassicurato dalla situazione attuale della tutela dell'ambiente in Sicilia?
Il vostro è un lavoro lento, paziente, meticoloso e corretto e sappiamo come in Sicilia gridare al lupo finisca per fare l'effetto contrario. Non so esattamente cosa ma leggendo questa storia mi viene la sensazione che forse una strada ci sarà.
ciao

On Sat, 28 May 2016 at 16:40 andy <[hidden email]> wrote:
2016-05-28 16:35 GMT+02:00 ciro spataro <[hidden email]>:

Tuttavia, mi metto nei panni del cittadino"normale" che a malapena sa che il valore limite x la salute umana del PM10 è 50 microgrammi x metro cubo come media dei rilevamenti nelle 24 ore, da legge, e guardando i dati su quei link legge di PM10 con valori di oltre 1000 sulla propria città e gli viene un collasso.

Hai ragione. In questa fase, il lavoro di Giovanni fa da motore per mille cose. Quando nell'esempio citavo la dashboard, o le mappe, pensavo a una cittadinanza larga. Ma c'è prima da mettere in piedi un motore. E' questa la grande cosa. 

Allora:
È necessario rendere i dati leggibili accompagnandoli da informazioni che fanno comprendere e metabolizzare i dati al cittadino non esperto che conosce forse solo quel valore limite di legge x inquinante per la tutela della salute umana.


I agree. 

Cmq quel valore oltre 1000  rilevato x il PM10 è strano, è assaissimo sopra il valore limiti (20 volte) x tutela della salute umana.
Bisogna capire bene questi dati. Prima di essere pubblicati da ARPA vengono da loro stessi validati (come fa Rap x Palermo)?

Sì, sono validati. 

A volte la strumentazione delle centraline funziona male allora in quel caso, constatato il cattivo funzionamento si annulla il dato e non viene riportato alcun dato x quella centralina x quell'inquinante nel report  giornaliero degli inquinanti da pubblicare online.
Bisogna capire insieme ad ARPA.

Hai ragione e ne parleremo con loro. 

Comunque grazie x il lavoro svolto. Notevole!!!!

Giovanni è bravo :) 




--
 Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326

--

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNj-PQHq0JwMgeKRHo-4i9a-zF1P9cS%2BqiNwaw1qvPDeQ%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CADovZ-miWB-fDHOtXBi_w2MdF1Krhom%3D4ndZS6yuc9ayo_Q6AA%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Borruso
Administrator

2016-05-30 9:25 GMT+02:00 Jesse Marsh <[hidden email]>:
Il vostro è un lavoro lento, paziente, meticoloso e corretto e sappiamo come in Sicilia gridare al lupo finisca per fare l'effetto contrario. Non so esattamente cosa ma leggendo questa storia mi viene la sensazione che forse una strada ci sarà.

First of all, thank you!

Anche io da cose come queste (mi ripeto) riesco a vedere una strada. Aggiungo una domanda alle tue: il marasma della PA di cui parli può essere più dannoso del PM10?
Se ne vogliamo discutere, forse è bene in un altro thread.

Saluti

--
 Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326

--

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNRvYHTW-1ikXjVzJ41-a%3DUoLVf-UUiVCNGSUbFNETHcg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Nelson Mauro
Cari tutti, molto figo e complimenti

Siccome però sono sempre scassastrumboli mi chiedo: ma secondo voi una versione applicativa (mappa interriva o similit) non potrebbe essere donata a progetto del qui leggente Giulio Di Chiara per http://mobilita.org/ ?

Abbiamo necessità di fare uscire fuori da questi contesti ristretti tutte queste questioni e farle anche testare, usare, verificarne l'utilità.
Ha senso secondo voi se mobilita.org avesse una pagina tipo /inquinamento in cui si vede tutto questo?

Giulio?
Ods?



Il giorno 30 maggio 2016 09:48, andy <[hidden email]> ha scritto:

2016-05-30 9:25 GMT+02:00 Jesse Marsh <[hidden email]>:
Il vostro è un lavoro lento, paziente, meticoloso e corretto e sappiamo come in Sicilia gridare al lupo finisca per fare l'effetto contrario. Non so esattamente cosa ma leggendo questa storia mi viene la sensazione che forse una strada ci sarà.

First of all, thank you!

Anche io da cose come queste (mi ripeto) riesco a vedere una strada. Aggiungo una domanda alle tue: il marasma della PA di cui parli può essere più dannoso del PM10?
Se ne vogliamo discutere, forse è bene in un altro thread.

Saluti

--
 Andrea Borruso
website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E, EPSG:4326

--

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZNRvYHTW-1ikXjVzJ41-a%3DUoLVf-UUiVCNGSUbFNETHcg%40mail.gmail.com.

Per altre opzioni visita https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFeYQWFe4K%2BnA4oQm6Y6j2Nqcs%3Dth_E%3D1idQNj3djpFJ5w%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Borruso
Administrator

Vogliamo sicuramente passare a varie output operativi e quella di mobilita è una buona.

E ci vuole può iniziare a lavorarci.

Io vorrei provare a chiudere il cerchio con ARPA, per capire se sono interessati, se terranno su il servizio e se ci avviseranno per eventuali modifiche. Altrimenti si rischia di lavorare per qualcosa che potrebbe stare in piedi per pochi giorni.

Notte

______
Scusami per la brevità, ti sto scrivendo dal cellulare.

website: http://blog.spaziogis.it
38° 7' 48" N, 13° 21' 9" E EPSG:4326

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZPDZk54pSCKYDmNJC-EK4xVb4TqJc-GcFeCgWnjqUa3Zg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Giovanni Pirrotta

E ci vuole può iniziare a lavorarci.

Ho inserito un'altra API per il calcolo dell'indice di qualità dell'aria come potete vedere nella home

Sto sperimentando qualche visualizzazione a partire proprio dall'IQA

Utile il confronto incrociato tra diverse stazioni, guardate cosa succede l'11 maggio.

ciao,
Giovanni

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/BF5148EF-E172-4EB3-ACA2-E4091F3EDAE5%40gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Nelson Mauro
@Giovanni: non so quanto tu abbia approfondito la parte metodologia, ma direi che ci hai preso! :)
Da una prima lettura quello del Veneto che utilizzi sembrerebbe essere lo stesso indice che utilizza Arpa Emilia-Romagna (o cmq calcolato a partire dalla stessa tipologia di dati). 

c'è modo di fare convergere questo lavoro su github così contribuiamo anche noi lameri? :) https://github.com/SiciliaHub/arpasicilia_od
o forse lo è già e mi sono perso un pezzo?

Viz & dashboard
  • Vincenzo Patruno (OpenPuglia e Istat) ha fatto qualcosa di simile ma su mappa: ovviamente è questione di scelte. La mappa mostra le differenze territoriali ma perde l'andamento nel tempo, viceversa un chartline mostra l'andamento perdendo un po' la parte geo
  • Quanto al discorso dashboard, segnalo anche quella recentemente rilasciata in opensource da Airbnb (si chiama caravel).
  • Noi dataninja invece stiamo chiudendo un progettino proprio in questi giorni e nei prossimi tempi brevi rilasceremo in opensource una dashboard simile a questa. Volendo si può usare aggratis per questo project









Il giorno 4 giugno 2016 01:36, Giovanni Pirrotta <[hidden email]> ha scritto:

E ci vuole può iniziare a lavorarci.

Ho inserito un'altra API per il calcolo dell'indice di qualità dell'aria come potete vedere nella home

Sto sperimentando qualche visualizzazione a partire proprio dall'IQA

Utile il confronto incrociato tra diverse stazioni, guardate cosa succede l'11 maggio.

ciao,
Giovanni

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/BF5148EF-E172-4EB3-ACA2-E4091F3EDAE5%40gmail.com.

Per altre opzioni visita https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFcBwy0NkhO2aZY1RJ6k_5i4KcAgEzK5O-PJ75QugKg7Ag%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Giovanni Pirrotta

On 04/giu/2016, at 08:35, Andrea Nelson Mauro | Dataninja.it wrote:

@Giovanni: non so quanto tu abbia approfondito la parte metodologia, ma direi che ci hai preso! :)

L'algoritmo per il calcolo dell'IQA l'ho preso da questo link:


c'è modo di fare convergere questo lavoro su github così contribuiamo anche noi lameri? :) https://github.com/SiciliaHub/arpasicilia_od
o forse lo è già e mi sono perso un pezzo?

Il tempo di sistemare e metto su github.

Viz & dashboard
  • Vincenzo Patruno (OpenPuglia e Istat) ha fatto qualcosa di simile ma su mappa: ovviamente è questione di scelte. La mappa mostra le differenze territoriali ma perde l'andamento nel tempo, viceversa un chartline mostra l'andamento perdendo un po' la parte geo
E' stato proprio Vincenzo Patruno a farmi conoscere l'IQA durante il raduno di Open Data Sicilia di Palermo e a innescare in me il desiderio di calcolare l'IQA anche per la raffineria di Milazzo, a pochi chilometri da casa mia.
Ricordi che te ne parlai dopo il raduno? :-)

ciao,
Giovanni

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CA84147A-BFE1-423D-9A63-04F139A5D73A%40gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Andrea Nelson Mauro

Il giorno 4 giugno 2016 09:55, Giovanni Pirrotta <[hidden email]> ha scritto:
Ricordi che te ne parlai dopo il raduno? :-)

Ebbene sì, ma sono rincoglionito e mi sono ricordato soltanto adesso :-)
grazie!


--
Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFfsz27ixjsDS%3DkTaf6hv3z__SnkiMyYRBVVWVHCJPEr6A%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] Uno sciame di API nei server di ARPA Sicilia

Giulio Di Chiara
In reply to this post by Andrea Nelson Mauro
Ciao Nelson,

Il giorno 2 giugno 2016 18:51, Andrea Nelson Mauro | Dataninja.it <[hidden email]> ha scritto:
Abbiamo necessità di fare uscire fuori da questi contesti ristretti tutte queste questioni e farle anche testare, usare, verificarne l'utilità.
Ha senso secondo voi se mobilita.org avesse una pagina tipo /inquinamento in cui si vede tutto questo?

secondo me ha senso se si presenta come una collaborazione con ODS e quindi, sfruttando le due redazioni (PA e CT), potrebbe essere interessante lanciare questa restituzione di Giovanni per ogni città, sempre se ci sono i dati.

Sarebbe un lavoro di voi tecnici, quindi mi limito ad un "mi piacerebbe", perchè fareste quasi tutto voi. 
Quindi rimango alla finestra :)

Giulio Di Chiara
e: [hidden email]
ph: +39 3284775600
w: mobilita.org
twitter: giuliodichiara

--
Questa è la nuova mailing list di OpenDataSicilia. Un archivio della vecchia è disponibile qui http://opendatasicilia.65952.x6.nabble.com/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAE5xbG2-Qo_YhzuWtYB7CDrUGV%2BnFQdV-qjaQZ%2BKVOwbQiVEmg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.