OpenDataSicilia

La nostra collaborazione con ARPA Sicilia: una proposta

_‹ Previous Topic Next Topic _›

Classic

List

Threaded

14 messages Options

Andrea Borruso

La nostra collaborazione con ARPA Sicilia: una proposta

Administrator

Ciao a tutti,

questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

La sostanza delle cose, un po' l'ho già accennata. La ribadisco adesso con qualche dettaglio in più. In ordine:

ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualità dell'aria delle 12 stazioni che gestisce direttamente;
pubblica già questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, né in termini di software e hardware;
in questa fase quindi si dovrà pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.

Alcuni dettagli sui dati:

per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il più recente sarà sempre quello del giorno prima;
sono caratterizzati da

un'intestazione ridondante che dovrà essere ridotta a un record;
il separatore è ";";
ogni valore, per ogni campo, è compreso tra ";
il separatore decimale è il ".";
la codifica dovrebbe essere us-ascii, ma è da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" o "nomestazione ggmmaaaa.CSV";
ARPA può decidere se esportare file più o meno ricchi di informazioni.

Qui un esempio di file.

Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.

Ma questa email oltre a essere un proposta di inizio dei lavori, è anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

Dove arriveremo ancora non è definito, ma un primo risultato minimo è:

creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv o meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).

Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:

la descrizione dello schema dati (la descrizione dei campi, l'unità di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perché i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete è dentro github, e questa sezione non è niente di diverso da un forum. Qui le due domande aperte, e un primo task da eseguire. Non è (solo) un sito per tecnici; per partecipare l’unica cosa necessaria è crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
sapere perché e stazioni espongano "inquinanti" diversi?

Mi fermo, perché sono stato troppo lungo.

Buon fine settimana,

Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus

38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,

in mezzo all’inferno, non è inferno,

e farlo durare, e dargli spazio"

Italo Calvino

Nino Galante

Re: La nostra collaborazione con ARPA Sicilia: una proposta

+1
avevo già detto di essere disponibile e lo riconfermo

Nino

Marco Alfano

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

+1

Ero collegato in hangout ma dopo un po' ho lasciato perché non si sentiva niente.
Ma ci sono ;)

Buona serata a tutti,
Marco

---------------- Messaggio originale ----------------
Da : Nino Galante
Data : venerdì 23 ottobre 2015 - 21:27
Oggetto : Re: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

+1
avevo già detto di essere disponibile e lo riconfermo

Nino
--
View this message in context: http://opendatasicilia.65952.x6.nabble.com/La-nostra-collaborazione-con-ARPA-Sicilia-una-proposta-tp1998p1999.html
Sent from the OpenDataSicilia mailing list archive at Nabble.com.
_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

davide.taibi

Re: La nostra collaborazione con ARPA Sicilia: una proposta

> Il giorno 23 ott 2015, alle ore 22:10, Marco Alfano <[hidden email]> ha scritto:
>
> +1
>
> Ero collegato in hangout ma dopo un po' ho lasciato perché non si sentiva niente.
> Ma ci sono ;)
>
> Buona serata a tutti,
> Marco
>
> ---------------- Messaggio originale ----------------
> Da : Nino Galante
> Data : venerdì 23 ottobre 2015 - 21:27
> Oggetto : Re: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta
>
> +1
> avevo già detto di essere disponibile e lo riconfermo
>
> Nino
> --
> View this message in context: http://opendatasicilia.65952.x6.nabble.com/La-nostra-collaborazione-con-ARPA-Sicilia-una-proposta-tp1998p1999.html
> Sent from the OpenDataSicilia mailing list archive at Nabble.com.
> _______________________________________________
> opendatasicilia mailing list
> [hidden email]
> http://groups.dataninja.it/listinfo/opendatasicilia
>
> _______________________________________________
> opendatasicilia mailing list
> [hidden email]
> http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Ciro Spataro

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

+1
il +1 vale anche x darti account google e github (cirospat)

e grazie

Il 23/ott/2015 20:12 "Andrea Borruso" <[hidden email]> ha scritto:

Ciao a tutti,
questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

La sostanza delle cose, un po' l'ho già accennata. La ribadisco adesso con qualche dettaglio in più. In ordine:
ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualità dell'aria delle 12 stazioni che gestisce direttamente;
pubblica già questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, né in termini di software e hardware;
in questa fase quindi si dovrà pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.
Alcuni dettagli sui dati:
per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il più recente sarà sempre quello del giorno prima;
sono caratterizzati da
un'intestazione ridondante che dovrà essere ridotta a un record;
il separatore è ";";
ogni valore, per ogni campo, è compreso tra ";
il separatore decimale è il ".";
la codifica dovrebbe essere us-ascii, ma è da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" o "nomestazione ggmmaaaa.CSV";
ARPA può decidere se esportare file più o meno ricchi di informazioni.
Qui un esempio di file.

Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.
Ma questa email oltre a essere un proposta di inizio dei lavori, è anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

Dove arriveremo ancora non è definito, ma un primo risultato minimo è:
creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv o meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).
Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:
la descrizione dello schema dati (la descrizione dei campi, l'unità di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perché i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete è dentro github, e questa sezione non è niente di diverso da un forum. Qui le due domande aperte, e un primo task da eseguire. Non è (solo) un sito per tecnici; per partecipare l’unica cosa necessaria è crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
sapere perché e stazioni espongano "inquinanti" diversi?

Mi fermo, perché sono stato troppo lungo.

Buon fine settimana,

a

--
Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,
in mezzo all’inferno, non è inferno,
e farlo durare, e dargli spazio"

Italo Calvino

View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Giuseppe La Mensa

Re: La nostra collaborazione con ARPA Sicilia: una proposta

Il giorno 24 ottobre 2015 08:32, ciro spataro <[hidden email]> ha scritto:

+1
il +1 vale anche x darti account google e github (cirospat)

e grazie

Il 23/ott/2015 20:12 "Andrea Borruso" <[hidden email]> ha scritto:
Ciao a tutti,
questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

La sostanza delle cose, un po' l'ho già accennata. La ribadisco adesso con qualche dettaglio in più. In ordine:
ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualità dell'aria delle 12 stazioni che gestisce direttamente;
pubblica già questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, né in termini di software e hardware;
in questa fase quindi si dovrà pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.
Alcuni dettagli sui dati:
per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il più recente sarà sempre quello del giorno prima;
sono caratterizzati da
un'intestazione ridondante che dovrà essere ridotta a un record;
il separatore è ";";
ogni valore, per ogni campo, è compreso tra ";
il separatore decimale è il ".";
la codifica dovrebbe essere us-ascii, ma è da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" o "nomestazione ggmmaaaa.CSV";
ARPA può decidere se esportare file più o meno ricchi di informazioni.
Qui un esempio di file.

Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.
Ma questa email oltre a essere un proposta di inizio dei lavori, è anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

Dove arriveremo ancora non è definito, ma un primo risultato minimo è:
creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv o meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).
Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:
la descrizione dello schema dati (la descrizione dei campi, l'unità di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perché i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete è dentro github, e questa sezione non è niente di diverso da un forum. Qui le due domande aperte, e un primo task da eseguire. Non è (solo) un sito per tecnici; per partecipare l’unica cosa necessaria è crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
sapere perché e stazioni espongano "inquinanti" diversi?

Mi fermo, perché sono stato troppo lungo.

Buon fine settimana,

a

--
Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,
in mezzo all’inferno, non è inferno,
e farlo durare, e dargli spazio"

Italo Calvino

View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Mario Grimaldi

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

nn so se posso esservi di aiuto.

mario

----Messaggio originale----
Da: [hidden email]
Data: 24/10/2015 9.53
A: "ciro spat"<[hidden email]>, "[hidden email]"<[hidden email]>
Ogg: Re: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

+1

G

Il giorno 24 ottobre 2015 08:32, ciro spataro <[hidden email]> ha scritto:
+1
il +1 vale anche x darti account google e github (cirospat)

e grazie

Il 23/ott/2015 20:12 "Andrea Borruso" <[hidden email]> ha scritto:
Ciao a tutti,
questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

La sostanza delle cose, un po' l'ho già accennata. La ribadisco adesso con qualche dettaglio in più. In ordine:
ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualità dell'aria delle 12 stazioni che gestisce direttamente;
pubblica già questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, né in termini di software e hardware;
in questa fase quindi si dovrà pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.
Alcuni dettagli sui dati:
per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il più recente sarà sempre quello del giorno prima;
sono caratterizzati da
un'intestazione ridondante che dovrà essere ridotta a un record;
il separatore è ";";
ogni valore, per ogni campo, è compreso tra ";
il separatore decimale è il ".";
la codifica dovrebbe essere us-ascii, ma è da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" o "nomestazione ggmmaaaa.CSV";
ARPA può decidere se esportare file più o meno ricchi di informazioni.
Qui un esempio di file.

Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.
Ma questa email oltre a essere un proposta di inizio dei lavori, è anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

Dove arriveremo ancora non è definito, ma un primo risultato minimo è:
creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv o meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).
Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:
la descrizione dello schema dati (la descrizione dei campi, l'unità di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perché i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete è dentro github, e questa sezione non è niente di diverso da un forum. Qui le due domande aperte, e un primo task da eseguire. Non è (solo) un sito per tecnici; per partecipare l’unica cosa necessaria è crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
sapere perché e stazioni espongano "inquinanti" diversi?

Mi fermo, perché sono stato troppo lungo.

Buon fine settimana,

a

--
Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,
in mezzo all’inferno, non è inferno,
e farlo durare, e dargli spazio"

Italo Calvino

View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Jesse Marsh

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

+1 naturalmente

penso che possa essere utile nel raccordare il lavoro vostro con quelli dell'ARPA

2015-10-23 20:04 GMT+02:00 Andrea Borruso <[hidden email]>:

Ciao a tutti,
questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

La sostanza delle cose, un po' l'ho già accennata. La ribadisco adesso con qualche dettaglio in più. In ordine:
ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualità dell'aria delle 12 stazioni che gestisce direttamente;
pubblica già questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, né in termini di software e hardware;
in questa fase quindi si dovrà pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.
Alcuni dettagli sui dati:
per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il più recente sarà sempre quello del giorno prima;
sono caratterizzati da
un'intestazione ridondante che dovrà essere ridotta a un record;
il separatore è ";";
ogni valore, per ogni campo, è compreso tra ";
il separatore decimale è il ".";
la codifica dovrebbe essere us-ascii, ma è da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" o "nomestazione ggmmaaaa.CSV";
ARPA può decidere se esportare file più o meno ricchi di informazioni.
Qui un esempio di file.

Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.
Ma questa email oltre a essere un proposta di inizio dei lavori, è anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

Dove arriveremo ancora non è definito, ma un primo risultato minimo è:
creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv o meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).
Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:
la descrizione dello schema dati (la descrizione dei campi, l'unità di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perché i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete è dentro github, e questa sezione non è niente di diverso da un forum. Qui le due domande aperte, e un primo task da eseguire. Non è (solo) un sito per tecnici; per partecipare l’unica cosa necessaria è crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
sapere perché e stazioni espongano "inquinanti" diversi?

Mi fermo, perché sono stato troppo lungo.

Buon fine settimana,

a

--
Andrea Borruso
website: http://blog.spaziogis.it
GEO+ geomatica in Italia http://bit.ly/GEOplus
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
--

"cercare e saper riconoscere chi e cosa,
in mezzo all’inferno, non è inferno,
e farlo durare, e dargli spazio"

Italo Calvino

View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Andrea Borruso

Re: La nostra collaborazione con ARPA Sicilia: una proposta

Administrator

Jesse Marsh wrote

+1 naturalmente
penso che possa essere utile nel raccordare il lavoro vostro con quelli
dell'ARPA

Jesse secondo me non c'è la distinzione tra noi e ARPA, siamo un gruppo che lavora al progetto.
Dico bene?

Jesse Marsh

Re: La nostra collaborazione con ARPA Sicilia: una proposta

Andrea Borruso wrote:

Jesse secondo me non c'è la distinzione tra noi e ARPA, siamo un gruppo che
lavora al progetto.
Dico bene?

Ci stiamo arrivando... :-)

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

GiovanniVacante

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

Grazie Andrea!
Mi metto subito al lavoro per raccogliere le info richieste.

__________________________

Giovanni Vacante

Dirigente resp.le U.O. SG 1.4

Arpa Sicilia

335 7940636

Da: "opendatasicilia" [hidden email]

A: [hidden email]

Cc:

Data: Fri, 23 Oct 2015 11:04:54 -0700 (PDT)

Oggetto: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

> Ciao a tutti,

> questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

> La sostanza delle cose, un po' l'ho giÃ accennata. La ribadisco adesso con qualche dettaglio in piÃ¹. In ordine:

> ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualitÃ dell'aria delle 12 stazioni che gestisce direttamente;
pubblica giÃ questi dati ma vuole farlo meglio;
non ha al momento risorse per fare grossi cambiamenti in termini di procedure, nÃ© in termini di software e hardware;
in questa fase quindi si dovrÃ pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.

> Alcuni dettagli sui dati:

> per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il piÃ¹ recente sarÃ sempre quello del giorno prima;
sono caratterizzati da

un'intestazione ridondante che dovrÃ essere ridotta a un record;
il separatore Ã¨ ";";
ogni valore, per ogni campo, Ã¨ compreso tra ";
il separatore decimale Ã¨ il ".";
la codifica dovrebbe essere us-ascii, ma Ã¨ da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" oÂ "nomestazione ggmmaaaa.CSV";
ARPA puÃ² decidere se esportare file piÃ¹ o meno ricchi di informazioni.

> Qui un esempio di file.

> Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.

> Ma questa email oltre a essere un proposta di inizio dei lavori, Ã¨ anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

> Dove arriveremo ancora non Ã¨ definito, ma un primo risultato minimo Ã¨:

> creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv oÂ meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).

> Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:

> la descrizione dello schema dati (la descrizione dei campi, l'unitÃ di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perchÃ© i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete Ã¨ dentro github, e questa sezione non Ã¨ niente di diverso da un forum. QuiÂ le due domande aperte, e un primo task da eseguire. Non Ã¨ (solo) un sito per tecnici; per partecipare lâunica cosa necessaria Ã¨ crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;
> sapere perchÃ© e stazioni espongano "inquinanti" diversi?

> Mi fermo, perchÃ© sono stato troppo lungo.

> Buon fine settimana,

> a

> --

> Andrea Borruso
> website: http://blog.spaziogis.it
> GEO+ geomatica in ItaliaÂ http://bit.ly/GEOplusÂ

> 38Â° 7' 48" N, 13Â° 21' 9" E, EPSG:4326
> --

> "cercare e saper riconoscere chi e cosa,

> Â in mezzo allâinferno, non Ã¨ inferno,Â

> e farlo durare, e dargli spazio"

> Italo Calvino

> View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
> Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

GiovanniVacante

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

+1
Ovviamente!

__________________________

Giovanni Vacante

Dirigente resp.le U.O. SG 1.4

Arpa Sicilia

335 7940636

Da: "opendatasicilia" [hidden email]

A: [hidden email]

Cc:

Data: Fri, 23 Oct 2015 11:04:54 -0700 (PDT)

Oggetto: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

> Ciao a tutti,

> questa email per proporvi di passare ad una prima fase operativa sul tema in oggetto.

> La sostanza delle cose, un po' l'ho giÃ accennata. La ribadisco adesso con qualche dettaglio in piÃ¹. In ordine:

> ARPA Sicilia vuole pubblicare come primo dataset open, quelli sulla qualitÃ dell'aria delle 12 stazioni che gestisce direttamente;
pubblica giÃ questi dati ma vuole farlo meglio;
in questa fase quindi si dovrÃ pertanto "ottimizzare" l'attuale;
i dati sono in formato CSV e vengono zippati in un unico mega file zip per ogni stazione, che contiene un file CSV per ogni giorno dell'anno.

> Alcuni dettagli sui dati:

> per ogni stazione di campionamento, un file per ogni giorno, con dati orari;
i dati prima di essere pubblicati devono essere validati, e per questa ragione il piÃ¹ recente sarÃ sempre quello del giorno prima;
sono caratterizzati da

un'intestazione ridondante che dovrÃ essere ridotta a un record;
il separatore Ã¨ ";";
ogni valore, per ogni campo, Ã¨ compreso tra ";
il separatore decimale Ã¨ il ".";
la codifica dovrebbe essere us-ascii, ma Ã¨ da verificare;
i nomi dei file hanno questo la struttura "nomestazione_ggmmaaaa.CSV" oÂ "nomestazione ggmmaaaa.CSV";
ARPA puÃ² decidere se esportare file piÃ¹ o meno ricchi di informazioni.

> Qui un esempio di file.

> Nel gruppo di lavoro di partenza Giuseppe La Mensa, Davide Taibi, Jesse, Giovanni Vacante e Giovanni Pirrotta. E penso anche Ciro e Nino.

> Ma questa email oltre a essere un proposta di inizio dei lavori, Ã¨ anche un invito alla partecipazione. Non avete che da mettere il vostro +1.

> Dove arriveremo ancora non Ã¨ definito, ma un primo risultato minimo Ã¨:

> creare una procedura automatica di pulizia e normalizzazione dei CSV;
affiancargli delle metainformazioni, leggibili sia da uomini che da "macchine" (il datapackage potrebbe essere una soluzione semplice ed efficace);
pubblicarli staticamente in una cartella web, ma con una struttura che ne consenta una chiamata intelligente e secondo uno schema di URI definito (ad esempio http://sito.it/aria/nomestazione_ggmmaaaa.csv oÂ meglio ancora http://sito.it/aria/nomestazione/aaaammgg.csv).

> Per potere procedere abbiamo bisogno di alcune informazioni da ARPA:

> la descrizione dello schema dati (la descrizione dei campi, l'unitÃ di misura), da inserire in questo documento condiviso. Per Giovanni, e per chiunque voglia collaborare, datemi il vostro account google drive e vi aggiungo in modifica. Preferisco stavolta, non fare come sempre e lasciare tutto aperto, ma dare i permessi ad personam;
sapere perchÃ© i nomi dei file hanno strutture diverse? Per Giovanni e per tutti: la pagina che vedete Ã¨ dentro github, e questa sezione non Ã¨ niente di diverso da un forum. QuiÂ le due domande aperte, e un primo task da eseguire. Non Ã¨ (solo) un sito per tecnici; per partecipare lâunica cosa necessaria Ã¨ crearsi un account su github. Usandolo vi renderete conto di quanto sia uno strumento eccezionale per lavorare insieme in un progetto;

> Buon fine settimana,

> a

> --

> Andrea Borruso
> website: http://blog.spaziogis.it
> GEO+ geomatica in ItaliaÂ http://bit.ly/GEOplusÂ

> 38Â° 7' 48" N, 13Â° 21' 9" E, EPSG:4326
> --

> "cercare e saper riconoscere chi e cosa,

> Â in mezzo allâinferno, non Ã¨ inferno,Â

> e farlo durare, e dargli spazio"

> Italo Calvino

> View this message in context: La nostra collaborazione con ARPA Sicilia: una proposta
> Sent from the OpenDataSicilia mailing list archive at Nabble.com.

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

GiovanniVacante

Re: La nostra collaborazione con ARPA Sicilia: una proposta

In reply to this post by Andrea Borruso

Ben detto!

__________________________

Giovanni Vacante

Dirigente resp.le U.O. SG 1.4

Arpa Sicilia

335 7940636

Da: "opendatasicilia" [hidden email]

A: [hidden email]

Cc:

Data: Sat, 24 Oct 2015 02:25:23 -0700 (PDT)

Oggetto: Re: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

> Jesse Marsh wrote

> > +1 naturalmente

> > penso che possa essere utile nel raccordare il lavoro vostro con quelli

> > dell'ARPA

> Jesse secondo me non c'è la distinzione tra noi e ARPA, siamo un gruppo che

> lavora al progetto.

> Dico bene?

> --

> View this message in context: http://opendatasicilia.65952.x6.nabble.com/La-nostra-collaborazione-con-ARPA-Sicilia-una-proposta-tp1998p2006.html

> Sent from the OpenDataSicilia mailing list archive at Nabble.com.

> _______________________________________________

> opendatasicilia mailing list

> [hidden email]

> http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

Stefano La Barbera

Re: La nostra collaborazione con ARPA Sicilia: una proposta

scusate il ritardo: +1
nn sono uno specialista di niente, ma se ci sono task semplici da portare a termine ed avete bisogno di bassa manovalanza le mie notti sono a disposizione

Il 26/ott/2015 10:26, "gvacante" <[hidden email]> ha scritto:

Ben detto!

__________________________
Giovanni Vacante
Dirigente resp.le U.O. SG 1.4
Arpa Sicilia
<a href="tel:335%207940636" value="+393357940636" target="_blank">335 7940636

Da: "opendatasicilia" [hidden email]

A: [hidden email]

Cc:

Data: Sat, 24 Oct 2015 02:25:23 -0700 (PDT)

Oggetto: Re: [Open Data Sicilia] La nostra collaborazione con ARPA Sicilia: una proposta

> Jesse Marsh wrote
> > +1 naturalmente
> > penso che possa essere utile nel raccordare il lavoro vostro con quelli
> > dell'ARPA
>
> Jesse secondo me non c'è la distinzione tra noi e ARPA, siamo un gruppo che
> lavora al progetto.
> Dico bene?
>
>
>
>
> --
> View this message in context: http://opendatasicilia.65952.x6.nabble.com/La-nostra-collaborazione-con-ARPA-Sicilia-una-proposta-tp1998p2006.html
> Sent from the OpenDataSicilia mailing list archive at Nabble.com.
> _______________________________________________
> opendatasicilia mailing list
> [hidden email]
> http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia