Piccola novità su ARPA Sicilia

[Andrea Borruso]

Vi scrivo per una piccola novità.

Da un po’ di tempo il file opendata scaricabile in questa pagina (c’è il tasto in basso) è cambiato: infatti se scorrete sulla destra, trovate un po’ tutti i dati in formato grezzo.

E’ una sorta di xls che contiene dentro un csv. L’URL è http://88.53.168.210/Bollettino2/MAria_report.xls, ma purtroppo nelle ultime settimane non è quasi mai raggiungibile.
Una copia non aggiornatissima la potete scaricare da qui.

Si presenta più o meno così:

Non è adatto a farci subito delle elaborazioni: ci sono intestazioni da rimuovere, colonne totalmente vuote e/o inutili, nomi di colonna da normalizzare, ecc..

Però è un file che si presta a essere modificato e “ricostruito”. Ho creato uno script in bash che consente di avere come output un file csv che può essere usato per analisi, grafici e mappe.
Questo file csv di output non è ancora la fine del mondo, così come non lo è lo script, ma consente di avere un file pronto per ulteriori elaborazioni.

L’output attuale dello script è questo, mentre lo script è questo.

Il file originario presenta due righe di intestazione:

• una con nome stazione, inquinante e unità di misura (ad esempio “partinico SO2(µg/m3)-2014”);

• una con il tipo di misura in elenco (ad esempio “Max orario”).

  Ho ridotto tutto a una sola intestazione con un nome di questo tipo “partinico_SO2_Max_orario”.
  In questo file trovate il passaggio dalle due intestazioni alla singola.

Lo script

E’ basato su csvkit, agate e sulle classiche meravigliose utility di Linux.

Fa essenzialmente questo:

• estrae soltanto le colonne che possono essere utili;
• rimuove le righe di intestazione;
• inserisce i nomi di colonna normalizzati;
• verifica quali colonne sono vuote;
• rimuove le colonne vuote.

Le stazioni

Non ho verificato, ma dovrebbero essere sempre quelle di questo elenco.

Futuro

Per il momento mi fermo qui, e lascio sopratutto a Patrick, Giovanni e Davide (che hanno lavorato sui primi dati ARPA) la palla. Secondo me ci si può iniziare a giocare.

Un grazie ad Antonio Conti di ARPA che mi ha dato informazioni utili sul file xls (ne è il creatore).

​

[Andrea Borruso]

I lavori in corso continuano.

Per ora senza commenti (scusate) Patrick ha realizzato il primo script che scompone, filtra e riassembla i dati normalizzati: https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md.

A scopo esemplificativo, in fondo, trovate la variazione nel tempo del PM10 medio orario per Enna e Trapani, nel periodo per i quali ci sono dati.

Saluti

[Andrea Nelson Mauro-2]

L'output possibile è quindi qualcosa di simile?

http://www.vincenzopatruno.org/openpuglia/pm10_anno.html

Il giorno 9 marzo 2016 08:59, Andrea Borruso <[hidden email]> ha scritto:

I lavori in corso continuano.

Per ora senza commenti (scusate) Patrick ha realizzato il primo script che
scompone, filtra e riassembla i dati normalizzati:
https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md
<https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md>
.

A scopo esemplificativo, in fondo, trovate la variazione nel tempo del PM10
medio orario per Enna e Trapani, nel periodo per i quali ci sono dati.

Saluti



--
View this message in context: http://opendatasicilia.65952.x6.nabble.com/Piccola-novita-su-ARPA-Sicilia-tp2536p2539.html
Sent from the OpenDataSicilia mailing list archive at Nabble.com.
_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

--

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

[Patrick Hausmann]

Am 09.03.2016 um 09:45 schrieb Andrea Nelson Mauro:
> L'output possibile è quindi qualcosa di simile?
> http://www.vincenzopatruno.org/openpuglia/pm10_anno.html

Sì, con il library('highcharter')
http://jkunst.com/highcharter/hchart.html#time-series
:)

>
> Il giorno 9 marzo 2016 08:59, Andrea Borruso <[hidden email]
> <mailto:[hidden email]>> ha scritto:
>
>     I lavori in corso continuano.
>
>     Per ora senza commenti (scusate) Patrick ha realizzato il primo
>     script che
>     scompone, filtra e riassembla i dati normalizzati:
>     https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md
>     <https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md>
>     .
>
>     A scopo esemplificativo, in fondo, trovate la variazione nel tempo
>     del PM10
>     medio orario per Enna e Trapani, nel periodo per i quali ci sono dati.
>
>     Saluti
>
>
>
>     --
>     View this message in context:
>     http://opendatasicilia.65952.x6.nabble.com/Piccola-novita-su-ARPA-Sicilia-tp2536p2539.html
>     Sent from the OpenDataSicilia mailing list archive at Nabble.com.
>     _______________________________________________
>     opendatasicilia mailing list
>     [hidden email]
>     <mailto:[hidden email]>
>     http://groups.dataninja.it/listinfo/opendatasicilia
>
>
>
>
> --
> Andrea Nelson Mauro - Datajournalist
> http://dataninja.it
> http://twitter.com/nelsonmau
> http://it.linkedin.com/in/nelsonmau
>
>
> _______________________________________________
> opendatasicilia mailing list
> [hidden email]
> http://groups.dataninja.it/listinfo/opendatasicilia
>

--


--
Patrick Hausmann
Chodowieckistr. 13/1
10405 Berlin
büro +49.30.120 764 622
mob. +49.176.208 288 20
_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

[Andrea Borruso]

On Wed, 9 Mar 2016 at 09:46 Andrea Nelson Mauro-2 [via OpenDataSicilia] <[hidden email]> wrote:

L'output possibile è quindi qualcosa di simile?

http://www.vincenzopatruno.org/openpuglia/pm10_anno.html

Terminato il lavoro di normalizzazine dei dati, l'output può essere qualsiasi cosa :) 

[Patrick Hausmann]

Am 09.03.2016 um 09:52 schrieb Patrick Hausmann:
> Am 09.03.2016 um 09:45 schrieb Andrea Nelson Mauro:
>> L'output possibile è quindi qualcosa di simile?
>> http://www.vincenzopatruno.org/openpuglia/pm10_anno.html
>
> Sì, con il library('highcharter')
> http://jkunst.com/highcharter/hchart.html#time-series
> :)

Voilà http://www.covimo.de/arpa/MAria_report.html

>>
>> Il giorno 9 marzo 2016 08:59, Andrea Borruso <[hidden email]
>> <mailto:[hidden email]>> ha scritto:
>>
>>     I lavori in corso continuano.
>>
>>     Per ora senza commenti (scusate) Patrick ha realizzato il primo
>>     script che
>>     scompone, filtra e riassembla i dati normalizzati:
>>
>> https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md
>>
>>
>> <https://github.com/patperu/arpasicilia_od/blob/master/script/MAria_report/MAria_report.md>
>>
>>     .
>>
>>     A scopo esemplificativo, in fondo, trovate la variazione nel tempo
>>     del PM10
>>     medio orario per Enna e Trapani, nel periodo per i quali ci sono
>> dati.
>>
>>     Saluti
>>
>>
>>
>>     --
>>     View this message in context:
>>
>> http://opendatasicilia.65952.x6.nabble.com/Piccola-novita-su-ARPA-Sicilia-tp2536p2539.html
>>
>>     Sent from the OpenDataSicilia mailing list archive at Nabble.com.
>>     _______________________________________________
>>     opendatasicilia mailing list
>>     [hidden email]
>>     <mailto:[hidden email]>
>>     http://groups.dataninja.it/listinfo/opendatasicilia
>>
>>
>>
>>
>> --
>> Andrea Nelson Mauro - Datajournalist
>> http://dataninja.it
>> http://twitter.com/nelsonmau
>> http://it.linkedin.com/in/nelsonmau
>>
>>
>> _______________________________________________
>> opendatasicilia mailing list
>> [hidden email]
>> http://groups.dataninja.it/listinfo/opendatasicilia
>>
>
>

--


--
Patrick Hausmann
Chodowieckistr. 13/1
10405 Berlin
büro +49.30.120 764 622
mob. +49.176.208 288 20
_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

[Andrea Borruso]

Patrick Hausmann wrote

Voilà http://www.covimo.de/arpa/MAria_report.html

Manca solo il valore di soglia https://github.com/SiciliaHub/arpasicilia_od/issues/10

Grazie :)

[Andrea Nelson Mauro]

Gran bel lavoro! Fra l'altro è una vita che tento di usare highcharts ma non ho l'opportunità di farlo!

_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia

[Patrick Hausmann]

Ciao Andrea,
grazie! Ma anche 'Vegalite' è molto bello (https://vega.github.io/vega-lite/). Naturalmente c'è un r-package https://github.com/hrbrmstr/vegalite. :)
Ho aggiornato la pagina http://www.covimo.de/arpa/MAria_report.html

Ciao
Patrick

Am 10. März 2016 20:37:52 MEZ, schrieb "Andrea Nelson Mauro | Dataninja.it" <[hidden email]>:

>Gran bel lavoro! Fra l'altro è una vita che tento di usare highcharts
>ma
>non ho l'opportunità di farlo!
>
>
>------------------------------------------------------------------------
>
>_______________________________________________
>opendatasicilia mailing list
>[hidden email]
>http://groups.dataninja.it/listinfo/opendatasicilia

--
Patrick Hausmann
Chodowieckistr. 13/1
10405 Berlin
büro +49.30.120 764 622
mob. +49.176.208 288 20
_______________________________________________
opendatasicilia mailing list
[hidden email]
http://groups.dataninja.it/listinfo/opendatasicilia