[opendatasicilia] realizzare un dataset con i dati di OpenCup

[pablo persico]

Buongiorno a tutti,

Hangout di oggi alle 17:00 permettendo...

partendo dallo script di Andrea Borruso Qui, si riesce ad estrarre i dati dal Portale OpenCup in formato Csv, attraverso la partita IVA dell'Ente. 

il Csv è "ricco" di colonne e per l'uso che vorrei farne (dataset sul portale Open data) avrei, quindi la necessità di: 

1) eliminare dal file una serie di colonne (es. "CODICE_STATO", "STATO" etc)

2) ordinarli in ordine crescente per "ANNO_DECISIONE" (ordine crescente) e "STATO_PROGETTO" (attivo) 

3) realizzare del file anche la versione Json.

Grazie

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/bcfa9d1a-77cb-4670-b88e-b2c31a83cc35%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[Andrea Borruso]

Ciao Pablo,

On Fri, 4 May 2018 at 12:54, pablopers pablopersico78@... wrote:

partendo dallo script di Andrea Borruso Qui, si riesce ad estrarre i dati dal Portale OpenCup in formato Csv, attraverso la partita IVA dell'Ente. 

il Csv è "ricco" di colonne e per l'uso che vorrei farne (dataset sul portale Open data) avrei, quindi la necessità di: 

1) eliminare dal file una serie di colonne (es. "CODICE_STATO", "STATO" etc)

2) ordinarli in ordine crescente per "ANNO_DECISIONE" (ordine crescente) e "STATO_PROGETTO" (attivo) 

tra i modi per farlo c’è quello di fare una query SQL sul file CSV di output, tramite csvsql di csvkit:

 csvsql --query 'select "CUP","ANNO_DECISIONE","STATO_PROGETTO" from  "80016350821" order by "ANNO_DECISIONE","STATO_PROGETTO"'  80016350821.csv >./output.csv

Nell’esempio di sopra scelgo le colonne che voglio in output, e poi ordino per “ANNO_DECISIONE” e “STATO_PROGETTO”‘

CUP,ANNO_DECISIONE,STATO_PROGETTO
D77H83000000004,1983,ATTIVO
D77B86000000004,1986,ATTIVO
D93J87000000001,1987,ATTIVO
D74D88000000001,1988,ATTIVO
D72C90000000001,1990,ATTIVO

3) realizzare del file anche la versione Json.

Sempre in csvkit c’è csvjson:

 <output.csv csvjson | jq . >./output.json     

Facci sapere

​

--

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZOkUuaHy0x3Oyz0czChiCF0G4zn8nrX7-gm%2B%3D0N6pUN5w%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[pablo persico]

Buona domenica a tutti, 

scusa il tempo impiegato per le prove, ma a lavoro è un momento "magico" in cui tutti sembrano essersi svegliati e corrono ai ripari chiedendo supporto per i loro progetti di produttività.

Tutto perfetto Andrea come sempre! lo script funziona, naturalmente ho aggiunto tutti i campi di mio interesse e sostituito path e nomi file a secondo delle mie esigenze. 

ho notato però che l'order mi piazza in testa dei progetti relativi al 1988 per cui penso di dover cambiare l'ordine in discendente per l'anno lasciando inalterato quello dello stato (in ordine ascendente, quindi prima quelli in stato Attivo).

detto questo da domani posso approntare il dataset con il cron come già fatto per il dataset di spesa pubblica e procedere a relazionare il tutto a beneficio della chiarezza. 

mi solletica in questi giorni l'idea di una infografica mobile first che mi dia subito dei dati che i dirigenti e i politici possano mostrare subito, ho dato un'occhiata in giro e ho trovato qualcosa che forse potrebbe aiutarmi ma dal lato sperimentazioni sono ancora in alto mare. 

Grazie e ci aggiorniamo!

Il giorno venerdì 4 maggio 2018 13:17:26 UTC+2, Andrea Borruso ha scritto:

Ciao Pablo,

On Fri, 4 May 2018 at 12:54, pablopers <a href="http://mailto:[e-mail]" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://mailto:[e-mail]&#39;;return true;" onclick="this.href=&#39;http://mailto:[e-mail]&#39;;return true;">pablopersico78@... wrote:

partendo dallo script di Andrea Borruso <a href="https://gist.github.com/aborruso/b60dab0f25a34c5a489955d0136d4fcf" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fgist.github.com%2Faborruso%2Fb60dab0f25a34c5a489955d0136d4fcf\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFhAZ68XnyUEa-PW_pNb7HcHHlMyg&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fgist.github.com%2Faborruso%2Fb60dab0f25a34c5a489955d0136d4fcf\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFhAZ68XnyUEa-PW_pNb7HcHHlMyg&#39;;return true;">Qui, si riesce ad estrarre i dati dal Portale OpenCup in formato Csv, attraverso la partita IVA dell'Ente. 

il Csv è "ricco" di colonne e per l'uso che vorrei farne (dataset sul portale Open data) avrei, quindi la necessità di: 

1) eliminare dal file una serie di colonne (es. "CODICE_STATO", "STATO" etc)

2) ordinarli in ordine crescente per "ANNO_DECISIONE" (ordine crescente) e "STATO_PROGETTO" (attivo) 

tra i modi per farlo c’è quello di fare una query SQL sul file CSV di output, tramite csvsql di <a href="https://csvkit.readthedocs.io/en/1.0.3/" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fcsvkit.readthedocs.io%2Fen%2F1.0.3%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGQtLhtpcOk_fEBDVi7WkZDjqaDng&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fcsvkit.readthedocs.io%2Fen%2F1.0.3%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGQtLhtpcOk_fEBDVi7WkZDjqaDng&#39;;return true;">csvkit:

 csvsql --query 'select "CUP","ANNO_DECISIONE","STATO_PROGETTO" from  "80016350821" order by "ANNO_DECISIONE","STATO_PROGETTO"'  80016350821.csv >./output.csv

Nell’esempio di sopra scelgo le colonne che voglio in output, e poi ordino per “ANNO_DECISIONE” e “STATO_PROGETTO”‘

CUP,ANNO_DECISIONE,STATO_PROGETTO
D77H83000000004,1983,ATTIVO
D77B86000000004,1986,ATTIVO
D93J87000000001,1987,ATTIVO
D74D88000000001,1988,ATTIVO
D72C90000000001,1990,ATTIVO

3) realizzare del file anche la versione Json.

Sempre in csvkit c’è csvjson:

 <output.csv csvjson | jq . >./output.json     

Facci sapere

​

--

___________________

Andrea Borruso
website: <a href="https://medium.com/tantotanto" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fmedium.com%2Ftantotanto\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGZVxcQ3b_26Tt_tclvazQirNPHSA&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fmedium.com%2Ftantotanto\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGZVxcQ3b_26Tt_tclvazQirNPHSA&#39;;return true;">https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/0d28b12f-e87b-4f30-8de4-bd86997e60bf%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.

[Andrea Borruso]

Caro Pablo,

molto bene.

Come mi hai già anticipato, non ti resta che mettere a fattor comune con un altro blog post.

Penso possa essere di interesse per altre PA.

Notte

--

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHEdGZPKPu6ac3Yefpoh9aKDPP3QY%3DJs43LJe9eTjf%2BqgtLMXg%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.