Re: [opendatasicilia] Uno script per scaricare i dati da soldipubblici

Posted by pablo persico on
URL: http://opendatasicilia.195.s1.nabble.com/opendatasicilia-Uno-script-per-scaricare-i-dati-da-soldipubblici-tp5657p5661.html

Premessa
mentre scrivo Andrea migliora il codice e io gli devo stare dietro :))

Intanto grazie, i comandi che mi hai inviato hanno risolto le dipendenze e lo script funziona alla perfezione generando i due file json e csv. 

ho editato lo script aggiungendo:
1) dopo la chiamata POST il campo
chi='nome+del+comune+o+ente'       ###preso dal file anagrafe siope che si trova qui  - questo campo valorizza il campo descrizione ente (poco utile nel csv ma utilissimo per il file json)###

2) ho spostato il campo 'descrizione_codice'  all'inizio dopo il 'codice_siope'       ##giusto per avere a portata di mano la colonna che descrive le voci di spesa utile per generare un grafico (a barre) e mentre lo scrivo mi accorgo che lo hai già fatto anche tu!##

Un record del mio json:

"codice_siope": "0.00.00.00.000",
    
"descrizione_codice": "Fabbricati ad uso scolastico",
    
"descrizione_ente": "comune+di+vattelapesca",
    
"idtable": "000000000-0.00.00.00.000",
    
"cod_ente": "000000000",
    
"anno": "2018",
    
"periodo": "3",
    
"codice_gestionale": "2.02.01.00.000",
    
"imp_uscite_att": 0000000.35,
    
"data_di_fine_validita": "3999-12-31",
    
"importo_2013": null,
    
"importo_2014": null,
    
"importo_2015": null,
    
"importo_2016": null,
    
"importo_2017": 20283205.66

3) infine ho personalizzato i nomi dei file file che vengono generati
utilizzando il link del server che ho usato riesco ad avere correttamente un link con il file generato

Relativamente al Cron mi sono bloccato; tra il file crontab, le cartelle cron.daily cron.week etc,  cron.d etc etc. 
ho risolto parzialmente inserendo la stringa in /var/spool/cron/root  evitando l'utente nella stringa e pare che il cron parta ma i file se li crea sono vuoti, per contro  il log di cron sembra apposto a questo punto forse i permessi potrebbero essere la causa nel senso che il file viene creato ma non scritto. magari ho detto una scemenza.
grazie mille Andrea per la smisurata pazienza, ci aggiorniamo




Il giorno giovedì 19 aprile 2018 09:54:55 UTC+2, Andrea Borruso ha scritto:

Ciao,

2018-04-19 9:46 GMT+02:00 pablo persico <[hidden email]>:

Premessa doverosa, sono d'accordo con te Andrea. 

L'obiettivo è ottenere un CSV e magari anche un json che vengano estratti con cadenza settimanale avendo sempre lo stesso nome, così che possano essere linkati ovunque mantenendo la caratteristica dell'aggiornamento settimanale così come previsto da <a href="http://soldipubblici.gov.it" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fsoldipubblici.gov.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGSm57VSj9yT0iXQBE2ccnMcncwXA&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fsoldipubblici.gov.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGSm57VSj9yT0iXQBE2ccnMcncwXA&#39;;return true;">soldipubblici.gov.it.

non ho mai usato centos, ma ho raccolto roba sul web, per installare le utilities richieste.

Con privilegi di sudo:

sudo yum install epel-release -y
sudo yum install jq -y
sudo yum install -y python-pip
sudo pip install httpie
sudo pip install csvkit

Per pianificare lo script in modo che possa essere eseguito una volta a settmana, c’è da impostare cron in questo modo:

0 4 */7 * * root /var/progetti/soldipubblici/script.sh > /dev/null 2>&1

0 4 */7 * * = ogni 7 giorni alle 4:00

Questo in super sintesi.

Facci sapere

--
___________________

Andrea Borruso
website: <a href="https://medium.com/tantotanto" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fmedium.com%2Ftantotanto\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGZVxcQ3b_26Tt_tclvazQirNPHSA&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fmedium.com%2Ftantotanto\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNGZVxcQ3b_26Tt_tclvazQirNPHSA&#39;;return true;">https://medium.com/tantotanto
38° 7' 48" N, 13° 21' 9" E, EPSG:4326
___________________

"cercare e saper riconoscere chi e cosa,
 in mezzo all’inferno, non è inferno, 
e farlo durare, e dargli spazio"

Italo Calvino

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Gruppo Telegram: https://t.me/opendatasicilia
Slack: http://opendatasicilia.it/slack/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/2f2c1a3e-5789-4913-9a01-c8553e2c4ea3%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.