Ciao ragazzi,
Mi presento brevemente essendo da poco registrato su questa mailing list su gentilissima segnalazione da parte di Andrea Borruso. Sono Alessio Nobile, 27 anni nato ad Agrigento ma residente ad Amsterdam. Lavoro come Head of Technology per una SaaS company che opera nel settore VoC and CEM. Da qualche mese insieme ad altri 2 co-founders abbiamo fondato Sicily.Technology. Mission -> http://sicily.technology/mission/ Come scrivevo ad Andrea ieri: vivo e lavoro ad Amsterdam... ma da buon siciliano ho le radici ben salde al territorio. Con sicily.technology stiamo cercando non solo di raccontare la sicilia che produce, ma anche di aggregare le menti e metterle tutte dentro un unico ombrello che riesca a riflettere orgoglio e voglia di riscatto. Stiamo avendo successo ed e' un immenso piacere vedere il siciliano "incazzato" e con tanta voglia di fare. Ora tornando al topic. Ho avuto il piacere di scoprire questa piccola comunita' opendatasicilia, iniziativa lodevole e fondamentale. Sappiamo tutti l'importanza degli opendata e sappiamo anche quanto la nostra amministrazione regionale, provinciale e comunale sia totalmente assente ed incapace nel gestire topic del genere. Il vostro ed il nostro contributo spero riescano ad attivare questi meccanismi. Ho letto brevemente le vostre presentazioni e le vostre attivita', ma non ho capito bene quale sia il piano per riuscire ad offrire un server pubblico centrale che possa mettere in condivisione tutti questi dati che col tempo si andranno a raccogliere dalle varie sorgenti. Volevo, quindi, proporre la mia disponibilita' nell'offrire l'infrastruttura server necessaria al fine di ospitare i dati raccolti ed attivare i webservices necessari alla condivisione dei dati stessi. Io farei cosi: 1) Cernita dei dati attualmente disponibili dalla regione, provincie, comuni 2) Selezione dei dati piu' importanti 3) Conversione dei rognosi PDF e DOC ( perche' opendata per loro significa questo ) in formati XML o CSV 4) Popolamento dei DB 5) Attivazione RESTFul API sull'end-point opendata.sicily.technology 6) Campagna marketing curata da sicily technology per promuovere l'iniziativa e riconoscere pubblicamente il lavoro svolto dalle nostre comunita' La mission bisogna considerarla come una mediazione. Il segnale deve essere forte verso la PA che spero prima o poi si senta obbligata a rilasciare i dati tramite webservices su un server centrale gestito ed ospitato dalla regione sicilia, con dataset consistenti e scalabili.. etc..etc..etc.. :) Infine, se vi fa piacere, considerate il blog sicily.technology come se fosse il vostro. Per noi sarebbe un immenso piacere poter pubblicare articoli o rubriche totalmente dedicate agli OpenData con lo scopo di esporvi ancor di piu' verso il nostro bacino di utenza che cresce sempre di piu'. Spero di ricevere commenti/proposte/idee alternative Grazie a tutti ed una buona giornata Alessio Nobile |
Andrea
Un amico che lavora nel catanese, Enrico Deleo, ha offerto la propria disponibilita' nel rilasciare un crawler open source che faccia lo scanning dei siti della regione, provincia, comune al fine di ricercare quel che di open data esiste gia'. Verra' presto pubblicato e rilasciato in licenza open source su GitHub: https://github.com/sicilytechnology/opendata-crawler Vi faro' sapere quando sara' pronto. Mi sembra un buon metodo per avere un primo layer di indicizzazione. |
ciao,
secondo quali criteri il web scraper stabilisce cosa è open data? saluti Antonino Lo Bue > Andrea > Un amico che lavora nel catanese, Enrico Deleo, ha offerto la propria > disponibilita' nel rilasciare un crawler open source che faccia lo > scanning > dei siti della regione, provincia, comune al fine di ricercare quel che di > open data esiste gia'. > > Verra' presto pubblicato e rilasciato in licenza open source su GitHub: > > https://github.com/sicilytechnology/opendata-crawler > > Vi faro' sapere quando sara' pronto. > > Mi sembra un buon metodo per avere un primo layer di indicizzazione. > > > > -- > View this message in context: > http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277p297.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia > _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Administrator
|
Ciao Nino,
non ho visto il codice, ma non credo che lo faccia lo scraper. Penso che ci sarà da inserire delle source di cui è cosa nota si tratti di dati aperti. Ma magari mi sbaglio. Saluti |
Salve Nino,
Considerando l'inconsistenza a monte il crawler che s'intende creare non andra' alla ricerca di RDF, OWL o di altri formati che seguono il paradigma dei Linked Data. ( non so nemmeno se in sicilia esistano end-points del genere ) L'idea e' quella di puntare i siti internet governativi siciliani alla ricerca di documenti di qualsiasi formato che soddisfano alcune query di ricerca. ( praticamente si vanno ad utilizzare le query di ricerca avanzata disponibili tramite Google + qualche tweak eventuale ) La lista delle keywords dovremmo crearla tutti insieme, infatti e' anche questo il motivo per la quale voglio rendere il codice pubblico cosi' che ognuno possa integrare le proprie e migliorare l'algoritmo. L'obiettivo e' quello di avere un indice di partenza che possa essere interrogato manualmente al fine di identificare o soliti documenti PDF XLS o DOC che bisognera' poi convertire in formati di cui sopra. Sotto questo punto di vista sono sicuro ne sappiate molto piu' di me, sarei quindi felice di poterne discutere insieme a voi per trovare la soluzione ideale. Saluti AN |
Il dubbio che viene a questo punto è, ma non facciamo prima a fare
questo lavoro a mano? CL On 07/12/2014 19:42, netziro wrote: > Salve Nino, > > Considerando l'inconsistenza a monte il crawler che s'intende creare non > andra' alla ricerca di RDF, OWL o di altri formati che seguono il paradigma > dei Linked Data. ( non so nemmeno se in sicilia esistano end-points del > genere ) > > L'idea e' quella di puntare i siti internet governativi siciliani alla > ricerca di documenti di qualsiasi formato che soddisfano alcune query di > ricerca. ( praticamente si vanno ad utilizzare le query di ricerca avanzata > disponibili tramite Google + qualche tweak eventuale ) > La lista delle keywords dovremmo crearla tutti insieme, infatti e' anche > questo il motivo per la quale voglio rendere il codice pubblico cosi' che > ognuno possa integrare le proprie e migliorare l'algoritmo. > > L'obiettivo e' quello di avere un indice di partenza che possa essere > interrogato manualmente al fine di identificare o soliti documenti PDF XLS o > DOC che bisognera' poi convertire in formati di cui sopra. > > Sotto questo punto di vista sono sicuro ne sappiate molto piu' di me, sarei > quindi felice di poterne discutere insieme a voi per trovare la soluzione > ideale. > > Saluti > AN > > > > -- > View this message in context: http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277p300.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Cristiano, Se la ricerca e' fine a se stessa ed eseguita 1 volta solamente, sicuramente una ricerca a mano risolverebbe il problema. Ma se volessimo effettuare la ricerca periodicamente allora credo diventi un po' piu' complicato. Sarebbe interessante effettuare uno scanning 1 volta al mese, riportando di volta in volta ogni modifica all'indice. ( anche queste variazioni potrebbero essere interessanti a livello statistico ) AN Il giorno 7 dicembre 2014 21:38, Cristiano Longo <[hidden email]> ha scritto: Il dubbio che viene a questo punto è, ma non facciamo prima a fare questo lavoro a mano? _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Alessio, Cristiano,
per quanto concerne l'interrogazione programmatica sono d'accordo con Alessio, farlo a mano ha senso se lo fai una tantum, se i dati sono aggiornabili allora no. Alessio riguardo la tua risposta, non mi riferivo ai linked data, ma piuttosto ad un problema di tipo filosofico-burocratico, nel senso, esistono tanti siti regionali con dati ma non è detto che siano pubblici con licenza cc-by o simili, quindi fare il crawling ha senso se si tratta di open data certificati, a meno che tu non voglia usare come keyword di ricerca "open data" e vedere cosa esce, ma si tratta di qualcosa di meno "sicuro". Prendete gia in considerazione il lavoro di dati.gov.it? Li ad esempio trovi gli open data di palermo e della provincia di trapani catalogati, ma non quelli di enna... saluti Nino > Ciao Cristiano, > > Se la ricerca e' fine a se stessa ed eseguita 1 volta solamente, > sicuramente una ricerca a mano risolverebbe il problema. > Ma se volessimo effettuare la ricerca periodicamente allora credo diventi > un po' piu' complicato. > Sarebbe interessante effettuare uno scanning 1 volta al mese, riportando > di > volta in volta ogni modifica all'indice. ( anche queste variazioni > potrebbero essere interessanti a livello statistico ) > > AN > > Il giorno 7 dicembre 2014 21:38, Cristiano Longo > <[hidden email]> > ha scritto: > >> Il dubbio che viene a questo punto è, ma non facciamo prima a fare >> questo >> lavoro a mano? >> >> CL >> >> On 07/12/2014 19:42, netziro wrote: >> >>> Salve Nino, >>> >>> Considerando l'inconsistenza a monte il crawler che s'intende creare >>> non >>> andra' alla ricerca di RDF, OWL o di altri formati che seguono il >>> paradigma >>> dei Linked Data. ( non so nemmeno se in sicilia esistano end-points del >>> genere ) >>> >>> L'idea e' quella di puntare i siti internet governativi siciliani alla >>> ricerca di documenti di qualsiasi formato che soddisfano alcune query >>> di >>> ricerca. ( praticamente si vanno ad utilizzare le query di ricerca >>> avanzata >>> disponibili tramite Google + qualche tweak eventuale ) >>> La lista delle keywords dovremmo crearla tutti insieme, infatti e' >>> anche >>> questo il motivo per la quale voglio rendere il codice pubblico cosi' >>> che >>> ognuno possa integrare le proprie e migliorare l'algoritmo. >>> >>> L'obiettivo e' quello di avere un indice di partenza che possa essere >>> interrogato manualmente al fine di identificare o soliti documenti PDF >>> XLS o >>> DOC che bisognera' poi convertire in formati di cui sopra. >>> >>> Sotto questo punto di vista sono sicuro ne sappiate molto piu' di me, >>> sarei >>> quindi felice di poterne discutere insieme a voi per trovare la >>> soluzione >>> ideale. >>> >>> Saluti >>> AN >>> >>> >>> >>> -- >>> View this message in context: http://opendatasicilia.65952. >>> x6.nabble.com/RESTFul-API-webservice-tp277p300.html >>> Sent from the OpenDataSicilia mailing list archive at Nabble.com. >>> _______________________________________________ >>> opendatasicilia mailing list >>> [hidden email] >>> http://groups.dataninja.it/listinfo/opendatasicilia >>> >> >> _______________________________________________ >> opendatasicilia mailing list >> [hidden email] >> http://groups.dataninja.it/listinfo/opendatasicilia >> > > > > -- > Alessio Nobile > email [hidden email] > mobile +31 627 000 178 > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia > _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Nino,
Scusami per l'incomprensione. Pensavo ti riferissi alla parte tecnica. Convengo con te riguardo la natura delle tue perplessita'. Di fatto la cernita manuale servirebbe anche a questo, ovvero controllare dove sono i GAP in termini di licenza. dati.gov.it e' il punto finale. Magari tutte le provincie potessero allinearsi in tempi brevi. Ma sappiamo che non accadra' in tempi adeguati - a meno che non entri in vigore una legge che impone il rilascio dei dati entro una data specifica. Esiste qualcosa qui http://www.funzionepubblica.gov.it/media/1109205/piano%20dazione%20g8%20open%20data%20%20it.pdf Ma non credo entro dicembre 2015 tutto questo diventi realta'. Io procederei con l'indicizzazione ugualmente per arrivare al seguente scenario: 1) Lista di open data, distribuibili e certificati 2) Lista di dati pubblici, liberamente pubblicati sui siti degli enti, ma non distribuibili per via dei GAP sulle licenze Quello che potremmo fare con queste due liste: 1) Rilasciare un end-point che possa distribuire i dati aperti e con licenza adeguata tramite webservice Dati come questi sono coperti da licenza http://pti.regione.sicilia.it/portal/page/portal/PIR_PORTALE/PIR_Iniziative/PIR_OpenDataSicilia/PIR_Datidisponibili 2) Pubblicare un dashboard in cui si evidenzia il GAP presente sotto la tematica open data per comune/provincia 3) Evidenziare i nodi principali. 4) Fornire la lista dei dati non distribuibili in modo da spingere quanto meno la rettifica delle licenze ai diretti interessati. ( se i dati sono pubblicati, significa che quanto meno possiamo fornire una lista con collegamenti alla sorgente ) 5) Incrementare l'interesse pubblico verso queste tematiche e continuare a pressare la PA. Vi lascio con un quote di H. James Harrington “Measurement is the first step that leads to control and eventually to improvement. If you can’t measure something, you can’t understand it. If you can’t understand it, you can’t control it. If you can’t control it, you can’t improve it.” Purtroppo nessun altro in sicilia ha interesse a misurare il progresso, ma possiamo farlo noi :) Una buona giornata AN |
Administrator
|
Come cresce questa lista :)
Dico subito che il thread è molto ricco, con diverse sfumature. Tocca provare ad andare a sintesi. Provo a iniziare, ma è solo un inizio. # Catalogo regionale Nell'incontro di formazione che ho fatto molto recentemente per il FORMEZ, per tutte le PA regionali, ho evidenziato la paralisi del sistema regionale in termini di dati aperti. In aula c'erano alcune persone giuste e ho avuto la sensazione che qualcosa si sta iniziando a muovere e magari a breve uscirà un primo catalogo (con API, ecc.) regionale ufficiale. In questo potrà finire tutto quello che oggi vai sui cataloghi federati ufficiali, come dati.gov.it. # Palermo e Enna Su dati.gov.it è vero c'è Palermo, ma ci sono 280 dataset contro i 300. E questo avviene perché Palermo si ferma alle tre stelle, e non consente un comodo e automatico harvesting. Io quasi per questa ragione considero Palermo fuori da dati.gov.it, e per me Palermo è un'altra realtà che sarebbe comodo sottoporre a scraping. Anche Enna per il momento è a tre stelle, ma credo che stia lavorando sul documento "Guida sintetica per lo scambio di dati con il catalogo nazionale Open Data DATI.GOV.IT" (http://goo.gl/zmWCVl) che gli consentirebbe di essere presto nel catalogo nazionale (così come Palermo). # Le licenze della PA Nino pone correttamente il problema delle licenze. Dal 19 marzo 2013 tutti i dati e documenti che le pubbliche amministrazioni pubblicano con qualsiasi modalità, senza l’espressa adozione di una licenza d’uso, si intendono rilasciati come dati aperti (open data by default). Con una licenza in CC BY. # I dati non visibili Ci sono molti documenti disponibili e visibili. Ma ce ne sono anche di disponibili e quasi invisibili perché nascosti da un'interfaccia: * i dati territoriali di Catania http://sit.comune.catania.gov.it/geoserver/web/; * le fermate (ci sono pure le linee) del trasporto pubblico di Catania http://goo.gl/D9Zmdk; * i dati della provincia di Messina http://goo.gl/aMemYX; * i dati territoriali del Comune di Agrigento http://goo.gl/5ID4kv; * ... Questi sono tutti dati territoriali (scusate la deformazione professionale), e sono esposti digitalmente in modo (abbastanza) buono. Il limite è che l'accesso è troppo per esperti. # I dati brutti ma preziosi Ne avete parlato già tutti. Un solo esempio l"Inventario Regionale delle Industrie a Rischio di Incidente Rilevante" (http://goo.gl/nqMd3S). Sono dati aperti, ma inutilizzabili e che dovrebbero essere visibili. # Che fare? Qui viene il difficile :) Inizierei da un'anagrafica di sorgeni di dati non presenti in alcun catalago e a cui dare vita. Fatta l'anagrafica avremo un'idea sul tipo di scraping da fare, perché di base saranno schemi molto diversi da loro, e formati molto differenti. Viste le sorgenti, su alcune ci sarà sicuramente da fare un lavoro non automatizzabile e creare dei gruppi di lavoro. Il lavoro di scraping oltre a essere ricercabile, costituirà in qualche modo un catalogo. Non so se Alessio pensava di mettere in piedi anche un vero catalogo e sfruttare qualcosa come CKAN (o DKAN). Il catalogo è necessario secondo me perché, terminato un lavoro di conversione di un PDF in un CSV/JSON, poi è importante che ci sia un luogo dove andarlo a caricare. Io come catalogo molto tempo fa avevo iniziato a testare questo: http://datahub.io/organization/about/open-data-sicilia Adesso che siamo tanti si potrebbe a fare qualche di serio, che non sia soltanto un test. Saluti, a |
Ciao, per motivi personali non voglio collaborare a realizzare uno
scraper. Mi piacerebbe invece dare una mano per l'elenco (vedi DCAT ad esempio) nel quale i dati dello scraper possano coesistere con quelli inseriti manualmente. Vi faccio sapere nelle prossime settimane. CL On 08/12/2014 12:48, aborruso wrote: > Come cresce questa lista :) > > Dico subito che il thread è molto ricco, con diverse sfumature. Tocca > provare ad andare a sintesi. Provo a iniziare, ma è solo un inizio. > > # Catalogo regionale > > Nell'incontro di formazione che ho fatto molto recentemente per il FORMEZ, > per tutte le PA regionali, ho evidenziato la paralisi del sistema regionale > in termini di dati aperti. In aula c'erano alcune persone giuste e ho avuto > la sensazione che qualcosa si sta iniziando a muovere e magari a breve > uscirà un primo catalogo (con API, ecc.) regionale ufficiale. In questo > potrà finire tutto quello che oggi vai sui cataloghi federati ufficiali, > come dati.gov.it. > > # Palermo e Enna > > Su dati.gov.it è vero c'è Palermo, ma ci sono 280 dataset contro i 300. E > questo avviene perché Palermo si ferma alle tre stelle, e non consente un > comodo e automatico harvesting. Io quasi per questa ragione considero > Palermo fuori da dati.gov.it, e per me Palermo è un'altra realtà che sarebbe > comodo sottoporre a scraping. > > Anche Enna per il momento è a tre stelle, ma credo che stia lavorando sul > documento "Guida sintetica per lo scambio di dati con il catalogo nazionale > Open Data DATI.GOV.IT" (http://goo.gl/zmWCVl) che gli consentirebbe di > essere presto nel catalogo nazionale (così come Palermo). > > # Le licenze della PA > Nino pone correttamente il problema delle licenze. > > Dal 19 marzo 2013 tutti i dati e documenti che le pubbliche amministrazioni > pubblicano con qualsiasi modalità, senza l’espressa adozione di una licenza > d’uso, si intendono rilasciati come dati aperti (open data by default). Con > una licenza in CC BY. > > # I dati non visibili > Ci sono molti documenti disponibili e visibili. Ma ce ne sono anche di > disponibili e quasi invisibili perché nascosti da un'interfaccia: > * i dati territoriali di Catania > http://sit.comune.catania.gov.it/geoserver/web/; > * le fermate (ci sono pure le linee) del trasporto pubblico di Catania > http://goo.gl/D9Zmdk; > * i dati della provincia di Messina http://goo.gl/aMemYX; > * i dati territoriali del Comune di Agrigento http://goo.gl/5ID4kv; > * ... > > Questi sono tutti dati territoriali (scusate la deformazione professionale), > e sono esposti digitalmente in modo (abbastanza) buono. Il limite è che > l'accesso è troppo per esperti. > > # I dati brutti ma preziosi > Ne avete parlato già tutti. Un solo esempio l"Inventario Regionale delle > Industrie a Rischio di Incidente Rilevante" (http://goo.gl/nqMd3S). Sono > dati aperti, ma inutilizzabili e che dovrebbero essere visibili. > > # Che fare? > > Qui viene il difficile :) > Inizierei da un'anagrafica di sorgeni di dati non presenti in alcun catalago > e a cui dare vita. Fatta l'anagrafica avremo un'idea sul tipo di scraping da > fare, perché di base saranno schemi molto diversi da loro, e formati molto > differenti. > > Viste le sorgenti, su alcune ci sarà sicuramente da fare un lavoro non > automatizzabile e creare dei gruppi di lavoro. > > Il lavoro di scraping oltre a essere ricercabile, costituirà in qualche modo > un catalogo. Non so se Alessio pensava di mettere in piedi anche un vero > catalogo e sfruttare qualcosa come CKAN (o DKAN). Il catalogo è necessario > secondo me perché, terminato un lavoro di conversione di un PDF in un > CSV/JSON, poi è importante che ci sia un luogo dove andarlo a caricare. > Io come catalogo molto tempo fa avevo iniziato a testare questo: > http://datahub.io/organization/about/open-data-sicilia > Adesso che siamo tanti si potrebbe a fare qualche di serio, che non sia > soltanto un test. > > Saluti, > > a > > > > -- > View this message in context: http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277p305.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
In reply to this post by Andrea Borruso
Concordo con quanto scrive Andrea.
Alessio invece vorrei capire (a livello tecnico) se il crawler che vuoi sviluppare potrebbe sostituirsi all'anagrafica "a mano" di cui parla Andrea, in tal caso si potrebbe dopo avere eseguito il crawler raffinare e fare un consistency check manualmente, cosa che risulterebbe fattibile ed anche piu corretta, piuttosto che cercare di catalogare tutto a mano. Io partirei da i dati regionali come caso di studio per la metodologia e poi a cascata andrei su province e capoluoghi happy to collaborate Nino > Come cresce questa lista :) > > Dico subito che il thread è molto ricco, con diverse sfumature. Tocca > provare ad andare a sintesi. Provo a iniziare, ma è solo un inizio. > > # Catalogo regionale > > Nell'incontro di formazione che ho fatto molto recentemente per il FORMEZ, > per tutte le PA regionali, ho evidenziato la paralisi del sistema > regionale > in termini di dati aperti. In aula c'erano alcune persone giuste e ho > avuto > la sensazione che qualcosa si sta iniziando a muovere e magari a breve > uscirà un primo catalogo (con API, ecc.) regionale ufficiale. In questo > potrà finire tutto quello che oggi vai sui cataloghi federati ufficiali, > come dati.gov.it. > > # Palermo e Enna > > Su dati.gov.it è vero c'è Palermo, ma ci sono 280 dataset contro i 300. > E > questo avviene perché Palermo si ferma alle tre stelle, e non consente un > comodo e automatico harvesting. Io quasi per questa ragione considero > Palermo fuori da dati.gov.it, e per me Palermo è un'altra realtà che > sarebbe > comodo sottoporre a scraping. > > Anche Enna per il momento è a tre stelle, ma credo che stia lavorando sul > documento "Guida sintetica per lo scambio di dati con il catalogo > nazionale > Open Data DATI.GOV.IT" (http://goo.gl/zmWCVl) che gli consentirebbe di > essere presto nel catalogo nazionale (così come Palermo). > > # Le licenze della PA > Nino pone correttamente il problema delle licenze. > > Dal 19 marzo 2013 tutti i dati e documenti che le pubbliche > amministrazioni > pubblicano con qualsiasi modalità , senza lâespressa adozione di una > licenza > dâuso, si intendono rilasciati come dati aperti (open data by default). > Con > una licenza in CC BY. > > # I dati non visibili > Ci sono molti documenti disponibili e visibili. Ma ce ne sono anche di > disponibili e quasi invisibili perché nascosti da un'interfaccia: > * i dati territoriali di Catania > http://sit.comune.catania.gov.it/geoserver/web/; > * le fermate (ci sono pure le linee) del trasporto pubblico di Catania > http://goo.gl/D9Zmdk; > * i dati della provincia di Messina http://goo.gl/aMemYX; > * i dati territoriali del Comune di Agrigento http://goo.gl/5ID4kv; > * ... > > Questi sono tutti dati territoriali (scusate la deformazione > professionale), > e sono esposti digitalmente in modo (abbastanza) buono. Il limite è che > l'accesso è troppo per esperti. > > # I dati brutti ma preziosi > Ne avete parlato già tutti. Un solo esempio l"Inventario Regionale delle > Industrie a Rischio di Incidente Rilevante" (http://goo.gl/nqMd3S). Sono > dati aperti, ma inutilizzabili e che dovrebbero essere visibili. > > # Che fare? > > Qui viene il difficile :) > Inizierei da un'anagrafica di sorgeni di dati non presenti in alcun > catalago > e a cui dare vita. Fatta l'anagrafica avremo un'idea sul tipo di scraping > da > fare, perché di base saranno schemi molto diversi da loro, e formati > molto > differenti. > > Viste le sorgenti, su alcune ci sarà sicuramente da fare un lavoro non > automatizzabile e creare dei gruppi di lavoro. > > Il lavoro di scraping oltre a essere ricercabile, costituirà in qualche > modo > un catalogo. Non so se Alessio pensava di mettere in piedi anche un vero > catalogo e sfruttare qualcosa come CKAN (o DKAN). Il catalogo è > necessario > secondo me perché, terminato un lavoro di conversione di un PDF in un > CSV/JSON, poi è importante che ci sia un luogo dove andarlo a caricare. > Io come catalogo molto tempo fa avevo iniziato a testare questo: > http://datahub.io/organization/about/open-data-sicilia > Adesso che siamo tanti si potrebbe a fare qualche di serio, che non sia > soltanto un test. > > Saluti, > > a > > > > -- > View this message in context: > http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277p305.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia > _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Andrea, Nino,
Concordo con il riassunto. Mi sembra la giusta via. Nino a livello tecnico io avrei intenzione di svilupparlo appunto per sostituire il lavoro di indicizzazione manuale. Potremmo effettuare qualche test con il crawler e vedere cosa esce dalla prima indicizzazione regionale. Nino dal tuo curriculum vedo che hai non poca conoscenza su dati in generale. Penso che il tuo contributo a livello di algoritmo possa essere decisivo per riuscire ad avere un indice piu' accurato possibile. Da li' poi andiamo avanti con il lavoro manuale per raffinare e tradurre i dati in formati consistenti e scalabili. Spero Enrico riesca a pubblicare il source al piu' presto cosi' da potervi dare accesso e ragionarci sopra. AN |
C'e' un lavoro interessante di Riccardo Grosso (con Battini), ma lui
partiva dai database. Non so se può esservi utile. http://riccardomariagrosso.wordpress.com/2014/12/08/le-sperimentazioni-fatte-con-carlo-batini/ On 08/12/2014 23:06, netziro wrote: > Ciao Andrea, Nino, > > Concordo con il riassunto. Mi sembra la giusta via. > > Nino a livello tecnico io avrei intenzione di svilupparlo appunto per > sostituire il lavoro di indicizzazione manuale. > > Potremmo effettuare qualche test con il crawler e vedere cosa esce dalla > prima indicizzazione regionale. > Nino dal tuo curriculum vedo che hai non poca conoscenza su dati in > generale. Penso che il tuo contributo a livello di algoritmo possa essere > decisivo per riuscire ad avere un indice piu' accurato possibile. > > Da li' poi andiamo avanti con il lavoro manuale per raffinare e tradurre i > dati in formati consistenti e scalabili. > > Spero Enrico riesca a pubblicare il source al piu' presto cosi' da potervi > dare accesso e ragionarci sopra. > > AN > > > > -- > View this message in context: http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277p317.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Cristiano,
Grazie per la segnalazione. Lo guardo stasera AN |
In reply to this post by netziro
Offtopic: ciao Alessio,
Anch'io vivo ad Amsterdam, ma sono di Palermo. Mi farebbe piacere incontrarci qualche volta, si fa comunità anche qui e si scambiano un po' di idee. Sono anche iscritto al gruppo fb, ci si può mettere in contatto lì. Scusate per l'intromissione, Alessandro > Il giorno 05/dic/2014, alle ore 10:19, netziro <[hidden email]> ha scritto: > > Ciao ragazzi, > > Mi presento brevemente essendo da poco registrato su questa mailing list su > gentilissima segnalazione da parte di Andrea Borruso. > Sono Alessio Nobile, 27 anni nato ad Agrigento ma residente ad Amsterdam. > Lavoro come Head of Technology per una SaaS company che opera nel settore > VoC and CEM. > > Da qualche mese insieme ad altri 2 co-founders abbiamo fondato > Sicily.Technology. Mission -> http://sicily.technology/mission/ > Come scrivevo ad Andrea ieri: > vivo e lavoro ad Amsterdam... ma da buon siciliano ho le radici ben salde al > territorio. > Con sicily.technology stiamo cercando non solo di raccontare la sicilia che > produce, ma anche di aggregare le menti e metterle tutte dentro un unico > ombrello che riesca a riflettere orgoglio e voglia di riscatto. > Stiamo avendo successo ed e' un immenso piacere vedere il siciliano > "incazzato" e con tanta voglia di fare. > > Ora tornando al topic. > Ho avuto il piacere di scoprire questa piccola comunita' opendatasicilia, > iniziativa lodevole e fondamentale. > Sappiamo tutti l'importanza degli opendata e sappiamo anche quanto la nostra > amministrazione regionale, provinciale e comunale sia totalmente assente ed > incapace nel gestire topic del genere. > Il vostro ed il nostro contributo spero riescano ad attivare questi > meccanismi. > > Ho letto brevemente le vostre presentazioni e le vostre attivita', ma non ho > capito bene quale sia il piano per riuscire ad offrire un server pubblico > centrale che possa mettere in condivisione tutti questi dati che col tempo > si andranno a raccogliere dalle varie sorgenti. > > Volevo, quindi, proporre la mia disponibilita' nell'offrire l'infrastruttura > server necessaria al fine di ospitare i dati raccolti ed attivare i > webservices necessari alla condivisione dei dati stessi. > > Io farei cosi: > 1) Cernita dei dati attualmente disponibili dalla regione, provincie, comuni > 2) Selezione dei dati piu' importanti > 3) Conversione dei rognosi PDF e DOC ( perche' opendata per loro significa > questo ) in formati XML o CSV > 4) Popolamento dei DB > 5) Attivazione RESTFul API sull'end-point opendata.sicily.technology > 6) Campagna marketing curata da sicily technology per promuovere > l'iniziativa e riconoscere pubblicamente il lavoro svolto dalle nostre > comunita' > > La mission bisogna considerarla come una mediazione. Il segnale deve essere > forte verso la PA che spero prima o poi si senta obbligata a rilasciare i > dati tramite webservices su un server centrale gestito ed ospitato dalla > regione sicilia, con dataset consistenti e scalabili.. etc..etc..etc.. :) > > Infine, se vi fa piacere, considerate il blog sicily.technology come se > fosse il vostro. > Per noi sarebbe un immenso piacere poter pubblicare articoli o rubriche > totalmente dedicate agli OpenData con lo scopo di esporvi ancor di piu' > verso il nostro bacino di utenza che cresce sempre di piu'. > > Spero di ricevere commenti/proposte/idee alternative > > Grazie a tutti ed una buona giornata > Alessio Nobile > > > > -- > View this message in context: http://opendatasicilia.65952.x6.nabble.com/RESTFul-API-webservice-tp277.html > Sent from the OpenDataSicilia mailing list archive at Nabble.com. > _______________________________________________ > opendatasicilia mailing list > [hidden email] > http://groups.dataninja.it/listinfo/opendatasicilia opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
In reply to this post by netziro
ciao Alessio ti ho letto con passione e vi faccio i complimenti per http://sicily.technology/mission/ Sicuramente servirà per rivitalizzare l'imprenditoria siciliana. Sono Ciro e lavoro all'Area Innovazione Tecnologica del Comune di Palermo Sono in disaccordo con la tua seguente definizione: "Sappiamo tutti l'importanza degli opendata e sappiamo anche quanto la nostra amministrazione ......., ..........e comunale sia totalmente assente ed incapace nel gestire topic del genere." Sicuramente la qualità dei 321 dataset in formato aperto del comune di Palermo non è elevata. Su questo siamo tutti d'accordo. Le Linee guida open data di Palermo rappresentano un buon percorso intrapreso per costruire una strategia di rilascio dei dati aperti (strutturazione dell'ente con nomine, formazione del personale, censimento dei dataset, ...). Le date per fare le cose nelle linee guida open data non sono state rispettate sinteticamente per 1) recente rotazione del personale dipendente nominato referente open data e personale dirigente (per il piano anticorruzione) e 2) si sta costruendo (non si fa in un mese in unte di vaste dimensioni, anyway work in progress) una governance degli open data in maniera trasversale a tutti gli uffici in maniera da avere procedure omogenee. Abbiamo iniziato, questo è importante, oggi ci stiamo organizzando, perchè nelle figure apicali dell'Amministrazione e anche nei colleghi, fortunatamente, giorno dopo giorno sta crescendo la consapevolezza che si deve fare open data in un grande ente pubblico, perchè genera servizi utili a tutti, non solo perchè si fa trasparenza. Oggi con quei 321 dataset in formato aperto sicuramente non si sono costruite killer application! Ma le app/webservice, elencate di seguito, che sono state create dagli open data comunali di Palermo, fanno capire alla società e alla stessa Pubblica Amministrazione locale che nuovi utili servizi possono nascere dal rilascio degli open data pubblici. La miccia è stata accesa. C'è chi lavora ogni giorno dentro il comune di Palermo a far funzionare il processo di rilascio online dei dataset in formato aperto, ......scrivendo email agli altri uffici, chiamando al telefono i colleghi per verificare la qualità di un determinato dataset che potrebbe essere pubblicato a breve (generando la creazione di servii web utili), .... assistendo decine di colleghi referenti open data nella fruizione dei percorsi formativi online,.... relazionandosi con gli sviluppatori e civic hacker per capire come insieme (dipendenti referenti open data + sviluppatori) si possono realizzare mappe georeferenziate sui servizi pubblici ..... ecc! Tutto quello che ho appena scritto è ancora poco per una politica di rilascio di open data a regime. D'accordissimo. Ma è diverso dal dire "Sappiamo tutti l'importanza degli opendata e sappiamo anche quanto la nostra amministrazione ......., ..........e comunale sia totalmente assente ed incapace nel gestire topic del genere." Piacere di avere conosciuto te e la vostra creazione http://sicily.technology/mission/ che seguirò con curiosità ed interesse. ciro Il giorno 5 dicembre 2014 10:19, netziro <[hidden email]> ha scritto: Ciao ragazzi, _______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Ciao Ciro, Grazie per l'apprezzamento. La tua risposta mi sembra interessante e ti rispondero' con piacere tramite una email personale durante il weekend. Alessandro con tanto piacere. Aggiungimi pure su Facebook http://fb.com/netziro Un buon weekend a tutti :) On 12 Dec 2014 10:30, "ciro spataro" <[hidden email]> wrote:
_______________________________________________ opendatasicilia mailing list [hidden email] http://groups.dataninja.it/listinfo/opendatasicilia |
Free forum by Nabble | Edit this page |