[opendatasicilia] domanda sul tema big data

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
6 messages Options
Reply | Threaded
Open this post in threaded view
|

[opendatasicilia] domanda sul tema big data

Riccardo Grosso
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] domanda sul tema big data

Andrea Nelson Mauro
Riccardo, in effetti è un domandone da 1 milione di dollari!!!! :))))
Dunque, per AI immagino che si intenda Artificial Intelligence, e quindi machine learning.
Se non mi sto facendo un film, vuol dire che loro prendono Bigdata o cmq genericamente dati, li danno in pasto a un sofware di machine learning che li classifica per bene e poi ne ottengono degli output.

Se è così, parliamo di interfacce di vari tipi:
  • Interfacce di interrogazione: classiche API RESTful e/o webhook
  • Interfacce più 'umane': motori e strumenti di ricerca, chatbot, voice recognition...
  • Interfacce più visive complesse di data discovery, tipo Kibana
C'è un dibattito frenetico per ora sul tema, guarda ad esempio quando post ci sono su medium

Spero di essere stato utile!



Il giorno 5 dicembre 2016 14:30, Riccardo Grosso <[hidden email]> ha scritto:
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
dataninja.it
http://twitter.com/nelsonmau

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAMp3PFdg%3Dbk-O07DB7vkAtJ14iHyq%2BA7EWWqm3h%2BhVGPV4Mr_g%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] domanda sul tema big data

cristiano longo (tramite Documenti Google)
In reply to this post by Riccardo Grosso

Inverno Muto o skynet, entrambe però c'è una grossa possibilità che sviluppino una autocoscienza .


Il 05 dic 2016 14:30, "Riccardo Grosso" <[hidden email]> ha scritto:
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/CABePjKrpUBx3_JbNdew0dOqF%3DAkHxr4ki%3DW7iSrTTwqUR%2Ba2rQ%40mail.gmail.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] domanda sul tema big data

Alfredo Serafini
In reply to this post by Andrea Nelson Mauro
Dunque, per AI immagino che si intenda Artificial Intelligence, e quindi machine learning.
si e no: il machine learning è un pezzo consitente di ciò che si intende intelligenza artificiale, però nella pratica si combina agli altri ambiti, tra cui tutta la parte "semantica" (da web semantico a linked data) e soprattutto l'information retrieval, che è poi spesso la vera "trincea" dove gli algoritmi si scontrano con la realtà :-)

 
Se non mi sto facendo un film, vuol dire che loro prendono Bigdata o cmq genericamente dati, li danno in pasto a un sofware di machine learning che li classifica per bene e poi ne ottengono degli output.
dipende da ciò che intendiamo per classificazione: in genere come tipologia di task fa parte dell'information retrieval, e di solito sono almeno tre gli elementi essenziali da valutare:
  • individuazione delle feature caratteristiche sul dominio dei dati: in pratica un sottoinsieme delle informazioni tali da caratterizzare la rilevanza di un dato documento, la sua pertinenza ad un gruppo di documenti, o la semantica implicita che descrive.
  • pertinenza: in particolar modo se parliamo di sistemi di ricerca e navigazione
  • usabilità, comprensibilità delle interfacce, trovabilità dell'informazione.
In pratica: se avete già un buon motore di machine learning e vi va di costruire interfacce fruibili, vi serve allora introdurre strumenti di information retrieval come Elasticsearch o Solr, e  progettare una buona UX sulla base delle capacità offerte dai sistemi, magari perfezionando la pertinenza dei dati rispetto a ricerche e classificazioni con il supporto degli algoritmi di ML e di un po' di linked data e vocabolari standard.
Il "motore" così immaginato può a quel punto essere declinato nei modi suggeriti da Andrea sopra:
  • servizi per machine-machine (API RESTful, etc)
  • servizi per human-machine e HCI in generale (qui dipende da quale sia il contesto di nuovo: dai sensori allo speech2text, a semplici SMS, qualsiasi cosa praticamente)
  • interfacce di business intelligence: Kibana o anche KIBI, entrambe basate su Elastichesearch e quindi Lucene, o le corrispettive per Solr, o ancora Pentaho (che utilizza come motore di ML l'ottimo Weka che è anche estensibile, quindi potreste "pluggarci" dentro i vostri algoritmi, magari ;-)), o tante altre ancora
Per orientarsi un po', io suggerirei di partire dal sempre classico libro sull'Information Retrieval di Stanford: http://nlp.stanford.edu/IR-book/pdf/01bool.pdf
e poi qualcosina su HCI: https://www.interaction-design.org/literature/book/the-glossary-of-human-computer-interaction (la parte sull'affordance è sempre IMHO un ottimo punto di partenza anche nel progetto di API non destinate ad esseri umani)

saluti,
Alfredo

 


Il giorno 5 dicembre 2016 14:30, Riccardo Grosso <<a href="javascript:" target="_blank" gdf-obfuscated-mailto="0qhBxW2ACAAJ" rel="nofollow" onmousedown="this.href=&#39;javascript:&#39;;return true;" onclick="this.href=&#39;javascript:&#39;;return true;">riccardo.m...@gmail.com> ha scritto:
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--
<a href="http://nelfuturo.com/autore/Riccardo-Grosso" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;">http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: <a href="http://opendatasicilia.it" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNG4KqlSWPmiIZsg2QSo26EOmoeA1Q&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNG4KqlSWPmiIZsg2QSo26EOmoeA1Q&#39;;return true;">http://opendatasicilia.it
Facebook: <a href="https://www.facebook.com/groups/opendatasicilia/" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.facebook.com%2Fgroups%2Fopendatasicilia%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHO89I_Zh-IxjN9p587i289KIu-WQ&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.facebook.com%2Fgroups%2Fopendatasicilia%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHO89I_Zh-IxjN9p587i289KIu-WQ&#39;;return true;">https://www.facebook.com/groups/opendatasicilia/
twitter: <a href="http://twitter.com/opendatasicilia" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fopendatasicilia\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEWH0GW57zEJUunwXA9yMPpweLhdw&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fopendatasicilia\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEWH0GW57zEJUunwXA9yMPpweLhdw&#39;;return true;">http://twitter.com/opendatasicilia
Slack: <a href="http://opendatasicilia.it/slack/" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fslack%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFgutwvm_jc1Qkrqdv9UPwFPoDvLQ&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fslack%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFgutwvm_jc1Qkrqdv9UPwFPoDvLQ&#39;;return true;">http://opendatasicilia.it/slack/
Newsletter <a href="http://opendatasicilia.it/newsletter/" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fnewsletter%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFSDG0IXXglezrboTYV7If4RDocSA&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fnewsletter%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFSDG0IXXglezrboTYV7If4RDocSA&#39;;return true;">http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a <a href="javascript:" target="_blank" gdf-obfuscated-mailto="0qhBxW2ACAAJ" rel="nofollow" onmousedown="this.href=&#39;javascript:&#39;;return true;" onclick="this.href=&#39;javascript:&#39;;return true;">opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a <a href="javascript:" target="_blank" gdf-obfuscated-mailto="0qhBxW2ACAAJ" rel="nofollow" onmousedown="this.href=&#39;javascript:&#39;;return true;" onclick="this.href=&#39;javascript:&#39;;return true;">opendat...@googlegroups.com.
Visita questo gruppo all'indirizzo <a href="https://groups.google.com/group/opendatasicilia" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://groups.google.com/group/opendatasicilia&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/group/opendatasicilia&#39;;return true;">https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita <a href="https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium=email&amp;utm_source=footer" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium\x3demail\x26utm_source\x3dfooter&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium\x3demail\x26utm_source\x3dfooter&#39;;return true;">https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita <a href="https://groups.google.com/d/optout" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://groups.google.com/d/optout&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/d/optout&#39;;return true;">https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
<a href="http://dataninja.it" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fdataninja.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNE4A_JdJTUhmblW1st7q7BjSZ-gLw&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fdataninja.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNE4A_JdJTUhmblW1st7q7BjSZ-gLw&#39;;return true;">dataninja.it
<a href="http://twitter.com/nelsonmau" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fnelsonmau\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHtxIcwPU-fKdoy-Hll950fN6Ug7Q&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fnelsonmau\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHtxIcwPU-fKdoy-Hll950fN6Ug7Q&#39;;return true;">http://twitter.com/nelsonmau

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/cd8d6394-5c76-4e4f-b6a3-73355bfac70c%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

Re: [opendatasicilia] domanda sul tema big data

Alfredo Serafini
(qui il libro completo di Stanford: http://nlp.stanford.edu/IR-book/html/htmledition/irbook.html per errore avevo linkato solo il primo capitolo, pardon :-))

Il giorno martedì 6 dicembre 2016 01:12:18 UTC+1, Alfredo Serafini ha scritto:
Dunque, per AI immagino che si intenda Artificial Intelligence, e quindi machine learning.
si e no: il machine learning è un pezzo consitente di ciò che si intende intelligenza artificiale, però nella pratica si combina agli altri ambiti, tra cui tutta la parte "semantica" (da web semantico a linked data) e soprattutto l'information retrieval, che è poi spesso la vera "trincea" dove gli algoritmi si scontrano con la realtà :-)

 
Se non mi sto facendo un film, vuol dire che loro prendono Bigdata o cmq genericamente dati, li danno in pasto a un sofware di machine learning che li classifica per bene e poi ne ottengono degli output.
dipende da ciò che intendiamo per classificazione: in genere come tipologia di task fa parte dell'information retrieval, e di solito sono almeno tre gli elementi essenziali da valutare:
  • individuazione delle feature caratteristiche sul dominio dei dati: in pratica un sottoinsieme delle informazioni tali da caratterizzare la rilevanza di un dato documento, la sua pertinenza ad un gruppo di documenti, o la semantica implicita che descrive.
  • pertinenza: in particolar modo se parliamo di sistemi di ricerca e navigazione
  • usabilità, comprensibilità delle interfacce, trovabilità dell'informazione.
In pratica: se avete già un buon motore di machine learning e vi va di costruire interfacce fruibili, vi serve allora introdurre strumenti di information retrieval come Elasticsearch o Solr, e  progettare una buona UX sulla base delle capacità offerte dai sistemi, magari perfezionando la pertinenza dei dati rispetto a ricerche e classificazioni con il supporto degli algoritmi di ML e di un po' di linked data e vocabolari standard.
Il "motore" così immaginato può a quel punto essere declinato nei modi suggeriti da Andrea sopra:
  • servizi per machine-machine (API RESTful, etc)
  • servizi per human-machine e HCI in generale (qui dipende da quale sia il contesto di nuovo: dai sensori allo speech2text, a semplici SMS, qualsiasi cosa praticamente)
  • interfacce di business intelligence: Kibana o anche KIBI, entrambe basate su Elastichesearch e quindi Lucene, o le corrispettive per Solr, o ancora Pentaho (che utilizza come motore di ML l'ottimo Weka che è anche estensibile, quindi potreste "pluggarci" dentro i vostri algoritmi, magari ;-)), o tante altre ancora
Per orientarsi un po', io suggerirei di partire dal sempre classico libro sull'Information Retrieval di Stanford: <a href="http://nlp.stanford.edu/IR-book/pdf/01bool.pdf" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnlp.stanford.edu%2FIR-book%2Fpdf%2F01bool.pdf\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHyQa9Ko16dQcuGUWegYFINUgQp_A&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnlp.stanford.edu%2FIR-book%2Fpdf%2F01bool.pdf\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHyQa9Ko16dQcuGUWegYFINUgQp_A&#39;;return true;">http://nlp.stanford.edu/IR-book/pdf/01bool.pdf
e poi qualcosina su HCI: <a href="https://www.interaction-design.org/literature/book/the-glossary-of-human-computer-interaction" target="_blank" rel="nofollow" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.interaction-design.org%2Fliterature%2Fbook%2Fthe-glossary-of-human-computer-interaction\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFITgRaMlsmwiwQ78Y7O02ZoTxmBw&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.interaction-design.org%2Fliterature%2Fbook%2Fthe-glossary-of-human-computer-interaction\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFITgRaMlsmwiwQ78Y7O02ZoTxmBw&#39;;return true;">https://www.interaction-design.org/literature/book/the-glossary-of-human-computer-interaction (la parte sull'affordance è sempre IMHO un ottimo punto di partenza anche nel progetto di API non destinate ad esseri umani)

saluti,
Alfredo

 


Il giorno 5 dicembre 2016 14:30, Riccardo Grosso <[hidden email]> ha scritto:
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--
<a href="http://nelfuturo.com/autore/Riccardo-Grosso" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;">http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: <a href="http://opendatasicilia.it" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNG4KqlSWPmiIZsg2QSo26EOmoeA1Q&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNG4KqlSWPmiIZsg2QSo26EOmoeA1Q&#39;;return true;">http://opendatasicilia.it
Facebook: <a href="https://www.facebook.com/groups/opendatasicilia/" rel="nofollow" target="_blank" onmousedown="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.facebook.com%2Fgroups%2Fopendatasicilia%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHO89I_Zh-IxjN9p587i289KIu-WQ&#39;;return true;" onclick="this.href=&#39;https://www.google.com/url?q\x3dhttps%3A%2F%2Fwww.facebook.com%2Fgroups%2Fopendatasicilia%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHO89I_Zh-IxjN9p587i289KIu-WQ&#39;;return true;">https://www.facebook.com/groups/opendatasicilia/
twitter: <a href="http://twitter.com/opendatasicilia" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fopendatasicilia\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEWH0GW57zEJUunwXA9yMPpweLhdw&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fopendatasicilia\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNEWH0GW57zEJUunwXA9yMPpweLhdw&#39;;return true;">http://twitter.com/opendatasicilia
Slack: <a href="http://opendatasicilia.it/slack/" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fslack%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFgutwvm_jc1Qkrqdv9UPwFPoDvLQ&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fslack%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFgutwvm_jc1Qkrqdv9UPwFPoDvLQ&#39;;return true;">http://opendatasicilia.it/slack/
Newsletter <a href="http://opendatasicilia.it/newsletter/" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fnewsletter%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFSDG0IXXglezrboTYV7If4RDocSA&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fopendatasicilia.it%2Fnewsletter%2F\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNFSDG0IXXglezrboTYV7If4RDocSA&#39;;return true;">http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a opendatasicil...@googlegroups.com.
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo <a href="https://groups.google.com/group/opendatasicilia" rel="nofollow" target="_blank" onmousedown="this.href=&#39;https://groups.google.com/group/opendatasicilia&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/group/opendatasicilia&#39;;return true;">https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita <a href="https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium=email&amp;utm_source=footer" rel="nofollow" target="_blank" onmousedown="this.href=&#39;https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium\x3demail\x26utm_source\x3dfooter&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com?utm_medium\x3demail\x26utm_source\x3dfooter&#39;;return true;">https://groups.google.com/d/msgid/opendatasicilia/CAHb%3DY5A1PsOvQ973VtGtTq9gM72_sZfyM0hMxj0sn0k3S_SWaw%40mail.gmail.com.
Per altre opzioni visita <a href="https://groups.google.com/d/optout" rel="nofollow" target="_blank" onmousedown="this.href=&#39;https://groups.google.com/d/optout&#39;;return true;" onclick="this.href=&#39;https://groups.google.com/d/optout&#39;;return true;">https://groups.google.com/d/optout.



--
Andrea Nelson Mauro - Datajournalist
<a href="http://dataninja.it" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fdataninja.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNE4A_JdJTUhmblW1st7q7BjSZ-gLw&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fdataninja.it\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNE4A_JdJTUhmblW1st7q7BjSZ-gLw&#39;;return true;">dataninja.it
<a href="http://twitter.com/nelsonmau" rel="nofollow" target="_blank" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fnelsonmau\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHtxIcwPU-fKdoy-Hll950fN6Ug7Q&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Ftwitter.com%2Fnelsonmau\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHtxIcwPU-fKdoy-Hll950fN6Ug7Q&#39;;return true;">http://twitter.com/nelsonmau

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/f69b00fd-4e57-451d-b753-e4c6db86b940%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.
Reply | Threaded
Open this post in threaded view
|

[opendatasicilia] Re: domanda sul tema big data

Alfredo Serafini
In reply to this post by Riccardo Grosso
aggiungo un altro riferimento sintetico ma a mio avviso efficace, tanto per distinguere tra cosa si intende comunemente per AI e ML:

https://relinklabs.com/what-is-the-difference-between-artificial-intelligence-and-machine-learning-1

Il giorno lunedì 5 dicembre 2016 14:30:20 UTC+1, Riccardo Grosso ha scritto:
Ciao a Tutti.
Riporto la domanda che mi e' stata fatta da un amico.
Non essendo io un esperto di big data, la ribalto cosi' come e', nella speranza di vostre risposte o indirizzamenti verso altri esperti:

Ciao Riccardo, vorrei chiederti un consiglio di tipo lavorativo, se posso. Dato che so che hai lavorato molto con i big data, in azienda stiamo cercando di sviluppare delle interfacce per una AI, di modo da offrire una serie di servizi ai clienti. Le maggiori problematiche che stiamo incontrando non è tanto la AI (ne utilizziamo una sviluppata nell'università di Oxford il cui nome ora non ricordo), ma riuscire a sviluppare appunto delle interfacce fruibili nei vari progetti per comunicare con la stessa. So che detto così è un po' generico (se necessiti di dettagli, dimmelo), ma sapresti per caso indirizzarmi verso qualche libro/risorsa che possa instradare i nostri sforzi? Il problema è che questo è un campo vastissimo in grande evoluzione e rischiamo di concentrarci sulle risorse sbagliate. Grazie mille

--
<a href="http://nelfuturo.com/autore/Riccardo-Grosso" target="_blank" rel="nofollow" onmousedown="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;" onclick="this.href=&#39;http://www.google.com/url?q\x3dhttp%3A%2F%2Fnelfuturo.com%2Fautore%2FRiccardo-Grosso\x26sa\x3dD\x26sntz\x3d1\x26usg\x3dAFQjCNHWaNWPGkrI2c5m_bi-PQgEaMWNdQ&#39;;return true;">http://nelfuturo.com/autore/Riccardo-Grosso

Questo è un account di posta personale di Riccardo Maria Grosso: tutte le opinioni espresse sono personali e non riflettono necessariamente quelle del mio datore di lavoro

Riservatezza: In ottemperanza al D.Lgs. n. 196 del 30/6/2003 in materia di protezione dei dati personali, le informazioni contenute in questo messaggio sono strettamente riservate ed esclusivamente indirizzate al destinatario indicato (oppure alla persona responsabile di rimetterlo al destinatario). Vogliate tener presente che qualsiasi uso, riproduzione o divulgazione di questo messaggio è vietato. Nel caso in cui aveste ricevuto questo messaggio per errore, vogliate cortesemente avvertire il mittente e distruggere il presente messaggio.
Rispetto per l'ambiente - non stampare questa e.mail se davvero non ne hai bisogno

Confidentiality: According to Italian law D.Lgs. 196/2003 concerning privacy, if you are not the addressee (or responsible for delivery of the message to such person) you are hereby notified that any disclosure, reproduction, distribution or other dissemination or use of this communication is strictly prohibited. If you have received this message in error, please destroy it and notify us by email. 
Consider the environment - do not print this email if you really do not need to do so

--
Sito: http://opendatasicilia.it
Facebook: https://www.facebook.com/groups/opendatasicilia/
twitter: http://twitter.com/opendatasicilia
Slack: http://opendatasicilia.it/slack/
Newsletter http://opendatasicilia.it/newsletter/
---
Hai ricevuto questo messaggio perché sei iscritto al gruppo "opendatasicilia" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più le sue email, invia un'email a [hidden email].
Per postare in questo gruppo, invia un'email a [hidden email].
Visita questo gruppo all'indirizzo https://groups.google.com/group/opendatasicilia.
Per visualizzare questa discussione sul Web, visita https://groups.google.com/d/msgid/opendatasicilia/2b2ae297-c624-4a04-9f97-57088f1568f3%40googlegroups.com.
Per altre opzioni visita https://groups.google.com/d/optout.