Modalità di [...]]]> Recentemente, abbiamo supportato una grossa società nell’adottare l’infrastruttura di Autonomy per cercare documenti presenti nella propria intranet e in alcuni siti Web. Sebbene la tecnologia di Autonomy non sia basata su tecnologie semantiche orientate agli Smart Data, vi riportiamo alcune considerazioni relative alla ricerca di documenti, alla precisione e recall dei risultati e all’analisi linguistica.

Modalità di ricerca documenti: come tutti i motori di ricerca è possibile sottomettere query sia utilizzando keyword che espressioni booleane. In aggiunta, è possibile ricercare documenti usando frammenti di testo in linguaggio naturale: il sistema confronta le parole in tale frammento con le parole presenti nei documenti indicizzati calcolando un indice di somiglianza. Oltre alle query, il sistema permette di definire agenti di ricerca che, similmente a Google Alert, notificano gli utenti quando un nuovo documento indicizzato soddisfa i criteri di ricerca configurati. Infine, il sistema dispone di un sistema di classificazione supervisionato con cui organizzare i documenti secondo una tassonomia configurata.

Precisione e recall dei risultati: i motori di ricerca Web ci hanno abituato con una buona precisione delle ricerche dato che possono strutturare i link presenti tra le pagine Web. Tali link non sono invece presenti significativamente in ambito intranet. Tuttavia, dopo aver svolto le necessarie calibrazioni, ci riteniamo soddisfatti della precisione delle ricerche del sistema di Autonomy. Abbiamo notato che si ottengono risultati più precisi quando le query sono formate da molte keyword correlate o da estratti di testo piuttosto che composte da una singola keyword. Questo comportamento è giustificato dal funzionamento degli algoritmi statistici che determinano la rilevanza dei documenti ritornati in base all’occorrenza dei termini ricercati: più termini di un documento corrispondono alle keyword, più elevata sarà la rilevanza di tale documento. La misura della recall è più complessa data la difficoltà pratica di conoscere a priori tutti i documenti indicizzati dal sistema. Abbiamo svolto delle prove utilizzando query formate da alcune parole presenti nei titoli dei documenti e verificando se tali documenti venissero ritornati. In alcune prove siamo riusciti ad ottenere i documenti ricercati. In altre prove, tuttavia, non abbiamo ottenuto i documenti ricercati nonostante avessimo ricercato utilizzando esattamente il titolo di tali documenti. Crediamo che questo comportamento sia dovuto a due fattori: da un lato il fatto che il sistema non è stato configurato per dare una maggiore rilevanza alle parole presenti nei titoli dei documenti, dall’altro lato il fatto che altri documenti con maggiore rilevanza venivano ritornati prima, spostando il ranking dei documenti ricercati risultati oltre il limite dei risultati visualizzati.

Analisi linguistica: sebbene Autonomy si venda come un motore di ricerca puramente statistico, abbiamo piacevolmente scoperto l’esistenza di alcune funzionalità di analisi linguistica. Innanzitutto, il sistema è dotato di un componente per riconoscere la lingua di ogni documento scegliendola tra circa un centinaio di lingue a disposizione. Inoltre, per ogni lingua, è disponibile un lessico di base usato sia per eliminare le parole non significative che occorrono frequentemente (stop-word) che per estrarre la radice delle parole più comuni (stemming). Inoltre, il sistema può essere integrato con alcuni moduli opzionali forniti da terze parti per tradurre testi tra i diversi linguaggi.

Il corso, della durata di 25 ore, è stato tenuto da me, Marco Masseroli (Politecnico di Milano), Marco Tagliasacchi (Politecnico di Milano) e me.

Qui sotto trovate le slide che ho presentato.

Il corso, della durata di 20 ore, è stato tenuto da me, Andres Splendiani (Rothamsted Research, Londra) e Paolo Romano (IST, Genova). Il corso era di natura teorica-pratica, e comprendeve i seguenti argomenti:

Alla ISWC 2009, il New York Times ha annunciato di aver pubblicato i metadati di 5000 persone schedate nei loro archivi come linked open data usando la licenza CC BY. Rendo disponibili i dati sia come RDF che come HTML.

Navigare [...]]]> Per 150 anni, il New York Times ha mantenuto uno dei più authritativi vocabulari mai sviluppati.

Alla ISWC 2009, il New York Times ha annunciato di aver pubblicato i metadati di 5000 persone schedate nei loro archivi come linked open data usando la licenza CC BY. Rendo disponibili i dati sia come RDF che come HTML.

Navigare le schede degli individui è ora possibile; ecco la lista delle persone i cui nomi iniziano con A! I dati includono una proprietà che permette di accedere a tutti gli articoli del New York Times su un dato individuo (richiede una chiave per usare l’API) e relazioni owl:sameAs che connettono l’individuo con wikipedia e freebase.

In attesa del video della presentazione registrato alla ISWC 2009, ecco il video in cui il New Your Tymes anuncia la propria strategia sui linked open data a SemTech 2009.

Fonte: http://data.nytimes.com/
Discussioni in corso: http://data.nytimes.com/community

Sviluppato da Phase2 Technology con il supporto di Thomson Reuters, OpenPublish è progettata [...]]]> OpenPublish è una distribuzione della ben nota piattaforma di social publishing open source Drupal che include alcune caratteristiche appositamente studiate per i bisogni di publishing online. OpenPublish può essere impiegato con successo per una grande varietà di media sul Web, come riviste, giornali, ecc.

Sviluppato da Phase2 Technology con il supporto di Thomson Reuters, OpenPublish è progettata per fare leva sulle potenzialità di Drupal, sull’integrazione di tecnologie del Semantic Web e sull’adozione delle best practice in uso nella gran parte dei media online. OpenPublish include un  semantic metadata engine che usa i Calais Web Service di Thomson Reuter per fornire metadati contestuali.