Introduzione alla ricerca Introduzione alla ricerca multimediale di documenti digitali:multimediale di documenti digitali:il MultiMedia Information Retrievalil MultiMedia Information Retrieval

Roberto RaieliRoberto RaieliUniversità Roma TreUniversità Roma Tre

raieli@uniroma3.it

Università degli Studi di Roma “La Sapienza”Scuola Speciale per Archivisti e Bibliotecari – 14 gennaio 2010

2/47

Sommario Il MMIR tra informatici e bibliotecari

Il MMIR tra Computer science e BiblioteconomiaSviluppo di principio dall’IR al MMIRConfusione dei principi di IR e MMIRIR e MMIRMultiMedia Information RetrievalQuery multimediale VS query testualeUso proprio e improprio del linguaggio di queryLa rivoluzionarietà del sistema del MMIRIl reperimento Content-basedL’importanza del metodo semantico nel MMIRLa problematicità del metodo del MMIRFunzionamento dei sistemi di MMIRFunzionamento di un sistema avanzatoAmbiti applicativi dei sistemi MMIRModalità del Visual RetrievalSpecificità del Video RetrievalParticolarità dell’Audio RetrievalDemo principaliAltre demoPremessa teoricaIndicazioni bibliografiche

3/47

Il MMIR tra informatici e bibliotecari

MMIR non è più un acronimo misterioso per gli esperti di Information Technology, quali ingegneri, informatici e matematici, che lavorano in ambiti vicini al Knowledge Management e alla Documentazione.

L’interesse per la rivoluzione di prospettiva metodologica e operativa del MMIR, e la riflessione sul suo sviluppo concettuale, devono invece essere ancora introdotte tra bibliotecari e documentalisti,

operatori diretti della gestione dell’informazione in biblioteche, mediateche, archivi e centri di documentazione.

4/47

Il MMIR tra Computer science e Biblioteconomia La sperimentazione e l’utilizzo delle tecnologie di

MMIR sono già sviluppati nell’ambito di ricerca dell’Ingegneria informatica, dell’Intelligenza artificiale, della Computer vision, o dell’Audio processing.

Il contesto internazionale della Biblioteconomia, e gli studi italiani tra i primi, hanno ancora l’occasione di accogliere in tempo la discussione, nel momento in cui i database e le interfacce di MMIR sono in fase di sperimentazione,

con la conseguente possibilità di indirizzare lo sviluppo di tali sistemi secondo le necessità di ordine documentale.

5/47

Sviluppo di principio dall’IR al MMIR

Information Retrieval:

sistema di ricerca per termini di documenti di tipo testuale,

applicato anche a documenti visivi, sonori, audiovisivi…

MultiMedia Information Retrieval:

sistema di ricerca tramite testi, immagini e suoni,

per documenti di tipo testuale, visivo, sonoro, audiovisivo!

6/47

Confusione dei principi di IR e MMIR

Nel caso in cui si volessero interrogare fonti di documenti testuali tramite mezzi non testuali tale confusione di linguaggi sarebbe sicuramente considerata paradossale;

ma nei casi in cui s’interrogano tramite testo fonti documentarie visive, sonore o audiovisive lo scambio di linguaggi opposto è considerato opportuno.

Se non è possibile ricercare e recuperare un documento scritto con i mezzi del linguaggio audiovisivo,

allo stesso modo non dovrebbe essere considerato un metodo efficace recuperare documenti consistenti in immagini o suoni attraverso l’uso di testi descrittivi,

i quali spesso non riescono nemmeno a elencare le molte e diverse particolarità dei documenti.

7/47

IR e MMIR

Nella pratica tradizionale dell’Information Retrieval ogni tipo di ricerca documentale è riportato alle condizioni di una ricerca tramite linguaggio testuale.

Con i criteri del MultiMedia Information Retrieval ogni genere di documento digitale è trattato e ricercato tramite gli elementi di linguaggio, o di metalinguaggio, più adatti alla sua natura oggettiva.

Senza restrizioni, il concetto di Information Retrieval può ampliarsi, diventare un termine più ricco di significato, un sinonimo di MultiMedia Information Retrieval.

Il MMIR si definisce come sistema organico, comprendendo differenti aspetti specifici: Text Retrieval, Visual Retrieval, Video Retrieval, Audio Retrieval.

8/47

MultiMedia Information Retrieval

TR Sistemi di Text Retrieval, nei quali il principio stesso del MMIR legittima e garantisce l’utilizzo di dati testuali e terminologici per la ricerca di informazione testuale.

VR Sistemi di Visual Retrieval, in cui i file di immagini fisse sono cercati e recuperati tramite dati visivi interni al file, quali strutture, forme, colori e distribuzioni spaziali.

VDR Sistemi di Video Retrieval, dove per il recupero degli audiovisivi si utilizzano dati audiovisivi, cioè elementi ricavati dalle immagini del video, dal movimento delle figure, dall’analisi del montaggio o della traccia sonora.

AR Sistemi di Audio Retrieval, in cui l’informazione è ricercata tramite dati sonori, ricavando gli elementi di query dall’analisi delle frequenze, dei tempi, di ritmi e melodie.

9/47

Query multimediale VS query testuale

Nei database dove il contenuto dei documenti è principalmente testuale, è appropriato che le chiavi che ne consentono l’accesso siano parole, termini e frasi estratti dall’interno di quel contenuto stesso.

Nei database multimediali, invece, è semplificativo e impreciso attribuire, dall’esterno, una descrizione testuale anche a contenuti consistenti in elementi visivi, sonori o audiovisivi.

Un linguaggio di query appropriato deve sempre essere coerente con il contenuto oggettivo del documento e il tipo di informazione ricercata.

10/47

Uso proprio del linguaggio di query

11/47

Uso improprio del linguaggio di query

12/47

Uso improprio del linguaggio di query

13/47

Uso proprio del linguaggio di query

14/47

La rivoluzionarietà del sistema del MMIR Si fonda sulla base di una tecnologia di

archiviazione e recupero che tratta direttamente il contenuto oggettivo dei documenti,

definita per questo Content-based.

In opposizione ai tradizionali sistemi di indicizzazione e ricerca basati su termini descrittori di tale contenuto concreto,

detti Term-based.

15/47

Il reperimento Content-based

Il metodo content-based del MMIR consente il reperimento dei documenti tramite gli appropriati mezzi del linguaggio stesso del loro contenuto informativo:

il riconoscimento, la somiglianza, i rapporti di misure e valori.

Utilizzando quali chiavi di ricerca e recupero:

strutture, forme, figure, linee, colori, suoni e movimenti.

16/47

Il reperimento Content-based I sistemi di MMIR più avanzati possono essere molto utili nel

supporto alla ricerca teorica e alla pratica creativa,

tanto come strumento per i professionisti, quanto come guida per gli utenti comuni.

La richiesta dell’utente può essere costituita semplicemente dall’invio di un’immagine o di un brano campione, con o senza precisazioni attraverso parametri o testi, e il sistema reperirà documenti che possiedono caratteristiche simili.

I documenti recuperati possono essere visualizzati insieme a una serie di documenti in relazione,

quali note critiche, schede e tabelle tecniche, informazioni sugli studi in corso, e altre note e riferimenti di ogni genere, nonchè link per documenti simili.

17/47

L’importanza del metodo semantico nel MMIR Un buon livello di precisione nel recupero dei documenti

multimediali si può raggiungere, tuttavia, solo utilizzando in combinazione, e mutua integrazione, tecniche e tecnologie di ricerca basate:

sia sulla rappresentazione del contenuto, attraverso elementi multimediali,

sia sulla definizione dei concetti, tramite termini semantici.

In sostanza, integrando nell’insieme organico del MMIR le tecniche di TR, VR, VDR e AR,

ma tenendo sempre presente che all’integrazione tra le modalità content-based deve essere organicamente connessa anche l’integrazione con le modalità semantiche del trattamento e della ricerca documentali.

18/47

La problematicità del metodo del MMIR

Sono necessari sistemi tecnologicamente molto avanzati e costosi per il trattamento di documenti che sono spesso molto ricchi dal punto di vista formale.

Soprattutto, però, i metodi content-based e automatici non sempre risultano i più adatti a soddisfare le esigenze più elevate di studiosi e specialisti.

Il senso di un’opera rappresentata in un documento deve essere colto nella sua totalità, nella considerazione simultanea delle molte qualità sensibili e intellettuali, di aspetto e di significato, concrete e astratte.

I sistemi d’accesso al contenuto oggettivo si dimostrano inadeguati per indicare la molteplicità di punti interpretativi intellettuali, anch’essi utili per l’accesso ai documenti.

19/47

La problematicità del metodo del MMIR

I sistemi di MultiMedia Information Retrieval dunque:

mantengono sempre validità nel caso di un approccio diretto e contenutistico-oggettivo al documento,

ma presentano una certa limitatezza nel caso di un approccio teorico e intellettuale-interpretativo.

La differenza e la distanza tra i due generi di approccio può essere definita semantic gap,

scopo dei più progrediti sistemi di MMIR è colmare questo vuoto concettuale, metodologico e operativo.

20/47

La problematicità del metodo del MMIR

Considerando i limiti semantici del sistema content-based, un opportuno intervento intellettuale nella ricerca è spesso necessario per precisare la strategia e aumentare le possibilità di reperimento.

La necessità di integrare accessi contenutistici e accessi semantici ai documenti deve portare alla definizione di un sistema univoco e organico di trattamento dell’informazione multimediale,

in grado di considerare contemporaneamente le esigenze di ricerca di carattere semantico-interpretativo e contenutistico-oggettivo.

21/47

La problematicità del metodo del MMIR

Tutti i procedimenti di ricerca, testuale, visiva, sonora e audiovisiva, possono operare in costante e organica interazione,

componendo una formula di query che combinando insieme testi, immagini, suoni e termini, serva per la ricerca di documenti molto complessi, il cui contenuto si estende verso tutti i livelli di senso e significato.

Tale strutturazione della query potrà permettere agli utenti, volta per volta, di usare in modo libero e flessibile, accanto agli strumenti per operare direttamente sui contenuti concreti, anche gli schemi concettuali,

tenendo conto, accanto alla propria sensibilità, anche delle attitudini a classificare le informazioni e i documenti.

22/47

Funzionamento dei sistemi di MMIR(creazione archivio e indice) Analisi: individuazione automatica o semiautomatica degli

elementi formali dei documenti.

Datafiling: creazione dei file di dati con gli elementi costitutivi generali di ogni documento.

Caratterizzazione: estrazione dei dati caratteristici relativi agli aspetti principali dell’oggetto e collegamento al datafile generale tramite i metadati di riferimento.

Indicizzazione: aggiornamento dell’inverted file costituito dai dati oggettivi caratteristici e generali e dai metadati.

Descrizione: collegamento delle opportune informazioni testuali descrittive tramite i metadati.

Interpretazione: individuazione degli aspetti semantici e inserimento dei termini di indicizzazione nei metadati.

23/47

Funzionamento dei sistemi di MMIR(ricerca e recupero) Ricerca preliminare: interrogazione di tipo terminologico per

selezionare una parte dei documenti dell’intero database.

Ricerca multimediale: utilizzo di qualcuno dei documenti estratti come modello di esempio per lanciare la query multimediale.

Similarity match: cattura automatica dei documenti la cui similitudine con il campione è di grado compreso nel parametro impostato.

Ranking: presentazione automatica dei documenti in ordine dal più al meno corrispondente alle caratteristiche richieste.

Approfondimento: utilizzo degli ulteriori documenti estratti, modifica delle caratteristiche, selezione di parti, associazione di elementi, per rilanciare la query.

24/47

Funzionamento di un sistema avanzato Analisi multimediale in fase di query: effettuata

automaticamente e non soltanto all’atto della creazione o dell’aggiornamento del database.

Proposta modelli: interrogazione tramite campioni immessi direttamente dall’esterno del database.

Composizione modelli: possibilità di produrre liberamente un modello di query tramite apposite funzioni del sistema.

Interazione: rapporto con l’utente che consente al sistema di comprendere e indirizzare il criterio di ricerca con un certo grado di apprendimento dell’interpretazione umana data al processo.

25/47

Ambiti applicativi dei sistemi MMIR Archivi di televisioni, radio, giornali, cineteche (ricerche

molto veloci in collezioni di notevoli dimensioni). Architettura, Archeologia, arti visive (ricerca e confronti di

immagini, progetti, costruzioni, siti, in base alle similarità). Ingegneria e disegno industriale (ricerca e confronto di

progetti, ricognizione automatica di difetti ed errori). Medicina (prima diagnosi tramite confronto di ricognizioni

audiovisuali). Sistemi di identificazione e di sorveglianza (ricerche e

confronti in archivi di forze di sicurezza e di polizia). Musicologia (varie modalità di ricerca e confronto tra brani). Didattica (guida per ricerche e confronti formali). E-commerce (ricerca di prodotti in base a campioni simili). Immagini geografiche, chimica, acustica, design, eccetera.

26/47

Modalità del Visual Retrieval

Trattamento semantico: definizione di etichette testuali, descriventi caratteristiche, nomi, titoli, classi o concetti, da attribuire, anche automaticamente, a un’immagine, le quali dovranno essere conosciute e richiamate per consentire il recupero del documento associato.

Trattamento formale: confronto tra le forme estratte dalla figura archiviata e quelle estratte dal modello di query, messo a disposizione dal sistema oppure immesso dall’esterno. Il recupero del documento avviene quando l’elaboratore valuta un certo grado di vicinanza tra i valori dei dati delle immagini confrontate.

27/47

Modalità del Visual Retrieval

Trattamento strutturale: scomposizione delle immagini archiviate in sezioni, di cui il sistema stima la somiglianza della composizione strutturale con la struttura delle sezioni di una figura modello.

Trattamento colorico: rappresentazione delle immagini estraendo da esse le proprietà coloriche, i colori o i diversi grigi, che le costituiscono. Le varie operazioni si basano sul trattamento e il confronto dei valori di tali dati.

Trattamento parametrico: determinazione dei parametri rappresentativi della forma, della struttura e del colore delle immagini. Il sistema recupera i documenti confrontando i valori dei parametri immessi nella query, tramite figure modello o griglie, e quelli delle immagini in archivio.

28/47

Specificità del Video Retrieval

Un flusso di dati video è una semplice successione di bit, senza struttura sequenziale, la quale dovrà essere analizzata e rielaborata dal sistema.

Riarticolazione e segmentazione del video in 4 livelli: frame, shot, scene, film.

Estrazione di video-summary, o video-abstract, per le successive elaborazioni di query e retrieval.

Il trattamento dei documenti audiovisivi condivide alcune modalità con il Visual Retrieval,

ma nei video si devono considerare il fattore tempo, il montaggio, i movimenti di macchina, gli spostamenti e le trasformazioni, e spesso i dati sonori e testuali.

29/47

Specificità del Video Retrieval

Utilizzo di keyframe come base per la query visiva.

Informazioni sul movimento e sul sonoro come dati di completamento della video-query.

Dati testuali per elementi di query relativi a titoli, scritte, parlato, dati esterni.

Browsing dei documenti secondo diverse modalità di impostazione e di presentazione.

Sono da considerare diverse tipologie di audiovisivi:

programmi televisivi, film, interviste, video conferenze, registrazioni generiche, animazioni...

30/47

Particolarità dell’Audio Retrieval

Un flusso di dati audio è caratterizzato da proprietà relative al tempo e alla frequenza.

Differenti tipologie di trattamento:

navigazione tra segmenti di uno stesso documento sonoro;navigazione tra segmenti sonori di tipo diverso;indicizzazione e recupero di brevi suoni singoli; indicizzazione e recupero di brani sonori nei video;recupero tramite selezione di termini in brani di parlato;trattamento e indicizzazione del parlato;trattamento di sonorità varie e dei rumori.

31/47

Particolarità dell’Audio Retrieval

I maggiori punti problematici sono:

la trascrizione, l’allineamento di versioni differenti, il confrontro delle variazioni, l’audio thumbnailing, l’audio browsing.

Alcune modalità di AR possibili:

Speaker ID, Similarity query, Query-by-humming.

Due sistemi principali di AR:

Automatic Speech Recognition,Music Information Retrieval.

32/47

Demo di QuickLook

DISCo – Università di Milano-BicoccaITC – CNR di Milano

projects.ivl.disco.unimib.it/quicklook

33/47

Demo di Retriev

System One Labs, Wien – Innsbruck

labs.systemone.at/retrievr

34/47

Demo di QBIC-HSM digital collection

Hermitage State Museum

www.hermitagemuseum.org/fcgi-bin/db2www/qbicSearch.mac/qbic?selLang=English

35/47

Demo di MILOS

ISTI – CNR di Pisa

milos.isti.cnr.it

36/47

Demo di SoundFisher

Muscle Fish, Berkeley (USA)

www.soundfisher.com

37/47

Altre Demo Viperviper.unige.ch/doku.php/home

WebSEEkwww.ctr.columbia.edu/webseek

MediaMillwww.science.uva.nl/research/mediamill

TUT MUVIS Xt Projectmuvis.cs.tut.fi

38/47

Premessa teorica Si può definire una proposta teorica per il MMIR iniziando

con una sorta di provocazione, facendo riferimento alla teoria estetica del fuori campo.

Ogni prodotto creativo umano che inquadra un oggetto rinvia inevitabilmente al suo contesto fuori campo, al contesto del mondo esterno, ricco di interrelazioni, nel quale vive il creatore, nel quale è stata partorita l’opera muovendo da altri elementi in essa confluiti per montaggio, nel quale anch’essa pienamente vive.

Il fuori campo dell’opera rappresenta il necessario valore aggiuntivo, il senso non solo contestuale, l’ampliamento conoscitivo, di una produzione specifica.

A tale ambito si può mirare volutamente o meno, sarà comunque inevitabile la tensione dell’opera verso altro, il contesto possibile e necessario che la identifica e la determina nella sua individualità e nei rapporti con il resto.

39/47

Premessa teorica

Se la Documentazione è attività di creazione, è conoscenza in quanto somma delle multiformi conoscenze, è montaggio delle diverse parti originarie verso un oggetto di nuovo e più ampio senso e significato,

allora anche nel prodotto finale della ricerca documentale è presente la stessa tensione verso il fuori campo.

La complessa lista finale di riferimenti informativi, che inquadra l’oggetto di conoscenza desiderato, che segnala e inquadra la “relazione” tra i documenti,

inevitabilmente punta verso un valore aggiuntivo dinamico, che risiede in tutto il contesto che attornia il percorso e l’esito della ricerca.

40/47

Premessa teorica I metodi content-based di Information Retrieval, nel mirare

in modo più congruo e oggettivo al contenuto concreto dei documenti, implicano lo sviluppo di un montaggio dei contenuti degli oggetti che via via emergono durante i processi della similarity search.

Ciò poiché i documenti possono passare in rassegna sensuale dinanzi a chi effettua, segue o ottiene la ricerca informativa.

Tale montaggio contenutistico produce un naturale e inevitabile contesto conoscitivo aggiuntivo, orientato al contenuto finale,

non astratto e concettuoso come le somme di dati informativi prodotte dalle spesso innaturali ricerche term-based di documenti non testuali, ma un contesto evocato sensualmente nell’ambito di processi di indagine coerenti con i contenuti effettivi ricercati.

41/47

Premessa teorica

Il contesto conoscitivo fuori campo si sviluppa inevitabilmente sia nel corso della ricerca, per chi materialmente la esegue, sia dal risultato finale, per chi non passivamente lo riceve e lo valuta in tutte le implicazioni.

La selezione finale dei documenti verrà definita avendo sempre presente il contesto complessivo da cui quei dati sono volta per volta estratti, in tutta la sua dinamicità.

Sia il documentalista sia l’utente potranno essere coscienti della dinamica, del risultato e delle possibilità di una ricerca tra i materiali multimediali che non può essere egualmente illuminata se condotta nella prospettiva solo terminologica definita per sviluppare ricerche di materiali testuali.

42/47

Premessa teorica

Può completare questo panorama teorico una proposta di epistemologia biblioteconomica di tipo ermenutico.

La prospettiva ermeneutica si pone come soluzione della alternativa tra la linea storico-filologico-erudita e quella socio-economico-informatica,

definendo una scienza calata nella dimensione della particolarità storica senza perdere il riferimento di principi incondizionati e generali.

Questo può garantire l’utilizzo non riduzionista nella scienza biblioteconomica degli apporti delle discipline socio-economiche e della scienza dell’informazione,

applicate secondo i propri progrediti principi ma contestualizzate storicamente e concettualmente.

43/47

Premessa teorica

Dalle due premesse, si potrà indicare una prospettiva epistemologica biblioteconomico-documentalistica che formi la base da cui derivare una teoria dei fondamenti del sistema del MMIR.

Alla linea ermeneutica si può combinare l’iniziale approccio estetico che, come quello ermeneutico, lungi dal prendere le distanze da un principio generale e organico di trattamento dell’informazione e della conoscenza, ribadisce come al criterio della comprensione concettuale-testuale si debba in molti casi affiancare la sensibilità pratico-formale,

che meglio si adatta ai casi specifici di ogni tipologia di documenti, ricchi o meno di testo che siano quali quelli multimediali.

44/47

Premessa teorica L’approccio ermeneutico varrà per comprendere le

innovazioni del MMIR entro la cornice dei principi biblioteconomici, senza perdere la cognizione di cosa significhi organizzare l’informazione per l’utenza:

intendere le proposte particolari del MMIR entro i principi generali della Biblioteconomia e della Documentazione eviterà di realizzare una metodologia slegata dal contesto.

L’approccio estetico sarà giocato per introdurre le linee della creatività e della fantasia, come elementi essenziali per poter condurre ogni ricerca informativa nel complesso docuverso così come nella mutevole realtà:

i valori immediati e sensibili, non astratti e non intellettivi, determinati nella comunicazione quotidiana, sono una risorsa da sfruttare per potersi calare nell’odierno flusso della conoscenza, rizomatico, non incasellabile nelle stantie e complesse logiche totalizzanti e classificatorie.

45/47

Bibliografia

Deb, S. (ed.). Multimedia systems and Content-Based Image Retrieval, Hershey, Idea Group, 2004.

Dimitrova, N. et al. Applications of video content analysis and retrieval, “IEEE Multimedia”, 9 (2002), n. 3, p. 42-55.

Enser, P. G. B. Visual Image Retrieval, in Annual review of information science and technology (ARIST), New York, AAIST, 2008, p. 3-42.

Enser, P. G. B. Visual image retrieval, “J. of Information Science”, 4 (2000), n. 26, p. 199-210.

Enser, P. G. B. Pictorial information retrieval, “J. of Documentation”, 51 (1995), n. 2, p. 126-170.

46/47

Bibliografia

Hare, J. S. et al. Mind the gap, in Proceedings of multimedia content analysis, management and retrieval 2006, San Jose, SPIE, 2006, p. 75-86.

Lew, M. S. et al. Content-based Multimedia Information Retrieval, “ACM Trans. on Multimedia Comp., Commun. and Applic.”, 2 (2006), n. 1, p. 1-19.

Mittal, A. An overview of multimedia content-based retrieval strategies, “Informatica”, 30 (2006), n. 3, p. 347-356.

Raieli, R. (ed.). L’informazione multimediale dal presente al futuro, Roma, AIB Lazio, 2005.

47/47

Bibliografia

Raieli, R. – Innocenti, P. (eds.). MultiMedia Information Retrieval, Roma, AIDA, 2004.

Svenonius, E. Access to nonbook materials, “J. of the American Soc. for Inf. Science”, 45 (1994), n. 8, p. 600-606.

Typke, R. et al. A survey of Music Information Retrieval systems, in Proceedings of the sixth International Conference on Music Information Retrieval (ISMIR), London, 2005, <ismir2005.ismir.net/proceedings/1020.pdf >.

13 aprile 2023