Query Reformulation Seminar Multimedia-Datenbanken Sommersemester 2002 Marcus Denecke.

Query Reformulation

Seminar Multimedia-Datenbanken

Sommersemester 2002

Marcus Denecke

Marcus Denecke Query Reformulation 2

1. Einführung

2. Content-Based Image Retrieval

3. Relevanz-Feedback

3.1 Query-Reweighting

3.2 Query-Expansion

4. Implementation

5. Zusammenfassung

Gliederung


• global zunehmende Menge an digitalen Daten

• darunter: steigender Anteil an Multimediadaten

• insbesondere Bilder: aus Medizin, Geographie etc.

1. Einführung

• Wunsch: effiziente Speicherung MMDatenbanken

• Wunsch: leichtes Wiederauffinden der (Binär-)Daten

• Problem: Suche in digitalen Daten

• Ansatz: Verschlagwortung


• jedes Bild wird manuell mit Schlagwörtern versehen

• Suche erfolgt auf diesen Begriffen

• aber: Verlagerung des Problems, keine Lösung:

• Skalierbarkeit Aufwand

• Subjektivität Inkonsistenz

• Komplexität Transformation

• Ansatz: Nutzung des Bildinhaltes zur Suche

Schlagwörter

1. Einführung


2. Content Based Image Retrieval

• frühe 90er• Ansatz: Multimediadaten enthalten bestimmte

Features / Merkmale• Bsp. für Bilder: Farben, Texturen, Formen• Nutzung als Bildindex• Vorteile:

• Automatisierte Extraktion• Daten selbst immer konsistent




• Nutzer können ihren Informationsbedarf nicht mit Hilfe der Merkmale ausdrücken

• Lücke zwischen der Wahrnehmung des Nutzers und der Repräsentation im System

• Gewichte für den Nutzer umständlich


Nachteile

• Idee: Merkmale verbergen und Gewichte dynamisch anpassen

• Dynamik Iterationen Relevanz-Feedback


• Multimediaobjekt O = O (D, F, R)• D = Daten, F = Merkmale, R = Repräsentationen• verschiedene Medientypen verschiedene

Merkmale (z.B. Farbe, Textur, Form)• Merkmale in unterschiedlichen Repräsentationen

z.B. Histogramme und Color Moments für die Farbe• Repräsentationen wiederum Vektoren mit Werten für

die entsprechende Ausprägung


Multimedia-Objekt-Modell


Multimedia-Objekt-Modell



Query-Modell


• Erweiterung des Objekt-Modells• jeder Ast des Suchbaums ist entsprechend der

Relevanz gewichtet• bei mehr als einem vorgegebenen Beispiel:

• Objekt-basiertes Modell • Merkmals-basiertes Modell


Query-Modell



Retrieval-Modell


• bestimmt die Ähnlichkeit zwischen einem Objekt O und einer Query Q durch Berechnung der Distanz mit einer Ähnlichkeitsfunktion D(O, Q)

• Ergebnis: gerankte Liste von Objekten

• Objekt-Modell, Query-Modell, Retrieval-Modell und eine Sammlung von Abstandsmassen zusammen bilden das Content-Based Multimedia Retrieval Modell


Retrieval-Modell




• Informationsbedarf modelliert durch• dynamisch angepasste Gewichte

Query Reweighting• Erweiterung der Query um neue Objekte

Query Expansion

• Query Reformulation beschreibt den iterativen Prozeß der Anpassung einer Query basierend auf dem Feedback des Nutzers so, dass sie sein Informationsbedürfnis besser abdeckt als zuvor


Techniken

Query Refinement

Query Representation Modification

Query Reweighting

Query Expansion

Query Point Movement


• Beispiel: Chariot

http://simulant.ethz.ch/Chariot/


3.1 Query Reweighting

Hand-Out

• Iterativer Prozess• Ziel: Modellierung des Informationsbedarfes durch

die Anpassung der Gewichte im Query-Model• Versuch die high-level-Konzepte des Nutzers

(„Katze“) auf low-level-Features des Systems (Farbe, Form, Textur) abzubilden


Normalisierung


• Problem: Ähnlichkeitsmaße müssen nicht immer im selben Bereich liegen Verzerrung

• Normalisierung der• Komponenten eines Repräsentationsvektors rij intra

• Ähnlichkeitswerte jeder Repräsentation S(rij ) inter

• Gauss-Normalisierung • Wertebereich [0, 1]


Weight-Updating


• eigentliche Erfassung der Subjektivität• Nutzer gibt auf einer Skala von sehr relevant (3) bis

gar nicht relevant (- 3) die Relevanz zurück

• Anpassung der• Gewichte in den Repräsentationen (Wij) inter

• Gewichte der Vektorkomponenten (Wijk) intra

Erhöhung und Minderung der Gewichtung der Merkmale und Repräsentationen


3.2 Query Expansion

• Nutzer findet u.U. kein geeignetes Beispiel um sein Informationsbedürnis auszudrücken

• System das nur mit Beispielen arbeitet limitiert den Nutzer

• Lösung: Query Expansion• Idee: Aufnahme von einer limitierten Auswahl an

relevanten Objekten in die anfängliche Query


Similar Expansion

3.2 Query Expansion

• Aufnahme von relevanten Objekten, wenn diese sehr ähnlich zu den vom Nutzer als relevant ausgewählten sind

• Rechtfertigung: da die Objekte den gewünschten ähnlich sind, repräsentieren sie wiederum andere ähnliche Objekte


Distant Expansion

3.2 Query Expansion

• Aufnahme von relevanten Objekten, wenn diese weniger ähnlich zu den vom Nutzer als relevant ausgewählten sind

• Rechtfertigung: diese Objekte könnten einige interessante Merkmale aufweisen, die bis dahin nicht im Suchbaum berücksichtigt wurden Erweiterung der Anfrage um neue Merkmale

• sollten die Objekte nicht nützlich sein, so werden sie durch das Relevanz-Feedback in der nächsten Iteration wieder gelöscht


• Problem: Berechnung der Ähnlichkeitswerte extrem aufwendig

• Lösungsansatz: „Pufferung“ eines Teils der Informationen jeder Iteration des Prozesses

• Ansatz: k-NN-Algorithmus

4. Implementation


5. Zusammenfassung

• Relevanz-Feedback sinnvolle Ergänzung des CBIR• durch Interaktion wird eine effiziente Suche

ermöglicht, ohne dass beide Seiten die Grundlagen der jeweils anderen kennen

• Problem: die Abbildung von high-level-Konzepten auf low-level-Features ist sehr beschränkt

Integration von high-level-Konzepten erforderlich


Quellen

• Relevance Feedback: A Power Tool for Interactive Content-Based Image Retrieval; Rui, Huang, Ortega, Mehrotra, September 1998

• Query Reformulation for Content Based Multimedia Retrieval in MARS; Pokaew, Mehrotra, Ortega, November 1998

• Efficient Query Refinement in Multimedia Databases; Chakrabarti, Porkaew, Mehrotra, 2000

Date post:	05-Apr-2015
Category:	Documents
Upload:	wenzeslaus-gerhardt
View:	105 times
Download:	0 times

Query Reformulation Seminar Multimedia-Datenbanken Sommersemester 2002 Marcus Denecke.

Documents