01 Multimedia Analyse-Technologien - Kickoff

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

MULTIMEDIA ANALYSE-TECHNOLOGIEN

SeminarDr. Harald Sack / Jörg Waitelonis

Bernhard Quehl / Haojin Yang / Christian HentschelHasso-Plattner-Institut für Softwaresystemtechnik

Universität PotsdamSommersemester 2012

Mittwoch, 11. April 12

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://mumat2012.blogspot.com/Mittwoch, 11. April 12

http://www.bibsonomy.org/user/lysander07/sw0809-08


Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam

3

Multimedia Analyse-Technologien

1. Dozenten / Tutoren2. Multimedia Analyse-Technologien3. Seminar Challenge4. Administratives



4

Multimedia Analyse-TechnologienDozenten / Tutoren

Dr. Harald Sack■ Senior Researcher am HPI■ Leiter der Forschungsgruppe

„Semantische Technologien“■ Forschungsschwerpunkte:□ Semantic Web Technologien□ Multimedia Retrieval□ Wissensrepräsentation■ Yovisto.com / SEMEX


http://www.hpi.uni-potsdam.de/meinel/team/sack.html




http://www.amazon.de/gp/product/3540442766/ref=as_li_ss_tl?ie=UTF8&tag=moresemantic-21&linkCode=as2&camp=1638&creative=19454&creativeASIN=3540442766












































Dipl. Inform. Jörg Waitelonis

■Studium Informatik Uni-Jena bis 2006■2006-2007 Exist-Seed Projekt Osotis■ seit 2007 Gründer von yovisto.com■Entwickler von REPLAY (ETH-Zürich)■ Forschung: Semantic Web, Multimedia-Retrieval,

Suchmaschinen Technologien

5



http://www.hpi.uni-potsdam.de/meinel/team/mitarbeiter_meinel/joerg.html

http://www.hpi.uni-potsdam.de/meinel/team/mitarbeiter_meinel/joerg.html


5Dipl. Inform. (FH) Bernhard Quehl

■Fachhochschule Brandenburg ■Schwerpunkt:

• Intelligente Systeme• Network Computing■Diplomarbeit am Fraunhofer Heinrich Hertz

Institut – Bildverarbeitung■Research Assistant at HPI, Mediaglobe Project




5Dipl. Ing Haojin Yang

■ TU Ilmenau (2002 - 2007)■ Software Entwickler (2008 - 2010)■ Research Assistant, Doktorand am HPI■ Forschung:

• Multimedia Analyse, • Video-OCR, • Automatic Speech Recognition, • Semantic Web, Information Retrieval



Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam

8


http://www.yovisto.com/

http://www.yovisto.com/


9

■ Projektzeitraum: 2009-2012■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von

AV-Inhalten


http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies/mediaglobe.html



















































































http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies/semantic_media_explorer.html






























































































































































































































































































































































































































































































































































































































































11





12

How to Search in Multimedia Archives?



13

Step 1: Digitalization of analog data

Step 2: Annotation with (text based) metadata

How to Search in Multimedia Archives?

Step 3: Content based search on textual metadata



...today multimedia metadata is generated manually



15

Face DetectionIdentification

TrackingClustering

overlay text

Logo Detection

VisualConcept Analysis

Classification:StudioIndoorPerson

News Show

scenetext

Audio-Mining

structuralanalysis

AutomatedSpeech

Recognitionspeaker

identification

Multimedia Analyse-TechnologienAutomated Video Analysis



16

video

• Decomposition of time-based media into meaningful media fragments of coherent content that can be used as basic element for indexing and classification

scenes

shots

subshots

frameskey frames

Multimedia Analyse-TechnologienStructural Video Analysis



17





18

video

scenes

shots

subshots

• Decomposition of time-based media into meaningful media fragments of coherent content

• Compute keyframes to represent each media fragment

frames

Multimedia Analyse-TechnologienKeyframe Extraction



19 • displaying video search results

We can use Keyframes for...



20

• generating a Visual Table of Content (VToC)

We can use Keyframes for...



21

• ...similar to storyboards used for movie production


via http://storyboardking.wordpress.com/


http://storyboardking.wordpress.com/

http://storyboardking.wordpress.com/


22

• ...or similar to comic strips


The famous plaster sequence from L'Affaire Tournesol (1955)©Hergé/Moulinsart 2012



23

How many keyframes do we need for efficient representation of a video?




24


What about 1 single keyframe...?Mittwoch, 11. April 12


25


We should learn from movie posters...Mittwoch, 11. April 12


26


•Aber: •unterschiedliche Genres besitzen unterschiedliche Regeln,

z.B.•Feature-Film •Stummfilm•Sport•Nachrichten• Interview•Dokumentation•Zeichentrickfilm• Vorlesung•One-Picture-Per-Day•Musikvideo• ...



27

Multimedia Analyse-TechnologienSeminar Challenge

■ Gegeben:□ Videos aus unterschiedlichen Genres

■ Challenge: (1) Szenen-basierte Zusammenfassung:

Als Eingabe wird eine Szenen-Segmentierung (Schnittmarken) des Videos bereitgestellt, auf deren Grundlage die Auswahl der Keyframes erfolgt.

(2) Video-basierte Zusammenfassung: Als Eingabe wird die genaue Anzahl an zu extrahierenden Keyframes festgelegt.



28





29

□Semesterwochenstunden: 4□ECTS: 6□Leistungsfeststellung: □Schriftliche Ausarbeitung zum Vortragsthema (Umfang ca. 20 Seiten)

□Musterausarbeitung in den Materialien zum Seminar□Umsetzung einer vorgegebenen Implementierungsaufgabe im Team□Präsentation der Ergebnisse

(Zwischenpräsentation, Endpräsentation, Wochenbesprechungen)

Multimedia Analyse-TechnologienAdministratives



30

□Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung□Termine□16./18.4.2012: Technologieeinführung

□Bild- und Videobearbeitung/-programmierung mit OpenCV□Feature Extraction - welche, wie, und wozu überhaupt?□Evaluation - wie beurteile ich mein Ergebnis objektiv?




31

□Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung□Termine□16./18.4.2012: Technologieeinführung□ab dem 23.4.2012: Wöchentliche Seminargruppentreffen

□Termine nach Absprache□ca. 4.6.2012: Zwischenpräsentation der Projektergebnisse□11.7.2012: Abschlusspräsentation der Ergebnisse




Seminar Semantic Multimedia

32



33Literatur

• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008

• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008

• Blog zur Webseite:http://mumat2012.blogspot.com/
















































































Date post:	05-Dec-2014
Category:	Documents
Upload:	harald-sack
View:	821 times
Download:	0 times

01 Multimedia Analyse-Technologien - Kickoff

Documents