Semantische Suche im audiovisuellen Kulturerbe - Das Projekt mediaglobe
- 1. Semantische Suche im audiovisuellen Kulturerbe – Das Projekt mediaglobe Johannes Hercher Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert (Förderkennzeichen: 01MQ09031).
- 2. Forschungsgruppe: ,Semantic Technologies & Multimedia Retrieval‘ ■ Themen in der Forschungsgruppe, u.a.: □ Semantic Web Technologies □ Ontology Engineering □ Multimedia Analysis & Retrieval Macht audiovisuelles Kulturerbe erlebbar! ■ Projekte Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 2 / 14
- 3. Übersicht ■ Das Projekt mediaglobe ■ Herausforderungen bei der Filmrecherche ■ Metadatengenerierung & Vernetzung ■ Semantische Suche (Demo) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 3 / 14
- 4. Das Projekt mediaglobe { Unterstützung von Filmarchiven, bei: Digitalisierung Projektlaufzeit: 2009 – 2012 Erschließung und Verwertung von audiovisuellen Materialien. Aufgaben (HPI) Medienanalyse & Metadatengenerierung semantische Analyse & semantische Suche innovative Benutzerschnittstellen Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 4 / 14
- 5. Kontexte Fakten Autoren Historiker Ideen Zitate Perspektive Fundstellen ~1.000 h Dokumentarfilm (defa Spektrum GmbH) nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960) Zeitzeugen, TV-Produktionen, Amateuraufnahmen, … Qualität Rückblick Rechte Emotionen Privat- Ereignisse Verwertung Produzenten personen
- 6. Die Situation Die Ziele ■ Filme online nicht verfügbar ■ Punktgenauer Zugriff auf Medieninhalte ■ Ereignisse, ■ verteilte Bestände ■ Orte, ■ Personen ■ Sichtung vor Ort erforderlich ■ Genaue und vollständige Suchergebnisse ■ geringe Erschließung ■ high precision, ■ keine Cross-Recherche ■ high recall ■ nicht intuitiv nutzbar ■ Intuitive Benutzeroberfläche ■ interaktiv, ■ benutzerfreundlich
- 7. Lösung: Punktgenaue Semantische Suche Medien Medienanalyse Strukturen & Metadaten- Kohl Halle Adenauer Metadaten Bonn generierung Text Mai Einheit Semantische Analyse & Entitäten/ Named-Entity- Ressourcen Recognition Metadaten Netz von vernetzen z.B.: bibliographische Daten, Beziehungen Gekoordinaten, Abstracts encyclopaedic data, .. Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 7 / 14
- 8. Lösung: Information → Wissen Film 1 : Walter Markov Interview (1989) Wendezeit; Erster Mai; 17.12.1989 1.5.1966; 20 Jahre SED Walter Ulbricht Ulbricht, Walter (PND) Walter Markov Ulbricht, Lotte (PND) Honecker, Erich (PND) Berlin; Marx-Engels-Platz Berlin; Marx-Engels-Platz Revolution Prager Frühling Nelke (SWD) Bild: Defa Spektrum GmbH Bild: Defa Spektrum GmbH dbpedia:wikiPageRedirects Film 2: Berlin heute (1966) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 8 / 14
- 9. Digitalisierung → Semantische Suche UIMA - Unstructured Information Persistent Storage (Media Asset Management) Management Architecture Schnitterkennung Gesichtsdetektion Media Transcoding kollaborative Annotation Semantic Analysis Digitalisierte Video OCR Named Entity Semantische Recognition Suche Filme Disambiguierung Audio Analyse Genre Erkennung Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 9 / 14
- 10. Medienanalyse Schnitterkennung ■ Strukturanalyse ■ Fehlerquellen Analyse von Histogramm-Differenzen □ harte Schnitte, < VS > □ Bildfehler, □ weiche Schnitte □ Kamerabewegung ähnliche Merkmale ! ■ Analytisch z.B. durch: □ Differenzbildanalyse □ Analyse von Helligkeits- und Farbdifferenzen Analyse von Bewegungsvektoren □ Analyse von Bewegungsvektoren ■ Maschnielles Lernen, z.B. mit: □ K-Nearest Neighbor □ Random Forrest □ Support Vector Machines Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 10 / 14
- 11. Medienanalyse Texterkennung ■ Texterkennung im Video, Herausforderungen: □ Text in großen Bilddatenbeständen identifizieren □ geringe Auflösung □ unterschiedliche Textgrößen und Schriften □ bei Szenentext: □ schlechte Lichtverhältnisse □ perspektivische Verzerrung □ bei Overlay-Text □ heterogener Hintergrund ■ Aufgaben (vor der Texterkennung) » Bildverbesserung Prof. Rudolf Agsten LDPD » Textseparierung Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 11 / 14
- 12. Semantische Analyse Named Entity Recognition durch semantische Graphenanalyse Amtseinführung Truman The Truman Show ? Truman Capote ? Eisenhower Potsdam Harry S. Truman ? Amtseinführung Inauguration Kontext Truman, Minnesota ? Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 12 / 14
- 13. Demonstration Semantische Suche Generierung von Metadaten Analyse Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 13 / 14
- 14. Kontakt Johannes Hercher Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D-14482 Potsdam Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.html E-Mail: Johannes.Hercher@hpi.uni-potsdam.de Twitter: jhercher an k f ür Vi ele n D am ke it! uf me rks I hr e A Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 14 / 14