Der iFinder – entwickelt neue Perspektiven Dr. Jobst Löffler, Felix Zielke Der iFinder – entwickelt neue Perspektiven Outline Medienanalyse und –Retrieval iFinder Medienanalyse Toolkit Anwendungsfelder - Broadcasting - Medienbeobachter - Internet Referenzprojekt AudioMining Kurzdemo Jobst Löffler, Felix Zielke 2 Der iFinder – entwickelt neue Perspektiven Automatische Medienanalyse und Retrieval Motivation: Daten- und Wissensmanagement wird zum zentralen Thema x Produktion digitaler multimedialer Dokumente (Fotos, Videos, Texte, CAD, digital Radio & TV) kontinuierlich und in großen Mengen x Kommunikation und Austausch global , ohne Barrieren x Wert von Daten muss eingestuft, geschützt und erhalten werden Entsprechende automatische Werkzeuge existieren zum Teil für Textdokumente, aber noch nicht ausreichend für Audio- und Videodokumente etc. Wissensextraktion (automatische Analyse) • Personen - Wer ist im Video zu sehen? • Sprache - Was wird gesprochen? Medien-Retrieval (Suchmaschinen) • Zeige alle Videos mit Angela Merkel. • Zeige alle Videos mit dem Thema Fussball. CNN News Jobst Löffler, Felix Zielke 3 Der iFinder – entwickelt neue Perspektiven Mittel der Wahl: Erzeugung von Metadaten ? Analyse von Multimedia-Daten • • Inhaltliche Merkmale werden vom Computer erkannt und interpretiert (Segmente, Sprache/ nicht-Sprache, Sprachtext, Gesichter, Logos etc.) „Metadaten“ machen AV-Daten • durchsuchbar • auffindbar • wieder-verwertbar Meist statistische Verfahren - Training Jobst Löffler, Felix Zielke 4 Der iFinder – entwickelt neue Perspektiven Aktueller Stand Medienanalyse Vorteile von automatischen Werkzeugen x Schnell (je nach Verfahren und verfügbarer Rechenleistung) x Günstig, da sehr effizient (besonders nach Domänenanpassung) x Grosse Menge an detaillierter Information Vollautomatische Erzeugung von komplexen semantischen Zusammenhängen aber noch ungelöst (fehlerfreie Volltexterkennung, Auto-Zusammenfassung etc.) Semantischer Abstraktionslevel Semantic Gap automatische Analyse semi-automatische Analyse manuelle Analyse Erzeugungsaufwand Jobst Löffler, Felix Zielke 5 Der iFinder – entwickelt neue Perspektiven Automatische Medienanalyse – iFinder Technologie Segmentierung Klassifizierung Speech Speech Speech Non-Speech Sprecher ID 1 Non-Speech Sprecher ID 1 Sprecher ID 2 Neuwahlen Face ID 1 … In der Diskussion um die geplanten Neuwahlen häufen sich Spekulationen. Der Konter aus dem Kanzleramt kommt in der BundespresseJobst Löffler, Felix Zielke konferenz… Face ID 1 Pressekonferenz Erkennung Face ID 2 Metadaten MPEG-7 6 Der iFinder – entwickelt neue Perspektiven iFinder und iFinderSDK – Die Medienanalyse-Software des Fraunhofer-IAIS iFinderSDK iFinder System Multimedia-Daten Flexibel einsetzbares SDK zur Erstellung von MedienanalyseAnwendungen RetrievalAnwendung MerkmalsAnalyse Client-ServerApplikation zum Suchen und Browsen in Archiven Metadaten Jobst Löffler, Felix Zielke 7 Der iFinder – entwickelt neue Perspektiven iFinderSDK: In a Nutshell Software Development Kit für Windows und Linux Audio x Audio-Segmentierung x Klassifizierung der Segmente (Sprache/Nichtsprache etc.) x Spracherkennung x Sprecher-Clustering x In der Entwicklung: Sprechererkennung Video: x Schnitt- und Überblend-Erkennung x Gesichtfindung und -gruppierung x Logoerkennung x In der Entwicklung: Personenerkennung Input: MPEG-1, MPEG-2, MPEG-4 und WAV Output: MPEG-7 Metadaten, MXF Jobst Löffler, Felix Zielke 8 Der iFinder – entwickelt neue Perspektiven Beispiel: MPEG-7-Darstellung der Analyseergebnisse Audio-Segmentierung: <Mpeg7> <MediaLocator> <MediaUri>/home/bsp/tagesschau.mpg</MediaUri> </MediaLocator> … <TemporalDecomposition gap="false" overlap="false"> <AudioSegment id="a0"> <MediaTime> <MediaTimePoint>T00:00:00:00F100</MediaTimePoint> <MediaDuration>PT8S39N100F</MediaDuration> </MediaTime> </AudioSegment> … <AudioSegment id="a23"> … </AudioSegment> </TemporalDecomposition> … </Mpeg7> Jobst Löffler, Felix Zielke Gesichtsfindung: <MediaOccurrence> <Mask xsi:type="SpatialMaskType"> <StillRegion> <Polygon> <Coords mpeg7:dim="2 4"> 146 78 200 78 200 132 146 132 </Coords> </Polygon> </SubRegion> </Mask> </MediaOccurrence> 9 Der iFinder – entwickelt neue Perspektiven iFinder Suchmaschine für Medienarchive Videostreaming plus MPEG-7 Metadaten Suchanfrage über Internet Jobst Löffler, Felix Zielke 10 Der iFinder – entwickelt neue Perspektiven Anwendungsfelder: iFinder Technologie Rundfunkbetreiber - Aufbereitung von Altmaterial „Retro-Digitalisierung“ - Neues digitales Material in kürzester Zeit verfügbar machen Medienbeobachter - Präsenz von Personen, Marken usw. in Radio und TV - Programmanalyse: Häufigkeit von Werbung, Wiederholungen Internet - Multimedia-Suchmaschinen, Suche im Inhalt statt nach Titel - Podcast Suchmaschinen Sicherheitstechnik - Schlüsselwortsuche im lokalen Funkverkehr der Feuerwehr bei großen Einsätzen (SHARE Projekt) Private Anwender - Pflege von Foto- und Videosammlungen Jobst Löffler, Felix Zielke 11 Der iFinder – entwickelt neue Perspektiven Broadaster: Anforderungen an ein digitales A/V-Archiv Klassischer Workflow („Bandbasiert“) Akquise Ingest Bildschnitt – Digitaler Workflow („Bandlos“) Tonbearbeitung Sendung (Fast) jeder Schritt bedeutet auch eine Formatwandlung. Das Archiv steht am Ende der Kette und wird oft „vernachlässigt“. Die Wiederverwertung archivierten Materials ist aufwendig. Die nötigen Metadaten werden von Hand erzeugt. Jobst Löffler, Felix Zielke Archiv 12 Der iFinder – entwickelt neue Perspektiven Anwendungsfeld: Internet Podcast Suchmaschinen Podcast-Angebote werden immer mehr genutzt Wichtiger neuer Kanal für Broadcaster etc. Gezielte inhaltliche Suche nach Podcasts heute schwierig Mit iFinder Technologie lassen sich leistungsstarke Suchmaschinen aufbauen Jobst Löffler, Felix Zielke 13 Der iFinder – entwickelt neue Perspektiven Anwendungsfeld: Medienbeobachtung Beschleunigung des manuellen Monitoring-Prozesses durch Segmentierung und Vorklassifizierung Automatisches Keyword-Spotting (Markennamen etc. plus Kontext) Jobst Löffler, Felix Zielke 14 Der iFinder – entwickelt neue Perspektiven Aktuelle Projekte AudioMining Auftraggeber: Deutsche Welle und Westdeutscher Rundfunk Ausgangssituation: - Dokumentare annotieren manuell Radiobeiträge - Formaldaten, Strukturdaten, Inhaltliche Beschreibung - Dauer: ca. 3-5fache Beitragslänge Projektziel: - Erforschung der Unterstützungsmöglichkeiten für Dokumentare durch automatische Analysesoftware - Standalone-Prototyp eines Archivierungs- und Retrievalsystems Jobst Löffler, Felix Zielke 15 Der iFinder – entwickelt neue Perspektiven Aktuelle Projekte AudioMining-Prototyp Funktionalitäten: - Segmentierung in Audio-Tracks - Klassifizierung Sprache/Nichtsprache - Sprecher-Gruppierung (Clustering) - Wortschatzunabhängige Schlagwortsuche Technologie: iFinderSDK Module - Segmentierung und Speaker-Clustering (Bayesian Information Criterion) - Silbenbasierte Spracherkennung - Fuzzy-Schlagwortsuche in Silbentranskripten (Levenshtein-Distanz) Jobst Löffler, Felix Zielke 16 Der iFinder – entwickelt neue Perspektiven Aktuelle Projekte AudioMining – Suche in Silbentranskripten - Silben als Teile eines Wortes können für die Spracherkennung gut eingesetzt werden. - Für eine gute Abdeckung der deutschen Sprache reichen etwa 5000 Silben. - “Fuzzy syllable search” kann Erkennungsfehler kompensieren: "... Und Gleichberechtigung“ Fehler in der wort-basierten Transkription: “ungleich Berechtigung” Fehler in der silben-basierten Transkription : Q_U_n_ g_l_aI_C_ b_e:_ r_E_C_ t_I_ g_U_N_ Q_U_n_t_ g_l_aI_C_ b_e:_ r_E_C_ t_I_ g_U_N_ Jobst Löffler, Felix Zielke 17 Der iFinder – entwickelt neue Perspektiven Aufbau des AudioMining-Systems: Indexierung und Suche Integrator Web-Client FAR JavaServlet SCL WDR .meta (Standard Input) WDR .mpeg7 iFinderSDK XML-Datenbank (Apache Xindice) WDR .sil (SilbenTranskript) Suchwort mit Zeitmarke Audio Input Silbenzerlegung und Syll_Search (Library) Silben-Datenbank (File System) Jobst Löffler, Felix Zielke 18 Der iFinder – entwickelt neue Perspektiven Zusammenfassung Automatische Medienanalyse und Informationsretrieval sind ein hochinteressantes Gebiet: aus Sicht der Wirtschaft und der Forschung Semi-automatische Verfahren unterstützen u.a. - den manuellen Archivierungsprozeß im Rundfunkbereich - manuelles Medienmonitoring bei Medienbeobachtern Vollautomatische Verfahren werden z.B. eingesetzt - für Web-Crawler: Podcast Suchmaschine - zur Videoschnittdetektion iFinder Technologie des Fraunhofer IAIS hilft Unternehmen, effiziente Prozesse zum Wissensmanagement für multimediale Daten zu gestalten Neueste Forschungsergebnisse und weitreichende Erfahrung im SystemEngineering gewährleisten fortschrittliche und robuste Lösungen für Ihr Unternehmen Jobst Löffler, Felix Zielke 19
© Copyright 2024 ExpyDoc
