Mit Annotation bezeichnet man den Prozess der Beschreibung von Medien mit Hilfe von Metadaten. Metadaten sind zunächst die aus dem Bibliothekswesen bekannten Daten zur Formalerfassung wie Autor, Titel, Erscheinungsjahr, bei Filmen auch Regisseur, Genre, FSK, Schauspieler etc. Innerhalb der Formalerfassung werden auch Klassifikationen und Schlagwörter vergeben, wobei das Vokabular in der Regel innerhalb eines Thesaurus klar definiert ist.

AMOPA: Beispiel Automatische Schnitterkennung

Neben dieser Formalerfassung lassen sich aber noch weitere Daten zur Beschreibung heranziehen. Im Film wären dies zum Beispiel Transskriptionen gesprochener Sprache oder Ergebnisse der Bilderkennung. Hinzukommen in Qualität und Umgang sehr variable Metadaten, die zum Beispiel im Rahmen von Social Tagging vergeben werden. Diese Daten unterliegen keiner formalen Qualitätskontrolle und sind daher zwar sehr reich, aber auch nicht unproblematisch.

Der intellektuelle Annotationsprozess durch professionelle Dokumentare führt zu sehr guten Beschreibungen, ist allerdings vergleichsweise zeitaufwändig und kostenintensiv. Selbst in professionellen und finanziell gesicherten Unternehmen wie beispielsweise den öffentlich rechtlichen Fernsehanstalten ist daher eine vollständige intellektuelle Annotation nicht zu realisieren.

Das Framework AMOPA (Automated Moving Picture Annotator) kann hier Abhilfe schaffen. AMOPA generiert automatisch Metadaten zu audiovisuellen Medien. Im Vordergrund stehen dabei Verfahren der automatischen Bilderkennung (Schnitterkennung, Szenenerkennung, Entdecken von Gesichtern und Personen, Objekterkennung). Daneben werden auch Audiospuren hinsichtlich Sprache und Geräuschen analysiert.