"Es gab noch kein TV-Format, das so ganzheitlich crossmedial war"

Bild des Benutzers st-creative@arte.tv
ARTE Creative
10_kate_gehirnstrommessung_nah.jpg

Das crossmediale Projekt "About:Kate" von ARTE Creative begleitet die Protagonistin Kate Harff auf ihrem Weg in die Nervenklinik - man wird zum Freund, Mitpatient oder Regisseur. Als Erweiterung zur TV-Serie, ermöglicht die Smartphone-App eine neue interaktive Komponente. Doch was simpel klingt, erfordert technologische Höchstleistungen. Das Fraunhofer Institut  für Intelligente Analyse- und Informationssysteme (IAIS) vereint Spezialisten für das sogenannte "Audio Fingerprinting", welches das Erlebnis Second Screen möglich macht. ARTE Creative hat mit Sebastian Tschöpel, Solution Architect am IAIS, über Vogelkunde, Datenschutz und die Zukunft des Fernsehens gesprochen.

ARTE Creative: Das Fraunhofer Institut hat die Soundsynchronisation für das Crossmedia-Projekt About:Kate entwickelt, das von "Spiegel Online" als das „neue Fernsehen“ beschrieben wurde. Was genau ist „neu“ daran?

Sebastian Tschöpel: Das Format selbst ist durch seinen ganzheitlichen crossmedialen Ansatz eine Premiere in Deutschland. Die Verbindung von klassischem TV, sozialen Netzwerken, Webseite und Zuschauerinteraktion als fester Bestandteil der Handlung gab es so bisher nicht. Unsere Technik ermöglicht es, dass man eine Synchronisation zwischen dem First –Screen, also dem Fernseher oder dem Laptop und dem Second Screen, also dem Smartphone, erreichen kann, ohne dass man einen zeitlichen Bezug benötigt. Man könnte auch parallel zur Sendung Zusatzcontent ausspielen, wenn es ganz regulär im linearen Fernsehen läuft. Das hat nur den Nachteil dass es erstens nicht genau ist, da es bei den Fernsehanstalten oft zu Verzögerungen kommt und zum anderen funktioniert es nicht mit On-Demand-Video. Was wir mit der Soundsynchronisation erreichen können, ist genau diese Fälle abzudecken. 

Nutzt ihr für die Sound-Synchronisation dieselbe Technologie wie die Musik-Finder-App „Shazam“? 

Der Algorithmus ist nicht derselbe aber die Grundidee ist gleich. Es ist ein Verfahren aus der „Automatic Content Recognition“, der automatischen Inhaltserkennung. Ähnlich wie bei Shazam ist es auch bei uns so, dass wir eine Datenbank haben, die alle Tonspuren enthält, die wir erkennen wollen. Wir zeichnen ein Stück Sound auf dem Gerät auf, aus dem wir dann eine Art Fingerabdruck berechnen, den wir an einen Server schicken. Der prüft dann in der Datenbank, um welchen Audioschnipsel es sich handelt. Der Unterschied ist eher die Art des Fingerprints und die zugehörige Datenbank die für den Anwendungsfall anders konzipiert ist. 

Wie ist dieser Algorithmus entstanden?

Es ist bei uns oft so, dass solche Technologien für ganz andere Anwendungsfälle gedacht waren, wo man im ersten Moment gar nicht daran denkt, dass das etwas mit Second Screen oder Kultur zu tun haben könnten. Bei uns wurde der Fingerprint-Algorithmus als erstes zur Wiedererkennung von Vogelstimmen in einem Forschungsprojekt entwickelt.

In welchen Bereichen kommt Audio Fingerprinting ansonsten zum Einsatz? 

Musikerkennung wäre ein Beispiel. Letztendlich kann man die Technik überall da einsetzen, wo man ein bestimmtes akustisches Muster wiedererkennen will. Zum Beispiel in der Medienbeobachtung. Angenommen ich habe einen Werbespot und möchte herausfinden, wo dieser überall ausgestrahlt wird. Dann könnte man mit einem System, das so eine Fingerprinting-Technologie enthält, alle möglichen Fernsehsender überwachen. Man kann die Technologie eben auch als Redaktionswerkzeug verwenden und das, was man typischer Weise in Fernsehbild einbindet automatisch einblenden. Wenn das Audio-Signal ausgestrahlt wird, blendet die Technik im richtigen Moment den Inhalt ein. Die Technologie wird derzeit im Rahmen des europäischen Forschungsprojektes FIcontent weiterentwickelt und in verschiedenen Anwendungsszenarien getestet.

zusatz_und_diagnose.jpg

Die Smartphone-App zur Serie "About:Kate" vor und während der Soundsynchronisation

Gibt es vergleichbare Projekte? 

In den USA gibt es bereits Serien die so einen Second Screen-Ansatz haben. Für die Serie „Walking Dead“, eine Zombie-Endzeit-Serie, wurde eine Second Screen-App entwickelt, in der die Fans den „Kill Count“ für die Sendung schätzen konnten. In Amerika sind Second Screen-Technologien auf jeden Fall stärker verbreitet. Es gibt in Deutschland  mittlerweile auch einen VW Spot, wo man einchecken kann und dann auf die Volkswagen-Webseite geführt wird.

Neben dem Verfahren des ‚akustischen Fingerabdrucks‘ gibt es noch das sogenannte „Watermarking“. Wie unterscheiden sich die zwei Verfahren?

Der Unterschied besteht darin, dass man beim Fingerprinting ein beliebiges Tonsignal nehmen kann das wiedererkannt wird. Beim Watermarking wird ein nichthörbares Wasserzeichen in die Tonspur imprägniert. Wenn man herausfinden möchte, an welcher Stelle der jeweiligen Episode ist der Nutzer gerade, muss man beim Watermarking nicht die Aufzeichnung die man gemacht hat wiedererkennen, sondern extrahiert aus dem Signal das Wasserzeichen heraus. In diesem Wasserzeichen steht dann zum Beispiel der Time Code der Sendung. Das hat unterschiedliche Vor- und Nachteile. Watermarking hat den Vorteil, dass man keine Datenbank benötigt, die alle Inhalte enthält die man erkennen will, da alle Informationen die man benötigt in dieser Markierung enthalten sind. Der Nachteil ist allerdings, dass man alles, was man wiedererkennen will, vorher mit einem Wasserzeichen versehen muss. Es gibt zum Beispiel Anwendungsfälle in der Medienbeobachtung, für die diese Technik nicht geeignet ist, da man nicht beeinflussen kann was die Sender ausstrahlen. Beim Fingerprinting ist es genau umgekehrt – man benötigt im Vorfeld eine Datenbank aller Muster die man finden möchte, aber nicht das Material in dem man suchen möchte. 

 

sebastian.jpg

Sebastian Tschöpel, Solution Architect am Fraunhofer Institut für Intelligente Analyse- und Informationssysteme (IAIS)

Gibt es beim Audio-Fingerprinting Risiken für den Datenschutz?

Zumindest  nicht in unserem Fall. Wir zeichnen zwar fünf Sekunden auf, aber was wir verschicken ist nicht diese Aufzeichnung. Das Ganze ist im Prinzip auch ein Verschlüsselungsverfahren. Was wir verschicken, ist nur noch eine sehr abstrakte Zahlenfolge, die gar keinen Rückschluss mehr über das ursprüngliche Signal zulässt, sondern nur noch zum Abgleich mit der Datenbank geeignet ist. Wir speichern auch keine IP-Adressen der User. 

Vor welche Herausforderungen stellte euch das Projekt About:Kate? 

Die Herausforderung war letztlich, das System so zu gestalten, dass es den Nutzerzahlen und -anforderungen gerecht wird. Das kann man zu einem bestimmten Teil leider nur schätzen. Natürlich kann man so ein Audio-Synchronisations-System auf eine Million Nutzer auslegen, das wären aber ziemlich unnötige Kosten. Deshalb muss man ein Gleichgewicht schaffen zwischen Größe des Systems und Nutzern die man erwartet. Das war ein bisschen schwierig, weil man natürlich nicht wusste, wie viele Nutzer sich die Sendung ansehen und wie viele dann auch noch ein Smartphone haben, sich die App herunterladen und diese nutzen. Diese Zahlen, Schätzungen und die Tatsache, dass alle zu Beginn der Sendung zeitgleich synchronisieren, waren schon eine Herausforderung, für die wir auch noch einiges an Tests machen mussten. Ansonsten war es natürlich auch eine Herausforderung, weil das in der Form in Deutschland noch niemand gemacht hat. Es gab noch kein TV-Format, das so ganzheitlich crossmedial war. Deswegen konnte man relativ schwer auf Erfahrungswerte zugreifen. 

Das Fraunhofer Institut kommuniziert die Meinung, dass interaktives Fernsehen die Zukunft ist. Was denkst du über den Trend „Second Screen“? 

Ich gehöre ja selbst zu den „Digital Natives“ und nutze mein Smartphone demensprechend viel. Der Trend geht auf jeden Fall zum Second Screen. Diese Unmittelbarkeit, dass man immer die Möglichkeit hat, mit dem Smartphone etwas zu machen, die ist natürlich sehr stark. Dadurch ist man ja bereits im Alltag schon permanent crossmedial.  Es ist heute relativ selten, für einen „Durchschnitts-Digital-Native“, nur ein einziges Medium zu einem Zeitpunkt zu verwenden. Der Second Screen kann jetzt im Moment eine Lücke füllen, die das Fernsehen nicht selber schließen kann, weil es linear und zeitabhängig ist. Man hat nicht die Möglichkeit irgendwie mit dem Fernseher zu interagieren, was ja eigentlich sehr altmodisch ist, für jemanden der im Internetzeitalter aufgewachsen ist.
Bei „About:Kate“ schaut man zwar eine lineare TV-Sendung, kann aber trotzdem mit dem Programm interagieren, was eine Möglichkeit ist, die es vorher nicht gab. Mal angenommen ein Produzent würde sich mehrere Handlungsstränge überlegen und die Zuschauer darüber abstimmen lassen. Es ist sehr interessant was man potentiell alles machen könnte.

Was entgegnest du Kritikern des generellen "Second Screen" Trends?

Nutzt das Angebot einfach nicht. Man kann „About:Kate“  genauso ohne Second Screen gucken, da spricht nichts dagegen – man verpasst nur eben die interaktive Komponente. Das Problem ist eher andersherum: Die Anbieter von TV-Content müssen sich der Herausforderung stellen, dass viele Leute parallel zu ihrem Programm ein zweites Medium verwenden wollen. Der Bedarf nach Second Screen ist offensichtlich da und Anbieter benötigen Strategien um den Nutzer nicht an den Second Screen zu verlieren. 

Die nächste Folge von "About:Kate" seht ihr am Samstag, 29.06. um 23:40 Uhr auf ARTE. 

Links:

About:Kate
About:Kate-App für iOS
• About:Kate-App für Android
• Fraunhofer Institut Sankt Augustin
"Walking Dead"-App
• Shazam
• FIcontent

Kommentare (0)