Was haben die FIlme “Casablanca”, “Metropolis” und “Die zwölf Geschworenen” allesamt gemeinsam? Allen drei Klassikern fehlt die Farbe. Obwohl 1935 der erste Farbfilm über die Kinoleinwand flimmerte, waren bis Mitte des 20. Jahrhunderts Schwarzweißfilme die Regel. Die TU Graz will nun aber auch Filmen aus dieser Zeit mit Künstlicher Intelligenz Farbe einhauchen.

KI mit Deeplearning-Technik

Bereits seit den 1970er Jahren gibt es immer wieder Versuche alte Filme zu kolorieren. Die entstandenen Kosten für manuelle oder halbautomatische Kolorierungstechniken ließen jedoch lange keinen nennenswerten Fortschritt zu. Auch die vollautomatische Einfärbung hat den Nachteil, dass die Farben nicht realitätsgetreu wirken.

Die TU Graz startete mit ihrem Projekt “RE:Color: Effiziente Färbung von Filmen in Kinoqualität basierend auf neuartigen Methoden des Maschinellen Lernen” einen neuen Anlauf bei der Einfärbung.

Informatiker:innen rund um Thomas Pock vom Institut für Maschinelles Sehen und Darstellen entwickelten zusammen mit der auf die Restauration von historischen Filmen spezialisierte Grazer Firma HS-Art eine integrierte Softwareanwendung. Diese arbeitet mit einer automatisierten Einfärbetechniken und ist mit einem Deep-Learning-System erweitert. Dieses sorgt dafür, dass der Algorithmus automatisch arbeitet, aber dennoch vollständig benutzergesteuert funktioniert.

Welche Farbe braucht es wofür?

“Man braucht immer einen Menschen, der aus historischen Überlieferungen weiß, wie die Kleidung, die Fassaden, etc. damals ausgesehen haben. War die Soldatenuniform grün oder blau? Das kann kein Algorithmus entscheiden. Er kann aber daraus lernen”, sagt Projektleiter Pock. So muss der Algorithmus mit Trainigsdaten gefüttert werden, um bestimmte Farbmuster zu erkennen.

Ziel der Forscher:innen ist es, mit möglichst wenig menschlichem Input die Filme effizient einzufärben. “Das kann so aussehen, dass der Mensch die Farbgebung für einen Filmframe vorgibt, und die Software dann die Einfärbung  weiterer Frames übernimmt“, erklärt Pock. Diese zentrale Anforderung der nutzergeleiteten Steuerung wird nur dank vor-trainierter, selbst-lernender neuronaler Netze erfüllt, die durch Benutzerinteraktion dynamisch beeinflusst werden können.

Erster Film bereits eingefärbt

Vor Projektstart haben die Forscher:innen unterschiedliche KI-Technologien analysiert, die eine automatische Einfärbung versprechen. Den besten Ansatz haben sie in der Folge mit Entwicklern von HS-Art in eine Prototypanwendung implementiert und dabei ausreichende Testmuster generiert.

Mittlerweile ist die KI bereits so weit, dass sie alte Filme sauber restauriert und einfärbt. Historische Aufnahmen wären jedoch laut Pock oft authentisch, weil sie gewisse Rauschelemente oder andere Störungen enthalten. Auch darauf weiß die KI eine Antwort. So kann die Software dieses Rauschen nachdem Restaurieren wieder generieren und einfügen.

Der Quellcode zum Algorithmus ist nach der Publikation auf einer Fachtagung mittlerweile frei zugänglich. Wie die TU auf ihrer Website berichtet, braucht es jedoch aufbauende Software vom Projektpartner HS-Art, um das Produkt effizient zu nutzen.  Der „Diamant-Film Colorizer“ kam beispielsweise in der ZDFzeit-Dokureihe „Hitlers Macht“ zur originalgetreuen Einfärbung historischer Aufnahmen zum Einsatz.