Technical Directing für eine Filmwelt im Umbruch

„In dem einen Jahr hat sich sehr viel getan“, sagt Simon Spielmann, als er von einem Kranwagen im Albrecht Ade Studio steigt. Der leitende Ingenieur der Forschungs- und Entwicklungsabteilung des Animationsinstituts installiert gerade das Motion-Caption-System der neuen LED-Wand. Die Wall sei im Vergleich zum vergangenen Jahr mit 10 x 4 Meter größer und um 3 Grad pro Element gekrümmt. „Durch die Krümmung kann man mit den Bildschirmen noch besser das Set beleuchten“, erklärt er. In kürzester Zeit habe sich die Technik enorm weiterentwickelt.

Immer mehr Studios setzen auf LED-Walls

Weltweit entstünden immer mehr LED-Sets. „Jede Facility, die etwas auf sich hält, hat diese Studios eingerichtet. In Deutschland gibt es sie etwa schon in Köln, Berlin, Mannheim und München.“ Auch die Software, um diese Anlagen zu bedienen, hätte einen Riesensprung gemacht. „Vor einem Jahr war das alles noch sehr prototypisch, mittlerweile ist vieles anwenderfreundlicher.“

Die großen LED-Screens erfüllen auf Filmsets die Rolle eines virtuellen Bühnenbilds. Die Technik ersetzt immer häufiger Blue- und Greenscreens, die bisher zum Einsatz kamen, wenn Filmszenen vor computergenerierten Landschaften oder fotografischen Hintergründen spielen. Im Gegensatz zu Blue- und Greenscreens erfolgt bei filmisch genutzten LED-Walls die Gestaltung der bildlichen Umwelt der Szenen nicht im Nachhinein, sondern in Echtzeit am Set. Dadurch können Regieführende und Schauspielende einfacher mit den virtuellen Bildern arbeiten.

Filmbranche will CO2-Ausstoß drastisch reduzieren

Für den weltweiten Boom der Technologie ist mitunter die Coronapandemie verantwortlich. Als Drehs in aller Welt durch die Hygienemaßnahmen eingeschränkt waren, wurde die Technik vermehrt als Alternative zu Shootings an realen Orten eingesetzt, um Reisen von Crews zu vermeiden. Beispielsweise wurde sie bei der Disney-Serie Mandalorian oder der Netflix-Produktion 1899 verwendet.

Doch auch ohne die Pandemie-Einschränkungen ist die Technologie auf dem Vormarsch. Denn die Filmbranche befindet sich in einer Phase des Umbruchs. In Zeiten des immer sichtbarer werdenden Klimawandels hinterfragt auch sie ihren Beitrag zur globalen Erwärmung. Die Sustainable Production Alliance, in der die weltweit wichtigsten Filmfirmen organisiert sind, bezifferte im März 2021 den durchschnittlichen CO2-Ausstoß einer Filmproduktion auf exorbitante 3.370 Tonnen. Pro Drehtag sind es etwa 33 Tonnen. Neben dem direkten Verbrauch fossiler Brennstoffe fällt der Transport von Gütern und Personen am meisten ins Gewicht.

Immer mehr Player der Branche wollen dieses Problem nun in den Griff bekommen. Der Streaming-Anbieter Netflix etwa verkündete 2021 einen ambitionierten Plan, den Konzern und seine Produkte bereits bis Ende 2022 klimaneutral zu machen. Bei einem CO2-Fußabdruck von 1,13 Millionen Tonnen, den Netflix allein 2020 verursachte, ist das eine gewaltige Aufgabe. Einer der ersten Schritte sei laut Netflix Reisen von Crews zu minimieren und verstärkt auf lokale Teams zu setzen. Hierbei spielen voraussichtlich Drehmethoden mit der LED-Wall-Technologie eine Rolle, da diese ortsunabhängig eingesetzt werden können.

Film als spannendes Anwendungsgebiet für Informatikerinnen und Informatiker

Das Animationsinstitut der Filmakademie mit seiner Research- und Developmentabteilung und dem Aufbaustudiengang Technical Directing forscht seit Längerem an der neuen Technik. Es gilt in Europa als eines der führenden Forschungseinrichtungen auf dem Feld der Virtual Production. Seine Studierenden absolvieren während ihres Studiums den sogenannten Set Extension Workshop. Dabei lernen sie gemeinsam mit den Studiengängen Kamera und Produktionsdesign, Animations- und VFX-Technologie mit Filmsetaufnahmen zu kombinieren. Im Zuge des Workshop-Moduls entwickeln und realisieren die Studierenden im Team einen Kurzfilm.

Im Jahr 2020 wurde in diesem Rahmen erstmals eine LED-Wall in Ludwigsburg aufgebaut. Neben dem Workshop-Projekt unternahm die Forschungsabteilung daran zahlreiche Testreihen. Zudem konnten Studierende ihre Projekte mit der LED-Wall drehen. Technical Directing (TD) Studierende sind in den Projektteams für die technische Realisierung der Filme zuständig. Sie haben einen Informatik-Background und entwickeln Tools und Softwareanwendungen für die sogenannten Pipeline-Prozesse, die für die Erstellung von Filmen mit Animation- und VFX-Anteilen notwendig sind. In ihren Studieninhalten nimmt der Umgang mit der LED-Wall-Technologie eine immer wichtigere Rolle ein.

LED-Walls ermöglichen neue XR-Erlebnisse und interaktive Anwendungen

2021 nutzt beispielsweise das Team des Films Cybercity Lovestory den Studioaufbau. Bei diesem Projekt handelt es sich um einen Serienpiloten, der eine neuartige transmediale und immersive Erzählweise verfolgt: Cybercity Lovestory ist ein Sci-Fi-Film und zugleich interaktives VR-Game.

Pascal Schober studiert Technical Directing und ist im Cybercity Lovestory-Team für den technischen Support zuständig. „Es ist ein großer Luxus, dass wir hier am Animationsinstitut mit der neuen Technologie drehen können“, sagt Pascal. Die neue Technologie hat seiner Meinung nach viel Potenzial für interaktive Anwendungen, wie sie das Cybercity-Team vorhat. Hier interagieren die Schauspielenden etwa mit einem Gameenvironment auf der Wand.

Pascal stellt fest, dass sich die Technik bereits in der Werbebranche etabliert. Denn durch eine richtige Vorbereitung der Bilder für LED-Drehs könnten Zeit und Kosten eingespart werden. „Der Umweltaspekt spielt auch eine Rolle“, so der Technical Director, „gerade bei großen Produktionen sind oft sehr lange und energieintensive Renderzeiten pro Frame üblich, dafür eröffnen die LED-Walls eine Alternative.“

Noch muss an der Technik vieles verbessert werden

Pascals derzeitiges Hauptprojekt ist sein Diplomfilm Mirage of a Sea. Dabei handelt es sich um einen Realfilm mit visuellen Effekten, den er mit Studierenden der Filmakademie dreht. Nachdem er vergangenes Jahr dafür mit der Wand Tests unternahm, hat er sich allerdings entschieden, die LED-Bildschirme nicht weiter zu verwenden. Bei einigen Anwendungsbereichen hält er die Technik für noch nicht reif genug: „Gerade bei Realfilmaufnahmen ist man oft noch besser dran, wenn man sie im echten Umfeld macht“, erklärt der TD-Studierende. „Bis ein reibungsloser fotorealistischer Workflow mit der LED-Wall möglich ist, müssen noch neuere Generationen an leistungsstärkeren Grafikkarten und Bildschirmen abgewartet werden“.

Szenen vor einer LED-Wall würden oft mit Kameraeinstellungen gedreht, bei der der Hintergrund unscharf ist. Werde nämlich auf die Wand fokussiert, ist im aufgenommenen Bild das Licht-Raster der LED-Bildschirme zu sehen. Hier spreche man vom Moiré-Effekt. „Um ihn auszugleichen, ist noch die Kombination mit herkömmlicher Technik sowie eine zum Teil aufwendige Postproduktion notwendig“.

Auch Simon betont, dass bei der Technologie noch vieles verbessert werden kann. Baustellen der Technologie, für die Studierende und Forschende am Animationsinstitut derzeit nach Lösungen suchen, gebe es einige. Sie experimentieren etwa mit spezifischen Lichtpanels, um die Farbqualität zu verstärken. Auch eine Kombination mit herkömmlicher Greenscreentechnologie wird derzeit getestet. Dabei zeigt die LED-Wall zwischen den Bildern eine grüne Fläche, die als Greenscreen verwendet wird. Zudem werden Lösungen für eine einfachere Postproduktion gesucht.

Umstellung der Workflows von Offline zu Realtime

„Generell geht es uns darum, den neuen Workflow mit der Technik zu untersuchen“, so der Medieninformatiker. Simon ist sich sicher, dass die Umstellung der Workflows von Offline zu Realtime mit LED-Walls früher oder später kommen wird. Denn computergenerierte Inhalte live am Set einzusetzen und nicht auf eine langwierige Postproduktion angewiesen zu sein, biete viele Vorteile. Für die Optimierung der Arbeitsprozesse, der sogenannten Pipeline, kooperierte das Animationsinstitut bei Forschungsprojekten mit VFX-Produktionsfirmen, wie der Londoner Firma DNEG. Zurzeit plane man am Animationsinstitut weitere Forschungsarbeiten zu Extended Reality-Anwendungen (XR) auf LED-Walls.

Darüber hinaus forscht das Animationsinstitut im Rahmen des sogenannten KI-Lab „Animation & VFX“ gerade an Möglichkeiten, künstliche Intelligenzen in Virtual Productions zu integrieren. So soll es in Zukunft möglich sein, Charaktere durch „Machine Learning“ von einer KI eigenständig animieren zu lassen. Das ermöglicht eine schnellere und ressourcensparende Produktion, ohne die künstlerische Kontrolle abgeben zu müssen. Das KI Lab „Animation & VFX“ ist eine Initiative des Ministeriums für Wirtschaft, Arbeit und Tourismus Baden-Württemberg.

VFX-Firmen sowie die Lehre am Animationsinstitut haben im Blick, dass mit der LED Wall ein neues Geschäftsfeld entstehen kann. Weil sie in jedem beliebigen LED-Screen-Studio digital aufspielbar sind, können Beleuchtungssettings und VFX-Setdesign-Presets für LED-Wände als Dienstleistung angeboten werden. Der Aufbau von Datenbanken mit 3D-Art für solche Studios dürfte ein zukunftsfähiger Sektor werden.

Pascal Schober wird im Sommer 2022 sein Diplom in Technical Directing in der Tasche haben. Wo es danach hingeht, weiß er noch nicht genau. Derzeit sei er mit seinen Projekten zu beschäftigt, um sich darüber Gedanken zu machen. Möglichkeiten, die sich durch das Diplom in dem Aufbaustudiengang am Animationsinstitut ergeben, gibt es etliche. Er ist sich jedoch sicher, dass die LED-Wall-Technik bei seiner späteren Tätigkeit eine Rolle spielen wird. Durch das Studium am Animationsinstitut und der Expertise im Bereich der Virtual Production, die er damit vorweisen kann, wird er jedenfalls einer der Fachleute sein, die die Filmwelt in die Zukunft mit LED-Screens führen kann.