Set Extension für Next-Level-VFX

State-of-the-Art-Technik für Animationen und VFX in Realfilmen

„Bei dem Film geht es vor allem um die Atmosphäre und die emotionale Stimmung, die er erzeugt“, erklärt Théophile Farant. Der Animationsstudent ist der Regisseur des Kurzfilm-Projekts. Die Story könnte als Metapher für die kraftschöpfende Verbindung der Menschen zur Natur gelesen werden, die Geschichte lasse sich aber in verschiedener Weise interpretieren. „Für die Entwicklung der Handlung bildeten wir im Workshop drei Teams, die jeweils eine Story für den VFX-Film erarbeitet haben“, erzählt der Regisseur weiter. Am Ende wurde abgestimmt, welche Story gemeinsam realisiert werden soll. „Das Drehbuch, an dem ich zuerst gearbeitet habe, wurde am Ende nicht gewählt. Das machte aber für mich die Herausforderung, dafür die Regie zu übernehmen, umso spannender.“ Théo studiert eigentlich an der MoPa L’ecole internationale du cinéma d‘animation im französischen Arles. Er absolviert im Wintersemester 2021/22 ein Austauschsemester am Animationsinstitut. Seine Rolle als Regisseur von AWAKENING haben die Teilnehmenden des SEW ebenfalls in einer Wahl bestimmt.

Der SEW ist ein Teil des Curriculums der Filmakademie Baden-Württemberg. Die am SEW teilnehmenden Studierenden kommen aus den Studienbereichen Kamera, Produktionsdesign sowie den Studienvertiefungen Animation und VFX des Animationsinstituts. In dem Kurs geht es darum, die State-of-the-Art-Techniken kennen zu lernen, mit denen Animationen und visuelle Effekte mit Realfilmaufnahmen kombiniert werden können. Betreut und geschult wurden sie dabei 2021 vom Animator und Illustrator David Maas, dem Technical Artist Tonio Freitag, dem Set Designer Thomas Stammer sowie dem Kameramann Thomas Merker.

Das Animationsinstitut ist ein Pionier bei der LED-Wall-Set Extension

Seit 2020 kommt im Rahmen des SEW auch eine LED-Wall zum Einsatz, die während der ersten Hälfte des Wintersemesters in einem der Studios auf dem Filmakademie-Campus aufgebaut wurde. Visuelle Effekte in Realfilmen werden in der Film- und Medienbranche zunehmend auch mithilfe solcher hochauflösender LED-Bildschirmwände kreiert. Die neue Technik bietet die Möglichkeit, Aufnahmen auf Filmsets in Echtzeit mit computergenerierten Bildern (CGI) zu drehen. Die Inhalte auf den Bildschirmen dienen dabei als ein virtuelles Bühnenbild, das sich im Kamerabild mit dem herkömmlichen Setdesign vereinigen lässt. Als einer der ersten großen Produktionen setzte die Disney-Serie MANDOLORIAN die Technologie eindrucksvoll ein. Mittlerweile gibt es weltweit Studios, die LED-Screen-Sets einrichteten, in Deutschland etwa in Köln, Berlin, Mannheim und München.

Das Animationsinstitut der Filmakademie Baden-Württemberg trug in den vergangenen Jahren mit seiner Forschungsarbeit zur Entwicklung der filmischen Nutzung von LED-Screens bei. Seine Research & Development-Abteilung gilt weltweit als eine der führenden Forschungsinstitutionen auf dem Feld der Virtual Production. Dadurch nimmt das Animationsinstitut als Ausbildungsinstitution nicht nur in Animations- und VFX-Expertise generell, sondern auch in der Arbeit mit LED-Bildschirmwänden eine führende Rolle ein.

„Unglaublich, dass Studierende am Animationsinstitut derart neue Tools ausprobieren und damit drehen können.“

„Dass wir hier die Möglichkeit haben, mit der LED-Wall zu drehen, ist eine tolle Chance“, sagt Théo. „Als wir damit arbeiteten, hatte ich wirklich das Gefühl, es mit der neusten überhaupt möglichen Technologie im Filmbereich zu tun zu haben. Es ist unglaublich, dass Studierende am Animationsinstitut derart neue Tools ausprobieren und damit drehen können.“ Allerdings sei es auch eine besondere Herausforderung gewesen. Für ihn war die Arbeit mit dem Screen etwas vollkommen Neues: „Die Technologie ist in gewisser Weise noch unschuldig. Wie so oft bei einer neuen Technik, kommt es darauf an, herauszufinden, wie man sie gut nutzt“, betont der Regisseur. Künstlerisch könne neue Technik Filme einerseits weiterbringen, andererseits kann es aber auch sehr herausfordernd sein, wenn technische Grenzen inhaltlich einschränken. „Ich habe bisher nur reine 3D-Animation gemacht, und da gilt, du kannst im Grunde alles machen, was du dir vorstellst“, erklärt Théo. Bei AWAKENING habe er aufgrund der Technik etwas anders denken müssen. Dennoch schaffte es das technisch vielseitig aufgestellte Team am Ende, alle Planungen umzusetzen.

Es gilt, den richtigen Workflow mit der neuen Technologie zu finden

Théo betont, dass es derzeit generell darum geht, mit den LED-Screens einen guten Workflow zu finden. Um die Unwägbarkeiten der Technologie gelte es in bestimmter Weise herumzuarbeiten oder passende Lösungen dafür zu finden. So sei es bisher noch schwierig gewesen, mit der LED-Wall am Set Totalen von einer weiteren Entfernung zu drehen. „Man musste aufpassen, dass man am Set nicht versehentlich über den Screen hinausfilmt“, bemerkt Théo. Zudem bestand gemeinhin das Problem, dass auf die LED-Wand nicht scharf gestellt werden könne. Das liegt am sogenannten Moirée-Effekt, durch den im aufgenommenen Bild das Licht-Raster der LED-Bildschirme zu sehen ist.

Das SEW-Team bestehend aus Benjamin Gätzschmann, Philipp Dörrer, Eileen Kammer, Jan Klingner, David Sick und Justus Henne suchte genau dahingehend nach einer verbesserten Arbeitsweise. Das gelang ihnen, in dem sie in einer bestimmten Weise drehten: Sie filmten eine 90sekündige Plansequenz an einem Stück mit komplizierten Kamerabewegungen, bei der das Schauspiel auf einer sich drehenden Bühne stattfand. Dabei haben sie einen Weg gefunden, wie mit der Kamera über die Ränder der LED-Wall hinausgefilmt werden kann. Das gelang dank eines Motion-Caption-Systems und mit Trackern, durch die die digitalen Bilder mit der realen Kamera synchronisiert werden konnten. Diese Technik vereinfacht die Setextension mit LED-Walls grundsätzlich, da sich so auch mit kleinen LED-Wänden weite Shots realisieren lassen.

Die VFX-Supervisors und 3D-Künstlerinnen und -künstler des SEW-Teams umgingen weitere Probleme, indem sie detailgenaue Previsualisierungen des Sets und ein digitales Modell des Studios erstellten. Damit konnten die Abläufe beim Dreh genau geplant werden. So vermied das Team etwa, dass sie versehentlich Szenen mit problematischen Kameraeinstellungen drehen. „Unser Shoot im Studio war auch nur auf zwei Tage begrenzt, da hatten wir nur bedingt Zeit, zu experimentieren und so half uns diese Planung immens“, erklärt Théo. Zudem arbeitete das Team bei vielen Frames des Films auch mit Full-CG-Bildern, also mit herkömmlichen VFX-Methoden, mit denen die Filmbilder vollständig digital am Computer erstellt werden. Diese wurden schließlich mit den Setaufnahmen vereint und am Ende stand in der Kombination ein visuell beeindruckendes Ergebnis.

Von Storytelling bis Setdesign – LED-Walls haben ein riesiges Potenzial

Generell ist der Regisseur von AWAKENING von der LED-Screen-Drehtechnik begeistert. „Gerade für das Schauspiel hat die Technik enorme Vorteile. Vor einem Greenscreen hätte die Schauspielerin die Szene nicht so authentisch spielen können“, schwärmt er. Wenn sich die technischen Workflows einspielen und die Unwägbarkeiten lösen lassen – woran am Animationsinstitut auch mit den Erfahrungen des SEW-Teams intensiv geforscht wird – berge die LED-Wall-Technik seiner Meinung nach großartige Chancen auch in Sachen Storytelling. „Wir erleben gerade den Moment, in dem sich Kino und Videogame verbinden“, sagt Théo, „Es ist sehr spannend hier am Animationsinstitut so nah an dieser neuen Entwicklung dran sein zu dürfen.“