MAX-R

MAX-R, die Mixed Augmented and Extended Reality Media Pipeline, verfolgt das Ziel eine vollständige Pipeline von Tools zur Erstellung, Verarbeitung und Bereitstellung von modernen XR-Inhalten in höchster Qualität zu definieren, zu entwickeln und schlussendlich zu demonstrieren. Die Pipeline wird auf offenen APIs und Datei- und Datenübertragungsformaten basieren, die die Entwicklung und Integration neuer Tools ermöglichen und unterstützen. Aufbauend auf Forschungsergebnissen und Fortschritten in der Technologie für Virtual Production, entwickeln wir Echtzeitprozesse und Tools, die eine höhere Qualität und Effizienz, Benutzerfreundlichkeit und Interoperabilität zwischen proprietärer und Open-Source-Software bieten sollen. Die neuen Tools und Prozesse werden eine gesteigerte Interaktivität und neuartige Inhalte auf der Grundlage von XR-Mediendaten liefern.
Damit eröffnet die auf offenen Standards basierende Echtzeit-Pipeline Wege für weitere Innovationen und leitet eine neue Ära in der Produktion von XR-Medien ein.

 
 

 
 
 

Das MAX-R Konsortium, koordiniert durch Universitat Pompeu Fabra, umfasst folgende Partner*innen:

 

 

 


 

Weitere Information können über die offizielle Website bezogen werden: MAX-R.EU

 

ENTWICKLUNGEN & TOOLS

Im September 2024 veröffentlichte die Abteilung Forschung & Entwicklung ein Video, welches die neuesten Fortschritte im MAX-R-Projekt am Animationsinstitut präsentiert. Es bietet einen umfassenden Überblick über die Tools — AnimHost, DataHub und VPET — die auf dem Open-Source-Framework TRACER FOUNDATION des Animationsinstituts basieren und innerhalb MAX-R weiterentwickelt werden.

Diese Tools sind darauf ausgelegt, die Produktion von XR-Medieninhalten zu verbessern und ermöglichen eine nahtlose Integration mit branchenüblicher Software wie Unreal und Blender. Sie bieten eine Vielzahl von Funktionen, darunter Echtzeit-Szenenbearbeitung in VPET, Daten-Synchronisation über DataHub und fortgeschrittene Animationsgenerierung dank AnimHost. Gemeinsam bieten sie flexible Lösungen zur Verbesserung der Workflows in der Animation, der virtuellen und XR-Medienproduktion.

 

DIGITAL LOCATIONS

DIGITAL LOCATIONS demonstriert das Potenzial fortschrittlicher Virtualisierung von Drehorten für Filmproduktionen und bietet einen effizienten Ansatz für Pre-Visualisation, Location Scouting, Drehplanung und Virtual Production. Durch die Erstellung digitaler Zwillinge realer Schauplätze ermöglicht DIGITAL LOCATIONS Filmemachern, Szenen zu visualisieren, komplexe Einstellungen zu planen und effektiv zusammenzuarbeiten – bei maximaler kreativer Flexibilität und Kontrolle.
Darüber hinaus erlaubt das Konzept von DIGITAL LOCATIONS die virtuelle und kollaborative Erkundung von Gebäuden, historischen Stätten und Naturdenkmälern – jederzeit und von überall auf der Welt. Dies senkt nicht nur Produktionskosten, sondern unterstützt zudem Nachhaltigkeitsinitiativen wie den EU Green Deal.

 

Vorteile & Features:

• Effiziente Pre-Vis & Scouting: Shot-Planung mit realistischen digitalen Zwillingen von Locations
• Virtual-Production-Ready: Reduktion von Dreharbeiten vor Ort, rund um die Uhr verfügbar
• Remote Collaboration: Virtuelle Erkundung von Drehorten, unabhängig vom Standort
• Nachhaltige Produktion: Weniger Reisen, geringere Kosten
• Open-Source: Auf flexibler Technologie basierend, individuell erweiterbar auf Anfrage

 
Der Demonstrator ist ein Plattform-Prototyp und nutzt zentrale MAX-R Technologien, die von der Filmakademie Baden-Württemberg (VPET, TRACER, DataHub) und der Universitat Pompeu Fabra (wgpuEngine) realisiert wurden. Das Projekt entstand in enger Zusammenarbeit mit Mitgliedern der MAX-R Creative User Group: der Film Commission Region Stuttgart und Third Picture GBR - als klares Bekenntnis zur Weiterentwicklung moderner Branchenstandards.
 
Aktuelle Versionen des DIGITAL LOCATION Demonstrators wurden bei der CVMP 2024 und dem European Film Market auf der Berlinale 2025 präsentiert.

 

 

 
Im Rahmen des Teilprojekts DIGITAL LOCATIONS veröffentlichte die Filmakademie Baden-Württemberg zwei Datensätze unter der Creative-Commons-Lizenz. Das erste Datenset enthält die CONTAINER CITY STUTTGART, während das zweite die ehemaligen Pferdeställe des Anwesens MARIENWAHL LUDWIGSBURG präsentiert. Beide Datensätze stehen im Folgenden zum Download bereit.

 


Download Datenset Container City Stuttgart 2024

 


Download Marienwahl Ludwigsburg Datenset 2025

KURZFILM SURVIVOR

Im Rahmen von MAX-R entwickeln wir KI-unterstützte Software-Tools und -Pipelines, die darauf abzielen Workflows für 3D-animierte Filmproduktionen zu optimieren. Diese Tools sollen Filmemacher*innen und Animator*innen in die Lage versetzen, mit Hilfe der neuesten Fortschritte im Bereich des maschinellen Lernens zweibeinige Charakter-Animationen in Echtzeit zu erstellen.
 
AnimHost, ein integraler Bestandteil des TRACER-Ökosystems, löst diese Herausforderungen, indem es Animationsgeneratoren mit Anwendungen der Digital Content Creation (DCC) und anderen Clients verbindet. Die generierten Animationen können exportiert und in Standard-DCC-Anwendungen wie der Open-Source-Software Blender weiterverarbeitet werden. Diese Integration ermöglicht es Animationskünstler*innen in ihren gewohnten Workflows zu arbeiten, während sie die Möglichkeiten des maschinellen Lernens nutzen und kreative Kontrolle über ihre Inhalte behalten.
 
Die Anwendung des TRACER-Frameworks innerhalb von MAX-R wird auf der CVMP 2024 in einer AnimHost-Demo vorgestellt.
 
Um diesen Workflow in einer realistischen Produktionsumgebung zu testen, zu bewerten und zu visualisieren, produzieren wir derzeit einen animierten Kurzfilm mit dem Titel SURVIVOR:

Der Film spielt in einer dystopischen, trostlosen Welt aus verrostetem Metall und folgt einem einsamen, alten Roboter auf seinem Weg zu einem unbekannten Ziel. Verfolgt von einem alles verschlingenden roten Nebel, erklimmt er einen riesigen Berg, um seine wertvolle Fracht zu schützen. Angesichts eines unüberwindbaren Hindernisses und der rasch nahenden Gefahr muss er eine wichtige Entscheidung treffen, um sein Überleben zu sichern.

 

 
 

ANIMHOST MOTION CAPTURE DATENSATZ 2024 & 2025

 
Die Trainingsdaten für AnimHost wurden in zwei speziellen Motion-Capture-Sessions an der Filmakademie Baden-Württemberg gesammelt und entwickelt, um eine faire Nutzung und Nachvollziehbarkeit zu gewährleisten.
 
Diese Datensätze wurden von der Filmakademie Baden-Württemberg unter der Creative Commons Lizenz veröffentlicht.
 


Download SURVIVOR AnimHost Motion Capture Datensatz 2024

 


Download SURVIVOR AnimHost Motion Capture Datensatz 2025

 
 

KURZFILM UNREAL-PROJEKT DATENSATZ 2025

 
Die Unreal-Szene und -Assets, die zur Produktion des Kurzfilms SURVIVOR verwendet wurden, um den neuen Animations-Workflow zu evaluieren, werden von der Filmakademie Baden-Württemberg unter der Creative Commons Lizenz zur Verfügung gestellt.
 


Download SURVIVOR Kurzfilm Unreal-Projekt Datensatz 2025

BROWSER BEATS

Im Rahmen von MAX-R entwickelten unsere Projektpartner Improbable und die BBC Tools zur Verbesserung von digitalen Erlebnissen und virtueller Performances. Um ihren Workflow und die Plattform zu evaluieren, zeichnete die Filmakademie Baden-Württemberg eine Live-DJ-Performance auf und lud gemeinsam mit der Popakademie Baden-Württemberg zum virtuellen Event BROWSER BEATS ein. Diese Veranstaltung transportierte das minimalistische Elektro-Set in eine interaktive Online-Umgebung, in welcher Teilnehmende als 3D-Avatare miteinander interagieren und die Performance direkt über ihren Webbrowser erleben konnten.
 

Publikationen & Präsentation


Berlinale 2025, European Film Market, MAX-R Demo: Digital Location.
Jonas Trottnow, Volker Helzle, Film Commission Region Stuttgart.
13-19.02.2025. Gropius Bau, Berlin, Deutschland.
CVMP 2024, Short Paper. TRACER: Modular Open-Source Framework for Real-Time XR Collaboration.
Jonas Trottnow, Simon Spielmann, Francesco Andreussi, Simon Haag.
18.-19.11.2024. BFO Southbank, London, UK.
CVMP 2024, MAX-R Demo: AnimHost.
Jonas Trottnow, Simon Spielmann, Volker Helzle, Francesco Andreussi, Simon Haag.
18.-19.11.2024. BFO Southbank, London, UK.
CVMP 2024, MAX-R Demo: Digital Location.
Jonas Trottnow, Simon Spielmann, Volker Helzle, Alexandru-Sebastian Tufis-Schwartz.
18.-19.11.2024. BFO Southbank, London, UK.
Digital Production - Magazin für Digitale Medienproduktion Ausbildung für eine grünere Zukunft (Low-Res, High-Res).
Fabian Stetzler. März 2023.

Dieses Projekt wurde im Rahmen des Forschungs- und Innovationsprogramms Horizon Europe der Europäischen Union mit der Fördervereinbarung Nr. 101070072 finanziert.

Die geäußerten Ansichten und Meinungen stammen ausschließlich von den Autor*innen und spiegeln nicht notwendigerweise die Ansichten der Europäischen Union oder der European Health and Digital Executive Agency wider. Weder die Europäische Union noch die Förderbehörde können für diese verantwortlich gemacht werden.