MAX-R
MAX-R, die Mixed Augmented and Extended Reality Media Pipeline, verfolgt das Ziel eine vollständige Pipeline von Tools zur Erstellung, Verarbeitung und Bereitstellung von modernen XR-Inhalten in höchster Qualität zu definieren, zu entwickeln und schlussendlich zu demonstrieren. Die Pipeline wird auf offenen APIs und Datei- und Datenübertragungsformaten basieren, die die Entwicklung und Integration neuer Tools ermöglichen und unterstützen. Aufbauend auf Forschungsergebnissen und Fortschritten in der Technologie für Virtual Production, entwickeln wir Echtzeitprozesse und Tools, die eine höhere Qualität und Effizienz, Benutzerfreundlichkeit und Interoperabilität zwischen proprietärer und Open-Source-Software bieten sollen. Die neuen Tools und Prozesse werden eine gesteigerte Interaktivität und neuartige Inhalte auf der Grundlage von XR-Mediendaten liefern.
Damit eröffnet die auf offenen Standards basierende Echtzeit-Pipeline Wege für weitere Innovationen und leitet eine neue Ära in der Produktion von XR-Medien ein.
Das MAX-R Konsortium, koordiniert durch Universitat Pompeu Fabra, umfasst folgende Partner*innen:
Weitere Information können über die offizielle Website bezogen werden: MAX-R.EU
ENTWICKLUNGEN & TOOLS
Im September 2024 veröffentlichte die Abteilung Forschung & Entwicklung ein Video, welches die neuesten Fortschritte im MAX-R-Projekt am Animationsinstitut präsentiert. Es bietet einen umfassenden Überblick über die Tools — AnimHost, DataHub und VPET — die auf dem Open-Source-Framework TRACER FOUNDATION des Animationsinstituts basieren und innerhalb MAX-R weiterentwickelt werden.
Diese Tools sind darauf ausgelegt, die Produktion von XR-Medieninhalten zu verbessern und ermöglichen eine nahtlose Integration mit branchenüblicher Software wie Unreal und Blender. Sie bieten eine Vielzahl von Funktionen, darunter Echtzeit-Szenenbearbeitung in VPET, Daten-Synchronisation über DataHub und fortgeschrittene Animationsgenerierung dank AnimHost. Gemeinsam bieten sie flexible Lösungen zur Verbesserung der Workflows in der Animation, der virtuellen und XR-Medienproduktion.
DIGITAL LOCATIONS
Der DIGITAL LOCATIONS-Demonstrator veranschaulicht die fortschrittliche Virtualisierung von Drehorten für Filmproduktionen. Er zeigt die erfolgreiche Anwendung digitaler Nachbildungen realer Schauplätze für einen möglichen Einsatz in der Previsualisierung, der Drehplanung unter physischen Einschränkungen und die vollständige Virtual Production. Darüber hinaus ermöglicht das Konzept der DIGITAL LOCATIONS eine virtuelle und kollaborative Erkundung von Gebäuden, Kulturerbestätten und Naturdenkmälern, was die Kosten erheblich senken und den Green Deal unterstützen kann, indem Reisen auf ein Minimum reduziert werden.
Der Demonstrator, welcher sich derzeit in Entwicklung befindet, nutzt zentrale MAX-R Technologien, die von der Filmakademie Baden-Württemberg (VPET, TRACER, DataHub) und der Universitat Pompeu Fabra (wgpuEngine) realisiert wurden. Dieses Projekt entstand in enger Zusammenarbeit mit Mitgliedern der MAX-R Creative User Group: der Film Commission Region Stuttgart und Third Picture GBR.
Eine aktuelle Version der Demo DIGITAL LOCATION wird bei der CVMP 2024 präsentiert.
Updates zum öffentlich verfügbaren Datensatz des Demonstrators werden bis Anfang 2025 erwartet.
Im Rahmen des Teilprojekts DIGITAL LOCATIONS wurde ein erstes Datenset der CONTAINER CITY STUTTGART unter der Creative Commons Lizenz veröffentlicht.
KURZFILM SURVIVOR
Im Rahmen von MAX-R entwickeln wir KI-unterstützte Software-Tools und -Pipelines, die darauf abzielen Workflows für 3D-animierte Filmproduktionen zu optimieren. Diese Tools sollen Filmemacher*innen und Animator*innen in die Lage versetzen, mit Hilfe der neuesten Fortschritte im Bereich des maschinellen Lernens zweibeinige Charakter-Animationen in Echtzeit zu erstellen.
AnimHost, ein integraler Bestandteil des TRACER-Ökosystems, löst diese Herausforderungen, indem es Animationsgeneratoren mit Anwendungen der Digital Content Creation (DCC) und anderen Clients verbindet. Die generierten Animationen können exportiert und in Standard-DCC-Anwendungen wie der Open-Source-Software Blender weiterverarbeitet werden. Diese Integration ermöglicht es Animationskünstler*innen in ihren gewohnten Workflows zu arbeiten, während sie die Möglichkeiten des maschinellen Lernens nutzen und kreative Kontrolle über ihre Inhalte behalten.
Die Anwendung des TRACER-Frameworks innerhalb von MAX-R wird auf der CVMP 2024 in einer AnimHost-Demo vorgestellt.
Um diesen Workflow in einer realistischen Produktionsumgebung zu testen, zu bewerten und zu visualisieren, produzieren wir derzeit einen animierten Kurzfilm mit dem Titel SURVIVOR:
Der Film spielt in einer dystopischen, trostlosen Welt aus verrostetem Metall und folgt einem einsamen, alten Roboter auf seinem Weg zu einem unbekannten Ziel. Verfolgt von einem alles verschlingenden roten Nebel, erklimmt er einen riesigen Berg, um seine wertvolle Fracht zu schützen. Angesichts eines unüberwindbaren Hindernisses und der rasch nahenden Gefahr muss er eine wichtige Entscheidung treffen, um sein Überleben zu sichern.
SURVIVOR ANIMHOST MOTION CAPTURE - DATENSATZ
Die Trainingsdaten für AnimHost wurden in einer speziellen Motion-Capture-Session an der Filmakademie Baden-Württemberg gesammelt und entwickelt, um eine faire Nutzung und Nachvollziehbarkeit zu gewährleisten.
Dieser Datensatz wurde von der Filmakademie Baden-Württemberg unter der Creative Commons Lizenz veröffentlicht.
Publikationen & Präsentation
 |
CVMP 2024, Short Paper. TRACER: Modular Open-Source Framework for Real-Time XR Collaboration. Jonas Trottnow, Simon Spielmann, Francesco Andreussi, Simon Haag. 18.-19.11.2024. BFO Southbank, London, UK. |
|
CVMP 2024, MAX-R Demo: AnimHost. Jonas Trottnow, Simon Spielmann, Volker Helzle, Francesco Andreussi, Simon Haag. 18.-19.11.2024. BFO Southbank, London, UK. |
|
CVMP 2024, MAX-R Demo: Digital Location. Jonas Trottnow, Simon Spielmann, Volker Helzle, Alexandru-Sebastian Tufis-Schwartz. 18.-19.11.2024. BFO Southbank, London, UK. |
|
Digital Production - Magazin für Digitale Medienproduktion Ausbildung für eine grünere Zukunft (Low-Res, High-Res). Fabian Stetzler. März 2023. |
Dieses Projekt wurde im Rahmen des Forschungs- und Innovationsprogramms Horizon Europe der Europäischen Union mit der Fördervereinbarung Nr. 101070072 finanziert.
Die geäußerten Ansichten und Meinungen stammen ausschließlich von den Autor*innen und spiegeln nicht notwendigerweise die Ansichten der Europäischen Union oder der European Health and Digital Executive Agency wider. Weder die Europäische Union noch die Förderbehörde können für diese verantwortlich gemacht werden.