SAUCE

SAUCE (Smart Assets for re-Use in Creative Environments) ist ein dreijähriges, von der EU gefördertes Forschungs- und Innovationsprojekt, das acht Unternehmen und Forschungseinrichtungen zusammenbringt. Ziel des Projekts ist es, einen grundlegenden Wandel in der kreativen Industrie zu erwirken und Unternehmen zu ermöglichen, bestehende digitale Inhalte für künftige Produktionen wiederzuverwerten.



SAUCE wird eine Reihe professioneller Werkzeuge und Techniken erforschen, entwickeln, testen und demonstrieren, um Inhalte "intelligenter" zu machen. Diese sollen in einer bislang unerreichten Weise vollständig anpassungsfähig sein: an den Kontext (was die Wiederverwendung erleichtert), an den Zweck (innerhalb oder zwischen verschiedenen Branchen), an den und die Nutzer*in (zur Verbesserung des Erlebnisses) und an die Produktionsumgebung (um "zukunftssicher" zu bleiben). Dieser Ansatz basiert auf Forschung zu/r:

 

  • Lichtfeld-Technologie
  • automatisierten Klassifizierung und Verschlagwortung mithilfe von Deep Learning und semantischer Kennzeichnung, um Inhalte zu beschreiben und Schlussfolgerungen zu ziehen
  • Entwicklung von Werkzeugen für die automatisierte Transformation von Assets und Inhalten, intelligente Animation, Daten-Speicherung und -Ortung.

 

Diese neuen Technologien und Werkzeuge zeigen, dass eine erhebliche Kostensenkung und Effizienzsteigerung möglich sind. Dies erleichtert die Produktion von gesteigerten Inhaltsmengen in höherer Qualität und Kreativität und dient der Stärkung der Wettbewerbsfähigkeit der europäischen Kreativindustrie.

 

Das Konsortium besteht aus diesen Partner*innen:

 

Dieses Projekt wurde im Rahmen des Forschungs- und Innovationsprogramms Horizon Europe der Europäischen Union mit der Fördervereinbarung Nr. 780470 finanziert.

Lichtfeld-Technologie

Im Verlauf des Projekts SAUCE wurden mehrere Aufnahmen mit einem Lichtfeld-Kamera-Rig realisiert. Eine erste Produktion wurde im Oktober 2018 mit dem Lichtfeld-Rig der Universität des Saarlandes in den Studios der Filmakademie Baden-Württemberg getestet. Eine weitere beispielhafte Lichtfeld-Produktion, UNFOLDING, wurde im Januar 2019 mit demselben Rig in einem Studio des Saarländischen Rundfunks aufgenommen.


Die Beispiel-Daten des SAUCE Lichtfeld-Shootings, aufgenommen im Oktober 2018, umfassen u.a. Gehzyklen sowie Feuer- und Rauch-Elemente.

 


Download

FMX

FMX

Semantische Animation

Semantische Animation beschreibt die Nutzung von High-Level-Deskriptoren (z.B. verbale Befehle) zur Steuerung spezieller Charaktere, die dazu in der Lage sind, ihre eigenen detaillierten Low-Level-Verhaltensweisen und Szenen-Interaktionen zu bestimmen. Die erforderlichen semantischen Informationen können entweder durch einen manuellen Autorisierungsprozess oder durch maschinelles Lernen erstellt werden. Dies umfasst sowohl unsere Arbeit in der virtuellen Produktion als auch in der physikalisch basierten Animation.

 

Ziele

  • Entwicklung und Demonstration von Echtzeit-Steuerungssystemen für die Erstellung animierter Inhalte mithilfe von Smart Assets, für die automatische Synthese neuer Szenen aus bestehenden Szenen und für die Integration von Smart Assets in virtuelle Produktionsszenarien mit bearbeitbaren Kameras und Lichtquellen.
  • Erprobung der Prototyp-Technologien und -Werkzeuge in einer Reihe von Versuchsproduktionen sowie die Bewertung ihrer Leistung in realistischen Kontexten professioneller Nutzung.

 

In diesem Kontext hat die Filmakademie Baden-Württemberg die PHS Motion Library entwickelt und veröffentlicht. Diese enthält mehr als eine Stunde Material an Motion-Capture-Daten und -Videos für bipedale Bewegungen. Der Datensatz wurde mit besonderem Fokus auf emotionale Variationen von Gehzyklen erstellt.


Download Datenset PHS Motion Library

 

 

Semantische Character-Animation wird mit einem besonderem Fokus auf den Einsatz in virtuellen Produktionsszenarien realisiert.  
Die Filmakademie Baden-Württemberg hat ein Character-Streaming-Protokoll für ihr VPET-Toolset entwickelt. Ein gesamter Character (einschließlich Skelett) kann damit auf Tablets übertragen werden. Die neu entwickelte API ermöglicht es externen Animations-Engines, den Character über gestreamte Skelett-Animationen zu animieren.

 
Diese Schnittstelle erweitert die offene Architektur von VPET: Obwohl der Client auf Unity basiert, kann jeder beliebige Host (der die Szene für die VPET-Clients bereitstellt) angeschlossen werden. Wir haben dies in der Vergangenheit mit Foundry Katana demonstriert. Die neueste Erweiterung erlaubt damit eine beliebige Animations-Engine der Pipeline anzuschließen.

 
Semantisches Szenenverständnis ermöglicht, mit Hilfe von maschinellem Lernen, Labels für (SMART) Assets einer Szene zu extrahieren. Diese können verwendet werden, um die Assets für ihre spezifischen Produktionsszenarien vorzubereiten oder um dynamische Character-Animationen zu erstellen.

 

Die Filmakademie hat die LOVE & 50 MEGATONS - Miniature City Assets veröffentlicht. Diese für den VES Award 2020 nominierte Produktion nutzte ein virtuelles Produktionsszenario und gescannte Miniatur-Assets.

 

 


Download Datenset LOVE & 50 MEGATONS

Publikationen und Präsentationen