SARA - Stylized Animations for Reasearch on Autism
Die Verarbeitung von Gesichtern oder das Kategorisieren emotionaler Gesichtsausdrücke sind Herausforderungen für Menschen mit Autismus-Spektrum-Störungen (ASS). Dies führt zu Schwierigkeiten, sich auf sozialer Ebene mit anderen Personen zu verbinden. Frühere Studien wiesen auf, dass dies auf einen atypischen, lokal ausgerichteten Prozess bei der Verarbeitung von Gesichtern zurückzuführen sein könnte, auf die Menge an Details, die vom menschlichen Gesicht vermittelt wird, oder auf die Fokussierung der Aufmerksamkeit auf das Gesicht des Gegenübersb (d.h. auf welchen Teil des Gesichts eine Person mit ASS ihre Augen richtet, sobald sie in Interaktion tritt).
Das von der DFG geförderte Projekt SARA hatte zum Ziel, auf neuartige und künstlerische Weise die Ursachen für Defizite in der sozialen Interaktion und der Erkennung von Emotionen bei Kindern und Jugendlichen mit Autismus-Spektrum-Störungen (ASS) und Aufmerksamkeitsdefizit-/Hyperaktivitätsstörungen (ADHS) zu erforschen.
Es vereint den Bereiche der klinischen Psychologie (Universitätsklinikum Freiburg) mit Echtzeit- & nicht-fotorealistischen Renderings (Universität Konstanz) und Charakteranimation (Animationsinstitut, Filmakademie Baden-Württemberg) und legt damit den Rahmen für eine neuartige, interdisziplinäre Forschung.
Eine der Neuerungen und der Hauptfokus des Projekts ist die Echtzeit-Generierung, Parametrisierung und Stilisation emotionaler Gesichtsausdrücke virtueller Charaktere, wobei letzteres durch den Einsatz von Algorithmen des Non-Photorealistic Rendering (NPR) erreicht wird. Unter Anwendung der verschiedenen Versionen des DECT (Dynamic Emotion Categorization Test) wird eine Interaktion mit virtuellen Charakteren angewandt, welche die Fähigkeit von Kindern und Jugendlichen mit neurodevelopmentalen Störungen daraufhin testen soll, inwiefern emotionale Zustände im Gesicht der Charaktere erkannt werden.
Projektpartner*innen:
Laden Sie den SARA FRAPPER Deploy herunter:
Styles
Wir untersuchen, wie die Stilisation der Gesichter virtueller Charaktere die Kategorisierung von Emotionen bei Kindern und Jugendlichen mit ASS und ADHS beeinflussen kann. Dazu haben unsere Partner*innen an der Universität Konstanz Non-Photorealistic Rendering (NPR)-Algorithmen entwickelt, welche nicht nur parameterisierbar sind, sondern auch die Geometrie unserer digitalen Charaktere in Echtzeit abstrahieren. Die Implementierung wurde mit FRAPPER durchgeführt.
Abstrahierung
Dieser Stil ist inspiriert von Gemälden und gemalten Bildern, bei denen das Fehlen feiner Texturdetails und die erhöhte Schärfe der Kanten zwei wesentliche visuelle Merkmale darstellen.
Linienzeichnung
Linienzeichnungen vermitteln Formen und Umrisse auf effektive Weise mit einfachen Grundelementen: Linien. Wir verwenden den Algorithmus von Kang et al. [2007], der kohärente und kunstlerisch anmutende Linien erzeugt.
Oben: Hank (mittlere & hohe Abstrahierung)
Unten: Nikita (mittlere & hohe Abstrahierung)
Zeichnung
Dies ist eine der grundlegendsten Techniken in der Kunst, um die menschliche Wahrnehmung natürlicher Szenen zu abstrahieren. Durch die Umwandlung von Bildern in Linien und Schattierungen werden Details entfernt, während die Objektgrenzen und die Plastizität der dargestellten Objekte durch die Schattierung erhalten bleiben.
Oben: Hank (mittlere & hohe Abstrahierung)
Unten: Nikita (mittlere & hohe Abstrahierung)
Wasserfarben / Aquarell
Wasserfarben- oder Aquarellmalerei ist ein künstlerischer Stil, der den Effekt von in Wasser aufgelösten Farben auf Papier oder ähnlichen Oberflächen erzeugt. Wir haben uns entschieden, diesen Stil nicht nur wegen der gebotenen Abstraktion zu verwenden, sondern auch, weil er von vielen Personen mit ASS als Ausdrucksform genutzt wird oder gelegentlich in Therapien zum Einsatz kommt [Tataroglu 2013]. Unser Algorithmus basiert auf der Arbeit von Luft et al. [2006], deren Ansatz die visuelle Komplexität vereinfacht und die natürlichen Effekte von Aquarell imitiert.
Oben: Hank (mittlere & hohe Abstrahierung)
Unten: Nikita (mittlere & hohe Abstrahierung)
Skizzenhaft (nicht in SARA getestet)
Ein weiterer Algorithmus, der ursprünglich als Zusammenarbeit zwischen der Filmakademie Baden-Württemberg und der Universität Konstanz entwickelt wurde.
Um die visuelle Qualität zu verbessern, werden anstelle dünner Linien echte Striche erzeugt. Dazu wird die Geometrie-Shader-Stufe in GL3+ verwendet, um ein Quad-Strip mit Texturkoordinaten zu erstellen und eine Strich-Textur anzuwenden. Dies erfolgt in zwei Schritten: einmal vom Ausgangspunkt in Richtung des Vektorfeldes und einmal vom Ausgangspunkt entgegen der Richtung des Vektorfeldes. Dies ist noch in der Entwicklungsphase.
Charaktere
Hank, Nikita, Sara und Gunnar
Neben den bereits bestehenden Charakteren (Nikita – eine junge Frau und Hank – ein älterer Mann) haben wir zusätzliche Gegenstücke erstellt, um eine höhere Validität zu erzielen (Gunnar – ein junger männlicher Charakter und Sara – eine ältere weibliche Figur). Die Rigs aller Charaktere wurden mit dem Facial Animation Toolset (FAT) erstellt.
Um das visuelle Erscheinungsbild der vier Charaktere anzugleichen, wurde ein Künstler damit beauftragt, die Lichtverhältnisse und Texturen aller Charaktere anzupassen. Dies wurde in unserer Software FRAPPER angelegt, welche dazu um die neuen Funktionen für Shading und Beleuchtung erweitert wurde.
Wir danken unserem unterstützenden Team: Kai Götz (Sara), Solveigh Jäger (Gunnar), Steven Stahlberg (ursprüngliche Nikita), Leszek Plichta (visuelle Angleichung), Markus Rapp (Echtzeit-Haargenerierung), Simon Spielmann (leitender Software-Entwickler FRAPPER) und Nils Zweiling (externer Software-Entwickler FRAPPER).
Die Charaktere werden als Teil unseres FRAPPER Software-Deploys unter Creative Commons bereitgestellt (Creative Commons Attribution Non Commercial Share Alike 3.0 Unported License).
Neue Charaktere (von links nach rechts): Nikita, Gunnar, Sara, Hank.
DECT
Der DECT (Dynamic Emotion Categorization Test) war in seiner ersten Version ein interaktives, computerbasiertes Tool - entwickelt, um die mögliche Verwendung von Echtzeitanimationen zu bewerten, indem virtuelle Charaktere mit Videoaufnahmen menschlicher Schauspieler verglichen wurden. Die Umsetzung des Tests mit Hilfe unseres Entwicklungsframeworks FRAPPER brachte 2009 die Teams des Universitätsklinikums Freiburg und der Filmakademie Baden-Württemberg erstmals zusammen.
Im Projekt SARA wurde DECT modifiziert. Derzeit existieren drei Versionen, die in verschiedenen Experimenten am Universitätsklinikum Freiburg verwendet werden:
Die erste Version, R-DECT, wurde im Rahmen einer Pilotstudie zur Bewertung der „schnellen sozialen Kognition“ bei Kindern und Jugendlichen mit Autismus-Spektrum-Störungen (ASS) implementiert und durchgeführt.
Die zweite Version, NPR-DECT, beinhaltet eine der Neuerungen unseres Projekts: die Verwendung von NPR-Algorithmen (Non-Photorealistic Rendering), um visuell-räumliche Informationen in den Gesichtern unserer virtuellen Charaktere zu abstrahieren und zu verändern, wodurch die Menge der Informationen in den Gesichtsausdrücken der Charaktere reduziert wird.
Die dritte Version, i-DECT, bietet die höchste Interaktivität und fördert eine visuelle Interaktion zwischen dem Teilnehmer und dem virtuellen Charakter. Dieser Test untersucht die Unterschiede im Augenkontakt und in der gegenseitigen Betrachtung zwischen neurotypischen Probanden und Personen mit ASS. Die Experimente mit i-DECT wurden in Freiburg durchgeführt.
