FRAPPER DEPLOY
Die Hauptsoftwarekomponenten für die Implementierung des DECT sind: FRAPPER (Agent Framework), PsychoPy und die RED-X-API des SMI-Eye-Trackers.
FRAPPER, das Applikations-Framework der Filmakademie, bietet das Backend und das Frontend für das DECT. Das Agent-Framework ist ein Kompendium aller Funktionen zur Erstellung von Echtzeit-Gesichtsanimationen, die den Kern unseres Projekts SARA bilden. Um alle Anforderungen für das Projekt zu erfüllen, wurde FRAPPER erweitert und optimiert, um mit OpenGL 3+ zu arbeiten, was Haar-Rendering und nicht-fotorealistische Rendering(NPR)-Algorithmen in Echtzeit ermöglicht.
FRAPPER nutzt Ogre 1.10 als Rendering-Engine. Die Charaktere wurden in verschiedenen DCC-Tools erstellt und dann mit unserem Facial Animation Toolset (FAT) animiert, welches als Plugin für Maya veröffentlich wurde.
FRAPPER dient auch als zentrales Element in der Kommunikation mit PsychoPy und dem SMI-Eye-Tracker. Die Kommunikation mit PsychoPy erfolgt über Sockets, die FRAPPER anweisen emotionale Gesichtsanimationen eines bestimmten Charakters, in einer bestimmten Geschwindigkeit, Intensität und Abstraktionsstufe (d.h. wenn ein bestimmter NPR-Stil angewendet wurde) zu generieren. Die Kommunikation mit dem SMI-Eye-Tracker erfolgt über die bereitgestellte API des Eye-Trackers.
Downloads
Download SARA FRAPPER Deploy (510 MB).
Der Datensatz beinhaltet eine Beispielszene, NPR-DECT, i-DECT und alle Charaktere - Nikita, Sara, Hank, Gunnar.
Download Microsoft Visual C++ 2010 SP1 Redistributable Package (x64)
(Notwendig, wenn Visual Studio nicht auf dem System installiert ist, auf dem FRAPPER ausgeführt werden soll.)
FRAPPER Deploy Tutorials
Die folgenden Tutorials bieten eine Anleitung für die Installation und Nutzung der SARA-Tests und FRAPPER.
- Installation von SARA FRAPPER (PDF, engl.)
- Installation von PsychoPy (PDF, engl.)
- Nutzung von NPR-DECT & i-DECT (PDF, engl.)
- Verbindung von FRAPPER und SMI Eye Tracker (PDF, engl.)
PsychoPy
PsychoPy ist eine Open-Source-Anwendung, die in Python geschrieben wurde und die Präsentation von Stimuli sowie die Erfassung von Daten für eine Vielzahl von Experimenten in den Bereichen Neurowissenschaften, Psychologie und Psychophysik ermöglicht. Für diese Experimente wird die Version 1.79.00 verwendet.
PsychoPy wird vom Universitätsklinikum Freiburg genutzt, um das DECT selbst zu gestalten und die Ergebnisse für eine spätere statistische Analyse zu speichern. Das Protokoll sieht vor, dass PsychoPy alle Parameter an FRAPPER sendet, die für die Erstellung der Gesichtsanimationen erforderlich sind. Im Gegenzug sendet FRAPPER Zeitinformationen und eine Bestätigung zurück, sobald ein Versuch abgeschlossen wurde.
Download PsychoPy von der offiziellen Website.
Eye Tracker
Der SMI RED-250 Eye Tracker ist ein Gerät, welches am Universitätsklinikum Freiburg für Experimente mit Kindern und Jugendlichen mit Autismus-Spektrum-Störungen (ASD) und Aufmerksamkeitsdefizit- / Hyperaktivitätsstörungen (ADHS) verwendet wird. Die Kommunikation mit FRAPPER erfolgt über die SMI iView X™ API.
Zu diesem Zweck haben wir in FRAPPER ein Plugin namens sMIEyeTracker geschrieben, das die Initialisierung, Kalibrierung, Verfolgung und das Schreiben von Blickdaten sowie die Erstellung von Interessensbereichen (AOIs) mithilfe der Bibliotheken des Eye Trackers ermöglicht. Um das sMIEyeTracker-Plugin (Node) verwenden zu können, müssen der Eye Tracker und das entsprechende SDK installiert sein.
Für weitere Informationen über den Erwerb des Eye Trackers besuchen Sie bitte die offizielle SMI-Website.
Die Partner des SARA-Projekts sind nicht verantwortlich für die Bereitstellung des Geräts oder der dazugehörigen SMI-Bibliotheken.