Facetracker
Facetracker ist eine grafische Benutzeroberfläche für OpenSeeFace, geschrieben in Python und verwendet libadwaita und GTK4.
Sein Hauptanwendungsfall ist VTubing unter Linux, da die meisten VTubing-Programme hauptsächlich unter Windows laufen. Obwohl diese oft mit Wine oder Proton funktionieren, ist die integrierte Webcam-Tracking-Funktion oft defekt, da Wine und Proton Webcams nicht immer korrekt unterstützen. Daher müssen die Trackingdaten von einer externen Anwendung abgerufen und dann über das lokale Netzwerk an die VTubing-Anwendung gesendet werden.
Ein prominentes Werkzeug dafür ist OpenSeeFace, entwickelt von Emiliana. Facetracker vereinfacht die Einrichtung, indem es diese in ein Flatpak-Paket packt, so dass Benutzer die Anwendung einfach herunterladen und die integrierte OpenSeeFace-Facetracker mit einer benutzerfreundlichen Oberfläche nutzen können.
Für Nutzer, die bereits Smartphones oder andere Tracking-Hardware verwenden, ist Facetracker nicht erforderlich.
Facetracker kann auf jeder Linux-Distribution installiert werden, die Flatpak unterstützt. Suchen Sie einfach in Ihrem Software-Center nach Facetracker, es sollte direkt angezeigt werden.
Falls Flathub standardmäßig nicht eingerichtet ist, lesen Sie bitte die Flathub-Einrichtungsanleitung für Ihre Linux-Distribution.
Facetracker flatpak: Flathub
Facetracker Quellcode: Codeberg
Facetracker in gängige VTubbing Applikationen integrieren
Um Facetracker mit diversen VTubbing Anwendung zu verwenden müssen diese meist entsprechend Konfiguriert werden
Portals
Facetracker benutzt nicht die Portals-AP, um auf Kamerageräte außerhalb der Sandbox zuzugreifen. Das zu Grunde liegende Problem ist OpenSeeFace selbst, da dieses wiederum OpenVC, welches eine Python Videobibliothek ist, benutzt um auf Kameras zuzugreifen. OpenVC kann allerdings nur auf Kamerageräte zugreifen die unter /dev/video* über das video4linux2 Subsystem verfügbar sind. Mit Portals werden Videogeräte nicht dort propagiert und es ist zwingend notwendig PipeWire zu integrieren, um auf diese Geräte zuzugreifen. OpenVC unterstützt allerdings kein PipeWire, demnach auch nicht OpenSeeFace und letztlich kann Facetracker die Portals-API nicht integrieren.
Mehr im (dazugehörigen geschlossen) Issue #22.
Hand Tracking
Zum gegebene Zeitpunkt verfügt Facetracker über keine Hand Tracking Funktionen. Grund dafür ist das OpenSeeFace nur Gesichtstracking anbietet. Es mmüsste eine zusätzliche Hand Tracking Software in Facetracker integriert werden.
GPU Beschleunigung
OpenSeeFace unterstützt keine GPU beschleunigtes Gesichtstracking. Daher ist diese Funktion nicht verfügbar.
Video:
Das meiste wie auf dieser Seite beschreiben lässt sich auch in diesem Video finden:
Sources
- Flathub: https://flathub.org/apps/de.z_ray.Facetracker
- Quelltext: https://codeberg.org/ZRayEntertainment/Facetracker