Zusammenfassung: Facial Motion Capture in Blender

Dieses Tutorial zeigt, wie man Blender für Motion-Capturing von Gesichtsanimationen nutzen kann - ohne zusätzliche Plugins, nur mit einer Handykamera und einem Marker/Schminke.

Schnellnavigation

Benötigte Materialien

• Blender
• Smartphone-Kamera für die Aufnahme
• Tracking-Marker: Schwarzer Marker, Schminke oder Whiteout (Schminke empfohlen, da hautfreundlicher und leichter abwaschbar)

Der 6-Schritte-Workflow

1. Footage aufnehmen

• Marker platzieren: Kleine Punkte auf dem Gesicht anbringen, besonders dicht in Bereichen mit viel Bewegung (Mund, Augen, Augenbrauen)
• Symmetrisch arbeiten: Marker gleichmässig auf beiden Gesichtshälften verteilen
• Kameraposition: Frontalaufnahme ohne Kamerabewegung für beste Ergebnisse
• Vermeiden: Verdeckte Marker (z.B. unter der Nase, seitlich) und Kameraschwenks

2. Tracking in Blender

• Footage vorbereiten: Video in Bildsequenz konvertieren (bessere Performance)
• Tracker-Einstellungen optimieren:
  • Motion Model: “Affine” (für Verzerrungen)
  • Normalize aktivieren (für Lichtänderungen)
  • Correlation auf 0.9 setzen (90% Konfidenz)
• Tracking-Prozess: Marker einzeln oder in Gruppen tracken, bei Problemen Pattern Area aktualisieren

3. Gesichtsmesh erstellen

Drei Möglichkeiten:

• MakeHuman (Open Source, anpassbar mit Slidern)
• Kostenlose Modelle von Turbosquid (schnell, aber wenig Kontrolle)
• FaceGen Modeler Demo (generiert 3D-Modell aus Fotos - am genauesten)

4. Tiefe hinzufügen & Armature erstellen

• Mesh ausrichten: Gesichtsmesh mit dem ersten Frame des Footages abgleichen
• Empties projizieren: Tracking-Daten auf das 3D-Mesh übertragen
• Bones platzieren: An jedem Tracking-Punkt eine Armature (Knochen) erstellen
• Python-Script nutzen: Automatisierung für schnellere Bearbeitung

5. Rigging

• Automatic Weights: Mesh mit Armature verbinden
• Weight Painting: Einflussbereich jedes Knochens manuell anpassen
• Optimierung: Sicherstellen, dass Knochen nur ihre jeweiligen Bereiche beeinflussen

6. Animation verknüpfen

• Constraints hinzufügen: Copy Location Constraint für jeden Knochen
• Z-Achse deaktivieren: Nur X/Y-Daten vom Tracking verwenden
• Influence anpassen: Bei problematischen Bones reduzieren
• Bake Action: Animation in Keyframes umwandeln für bessere Performance

Automatisierung

Das Tutorial stellt ein Python-Script zur Verfügung, das die Schritte 3-6 grösstenteils automatisiert und den Workflow erheblich beschleunigt.

Tipps für beste Ergebnisse

• Zeit in die initiale Ausrichtung des Meshes investieren
• Weight Maps individuell optimieren
• Bei Tracking-Problemen: Pattern Area aktualisieren und Search Area vergrössern
• Marker nahe den Augenbrauen (nicht Augenlidern) platzieren für stabileres Tracking

Ergebnis

Ein vollständig animiertes 3D-Gesicht, das die aufgenommenen Gesichtsbewegungen wiedergibt.